Как сделать прокторинг
Прокторинг — система верификации личности и подтверждения результатов прохождения онлайн-экзаменов. Технически прокторинг осуществляет во время экзамена:
- Запись с веб-камеры;
- Запись с экрана компьютера учащегося (прохождение экзамена с прокторингом доступно только с десктопной версии, не с мобильных устройств);
- Запись аудио с микрофона на компьютере учащегося;
- Фиксирует действия учащегося на компьютере (переключение в сторонние приложения, вкладки браузера).
Основная цель прокторинга
- Провести сверку личности учащегося по видео с веб-камеры в начале экзамена;
- В течение экзамена проверять постоянное присутствие учащегося перед камерой, отсутствие подмены учащегося;
- Логировать попытки учащегося к списыванию (устные подсказки, взгляд вне экрана компьютера, открытие сторонних приложений и вкладок браузера).
Подключение прокторинга
Для того чтобы подключить к вашему экзаменационному модулю на Stepik прокторинг, вам необходимо:
В настоящий момент организации все чаще обращаются к он лайн обучению. Контроль за качество выполнения заданий является сложной задачей. Екатерина Ивлева в статье о прокторинге объясняет, как создать систему отслеживания действий сотрудников в момент обучения, что поможет оценть знания с большей точностью.
Что такое прокторинг?
Дистанционное обучение становится всё популярнее — и все острее встает вопрос объективной оценки учащихся. Ведь чем дальше от глаз экзаменатора, тем больше возможностей скрыть своё незнание. Пока что с этой проблемой лучше всего справляется прокторинг — инструмент контроля, способный, при правильном использовании, сэкономить компаниям тысячи долларов.
Прокторинг — система, позволяющая следить за тестированием или экзаменом в онлайн-режиме.
Прокторинг дает возможность верифицировать (подтвердить) личность тестируемого, а также наблюдать за его поведением и происходящим на его экране компьютера, чтобы убедиться, что он не списывает, не прибегает к помощи других людей, не ищет ответы в интернете.
Изначально прокторинг начали применять в 2008 году в США, чтобы дистанционно контролировать сдачу экзаменов. Создатель этой технологии — компания ProctorU, сегодня помогающая администрировать около 2 000 000 000 экзаменов в год. Услугами этого прокторинг-провайдера пользуются более 1 000 учебных заведений в 129 странах.
Со временем прокторинг стали использовать не только в обучении, но и для решения других проблем. Например — кадровых.
Как работает система
Для использования системы прокторинга нужны веб-камеры, компьютеры с устойчивым интернет-соединением и простая программа для записи с экрана компьютера.
Представьте, что специалисту нужно сдать онлайн-экзамен в учебном центре на другом конце страны. Для этого ему понадобится в назначенное время включить свой компьютер и залогиниться в системе дистанционного обучения. Затем он должен включить веб-камеру, дать разрешение на ведение записи с экрана своего компьютера проктору (администратору-наблюдателю) и ждать верификации. Если с документами и доступами все в порядке, проктор запускает экзамен. В ходе экзамена запрещено искать ответы в интернете, пользоваться чьими-либо подсказками и шпаргалками, выходить из поля зрения веб-камеры. Если экзаменуемый нарушает правила поведения, то проктор может вынести ему предупреждение, досрочно завершить экзамен или аннулировать его результаты.
Для групповых тестирований или экзаменов используют большее количество прокторов, запись экранов компьютеров, а также записи поведения аудитории камерами наблюдения.
Существует 3 версии системы прокторинга:
Проктор — человек. За тестируемым наблюдает живой человек через монитор: всё контролирует и принимает решение о зачете экзамена. Выполненные задания проверяют отдельно.
Человек и компьютер. В этом случае всё контролирует программа, а человек проверяет результаты ее работы. Если тестируемый ведет себя подозрительно, программа выдаст предупреждение, все запишет и сообщит об этом проктору. Процесс контроля проходит либо в онлайне — 1 проктор может одновременно администрировать 6 тестируемых, — либо проверяющий смотрит видеозаписи, на основании которых выносит решение.
Зачем прокторинг бизнесу?
Рассмотрим 3 основные сферы применения:
Найм (подбор) персонала. HR-менеджеры могут предложить соискателям, находящимся в других городах и странах, пройти тесты с использованием прокторинга. Если результаты подтверждают их профессиональный уровень — продолжают работу с кандидатами. Если нет — экономят время и сразу приступают к поиску подходящих специалистов.
Обучение. Особенно актуально для предприятий, у которых есть корпоративные университеты или офисы, расположенные в разных регионах. В этом случае повышение квалификации работников проводят онлайн, а прохождение экзаменов контролируют прокторингом.
В качестве примера можно привести корпоративный университет Сбербанка и его программу Мини-МВА. В этой программе линейные руководители проходят обучение в очное и онлайн-обучение, а также занимаются проектной работой. Экзамены по всем дисциплинам проходят дистанционно, с прокторингом. По результатам обучения в среднем 30% выпускников программы получают повышение или горизонтальное перемещение.
Проверка навыков, тестирование, сертификация. В этом случае прокторинг дает возможность компаниям застраховаться от: 1) подсказок заинтересованных экзаменаторов, 2) списывания, 3) фальсификации результатов тестирования.
Необходимость в тестировании не всегда связана с обучением. По его результатам принимают решения о ротациях в штате, формировании кадрового резерва и даже о ежегодных надбавках. Поэтому некоторые работники могут хитрить, чтобы приукрасить результаты тестов. Прокторинг призван защитить от таких манипуляций.
Другая ситуация — сертификация сотрудников авторитетными профессиональными организациями. Так, хотя Институт Профессиональных Финансовых Менеджеров (IPFM) и делегирует аккредитованным партнерам право принимать экзамены IPFM дистанционно, но делать это нужно с обязательным использованием прокторинга. Таким образом IPFM поддерживает высокий статус выданных им дипломов. Подобную практику внедряют и отечественные компании, среди которых — Яндекс.
Пример: сертификация с прокторингом от Яндекса
В сентябре 2018 года Яндекс запустил бета-версию нового вида сертификации в Директе — экзамен с прокторингом. Такое тестирование проходит с дополнительной авторизацией. За ходом сдачи теста ведется видеонаблюдение.
С июля 2019 года сертификат по Яндекс.Директу можно будет получить только с прокторингом, поисковик хочет гарантировать достоверность знаний сертифицированного специалиста.
Возможно Yandex разработал свою систему, однако чаще всего даже крупные компании заказывают соответствующие услуги у прокторинг-провайдеров, используя готовые программные решения. Упомянутый выше Сбербанк в программах своего корпоративного университета контролирует прохождение экзаменов с помощью системы прокторинга Examus.
Другие компании обращаются к специализированным сервисам. Например, если нужно проверить с прокторингом профессиональные навыки (hard skills) бухгалтеров и финансовых специалистов, используют функционал и возможности digital-платформы Finassessment. Такое сотрудничество позволяет компаниям сэкономить тысячи долларов. Вот 2 примера.
Тут прокторинг сработал на уровне сдерживающего фактора — списывать нельзя. Всем пришлось полагаться на те знания, которыми они реально обладали. Это позволило получить максимально объективную оценку hard skills бухгалтеров. В итоге: нашли и устранили главные источники проблем; организовали дополнительное обучение именно тех, кто в нем нуждался.
Таким образом, этот пример показывает, что прокторинг эффективен при кадровых перестановках. Но не только. Он поможет грамотно провести оптимизацию штата. Об этом — в следующем кейсе.
А если бы оценивали без прокторинга? Как минимум 6 сотрудников, пойманных на списывании, могли бы исказить данные о своей профпригодности. А это 10% (!) от общего количества участников. Как думаете, насколько пострадала бы достоверность такой оценки? И каким оказалось бы качество кадровых решений, принятых по итогам неконтролируемого тестирования.
Прокторинг и бизнес
Говоря о практике внедрения прокторинга в бизнес-процессы, можно констатировать следующее:
Отдельные специалисты сталкиваются с прокторингом в ходе сдачи экзаменов на международные дипломы и сертификаты, что позволяет им и организаторам экзаменов экономить время и средства на проведении таких мероприятий и сосредоточиться на качестве.
Популярность дистанционного обучения только растет. Компании, испытывающие кадровый голод, запускают собственные корпоративные университеты, большинство из которых — дистанционные. Роль прокторинга в скором времени возрастет, поскольку этот инструмент позволяет контролировать качество дистанционного обучения.
Зачастую прокторинг целесообразно брать на вооружение для усиления hard skills специалистов компании, организации обучения и прочей работы с персоналом, даже если тестируемых не слишком много. Кейсы от Finassessment демонстрируют, что это могут быть ситуации, связанные с кадровыми перестановками и оптимизацией штата — в подобных случаях прокторинг помогает принимать взвешенные управленческие решения и экономить финансовые ресурсы.
Однако на данный момент нельзя сказать, что бизнес в полной мере использует потенциал этого инструмента. Остается надеяться, что в ближайшее время появятся новые кейсы об эффективном применении онлайн-прокторинга при решении насущных предпринимательских проблем.
Что такое прокторинг?
Зародился прокторинг в электронном обучении: нужно было технологично присматривать за студентами на онлайн экзаменах, чтобы те не списывали. Теперь же он развивается не только в образовании, но и в HR — результаты онлайн-тестов для персонала также должны быть защищены от возможных фальсификаций.
То, как организуется сеанс прокторинга, зависит от провайдера, но суть остается неизменной. Система собирает данные с камеры, микрофона и экрана компьютера респондента, анализирует процесс тестирования, подтверждает личность, фиксирует возможные нарушения. И в итоге предоставляет организатору тестирования видеозапись процесса и оценку достоверности полученных результатов.
Как работает система прокторинга
Сервис призван автоматически отслеживать и пресекать следующие распространенные нарушения:
Что произойдет, если будет зафиксировано нарушение? Организатор самостоятельно определяет, как поведет себя программа:
- предупредит респондента о выявленном нарушении и позволит продолжить работу;
- сразу же завершит тестирование;
- автоматически завершит тест, если общий уровень доверия упадет ниже определенного уровня.
Какие технологии используются в системе онлайн прокторинга?
Программа анализирует большой объем поступающих данных. Это и видео, и аудио, и события в браузере респондента. Для этого используется машинное обучение — класс методов искусственного интеллекта — специальные алгоритмы, обученные модели, которые в режиме реального времени способны определить нарушения.
Помимо технических возможностей системы, стоит отметить еще и ее психологический эффект. Осознание того, что за тобой наблюдают, заставляет отказаться от попыток обмана. И сам факт наблюдения становится большим подспорьем в обеспечении достоверности результатов тестирования.
Этапы работы с системой: что делает организатор
Правила проведения: что делает респондент
Порядок проведения сеанса прокторинга зависит от требований организатора и конкретного испытания. Но правила стандартной процедуры таковы:
- респондента должно быть хорошо видно;
- он должен находиться в кадре один;
- в помещении должно быть тихо (без посторонних звуков и шумов);
- сеанс не должен прерываться на длительное время;
- нельзя пользоваться сторонними материалами на физическом или электронном носителе (книги, справочники, поисковики и т.д.).
Прокторинг в подборе и оценке персонала
HR-ы до недавнего времени боролись с этой проблемой примерно так же, как и экзаменаторы в учебной аудитории: вживую наблюдали за респондентами, своими силами администрировали процесс. Но все это работает лишь в индивидуальной оценке, максимум — в малых группах. А развитие дистанционных оценочных процедур накладывает свои требования. Российский Стандарт тестирования персонала прямо указывает на то, что при применении открытого дистанционного онлайн тестирования в ситуации экспертизы гарантия достоверности результатов отсутствует и полученные таким образом данные диагностики не могут влиять на окончательные управленческие решения.
Эти две причины — сильное стремление респондентов показать наилучший результат и развитие массового дистанционного онлайн тестирования — создают столь высокую потребность в применении технологий прокторинга именно в HR-практике.
Возвращаясь к прокторингу подчеркнем, что он точечно решает конкретную проблему, для которой предназначен, не больше и не меньше. Но делает это хорошо: легко и технологично, занимая заслуженное место в ряду современных, автоматизированных и удобных HR-решений.
Интеграция системы тестирования Maintest и прокторинга
Интеграция — это процесс объединения частей в целое. В данном случае это объединение сеанса тестирования, который осуществляется в нашей оболочке Maintest, с сеансом прокторинга (платформа предоставляется выбранным провайдером). Две системы незаметно для пользователя взаимодействуют между собой, а управлять всеми процессами можно из единого личного кабинета в Maintest.
На что мы обращаем особое внимание при осуществлении интеграции
Рис. 2 – Предупреждение респондента о нарушении процесса тестирования.
В личном кабинете Maintest пользователь может управлять настройками прокторинга:
- Настроить сеанс:
- выбрать его тип;
- установить отслеживаемые параметры;
- определить действия в случае низкого показателя доверия.
- Создать индивидуальное приглашение с сеансом прокторинга.
- Наблюдать за респондентом в режиме реального времени (если провайдер предоставляет такую возможность).
- Просматривать видеоролик с записью процесса тестирования и заключение системы на странице результатов. Процесс передачи данных в Maintest после окончания сеанса занимает не более 5 минут.
- Выгружать сведения о сеансах в формате xlsx (Excel).
Варианты подключения услуги
- У вас есть договор с HT Lab на тестирование. Необходимо заключить Дополнительное соглашение на подключение услуги (провайдером в этом случае является ProctorEdu). Услуга подключается в штатном режиме в Личном Кабинете клиента Maintest Online, при оплате пакета от 50 часов.
- У вас есть договор с провайдером услуг прокторинга. Подключение происходит через интеграцию Личного Кабинета Maintest Online с вашим аккаунтом в системе прокторинга. Услуга разовая, стоимость — от 50 000 руб., в зависимости от провайдера и дополнительных технических настроек.
Авторы: Григорий Красночуб, программист Human Technologies;
Татьяна Преснова, редактор информационных ресурсов Human Technologies.Как предотвратить списывание во время дистанционного обучения, действительно ли нам нужна тотальная система контроля над студентами, и чем внедрение онлайн-образования напоминает компьютеризацию шахмат
Что прокторинг представляет собой сегодня
Об экспертах:
- Валерий Григорьев, лауреат Премии Президента РФ в области образования, кандидат технических наук, ведущий научный сотрудник Центра экономики непрерывного образования РАНХиГС.
- Светлана Новикова, социолог, младший научный сотрудник Центра экономики непрерывного образования РАНХиГС.
Это понятие уже достаточно хорошо знакомо не только экспертам. Но как он обеспечивается на самом деле и какой ценой? Необходима ли нам такая тотальная система контроля?
Исследователи выделяют следующие прокторинговые системы.
- Пассивный мониторинг программного обеспечения на компьютерах экзаменуемых.
Он осуществляется путем отслеживания приложений, с которыми работают учащиеся на своих ПК, и переключений на другие сервисы во время экзамена.
- Активное ограничение ПО на компьютерах учеников.
- Пассивное видеонаблюдение с помощью ПО, которое обращается к веб-камере студентов для непосредственной фиксации всех действий.
Так, онлайн-контроль происходит без экзаменатора, без участия человека. Записываются видео и звук, автоматически выявляется подозрительное поведение человека и фиксируются нарушения. За грубое несоблюдение правил (подмена экзаменуемого, копирование заданий) программа автоматически блокирует доступ к системе.
Реализуется аналогично пассивному, но с добавлением мониторинга в режиме реального времени. Один проктор (наблюдатель) может следить за несколькими учащимися одновременно.
Ограничения и последствия онлайн-прокторинга
Возможности прокторинга ограничены, что иногда вынуждает изменять процедуры многих экзаменов и усложнять их техническое оснащение.
Согласно апрельскому опросу НКО Educause, главными проблемами, с которыми сталкиваются образовательные учреждения во время внедрения прокторинговых систем, являются стоимость онлайн-контроля (58% респондентов), а также обеспечение конфиденциальности данных учащихся (51%).
Кто выступает против онлайн-прокторинга и почему
В некоторых университетах отказываются использовать прокторинговые системы из-за дороговизны процедуры. В России, например, рынок онлайн-прокторинга вообще не развит: на прокторинг вузы выделяют только около 5% своих расходов на онлайн-образование. Также многие эксперты отмечают, что эта технология не является полноценной заменой классической процедуры экзамена. Так, в связи с пандемией коронавируса руководство многих университетов стремилось отсрочить курсы и итоговые экзамены для дальнейшего возобновления процесса обучения в традиционном формате.
Чем внедрение прокторинга напоминает компьютеризацию шахмат
Началось все в конце XX века: сначала компьютер победил чемпиона мира Гарри Каспарова в блиц, потом обыграл его в одной из партий матча в классические шахматы, и наконец, выиграл сам матч. Само по себе это было бы не страшно, но параллельно практически линейно снижалась стоимость владения шахматным помощником за счет общего развития ИТ.
С тех пор любой человек, который умеет ходить фигурами и записывать ходы, может обыграть очень сильного гроссмейстера, если у него в доступе будет компьютер с установленной программой.
Таким образом, компьютерные технологии предоставили новичкам новые возможности для читинга — пользования программами во время игры и обращения за советом к профессионалу или просто человеку, имеющему доступ к компьютерным сервисам.
В ответ начали появляться различные модификации классических шахмат. К примеру, шахматы Фишера-960, шахматы с выбранной случайной расстановкой фигур, которые не предоставляют игрокам возможности использовать заученные ходы в начальной части партии. В итоге было создано множество радикальных модификаций классических шахмат, которые фактически представляют собой уже новые игры с сохранением только внешнего вида и основных принципов (к примеру, гексагональные шахматы Глинского, шахматы Капабланки).
В итоге статус-кво в шахматах сейчас таков.
Но ставить вопрос о качестве прокторинга в целом преждевременно, так как процесс оценки в онлайн-режиме меняет в принципе подход к оценке и к ее процедурам. К тому же в связи с переходом на дистанционный формат обучения многие студенты находятся в состоянии стресса и беспокойства, и дополнительный контроль может только навредить.
Прокторинговые системы особенно эффективны в рамках корпоративного обучения, когда нужно охватить большое число экзаменуемых, находящихся, например, в разных уголках страны и мира, или же когда крупной компании необходимо провести оценку большого числа своих сотрудников.
Таким образом, возможности применения онлайн-оценивания действительно ограничены, и можно предполагать, что в самое ближайшее время статус-кво онлайн-тестирования будет сильно изменен.
Читайте также: