СИСТЕМА ТЕСТИРОВАНИЯ С ПРОКТОРИНГОМ

За восемь лет нашими клиентами стало более половины государственных вузов РФ, а также — крупнейшие компании, которые обучают своих сотрудников.

Помимо того, о чём мы рассказали выше, у нас есть фичи, которые повышают уровень контроля.

Смартфон как вторая камера

Используется для увеличения угла обзора и помогает отслеживать нарушения, которые не попадают в поле зрения основной камеры.

АнтимикронаушникЕдинственная в мире технология, которая помогает распознавать микронаушник. Нейросеть определяет уникальные паттерны микронаушников в электромагнитном поле.

Собственный защищённый браузерБлокирует использование дополнительных вкладок, окон и экранов.

А ещё:1. Штат опытных прокторов. Они проходят специальную подготовку, имеют за плечами сотни часов тестирований и могут распознать жульничество по самым неочевидным признакам. Если заказчик хочет задействовать своих прокторов, мы их обучаем.2. Служба заботы. Поддержка клиентов и тестируемых работает 7 дней в неделю.3. Портал поддержки и база знаний. Можно быстро найти ответ практически на любой вопрос при работе с сервисом.4. Интеграции с самыми популярными LMS-системами.5. Возможность развернуть систему полностью.6. Понятный и удобный для пользователей интерфейс.7. Опыт реализации требований безопасности в крупных компаниях.

Записывайтесь на демо: продемонстрируем систему и расскажем, чем можем быть полезны именно вам.

Недавно ProctorEdu и КРОК запустили систему для контроля онлайн-тестирования на экономическом факультете МГУ. Она помогает наблюдать за студентами, которые сдают экзамен.

Эта система «подсвечивает» нарушения, подсказывает, на кого и на что обратить внимание. В результате один преподаватель может контролировать разом несколько десятков студентов, сидящих у себя дома.

Такой подход к онлайн-обучению, прокторинг, первыми внедрили Coursera и Udemy. Разработчики ProctorEdu задумали собственную систему прокторинга в 2016 году именно для учебных заведений, но вскоре поняли, что она способна решать другие, более серьезные задачи.

В конце концов, многие хотя бы раз в жизни списывали в школе или вузе, и мир до сих пор не рухнул, но в некоторых ситуациях жульничество на экзаменах приводит к серьезным последствиям.

А ведь есть ответственная и опасная работа, где от знания должностных инструкций и техники безопасности зависят жизни людей.

Примеров много: от управления поездом до вахты на буровой платформе в открытом море. Это не говоря об экстремальных ситуациях, когда раздумывать просто некогда и нужны готовые, заученные решения.

Как правило, во всех этих сферах сотрудников регулярно обучают, тестируют и аттестуют, но часто это воспринимается, как формальность. К тому же, при популярных сейчас онлайн-экзаменах контролировать соблюдение правил довольно сложно.

Конечно, можно приставить к каждому участнику по проктору, следящему за соблюдением регламента из объектива веб-камеры, но чтобы всерьез протестировать персонал крупной компании за разумные сроки, потребуется целый взвод наблюдателей.

Разработчики ProctorEdu решают эту проблему при помощи нейронных сетей и нескольких десятков других алгоритмов, которые распознают нарушения по набору настраиваемых параметров.

Проводите ответственные тестирования онлайн, контроль мы берем на себя

Компания Proctor помогает образовательным учреждениям и бизнесу проводить ответственные тестирования онлайн для учеников, абитуриентов или персонала, обеспечивая контроль качества полученных результатов с помощью передовой системы прокторинга.

Система прокторинга Proctor — это программное обеспечение для онлайн-наблюдения, протоколирования и оценивания поведения пользователей при прохождении значимых онлайн-мероприятий (экзаменов, тестирований).

Функции прокторинга подключаются к платформам тестирования, что позволяет проводить контролируемые дистанционные экзамены как в ручном, с участием прокторов, так и в автоматическом режиме.

Контролируемые экзамены снижают риски, связанные с репутацией и организационными расходами, а также повышают качество компетенции сотрудников и студентов.

Что такое ProctorEdu?

Посмотрите информационный видеоролик, чтобы получить представление о продукте

Недостатки систем онлайн-прокторинга

Говоря откровенно, современные системы прокторинга еще далеки от потенциального идеала. Не секрет, что часто происходят различные технические сбои во время проведения экзаменов, которые довольно сильно портят жизнь честным испытуемым. Так, этим летом больше половины студентов одного из курсов Санкт-Петербургского государственного университета (СПбГУ) были отправлены на пересдачу общеизвестной системой Examus, которая посчитала, что все они списывали (это определилось по массовому отводу глаз и другим не озвученным факторам). При этом отмечается, что в системе часто происходили различные сбои – например, она отказывалась работать при недостаточном для нее освещении, некорректно отображала экзаменационные задания и др. Известной новостью стало недавнее отчисление двух студенток этого же ВУЗа, которые были уличены за отводом глаз от монитора. Разумеется, не имея полной информации, сложно объективно судить об этих событиях, но в любом случае технические сбои, на которые жалуются очень многие студенты заставляют задуматься о целесообразности применения такого рода систем.

Также одной из насущных проблем является нарушение конфиденциальности. Студенты университетов по всему миру обращаются к своим руководствам с петициями, в которых просят не допустить нарушений по этому вопросу. Их опасения касаются очень многих пунктов, начиная со сбора биометрических данных (которыми также уже оснащены некоторые системы прокторинга, например, Tesla), заканчивая широким доступом к компьютерам испытуемых и их окружению, передающемуся через веб-камеры. Так, петиция в отношении систем Honorlock собрала более 6300 подписей в первую очередь от студентов Международного университета Флориды. Они подчеркивают, что объемы данных, которые собирает компания, могут храниться до двух лет. В июле 2020 года уже произошла известная утечка информации о 440 000 пользователей с мощностей системы ProctorU.

Известен и факт, по которому некоторые студенты, преподаватели и правозащитные группы также подняли тревогу. Он связан с дискриминацией студентов-инвалидов, которую навязывают некоторым системам прокторинга. Во-первых, учащиеся с ограниченными возможностями сталкиваются с большими проблемами в ходе проведения экзамена, связанными с технологическими особенностями, во-вторых, системы ложно фиксируют потенциальные нарушения у сдающих, так как некоторые функции ПО (регистрация нажатия клавиш, распознавание лиц и отслеживание движение) на данный момент не переориентированы на работу со студентами-инвалидами.

Что нужно принести

Некоторые из наиболее узнаваемых компаний, которые с нами сотрудничают

В связи с пандемией коронавируса возросла популярность такого решения для онлайн-мониторинга как прокторинг. Каков порядок прохождения подобного тестирования, и какие моменты учесть, чтобы не нарушить правила регламента?

Все больше студентов сталкиваются с онлайн-прокторингом. В этой статье рассмотрим подробно все нюансы сдачи экзамена дистанционно и дадим несколько полезных советов для подготовки.

В результате коронакризиса многие вузы проводят тестирования в дистанционном режиме. Рассмотрим, какие виды прокторинга применяются в образовательных учреждениях.

Рассмотрим наиболее популярные возражения потенциальных пользователей системы прокторинга, и разберем аргументы для их отработки. С их помощью вы будете увереннее находить заказчиков и продавать право на ПО.

В этой статье мы разберем что же такое прокторинг и кому он действительно нужен.

С распространением дистанционного формата обучения все больше учащихся интересуется, как обмануть прокторинг. Развенчиваем мифы о методах обмана системы.

Отзывы и рекомендации от наших клиентов и партнеров

Варианты поставки

Выберите наиболее подходящий вариант поставки

Система прокторинга работает в облаке с доступом через интернет. Обновление, обслуживание и вся техническая сложность скрыта, а вы получаете только требуемый сервис.

Система прокторинга разворачивается на вашем сервере в вашей инфраструктуре. Обеспечивает полный контроль над данными и может работать внутри локальной сети без доступа в интернет.

Заинтересовались или нужна дополнительная информация? Оставьте заявку, мы с вами свяжемся!

Оценка онлайн-прокторинга в качестве перспективы будущего

Время на прочтение

С нами интегрированы

Наиболее распространенные системы тестирования и онлайн-обучения

Как это работает

Во время экзамена ProctorEdu ведет запись с камеры, микрофона и экрана компьютера.

Система отслеживает, кто находится в кадре: сравнивает человека с фотографией, сделанной перед началом тестирования, или со сканом паспорта, загруженного перед экзаменом.

Она проверяет, куда смотрит участник, нет ли в кадре других людей, и не говорит ли кто-то поблизости. Кроме того, ProctorEdu следит за тем, чтобы браузер был развернут на весь экран, детектирует переключение на другие окна и подключение дополнительных мониторов, периодически проверяет состояние сетевого подключения. Система собирает статистику по часто используемым диграфам и с ее помощью отслеживает манеру набора текста на клавиатуре.

Обычно, когда алгоритм фиксирует нарушения, например, теряет человека из виду, система сначала выводит на экран предупреждение. Если участник не реагирует, ProctorEdu приостанавливает тестирование, до тех пор, пока он не исправится. При этом делается отметка о нарушении регламента, к которой можно вернуться позже при просмотре видеозаписи экзамена.

На основе нарушений по формуле рассчитывается рейтинг достоверности результатов экзамена.

Оценка доверия базируется на всех метриках, которые отслеживает система (если они включены в настройках конкретного экзамена) и весовых коэффициентах, которые подобраны опытным путем. Оценка показывает суммарный средний процент нарушений за весь сеанс.

Протокол сеанса в PDF-формате

ProctorEdu может работать в полностью автоматическом режиме, передавать рейтинг в систему тестирования, которая аннулирует результаты с низким рейтингом достоверности. Но для большей объективности обычно приглашают живого проктора. Он может просматривать записи участников с низким рейтингом доверия уже после экзамена, а может участвовать в нем с самого начала.

В таком сценарии проктор может эффективно контролировать до 30 участников. Ему практически не нужно вмешиваться в ход экзамена. Система сообщает о нарушениях в реальном времени и подсказывает, на кого из подопечных обратить внимание.

Проктор может развернуть видео на весь экран и приглядеться к происходящему, объяснить участнику, что тот делает не так, предупредить о нарушении, приостановить или досрочно завершить экзамен.

Такая технологическая поддержка облегчает работу проктора, ускоряет проведение онлайн-экзаменов и аттестаций и позволяет сохранить высокую достоверность результатов.

О нас в СМИ

О нас пишут интернет-издания

Чего следует избегать

Требования процедуры прокторинга для студентов, кандидатов и тестируемых

Что такое прокторинг?

Прокторинг — это процедура контроля за ходом дистанционного испытания.

Проктор (в английском языке «proctor») — это наблюдатель, который контролирует соблюдение правил дистанционного испытания.

Система прокторинга — это программное обеспечение, помогающее проктору осуществлять контроль за соблюдением правил дистанционного испытания.

Как проходить тестирования с прокторингом

Как проходить тестирования с помощью системы онлайн прокторинга ProctorEdu?

Проверьте свой компьютер на соответствие техническим требованиям прокторинга

«На прокторинг вешают вообще все неудобства, связанные с дистанционными экзаменами»

Основатель российской системы онлайн-прокторинга — о самой страшной «пугалке» студентов XXI века, её реальном влиянии и месте в образовании будущего.

Жизнь можно сделать лучше!Освойте востребованную профессию, зарабатывайте больше и получайте от работы удовольствие. А мы поможем с трудоустройством и важными для работодателей навыками.

Производительность

Подтвержденная производительность системы

Варианты прокторинга

Используйте любой, все варианты включены в комплект поставки

Система прокторинга наблюдает за тестируемым, используя 14 поведенческих трекеров, проверяет личность человека и выдает отчет о достоверности результатов.

Запись камеры со звуком и экрана Верификация личности Отслеживание поведения Отчет о достоверности

Система прокторинга наблюдает за тестируемым, после чего проктор может просмотреть видеозапись, чтобы подтвердить достоверность результатов.

Запись камеры со звуком и экрана Верификация личности Отслеживание поведения Отчет о достоверности Проверка протоколов проктором Возможность заказать услуги прокторов

Прокторы контролируют процесс тестирования в режиме реального времени, наблюдая через камеру и за рабочим столом тестируемого.

Запись камеры со звуком и экрана Подключение мобильной камеры Верификация личности Отслеживание поведения Отчет о достоверности Наблюдение в реальном времени Возможность заказать услуги прокторов

Проведение устного экзамена с экзаменационной комиссией, НЕ требуется СДО и другое сопутствующее программное обеспечение. Отдельные комнаты видеосвязи для членов комиссии.

Возможность вытянуть билет Подключение нескольких членов комиссии Отдельная комната для коммуникации комиссии Встроенный интерфейс для заметок и калькулятор Запись экзамена и выставление оценок

Можно ли обмануть систему?

Можно, но не так, как это обычно пытаются сделать.

В торговых сетях, где используют ProctorEdu, часто бывает так, что один сотрудник пытается пройти тесты за весь магазин. Порой пользователи подменяют видео с камеры на какую-нибудь видеотрансляцию. Так, однажды разработчики наблюдали, как тесты по технике безопасности на предприятии проходила известная порноактриса.

Был случай, когда один из участников подготовился особенно серьезно: напечатал чужое фото на листе А4, вырезал глаза, привязал резинку и использовал как маску.

Конечно, это все легко детектируется.

Раньше можно было поставить смартфон перед монитором так, что его не было видно с фронтальной камеры. Казалось, что участник постоянно смотрит только на монитор. Теперь ProctorEdu обеспечивает и боковой обзор. К системе подключается вторая камера или тот же смартфон.

Еще можно попробовать списывать при помощи удаленного рабочего стола или виртуальной машины. Отследить их с вкладки браузера практически невозможно. Чтобы закрыть эту возможность, в систему добавили интеграцию с Safe Exam Browser.

Это браузер с открытым исходным кодом, который блокирует компьютер на время экзамена. Он не позволяет использовать удаленный рабочий стол, посторонние программы, а также распознает виртуальные машины.

Конечно, и это не панацея. Если постараться, Safe Exam Browser можно обмануть. Еще можно раздобыть скрытые наушники или аппаратный сплиттер для мониторов. Любой алгоритм можно обойти, вопрос лишь в том, сколько усилий для этого потребуется. ProctorEdu делает так, чтобы было проще выучить, чем смухлевать. И наши клиенты подтверждают, что система успешно справляется с этой задачей.

Серверная часть ProctorEdu

Кстати, об архитектуре системы.

Основной компонент ProctorEdu — сервер приложений. Он работает на Node.js и занимается обработкой веб-запросов и веб-сокетных соединений. Сервер приложений связан с базой MongoDB. Там хранятся все данные, не являющиеся бинарными объектами. Для файлов, изображений, записей экзаменов предусмотрено отдельное S3-совместимое объектное хранилище.

Архитектура ProctorEdu включает отдельный сервис под API распознавания лиц и документов, и TURN-сервер для координации WebRTC-подключений между компьютерами участников.

Раньше для видеосвязи использовался медиасервер, через который проходили видеопотоки всех клиентов. Но разработчики быстро поняли, как тяжело приходится онлайн-кинотеатрам: то соединения отваливаются, то данные не передаются, то память переполняется — вечно какие-то сложно диагностируемые проблемы. Когда они перешли на p2p архитектуру, проблемы решились сами собой.

Вся система поддерживает горизонтальное масштабирование. Ее компоненты упакованы в контейнеры. Их можно разбросать по разным физическим серверам и собрать кластерную конфигурацию в режиме мастер-мастер. Тогда нагрузка будет распределяться равномерно.

Обычно ProctorEdu разворачивают на базе одного из российских хостингов, поддерживающих хранение персональных данных, но систему можно запустить и на локальном сервере, как в проекте с МГУ и КРОК.

Требования к железу невысокие: компьютер с восьмиядерным процессором и 8 ГБ оперативной памяти потянет порядка 500 одновременных сессий. Однажды ProctorEdu обслуживала больше 5 тыс. одновременных участников экзамена и понадобилось всего 6 серверов для обработки клиентских запросов.

Человек-паук не поможет сдать экзамен. О том, как не стоит обманывать прокторинг

В 2021 году студенты продолжат обманывать автоматические системы проверки экзаменов. Рассказываем, как они прокололись в разгар пандемии.

Журналист с широким кругом интересов, пишет про бизнес, культуру и международную политику. Сотрудничает с РБК, Republic и «Ножом».

Системы онлайн-прокторинга в России начали развиваться ещё во второй половине 2010-х. Их подключили передовые университеты, такие как ВШЭ и РАНХиГС, а также компании, которые с их помощью проводили удалённые тестирования сотрудников. Во время пандемии спрос на прокторинг вырос в несколько раз — вузам пришлось проводить в онлайне выпускные экзамены и сессии. После победы над COVID-19 потребность в нём неизбежно снизится, однако сервисам есть куда расти: спрос на качественные онлайн-экзамены сохранится и в образовании, и в бизнесе.

Недовольные студенты, столкнувшиеся с прокторингом во время пандемии, рисуют страшные картины дегуманизации образования, в которых их судьбу решают бездушные машины. Однако пока прокторинговые системы далеки от совершенства и за ними присматривают обычные люди, не лишённые сострадания и чувства юмора. Мы попросили сотрудников крупнейшей по выручке российской прокторинговой компании «Экзамус» рассказать о курьёзных случаях из их работы.

Сам по себе термин «проктор» очень старый. Должность проктора появилась в английских университетах ещё в позднем Средневековье. В обязанности прокторов входил контроль за дисциплиной студентов — причём не только на экзаменах, но и во время всего обучения.

Сегодня прокторингом называют технологии, которые позволяют контролировать проведение испытания. В основном это понятие касается онлайн-экзаменов.

На российском рынке прокторинговых систем всего два крупных частных игрока — ProctorEdu и «Экзамус». Кроме того, существуют прокторинговые системы, которые вузы разработали для себя. По оценке РБК, «Экзамус» крупнее — в 2020 году его выручка составила 83 млн, в то время как у главного конкурента — 51 млн. Во время пандемии около 20 российских вузов ввели прокторинг на экзаменах — большинство таких заказов получил именно «Экзамус».

В 2020 году сотрудники «Экзамуса» провели более миллиона экзаменов в России и ещё полмиллиона за рубежом. Выручка выросла в пять раз, но и штат пришлось увеличить в четыре раза.

«Сказать, что мы озолотились во время пандемии, мы не можем. Но мы выросли, вышли на новый уровень, и теперь у нас есть ресурсы для уверенного выхода на международные рынки, на что мы и сделаем акцент в 2021 году», — рассказывает Skillbox Media директор «Экзамуса» по маркетингу Марина Новосёлова.

По словам Новосёловой, вузы, которые заключили с «Экзамусом» контракты ещё до пандемии, продолжают пользоваться его услугами. Новые клиенты, которые пришли в 2020 году, тоже пока остаются с «Экзамусом», однако некоторые из них поговаривают о возвращении к очным формам аттестаций.

В компании уверены, что вступительные экзамены и олимпиады в вузах точно останутся удалёнными. Возможность проводить приёмную кампанию дистанционно позволяет отбирать абитуриентов, которые в других условиях не могли бы приехать на очный экзамен, из разных уголков страны и мира.

У «Экзамуса» есть три прокторинговых режима. В автоматическом система контролирует всё сама, без участия человека; есть опция, когда проктор присутствует только при идентификации сдающих. В асинхронном режиме запись экзамена целиком отсматривает проктор после его завершения. В синхронном он следит за сдачей вместе с системой.

Прокторинговый сервис работает через браузер. Сначала система проверяет камеру, микрофон и рабочий стол пользователя — не ведётся ли запись экрана, а затем идентифицирует сдающего с помощью системы распознавания лиц.

Во время экзамена программа следит за лицом и глазами сдающего — не смотрит ли он куда-то не туда, наблюдает за комнатой — не появится ли там кто-то лишний, ищет посторонние голоса, а также контролирует экран компьютера. Все данные записываются, система регистрирует каждое событие, выбивающееся из протокола, а по итогам экзамена рассчитывает общую вероятность нарушений.

По словам Марины Новосёловой, автоматический прокторинг заказывают крайне редко, а самый востребованный режим — асинхронный. В таком режиме корпорации проводят оценку кандидатов, аттестацию действующих сотрудников, отбор на программы обучения или итоговую оценку знаний после их прохождения.

Основные клиенты «Экзамуса» — крупные университеты. Как правило, они работают по годовой подписке, в которую входит пакет экзаменов. Более мелкие клиенты чаще платят за отдельный экзамен.

Весной 2020 года многие студенты опасались прокторинговых систем. Ходили слухи о том, что они действуют очень жёстко — например, считают нарушением даже продолжительный взгляд в сторону. Многим, особенно первокурсникам, эта паника сильно потрепала нервы.

Студенты вузов рассказали Skillbox Media, что боялись сдавать с прокторингом, однако в итоге панические слухи оказались преувеличением — с несправедливым отношением со стороны прокторов никто не сталкивался. В то же время многие пожаловались на то, что система часто сбоила, — однако такие ситуации решались в пользу студентов.

По словам студента магистратуры ВШЭ, у него и многих однокурсников возникли проблемы с проверкой компьютера и подключением к прокторинговой системе, однако сам экзамен прошёл нормально. В следующий раз система не отправила ответы, и пришлось вмешаться учебному офису.

У студента бакалавриата ВШЭ, который сдавал в «Экзамусе» сессию, не возникло никаких претензий к прокторингу.

«Даже те, у кого появлялись технические сложности, говорили, что университет быстро решил проблему: их просто переводили в Zoom, и они сдавали там».

Другая студентка бакалавриата ВШЭ рассказала, что проблемы у многих её одногруппников и у неё самой начались ещё при регистрации в системе. Во время экзамена у некоторых сервис просто вылетел, и им пришлось пересдавать в резервный день. Те, у кого прокторинг работал нормально, очень переживали из-за того, что и у них он тоже будет сбоить. По словам девушки, это привело к тому, что многие сдали гораздо хуже, чем могли бы.

Студентка ДВФУ пожаловалась, что «Экзамус» сильно снижал качество изображения с камеры, и далеко не у всех получилось сфотографировать паспорт с первого раза. Кроме того, тестирования проходили по московскому времени, и студентам с Дальнего Востока приходилось сдавать в 7–9 часов вечера.

Студентке СПбГУ ошибки прокторинговой системы изрядно помотали нервы — программа увидела нарушения, которых не было.

«Я сидела не шелохнувшись и смотрела исключительно в монитор, чтобы точно было не к чему придраться, но мне за день до пересдачи пришло сообщение о том, что я что-то нарушила, — рассказывает девушка. — Такие же сообщения получили и однокурсники. В итоге учебному отделу пришлось разбираться — но ему удалось решить проблему».

По словам студентки, которая в 2020 году сдавала через «Экзамус» вступительный экзамен в МГЮА, списать было бы не так уж и сложно, так как прокторы тогда ещё не просили показывать комнату (а теперь просят). Действий рук не видно, камера снимала только по грудь. « Если правильно подобрать свет, то твои зрачки и видно не будет, проктор не сможет оценить, куда ты смотришь», — говорит студентка. Главной технической проблемой стало то, что длинную юридическую задачу программа вывела в крошечном окошке и сдающим приходилось много раз прокручивать текст вверх и вниз.

Мы попросили прокторов «Экзамуса» рассказать нам о забавных и курьёзных случаях на своей работе, а также о том, как сдающие пытаются их провести.

Их рассказы производят двойственное впечатление. С одной стороны, некоторых онлайн-формат будто бы раскрепощает, снимает дисциплинарные условности, которые сопутствуют очным экзаменам в строгих кабинетах и аудиториях. С другой стороны, некоторые истории звучат так, будто бы они могли случиться и на обычном экзамене: многие студенческие уловки, ошибки и трагедии кажутся вечными и универсальными.

Чаще всего сдающие пытаются ухудшить качество видеосъёмки, наклеивая скотч или намазывая крем на камеру, сажают рядом с собой людей, которые тихонько (но всё же заметно) нашёптывают ответы. За такое прокторы банят сразу.

Также нередко сдающие пытаются договориться с проктором — например, предложить ему взятку. Они почему-то забывают, что и эти разговоры тоже записываются. В таких случаях прокторы вежливо рекомендуют вернуться к решению теста.

Сотрудники корпораций во время экзаменов нередко подменяют ноутбуки. Запись рабочего стола ведётся с MacOS, а при демонстрации рабочего места сдающий показывает стационарный компьютер или вообще красный ноутбук Lenovo на Windows. Этот момент вычисляется сразу.

Студент утёр нос системе

Однажды студент сдал часовой экзамен за 40 минут, ничем не выделяясь. Но в конце экзамена ему, по словам сотрудника «Экзамуса», захотелось утереть нос системе. Он отклеил шпаргалку от монитора и победоносно продемонстрировал её проктору, сообщив, что списал. Проктор отклонил всю сессию — видимо, сдающий не знал, что это можно сделать в любой момент, пока идёт запись.

Прокторы жалуются, что очень часто сдающие, когда их просят показать комнату, начинают яростно вращать камеру вокруг себя. « Почему-то многим кажется, что это лучший способ показать стол и комнату, хотя для этого совершенно не обязательно разворачивать ноутбук вверх ногами» — говорит проктор.

Мастер над шептунами

Студент, который сдавал в общежитии, рассадил вокруг себя сразу нескольких помощников, которые спрятались от камеры. На все замечания проктора он отвечал, что вокруг никого нет. Когда проктор попросил показать комнату, сдающий подождал, пока все помощники выйдут, и только потом повертел камерой вокруг себя. Затем помощники вновь незаметно проскользнули в комнату и заняли свои позиции. История повторилась дважды — в итоге проктор всё-таки отклонил сессию.

Хитрая схема списывания, которая раскрылась до начала теста

Однажды сдающий и три его помощника разработали целую схему для помощи в решении теста. Проктор рассказал, что они построили хитрую систему передачи сигналов, которая работала с помощью зеркала: спрятавшиеся помощники могли видеть экран и при этом не попадать в камеру. Их план мог сработать, однако они почему-то решили ещё раз обговорить свои действия уже после того, как началась сессия, и сами раскрыли проктору свой замысел.

По словам прокторов, им часто приходится успокаивать расплакавшихся сдающих, которые получили плохую оценку или перенервничали во время экзамена. В таких случаях прокторы рекомендуют сдающему вернуться к решению теста. « В наши обязанности это не входит, но по-человечески их жалко», — говорит сотрудник «Экзамуса».

Несколько раз прокторам удавалось заметить хитрое и аккуратное списывание благодаря тому, что в одной аудитории сдавали сразу несколько человек. Сдающие виртуозно прятались от своей камеры, но их уловки были видны в камерах их соседей. Наблюдал за ними один-единственный проктор, который замечал эти нарушения.

Это любимая история прокторов. Сперва сдающая девушка довольно ловко прятала на столе второй ноутбук. Через некоторое время проктор всё же заметил его и потребовал убрать.

Ещё во время показа рабочего места проктор увидел под столом у девушки лишние ноги. Сдающая сказала, что ему показалось. Её допустили к сдаче экзамена, но через десять минут в кадре вновь появились эти ноги — при этом камера смотрела на лицо и грудь сдающей. Оказалось, что помощник пытался незаметно подобраться к девушке, но двигался по стульям, опираясь на стены руками. Почему он выбрал именно такой путь, а не попытался проскользнуть по полу, где его точно никто бы не увидел, прокторы так и не поняли.

Студент, уснувший на экзамене

Однажды студент уснул прямо во время сдачи теста, и камеры записали его получасовой сон. Прокторы решили, что бедняга слишком сильно вымотался, сдавая сессию, и не стали его будить.

Опекающие родители и миссия проктора

Нередко сотрудники «Экзамуса» с улыбкой наблюдают за сердобольными родителями, которые приносят первокурсникам или школьникам-олимпиадникам чай или еду или помогают показать паспорт.

«Когда мы смотрим на прилежных студентов с особыми возможностями здоровья, — говорит проктор, — но с огромным желанием учиться, или, к примеру, на третьеклассника, который пришёл писать олимпиаду по физике, мы понимаем, зачем всё это и какую важную миссию мы выполняем».

Как подготовить рабочее место

ProctorEdu работает через браузер при помощи супервизор SDK — JavaScript-библиотеки, в которой реализованы алгоритмы машинного обучения.

SDK не требует установки расширений и плагинов. ProctorEdu интегрируется с сервисом онлайн-тестирования при помощи стандарта IMS LTI или нескольких API-команд. Система запускается на странице тестирования и работает параллельно с ним.

Это удобно для пользователей, и браузер с его политикой безопасности дает независимую гарантию того, что данные собираются только во время экзамена.

Конечно, с таким подходом связаны определенные сложности. Разработчики сами наложили на себя ограничения, с которыми теперь вынуждены жить. Например, у системы нет доступа к оборудованию, процессам, окнам и другим ресурсам компьютера. Поэтому тестирование проходит в той же вкладке, где работает прокторинг. Это позволяет отслеживать переключение фокуса на другие вкладки и окна. Есть и нюансы, связанные с архитектурой и нейросетями.

Распознавание лиц в ProctorEdu реализовано при помощи сверточных нейросетей с использованием OpenCV и Dlib. Они регулярно переобучаются на свежесобранных данных. Для детекции лиц используется отдельная модель.

Разработчики с самого начала планировали запустить эти алгоритмы в браузере. Обычно такие задачи решают при помощи компиляции C++ в WebAssembly (Wasm). Считается, что это хорошая практика.

Чисто теоретически Wasm работает быстрее, чем JavaScript сценарий, но на практике выяснилось, что он медленнее, потребляет больше памяти и процессора, весит больше. Только загрузчик такого кода получается от 10 МБ.

Пришлось разрабатывать на JavaScript в несколько итераций. Первые версии были слабенькими и часто ошибались, но со временем команда ProctorEdu добилась стабильной работы и вывела это решение в продакшн.

Получилось быстро и компактно, но через какое-то время Сколтех пожаловался, что система не видит некоторых студентов. Оказалось, что курсы этого института проходит много чернокожих ребят, которые подключаются прямо из Африки, и алгоритм действительно не всегда их замечает.

За время обучения нейронка видела достаточно людей разных рас и возрастов, никто не ожидал возникновения такой проблемы. В конце концов выяснилось, что сетка здесь ни при чем, а дело в засветке. Африка просто слишком солнечная.

Если за спиной студента окно, или он сидит на ярком солнце в белой с иголочки рубашке, камера выставляет экспозицию по самому светлому участку изображения. Черты лица затемняются, сливаются, и алгоритму не с чем работать. Пришлось добавить рекомендации по освещению в инструкцию для участников экзамена.

Сейчас разработчики планируют перенести в браузер и алгоритм распознавания лиц. Пока что модель великовата (20—30 Мбайт с учетом сжатия), это в то время как все SDK весит около 1 мегабайта. Но здесь стоит постараться и найти решение.

Когда все изображения будут распознаваться в браузере, расходы на хостинг сократятся на добрых 30%. К тому же, на сервер будут передаваться только дескрипторы, по которым нельзя восстановить оригинальное изображение, а фото и документы так и останутся на компьютерах пользователей.

Как пытаются обойти прокторинг и как вычислить нарушителей на онлайн-экзамене

Учиться нелегко — неудивительно, что многие пытаются сжульничать при проверке знаний.

Иллюстрация: Addictive Creative / Shutterstock / Freepik / Annie для Skillbox Media

Онлайн-журнал для тех, кто работает или хочет работать в сфере образования. Рассказываем о трендах, теории и полезных практиках.

Аккаунт-менеджер отдела работы с прокторами системы онлайн-прокторинга «Экзамус».

Сдавая тесты и экзамены в онлайне, списывать гораздо проще, чем при очном обучении, когда все участники находятся на виду у преподавателя. Поэтому в университетах и корпоративных академиях сейчас нередко используют прокторинг — систему контроля за соблюдением правил экзамена.

С прокторингом легче выявить нарушения. Но независимо от того, есть прокторинг или нет, учащиеся пытаются обойти правила примерно одинаково. Вот список самых популярных способов жульничества на онлайн-экзаменах с советами по тому, как им противостоять, а также чек-лист, который поможет организаторам подготовиться и уменьшить риски списывания.

Наиболее изощрённые способы обмана самостоятельно распознать, к сожалению, вряд ли получится. А вот самые популярные не так уж сложны, и их вполне можно обнаружить, если просто наблюдать за тестируемыми через веб-камеру.

Как обнаружить. Надо внимательно наблюдать за экзаменуемым и при любых подозрениях просить показать в камеру рабочий стол, а также убрать смартфон в сторону — но так, чтобы проверяющий видел устройство в кадре. Важно понимать, что это не панацея: не исключено, что у тестируемого есть второй смартфон.

Полезно следить за взглядом тестируемого — если он периодически отводит его в сторону, то есть вероятность, что он пользуется дополнительными материалами. Правда, участник, который не отводит взгляд от экрана, тоже может жульничать — некоторые размещают шпаргалки прямо перед монитором или даже прикрепляют их на экран, чтобы не было видно в камеру. Распознать такие хитрости под силу только опытному наблюдателю.

Такая помощь может выглядеть по-разному — от звонка другу с помощью наушника до подсказок от постороннего лица в помещении.

Как обнаружить. Здесь опять же понадобится внимательное наблюдение. Лучше попросить участника экзамена до начала процедуры показать в камеру помещение, в котором он находится, а при возникновении подозрений — повторить это действие во время и после теста. И периодически слушать с помощью микрофона, что происходит в его комнате.

Сюда входят поиск ответов в интернете и использование дополнительных программ на компьютере тестируемого — мессенджеров, в которых он может попросить подсказку у друга, программ для трансляции экрана тестируемого какому-нибудь помощнику, находящемуся в другом помещении, или для удалённого доступа помощника к компьютеру тестируемого (тогда помощник фактически может заполнить тест за человека, который физически находится перед экраном) и так далее.

Как обнаружить. Пожалуй, этот способ обмана распознать сложнее остальных, если у вас нет доступа к трансляции рабочего стола тестируемого. Поэтому советуем просто очень внимательно наблюдать за сдающим, отслеживать направление его взгляда и обращать внимание, набирает ли он какой-то текст на клавиатуре (если тест, например, предусматривает только выбор ответов, а не заполнение полей).

Итак, чтобы снизить вероятность мошенничества во время онлайн-экзамена, надо, чтобы у экзаменуемого были настроены определённые технические средства и прочие условия. Лучше прописать это в ваших правилах прохождения онлайн-экзаменов. Вот что обязательно понадобится:

За несколько минут перед экзаменом или тестом важно попросить участников выполнить следующие действия:

Стоит учитывать, что подобные условия могут вызвать у некоторых участников психологическое сопротивление. Чтобы снизить риск столкнуться с негативом, правила и требования важно донести ясно и корректно. Лучше всего сделать это заранее. Стоит составить форму согласия с условиями тестирования, в которой будут регламентированы все эти моменты, включая последствия нарушения правил (например, аннулирование результатов, если участника заметят за списыванием). Там же стоит подробно указать минимальные технические требования к камере, микрофону, браузеру, скорости соединения, чтобы сдающие знали, к чему готовиться.

Помимо требований к рабочему месту и правил для сдающих, важно обратить внимание на несколько организационных аспектов. Они тоже повысят вероятность того, что тестирование покажет валидные результаты.

Больше интересного про образование — в нашем телеграм-канале.  Подписывайтесь!

Инструкции

Ознакомьтесь с инструкциями перед началом

Инструкция для участника

Ответы на типовые вопросы

Особенности системы

Ключевые особенности системы прокторинга

Автоматическая оценка доверия к результатам тестирования и биометрическая верификации личности.

Поддержка работы прокторинга на мобильных устройствах Android и iOS.

Бесшовная интеграция с системой тестирования, работает в браузере и не требует установки расширений, плагинов и стороннего ПО.

Связь с проктором по видео- и аудиосвязи, чат. Возможность общаться с участником нескольким прокторам одновременно.

Подключение дополнительной мобильной камеры для обзора 360°.

Онлайн наблюдение до 30 участников одновременно на каждого проктора по технологии P2P.

Результаты опросов о необходимости использования онлайн-прокторинга

Недавно компания Pearson опубликовала результаты опроса о необходимости использования подобных систем в образовательных учреждениях при формировании оценок как в течение года, так и на экзаменах. Участвовали около 5000 человек, включая студентов, родителей и примерно 1100 учителей. Результаты приведены в таблице ниже. Левый блок «Formative assessments» предназначен для формирования текущих оценок, правый «Summative assessments» для итоговых.

Несмотря на то, что система прокторинга очень требовательная и бывают разные технические трудности — у нее есть ряд преимуществ. Прокторинг не даст пройти тест без реальных знаний или получить сертификат за другого или несуществующего специалиста. При этом система контроля существенно экономит время и финансовые ресурсы. Экзамен с прокторингом — это единственная альтернатива очного экзамена, которая сохраняет прозрачность и качество самой процедуры.