Экзамены

Привет! Как вы знаете, мы являемся провайдером видеонаблюдения на различных значимых событиях, в том числе и ЕГЭ.

В этом посте мы хотим рассказать про наши платформы видеонаблюдения и видеоаналитики, о том, как устроено наблюдение за экзаменами, какие тут есть сложности и как наш алгоритм помогает выявлять нарушения на экзаменах.

Обычно за ходом экзамена следят специальные люди наблюдатели. Они отмечают на портале видеонаблюдения smotriege.ru подозрительное поведение участников ЕГЭ и передают обнаруженные нарушения на модерацию в Рособрнадзор. Если модераторы считают, что нарушение действительно было, то его передают дальше на отработку в пункт проведения экзаменов (ППЭ). Сотрудники ППЭ проверяют каждое такое обращение и решают, как поступить с нарушителем. Например, удалить с экзамена, если он использовал телефон или шпаргалку.

2020 год не стал исключением, и за государственной аттестацией следили онлайн-наблюдатели. Правда, в этот раз у них был помощник специально обученный алгоритм. Он анализирует последовательность изображений, которые поступают с видеокамер в режиме реального времени или из архивных записей, и находит среди них возможные нарушения: использование шпаргалок, телефона и других девайсов.

Технология видеоаналитики просматривала видеопоток из аудитории в режиме онлайн, а между экзаменами архивные видео из офлайна. Для сравнения: один наблюдатель может следить максимум за четырьмя аудиториями одновременно, а алгоритм может обрабатывать видео из более чем 2000 аудиторий за один экзаменационный день.

Главная цель такой видеоаналитики помогать наблюдателям находить нарушения во время экзамена, обращать внимание на подозрительное поведение участников ЕГЭ во время экзамена и устранять человеческий фактор в процессе наблюдения.

Как работает алгоритм

Технология находит возможное нарушение, фиксирует его в своей памяти и передает сигнал на портал видеонаблюдения. Наблюдатели просматривают уведомление в разделе Потенциальное нарушение. Уведомление представляет собой отрывок видеозаписи, в котором отражается информация о том, в каком ППЭ зафиксирована активность, его аудитория. А красным квадратом выделяется та часть экрана, на которую нужно обратить внимание. Просмотрев отрывок, наблюдатель решает, принять или отклонить нарушение.

Обучение и сложности

Чтобы алгоритм точно распознавал поведение участников ЕГЭ и корректно фиксировала нарушения, его нужно было обучить на большом массиве данных. Что мы и сделали, собрав видеозаписи с уже зарегистрированными нарушениями на экзаменах за 2018-2019 годы.

Процесс обучения состоял из нескольких этапов. На первом видеозаписи прогонялись через алгоритм детектирования людей с использованием нейросети Yolo. В результате получалось видео с маркированными участками, где люди находились в течение долгого времени. Это было нужно, чтобы отсечь преподавателей, которые ходят по коридорам, и т.д. Каждому региону с человеком присваивался идентификатор, и обработанное видео с отмеченными регионами и идентификаторами сохранялось.

Затем это видео просматривал человек, который отмечал как можно более точно моменты начала и конца нарушения (если оно, конечно, было), а также идентификаторы нарушителей. Также сохранялись моменты отсутствия нарушений как примеры нормального поведения, которые тоже нужны для обучения алгоритма. Так мы выявили еще и типичные нарушения использование шпаргалок и телефонов, фотографирование материалов.

Нам очень помогла открытая библиотека OpenPose, которая используется для определения положения людей в кадре, их поз и координат ключевых точек, относящихся к разным частям тела.

В процессе обучения у нас возник ряд сложностей с алгоритмической точки зрения. Во-первых, качество видео. Со многих камер картинка приходит в разрешении 320х240. И в таких случаях различимы только люди, которые находятся непосредственно близко к камере. А вот люди на задних партах превращаются в кучку пикселей, и анализировать поведение, особенно его мелкие нюансы, становится очень сложно.

Во-вторых, ракурс. Видеосъемка проходит с разных ракурсов: спереди, сзади и сбоку. Это усложняет обучение модели, а некоторые нарушения видны либо очень плохо, либо вовсе не видны. В-третьих, из-за отсутствия размеченных датасетов в публичном доступе, возникла необходимость вручную собирать и размечать данные для обучения алгоритма. И в-четвертых, нет четкой грани между нарушением, подозрительным поведением и нормальным поведением. Это осложняет ручную разметку видео и обучение алгоритма.

Результаты и планы

Первая версия алгоритма была построена на использовании RandomForest классификатора, обученного на результатах работы OpenPose. Но у нее был существенный недостаток: большая часть потенциально полезных данных просто выбрасывалась. Например, по ключевым точкам можно определить некоторые жесты и движения, но невозможно увидеть, что у человека в руке ручка или шпаргалка.

Сейчас проводятся исследования по улучшению качества работы алгоритма с использованием нейросетевых технологий Human Activity Recognition, архитектур SlowFast, I3D и C3D. Кроме того, мы работаем над увеличением точности алгоритма, его производительности и удобства эксплуатации. Мы уже расширили датасет и добавили данные за 2020 год это поможет нам существенно увеличить точность алгоритма.

Теперь перед нами стоит задача по ускорению работы алгоритма. О чем мы тоже, скорее всего, расскажем в следующих постах

Иван Левицкий, Salesforce разработчик, DataArt

Привет! Меня зовут Иван, как Salesforce разработчик я успел поработать уже в нескольких аутсорсинговых и аутстаффинговых компаниях, в локальных и распределенных командах, с клиентами из разных стран и индустрий. Соответственно, и потребности у заказчиков различались: одним инфраструктура Salesforce была нужна для внутренних систем, другим для работы с клиентами, третьим для разработки ISV-решений. С июля 2017 года моего первого знакомства с Salesforce я получил девять сертификатов, дважды экзамены мне приходилось пересдавать.

В этой статье я немного расскажу о самом Salesforce, но в основном речь в ней пойдет непосредственно о сертификатах и экзаменах: подготовке и сдаче.

О Salesforce

Немного о самом Salesforce, на случай если вы им предметно еще не интересовались. Это компания и одновременно ее ключевой продукт мировой лидер в области CRM. Но это не все, в Salesforce позиционируют себя как первый Cloud based CRM Solution и очень любят вспоминать термин No Software (даже используют в номере своего телефона 1-800-NO-SOFTWARE). А продукт с самого начала был задуман как SaaS Software as a Service облачная система, очень гибкая в плане настройки, масштабирования и расширения. Salesforce предлагает множество готовых решений для различных областей бизнеса: Sales Cloud, Service Cloud, Experience Cloud (Ex Community Cloud), CPQ, Force.com sites, Marketing B2B (Pardot), B2C clouds и это далеко не полный список.

Даже если вам не приходилось работать с инфраструктурой Salesforce, о новостях компании вы время от времени наверняка слышите: она в разное время поглотила таких IT-гигантов как Slack, Heroku и Tableau, не считая множества игроков поменьше, но также с серьезными именами. Кстати, Salesforce как компанию несколько раз признавали лучшим работодателем США, и на поддержку сообщества клиентов и Salesforce специалистов она тоже тратит значительные ресурсы. Короче говоря Salesforce экосистема в полном смысле слова.

Возможно, как раз ее масштаб в сочетании с четкой структурой и явным разделением продуктов в зависимости от их назначения определяет особое внимание, которое в Salesforce уделяют сертификации тех, кто с этой экосистемой работает. К тому же, сервисы компании стоят дорого, пакетом их выкупают крайне редко. Поэтому бизнес обычно с самого начала хочет нанять не просто Salesforce разработчика, а консультанта, способного решать определенные задачи: работать с тем облаком, на которое у компании есть лицензия.

Для чего вообще нужна сертификация?

Мой личный опыт говорит, что к идее сертификации IT-специалисты в принципе относятся, мягко говоря, неоднозначно. Очень многие программисты на необходимость продолжать формальное образование, сдавать экзамены, проходить аттестации смотрят скептически. Пожалуй, большинство верит только опыту и открыто сомневается, что какая-то бумажка (неважно, физическая или электронная) может служить доказательством наличия у ее обладателя специфических знаний и навыков.

Насколько мне известно, сертификаты высоко ценятся среди:

Project Managerов Project Management Professional Certification (PMP);

Cyber Security специалистов: OSCP, OSCE, CISSP, SANS;

Salesforce специалистов.

Даже у бизнес-аналитиков мнения на этот счет уже значительно расходятся.

Что дает Salesforce сертификация?

Вопрос настолько принципиальный, что я хочу разделить его три части. И дать ответы к каждой из них. Давайте разберемся: для чего она нужна самой компании Salesforce; компании, в которой вы работаете; и наконец, лично вам.

Зачем это нужно Salesforce?

1. Сертификация обеспечивает ему дополнительный доход: допуск к экзамену стоит $ 200 или $ 400 (их очень много и предназначены они для людей разного профессионального уровня). Пересдача обойдется в $ 100 или $ 200, соответственно. Также есть возможность стать Salesforce CTA (Certified Technical Architect) всего за $ 6000 ($ 3000 за пересдачу). Тем не менее, речь здесь идет скорее о самоокупаемости самой системы сертификации, которая требует значительных ресурсов, в том числе человеческих.

2. Налаженная система обучения специалистов, проверки и подтверждения уровня их подготовки позволяет растущему числу клиентов системы легче покрывать спрос на людей, которые будут для них эту систему настраивать и расширять. Что, несомненно, делает Salesforce привлекательным в глазах бизнеса, несмотря на высокую стоимость сервисов.

Для чего это компании, в которой вы работаете?

Если вы работаете в продуктовой компании, ваш работодатель вряд ли заинтересован в том, чтобы вы получали сертификаты Salesforce. Если он, конечно, не занимается разработкой расширения функционала самой системы так называемых ISV.

Зато если ваша компания предоставляет услуги аутсорсинга или аутстаффинга, сертификация сотрудников становится для нее приоритетной.

Почему это так важно?

В Salesforce для аутсорсеров действует партнерская программа. Если не вдаваться в детали: чем солиднее это партнерство, тем больше потенциальных клиентов приходит к ним по рекомендации самого Salesforce. Плюс, чем обширнее связи с Salesforce, тем быстрее будет отвечать Salesforce Support и тем больше ваучеров для бесплатной сертификации, а значит, дальнейшего расширения партнерской программы можно получить. Сертификатами разработчиков могут интересоваться и сами клиенты.

Хорошая новость в том, что в аутсорсинговых и аутстаффинговых компаниях вы можете рассчитывать на оплату сдачи экзамена работодателем. Кстати, о том, кто и как платит за сертификацию, какие именно разделы инфраструктуры чаще осваивают Salesforce специалисты, насколько они востребованы на рынке и довольны карьерой и зарплатой, можно найти в этом исследовании.

Для чего это лично вам?

1. Ваши сертификаты привязаны персонально к вам, а не к компании.

2. Даже если вы скептически относитесь к сертификации, вы все равно согласитесь с тем, что сертификаты характеризуют вас как человека, готового учиться. И все-таки гарантируют, что хотя бы кое-что по теме вы знаете.

3. Исходя из вышесказанного, сертификаты пригодятся вам при пересмотре компенсации или будущем трудоустройстве. Тем более, клиенты аутсорсинговых компаний могут требовать их наличия, а сертифицированные Salesforce разработчики всегда в дефиците.

Я уже молчу о возможности потешить свое эго, распечатав и повесив сертификаты на видном месте. Что вы, лично я так никогда не делал! Но в целом система ачивок, бейджей и титулов в Salesforce настроена здорово, и участвовать в настолько геймифицированном процессе приятно.

С чего начать?

Начинать однозначно стоит с регистрации бесплатной Dev org. Здесь вы будете экспериментировать с Salesforce.

Далее нужно ознакомиться со списком всех специальностей, работающих с Salesforce, и выбрать для себя наиболее подходящую. Так называемый Career Path вы можете посмотреть здесь.

Salesforce Certification Paths

Определившись со специальностью, выберите сертификат, который хотели бы получить первым. Для этого еще раз посмотрите на схему возможных путей профессионального развития.

Для большинства специальностей первым станет сертификат Salesforce Certified Administrator, хотя некоторые вначале сдают экзамен на право называться Salesforce Certified Platform App Builder. Последний включает в себя более обширный набор навыков, и подготовка занимает немного больше времени. Но в целом сертификаты Administrator и App Builder заметно пересекаются, поэтому лучше сдавать их почти одновременно, чтобы не повторять теорию лишний раз.

Очень часто наличие сертификата Salesforce Certified Administrator обязательное условие для допуска к другим экзаменам. Прежде всего тем, которые предназначены для консультантов. Для администраторов и Marketing Cloud Email специалистов Salesforce предусматривает пробные экзамены стоимостью $20. Их успешная сдача не гарантирует успешного прохождения реального испытания, зато помогает выявить собственные слабые стороны, а если таких не находится укрепляет уверенность в себе.

Как подготовиться к Salesforce экзамену?

1. Выбрав сертификат, на который хотите сдавать, убедитесь, что у вас соблюдены все условия допуска к нему. Некоторые сертификаты таких условий не имеют, но проверить стоит в любом случае.

Сделать это можно при регистрации на экзамен на сайте Webassesor.

2. Не менее важный момент настрой. Причем не на победу: вы должны быть морально готовы к неудаче, особенно если это ваш первый опыт Salesforce экзамена. Сдать его с первой попытки не удается очень многим, так что это не трагедия, а скорее норма. Это не экзамен в школе, институте или университете: в любом случае вас не уволят и даже ругать никто не станет.

Немного успокоительного пересдача обойдется дешевле. Еще $ 40 скидки сможете получить, посетив вебинары серии Certification Days. Больше информации здесь, только учтите, что скидки не суммируются.

3. Составьте план подготовки к экзамену. Занятиям рекомендует уделить не менее месяца, особенно, если речь о первом знакомстве с Salesforce.

4. Как только план готов, пора регистрироваться на экзамен. Без дедлайна ваши планы это просто планы. Даже если вы не успеете подготовиться к выбранному вами дню, за 72 часа до сдачи сможете перенести ее на более поздний срок бесплатно. Только не откладывайте решение на последний момент, иначе за изменение даты придется доплатить еще $ 75.

5. Действуйте.

Рекомендации по подготовке

Выбирайте сертификат, который вам действительно интересен или наверняка пригодится в работе, это станет дополнительной мотивацией. Со мной ее отсутствие сыграло злую шутку: мне пришлось два раза пересдавать экзамены только потому, что я не до конца понимал, для чего мне нужен конкретный сертификат.

Разделите весь процесс подготовки на пять этапов.

1-й этап (особенно важный, если у вас нет практического опыта) ознакомление с Trailhead, официальной платформой для изучения Salesforce. Начинать стоит с trailов, в названии которых есть словосочетания "Quick Start" или "Quick Look". В качестве самого первого рекомендую этот Trailhead: Quick Look (5 mins).

2-й этап знакомство с описанием экзамена. Его можно найти здесь: выберете роль и соответствующий экзамен.

3-й этап выбор хорошей книги или видеокурса (часто бесплатного) по экзамену который вас заинтересовал. Trailhead правильное начало, но его недостаточно для прохождения испытания. С книгой или курсом работать значительно проще, чем искать информацию по каждой теме экзамена статьи в блогах или официальной документации. К тому же, от основной цели это не отвлекает.

4-й этап подготовка к экзамену по принципу 3-4-5. Не пытайтесь понять все и сразу, подходите к каждой теме итеративно. Представьте, что это обычный экзамен, только в роли экзаменатора на нем выступаете вы. Самостоятельно оценивайте свои знания по конкретным темам по шкале от 3 до 5. Будем оптимистами оценки 1 и 2 в расчет брать не будем.

Например, не стоит досконально изучать тему, если пока знаете ее на тройку. Также разумно уделить больше времени темам, которые имеют больший вес, т. е. вопросы по ним будут чаще попадаться вам на экзамене.

5-й этап повторение. Обязательно пройдитесь по тому, что знаете хуже всего.

Бонусы:

Найдите коллегу, который уже сдал такой же экзамен. Попросите дать вам наставления.

Найдите базы вопросов по вашему сертификату. Двух-трех будет более чем достаточно, тем более, вопросы в них будут пересекаться. Никогда не покупайте платные дампы. В лучшем случае получите то, что и так нашлось бы в открытом доступе.

И да, слишком надеяться на эти базы не советую. Во-первых, нет гарантии, что ответы, которые вы нашли, верные. Во-вторых их использование обесценивает сам экзамен. Для чего же я вообще рекомендую их искать? Можно сколь угодно хорошо знать теорию, но оказаться не готовым к заковыристым формулировкам вопросов. Только поэтому с типичными заданиями имеет смысл ознакомиться. Ни в коем случае не заучивайте вопросы и ответы на них!

Полезные ссылки:

https://quizlet.com/ просто вбейте в строку поиска нужный вам экзамен;

https://t.me/SalesforceA группа в Telegram, где бесплатно выкладывают обновленные дампы Salesforce экзаменов;

https://focusonforce.com/ здесь есть все: теория, практика и объяснения каждого ответа. Сайт платный, но он того стоит.

На экзамене

В тесте будет 65 вопросов, пять из которых не влияют на результат они здесь для обкатки. Засчитывать или не засчитывать ответы на них, скорее всего, начнут уже при следующем Salesforce релизе. Зачем вам это знать? Если вы очень беспокоитесь о некоторых ответах постарайтесь убедить себя, что они относятся как раз к такой пятерке пробных вопросов. Наверное, в будущем их формулировки откорректируют.

Без паники. Salesforce клиентоориентированная компания, а вам повезло выступать в роли ее клиента. Что бы ни произошло, любая спорная ситуация, скорее всего, разрешится в вашу пользу. У меня есть опыт довольно стрессовых сдач Salesforce экзаменов (выключили электричество, экзаменационная программа зависла), но в каждом случае мне шли навстречу.

Распределите отведенное вам время. Не зацикливайтесь на сложном вопросе, у вас таких еще 64. Отложите его на потом.

Если не знаете ответа постарайтесь найти его методом исключения. Или положитесь на интуицию: это не мистика. а всего лишь не систематизированные знания.

Не оставляйте без ответа ни одного вопроса. Даже если метод исключения не помог, а интуиция молчит, шансы просто угадать правильный вариант достаточно высоки.

Прежде чем окончательно отправить ответы на проверку, обязательно пройдитесь по ним еще раз самостоятельно.

Всегда делитесь опытом с коллегами, даже если опыт отрицательный. Для кого-то он может оказаться спасательным кругом, для вас лично рассказ о нем даст возможность проанализировать ошибки и сделать правильные выводы.

Послесловие

Как бы банально это ни звучало, всегда верьте в себя. Без поражений не почувствовать настоящего вкуса победы, если таким поражением оказался несданный экзамен по Salesforce победа не за горами.

Пусть небо над вами всегда остается безоблачным. Точнее, почти всегда. Пускай тучка с логотипа Salesforce будет той единственной, которую так ждешь в особенно жаркий день.

Удачи на экзаменах!

В начале года у меня был разговор с моим хорошим другом студентом одного московского вуза, он рассказал, как в условиях карантина и массовой удаленки ему приходится сдавать экзамены. Я узнал новое для себя слово "прокторинг". Естественно, как человек любопытный, сразу же после беседы полез смотреть, что это за чудо-юдо такое.

Итак, для тех, кому лень гуглить: прокторинг - это наблюдение за экзаменуемым, для предотвращения списывания. К слову следует сказать прокторинг применяется и при обычных экзаменах. Когда у профессора нет желания и возможности тратить время на контроль списывания, и он приглашает на экзамен, либо аспиранта, которому доверяет либо сотрудника кафедры. Оказывается, западных университетах существует такая профессия проктор это специально обученный человек, который натренирован на то чтобы следить чтобы экзаменуемые не могли воспользоваться каким-либо преимуществом, которое не положено по условию экзамена.

Но в сегодняшних условиях уже несколько месяцев студенты учатся дистанционно, и сессию в большинстве вузов не отменяли экзаменуемый сидит перед веб-камерой, а проктор наблюдает за ним. Одновременно этот человек видит, что у студента на экране компьютера. Если проктору что-то не нравится в поведении экзаменуемого, он выносит ему предупреждение или даже прерывает экзамен.

Если вы думаете, что поскольку я уже не студент и меня не коснется, не спешите закрывать статью. Прокторинг применяется при сертификации, при прохождении корпоративных курсов. А в связи с переводом их в онлайн формат, даже после снятия эпидемиологических ограничений большинство экзаменов будет переведено в онлайн формат, поскольку это экономически выгодно. Кроме того, системы прокторинга будут применятся в компаниях, которые проводят регулярное обучение сотрудников и тестирование для повышения квалификации или приема на работу.

Дисклеймер: Во всех олимпиадах и сертификациях, в которых мы приняли участие, мы написали организаторам и честно признались, что применяли средства обхода прокторинга и просили исключить нас из списка победителей. Поскольку нашей целью было не выиграть олимпиаду, а обойти прокторинг, а там, где мы удостоверились, что это сделать удалось, мы прекращали сами дальнейшие участие. Мы мне принимали участие во вступительных экзаменах в ВУЗ. А сдача сессионных экзаменов лежит на совести студентов, все они были предупреждены что нарушают правила, а мы оказывали только техническую поддержку.

И так в чем заключается онлайн прокторинг? В основе своей это наблюдение за экзаменуемым посредством WEB камеры; контроль звуков в комнате экзаменуемого; и контроль экрана монитора.

Что теоретически может контролироваться с помощью WEB камеры: аномалии в направлении взгляда; закрытие части лица; наличие других лиц в кадре; обнаружение вторичных гаджетов; обнаружение книг и заметок; обнаружение невербальной коммуникации; обнаружение калькулятора (если это не разрешено).

Что теоретически может контролироваться с помощью микрофона: обнаружение человеческого голоса; обнаружение шелеста бумаги.

Контроль экрана монитора обеспечивает - обнаружение переключения монитора; обнаружение широковещательного ПО; обнаружение переключения вкладок в браузере; обнаружение сторонних алгоритмов. При этом часто визуально контролируется панель задач системное время на панели задач, иногда с точностью до секунды, вкладки в браузере, пару раз попросили продемонстрировать диспетчер задач и диспетчер устройств. Но некоторое ПО для прокторинга может мониторить процессы сетевую активность и другие параметры компьютера, но об этом позже.

Прокторинг может проводится непосредственно под контролем присутствием человека это называется синхронный прокторинг. В полуавтоматическом режиме, когда система сама идентифицирует экзаменуемого и фиксирует возможные нарушения, а затем проктор подтверждает или опровергает предположения системы. И автоматический прокторинг, когда контроль и принятие решений обеспечивает система. Еще есть так называемый пост прокторинг, это когда ведётся запись всех активностей во время экзамена и уже затем, просматривается проктором.

Для нас это стало вызовом, сможем ли мы обойти организационные и технические ограничения прокторинга. Первое к чему мы приступили это детальное изучения правил прокторинга. И исходя из правил вырабатывали стратегию поведения. Местами они отличались в основе своей их можно было свести к следующим пунктам.

• обеспечить необходимые условия для работы системы прокторинга, в том числе в соответствии с рекомендациями к подготовке рабочего места; Освещенность и чистый рабочий стол.

• использовать для идентификации оригинал документа, удостоверяющий личность;

• не покидать зону видимости веб-камеры во время выполнения заданий;

• при выполнении заданий экзаменуемый по требованию проктора обязуется расположить камеру так, чтобы обеспечить видимость любого места в комнате;

• в случае отсутствия технической возможности для реализации вышеуказанного пункта (например, недостаточный угол обзора видеокамеры, встроенной в ноутбук или монитор компьютера) экзаменуемый по требованию проктора обязан показывать лист с решением задания по запросу проктора во время проведения экзамена;

• не отключать микрофон и не снижать его уровень чувствительности к звуку во время тестирования;

• использовать только одно средство вывода изображения (монитор), одну клавиатуру, одну компьютерную мышь;

• участник олимпиады не имеет права предоставлять доступ к компьютеру посторонним лицам во время выполнения заданий заключительного этапа, в том числе посредствам программ для удаленного управления компьютером, вступать в разговоры с третьими лицами, открывать другие вкладки браузера, использовать справочные материалы (книги, записи и т.д.), любые гаджеты (мобильные телефоны, пейджеры, планшеты, умные часы и т.д.), наушники, дополнительные мониторы и компьютерную технику;

• не использовать средства виртуализации;

• не проговаривать вопросы и задания вслух с уровнем громкости обеспечивающим возможность третьим лицам услышать текст заданий/вопросов;

• выполнять инструкции проктора;

• немедленно сообщить Проктору о нарушениях правил, произошедших не по вине экзаменатора.

Как видно большинство требований обеспечивается добросовестностью экзаменуемого и трудно проверить их выполнение, поэтому все держится на нашей совести.

Некоторые организации не желали тратить деньги на системы прокторинга и пытались обеспечить контроль посредством систем видео связи Skype или Zoom, некоторые обеспечивали пост прокторинг просили прислать видеофайл с записью экрана и web камеры программой захвата экрана и веб камеры.

Был случай, когда задания были направлены на почтовый ящик экзаменуемого, их под видео в Skype необходимо было скачать решить отсканировать и направить организаторам экзамена. Запись монитора компьютера при этом не велась, но требовалось установить камеру чтобы было видно экзаменуемого, письменный стол, и по возможности экран компьютера. Мы во время экзамена вошли на почтовый ящик экзаменуемого выполнили решения, отсканировали его своим сканером, а потом положили наши сканы в расшаренную папку на компьютер экзаменуемого. Он сделал вид что отсканировал свою работу на своем сканере, а отправил наши уже загруженные сканы. Поскольку контроль почерка не проводился за эту работу мы получили 100 из 100 условных балов. Кода мы связывались с организаторами пытались объяснить, как обошли контроль, было видно, что они нас даже не понимали.

Очень часто прокторинг обеспечивался следующим образом сайт, на котором демонстрируются задания, и браузер просят включить демонстрацию экрана доступ к веб камере и микрофону.

В данном случае нам необходимо было получить задания, которые демонстрировались экзаменуемому. Мы делали скриншоты экрана каждые 10 сек в расшаренную папку, для этого написали простое приложение, которое не видно не в панели задач не в диспетчере задач. Виден процесс, название которого не чем не выделяется. Отследить факт снятия скриншота достаточно сложно, а запретить практически невозможно, тем боле что его можно делать на уровне драйвера. Или воспользоваться картой захвата.

Необходимо было организовать канал обратной связи использовать микронаушник не очень хотелось поскольку мы посчитали неспортивным. Мы обнаружили что чувствительность нашего микрофона недостаточно хороша чтобы определить некоторые низкочастотные звуки, но при этом проходит все необходимые проверки. Поигравшись чувствительностью микрофона и АЧХ колонки, мы добились того что смогли передать и воспроизвести низкочастотный звук различаемый экзаменуемым, но при этом не фиксируемый микрофоном. Звук при этом так себе, но можно разобрать концепцию решения задачи. Для коммуникации экзаменуемого с помощником использовали обычный беспроводной дверной звонок. Что позволяло коммуницировать в режиме да/нет.

Излишние требования к прокторингу затрудняют работу самих организаторов. Показательным примером была олимпиада по информатике университета одного IT университета. Необходимо было вести запись рабочего экрана и с двух камер с помощью программы OBS. Причем перед началом экзамена необходимо было продемонстрировать подключенное оборудование разрешение монитора и потвердеть то что подключен один монитор, продемонстрировать диспетчер задач. Организаторы потребовали, чтобы время в панели чтобы во время записи панель задач не скрывалась, а системное время показывалось с точностью до секунды, для этого пришлось править реестр. Затем необходимо было этот видео файл размером более 5-6 ГБ загрузить на облачное хранилище и ссылку отправить организаторам. При этом необходимо было подключаться через Zoom, в Zoomе выбрать виртуальную камеру OBS которая передавала видеопоток с двух web камер и захвата экрана. Это вызвало кучу головной боли у организаторов, поскольку настройки программы OBS и правка реестра вызывала огромные проблемы у пользователей несмотря на подробную инструкцию.

Поскольку в ходе олимпиады необходимо было писать код. А человек, который учавствовал не то что не умел программировать он даже печатать нормально не умел. Необходимо было расширить функционал нашего приложения. Суть его заключалась в следующем. Мы, анализируя задания получение со скринов писали код программки в обычный текстовый файл. Затем загружали его в папку на компьютере экзаменуемого. Программка отслеживала нажатия клавиш и в случае комбинации трех заранее выбранных клавиш. Считывала этот файл, а затем по нажатию любой клавиши на клавиатуре выводила на экран нужный символ. От экзаменуемого в данный момент требовалось в лучших традициях голливудских фильмов про хакеров, просто нажимать кнопки на клавиатуре как на пианино. По признанию самого экзаменуемого, самое сложное было в тот момент сдержать улыбку и держать poker face. В данной олимпиаде мы вошли в топ 5 лучших после чего опять написали организаторам, и все рассказали. На удивление в данном случае нас выслушали с особым вниманием и обещали принять меры.

Стоит сказать, что не всегда удавалось найти понимание. Некоторым очень не нравилось, что их обманули, некоторых случаях нас обвиняли в мошенничестве и обещали пожаловаться в правоохранительные органы.

Далее мы столкнулись с системой examus или Экзамус на данный момент это самая совершенная система прокторинга. Но ее использование вызывает кучу вопросов. Сама система представляет собой расширение, для браузера которое требует доступ к камере микрофону, может вести запись экрана. Анализирует запушённые приложения, подключенное оборудование историю браузера и историю поиска. И требует отключить антивирус на компьютере. По их заявлениям они обладают достаточно серьезными возможностями ИИ для анализа поведения экзаменуемого, анализа его клавиатурного почерка, экзаменуемого и планируют контролировать пульс ЭКГ и другие биометрические параметры. Система требует прав администратора в системе и может залезть куда угодно на компьютере. Она собирает обрабатывает кучу персональных данных.

Следует отметить что examus является закрытой системой нигде не публиковался аудит кода и ее истинные возможности и методы контроля. И даже для ВУЗов не раскрываются ее полный функционал.

Отдельный вопрос вызывает документ о политике приватности программы, в котором содержится абстрактный пункт о возможности передавать личную информацию при заключении коммерческой сделки

Студенты ВШЭ выражали претензии, публично заявив о недоверии к ней, и направив ректору просьбу пересмотреть решение об экзаменации через систему Экзамус. Их недовольство спровоцировали стандарты проведения экзамена и вседозволенность программы. Студентам удалось выйти на связь с директором Экзамуса. Хотя он и ответил на вопросы, его комментарии почти не внесли ясности. Мониторинг ранее открытых сайтов объяснялся необходимым "для статистики и повышения эффективности работы сайта", а пункт о личных данных оказался якобы обычной практикой IT-компаний, и необходим из-за обязанности передавать данные в правоохранительные органы.

Поскольку в данном случае это были не олимпиады, а сессионные экзамены и за попытку списывания у студента могли бы быть серьезные проблемы. К вопросу подошли максимально серьезно. Мы поставили себя на место прокторов и думали, как и что бы мы контролировали в системе.

Было принято решение не использовать виртуальную машину поскольку программе достаточно легко определить, что она запущенна в виртуальной среде. Так же приняли решение проводить тестирование на чистой только что установленной ОС и после экзамена откатывать ОС к изначальному состоянию.

Поскольку система скорее всего реализует функцию keylogger, было принято решение отказаться от трюка с клавиатурой. Мы использовали 2 одинаковые радио клавиатуры и мыши, а система видела только радио модуль, а радио модуль реагировал на обе клавиатуры, можно было в соседней комнате набирать текст. Все файлы скриншоты шифровались внутри программки и максимально пережимались и отправлялись на локальный сервер через https со стороны что система общается с роутером. Программка была максимально замаскирована под системное приложение. В этом году мониторинг биоактивности в этом году не проводился. Но мы относимся этим заявлениям максимально серьезно.

В итоге мы успешно сдали все сессионные экзамены в нескольких вузах.

Так же мы без особых проблем прошли прокторинг при Сертификация по Яндекс.Директу. но там система не определяла вообще ни чего и можно было спокойно пользоваться программами удаленного доступа.

Выводы

В интернете очень большое количество маркетинговых статей о том, что прокторинг спасение от списывания, которые ни имеют ничего общего с действительностью если экзаменуемый достаточно заинтересован в успешном результате он сможет обойти практически любую систему.

Для студента данная система добавляет просто огромное количество стресса, помимо самого экзамена заставляет переживать за интернет соединение, работу компьютера, вдруг он посмотрел в окно почесал за ухом, и система приняла это за попытку коммуникации.

Данные системы будут дальше развиваться и применяться поскольку это существенно дешевле чем реальные экзамены.

Я даже боюсь представить каково это сдавать экзамен под детектором лжи.

Планы на будущее

• Попробовать применить IP KVM, мы хотели его попробовать сразу, но не успели заказать и оттестировать.

• Раздобыть карту захвата, которая не определяется системой и позволяет добавить в видеопоток на монитор собственную информацию попробуем реализовать технологию picture by picture.

• Будем разрабатывать собственную клавиатуру, которая бы позволяла обеспечить подключение других систем.

• Будем думать, как можно будет подделывать информацию с датчиков ЭКГ и пульса.

Все имена изменены все совпадения случайны.

Разбираем детали части Reading вместе!

Обновленный формат теста TOEFL ibt (изменения 2019 года) стал короче и легче.

Сейчас часть Чтение в TOEFL состоит из 3-4 текстов.

Каждый текст размером примерно 700 слов.

Программа автоматически задает 10 вопросов к каждому тексту.

У сдающих есть от 54 до 72 минут, чтобы справится со всеми вопросами в части Reading.

А теперь закончим с теорией и энергично перейдём к практике.

Навык # 1 для Чтения: Reading Factual Information and Negative Factual Information
Здесь вам нужно чётко и ясно для себя ответить, какая информация в абзацах

important
relevant
credible

+ Какие факты представлены в абзацах?
+ Есть ли эта информация в тексте?
+ Противоречат ли утверждения в вопросе утверждениям в тексте?

Не выбирайте вариант ответа, только если там:

! есть похожие или такие же слова
! есть похожие или такие же выражения

Факты, факты и только факты


Навык # 2 для Чтения: Reading Inference and Rhetorical Purpose Questions
Здесь вам нужно чётко и ясно для себя ответить, какая информация в абзацах

связана с ключевой идеей
ссылается на ключевые и побочные идеи
критически необходима для понимания текста

+ Какую информацию можно отнести к первому абзацу?
+ Какое упоминание можно связать со вторым абзацем?
+ Какие упоминания можно связать с целью текста, введением и заключением?

! Задумайтесь, что именно вас спрашивают в этом вопросе?
! Цель вопроса? Цель текста? Цель автора?

Критическое мышление must-have

Навык # 3 для Чтения: Reading Insert Text Question
Здесь вам нужно чётко и ясно для себя ответить, какие существительные:

+ Singular Tantum Uncountable
+ Plurale Tantum Uncountable
+ Gender-Inclusive Nouns
+ Gender-Exclusive Nouns

! Важно понимать различия местоимений:

_ This/these
_ That/those
_ They/them
_ Him/her
_ He/she/it
_ Which

И соответственно, уметь логически, дедуктивно и индуктивно мыслить, и определять, какие существительные с какими местоимениями связаны.

Логика, только логика

Навык # 4 для Чтения: Reading Vocabulary Question
Один из самых лёгких моментов TOEFL IBT.

Чтобы блестяще справится с этими вопросами при прохождении части Чтение, нужно:

знать самые известные латинские корни
знать самые известные греческие корни
знать самые известные латинские и греческие приставки
знать самые известные латинские и греческие суффиксы
понимать самую известную английскую научно-популярную лексику

Читать, читать, читать и никаких гвоздей!

Навык # 5 для Чтения: Reading Sentence Simplification
Ещё один простейщий момент на TOEFL IBT.

Здесь нужно уметь:
перефразировать

Нужно знать:
английские антонимы, синонимы
английские отрицательные суффиксы и приставки

Есть еще много важных моментов для успешного прохождения части Reading на TOEFL ibt, но основное, что нужно знать:

1) Неправильные варианты ответа будут искажать информацию текста или будут упоминать несущественные детали, которые в целом не важны для понимания представленной информации

2) Вы должны быть уверены, что выбранные вами варианты ответа 100% верны

3) Если вы не уверены, что выбранные варианты ответа 100% верны, выберите те, которые отражают критические важные детали текста и не упускают необходимой информации.

Дерзайте! Вы сдадите TOEFL ibt на 120 баллов из 120, я верю в ВАС!
Искренне Ваша, Ольга Берельковская.