Русский
Русский
English
Статистика
Реклама

Прокторинг

Прокторинг на стероидах, или как контролировать онлайн-экзамены

20.04.2021 10:21:38 | Автор: admin

Недавно ProctorEdu и КРОК запустили систему для контроля онлайн-тестирования на экономическом факультете МГУ. Она помогает наблюдать за студентами, которые сдают экзамен.

Эта система подсвечивает нарушения, подсказывает, на кого и на что обратить внимание. В результате один преподаватель может контролировать разом несколько десятков студентов, сидящих у себя дома.

Такой подход к онлайн-обучению, прокторинг, первыми внедрили Coursera и Udemy. Разработчики ProctorEdu задумали собственную систему прокторинга в 2016 году именно для учебных заведений, но вскоре поняли, что она способна решать другие, более серьезные задачи.

В конце концов, многие хотя бы раз в жизни списывали в школе или вузе, и мир до сих пор не рухнул, но в некоторых ситуациях жульничество на экзаменах приводит к серьезным последствиям.

Взять тестирование на знание основ информационной безопасности. Сотрудники уязвимое звено в защите любой компании, и было бы действительно здорово, если бы все они выучили базовые меры предосторожности. Возможно, тогда бы Uber не оштрафовали на $1.2 млн. за утечку персональных данных, и не произошло скандала со взломом Twitter.

А ведь есть ответственная и опасная работа, где от знания должностных инструкций и техники безопасности зависят жизни людей.

Примеров много: от управления поездом до вахты на буровой платформе в открытом море. Это не говоря об экстремальных ситуациях, когда раздумывать просто некогда и нужны готовые, заученные решения.

Как правило, во всех этих сферах сотрудников регулярно обучают, тестируют и аттестуют, но часто это воспринимается, как формальность. К тому же, при популярных сейчас онлайн-экзаменах контролировать соблюдение правил довольно сложно.

Конечно, можно приставить к каждому участнику по проктору, следящему за соблюдением регламента из объектива веб-камеры, но чтобы всерьез протестировать персонал крупной компании за разумные сроки, потребуется целый взвод наблюдателей.

Разработчики ProctorEdu решают эту проблему при помощи нейронных сетей и нескольких десятков других алгоритмов, которые распознают нарушения по набору настраиваемых параметров.

Как это работает

Во время экзамена ProctorEdu ведет запись с камеры, микрофона и экрана компьютера.

Система отслеживает, кто находится в кадре: сравнивает человека с фотографией, сделанной перед началом тестирования, или со сканом паспорта, загруженного перед экзаменом.

Она проверяет, куда смотрит участник, нет ли в кадре других людей, и не говорит ли кто-то поблизости. Кроме того, ProctorEdu следит за тем, чтобы браузер был развернут на весь экран, детектирует переключение на другие окна и подключение дополнительных мониторов, периодически проверяет состояние сетевого подключения. Система собирает статистику по часто используемым диграфам и с ее помощью отслеживает манеру набора текста на клавиатуре.

Обычно, когда алгоритм фиксирует нарушения, например, теряет человека из виду, система сначала выводит на экран предупреждение. Если участник не реагирует, ProctorEdu приостанавливает тестирование, до тех пор, пока он не исправится. При этом делается отметка о нарушении регламента, к которой можно вернуться позже при просмотре видеозаписи экзамена.

На основе нарушений по формуле рассчитывается рейтинг достоверности результатов экзамена.

E [0, 100] оценка доверия (если E < 0, то E = 0), xk усредненное за сеанс значение метрики k, wk весовой коэффициент метрики k, M {b1,b2,c1,c2,...} метрикиE [0, 100] оценка доверия (если E < 0, то E = 0), xk усредненное за сеанс значение метрики k, wk весовой коэффициент метрики k, M {b1,b2,c1,c2,...} метрики

Оценка доверия базируется на всех метриках, которые отслеживает система (если они включены в настройках конкретного экзамена) и весовых коэффициентах, которые подобраны опытным путем. Оценка показывает суммарный средний процент нарушений за весь сеанс.

Протокол сеанса в PDF-форматеПротокол сеанса в PDF-формате

ProctorEdu может работать в полностью автоматическом режиме, передавать рейтинг в систему тестирования, которая аннулирует результаты с низким рейтингом достоверности. Но для большей объективности обычно приглашают живого проктора. Он может просматривать записи участников с низким рейтингом доверия уже после экзамена, а может участвовать в нем с самого начала.

В таком сценарии проктор может эффективно контролировать до 30 участников. Ему практически не нужно вмешиваться в ход экзамена. Система сообщает о нарушениях в реальном времени и подсказывает, на кого из подопечных обратить внимание.

Проктор может развернуть видео на весь экран и приглядеться к происходящему, объяснить участнику, что тот делает не так, предупредить о нарушении, приостановить или досрочно завершить экзамен.

Такая технологическая поддержка облегчает работу проктора, ускоряет проведение онлайн-экзаменов и аттестаций и позволяет сохранить высокую достоверность результатов.

Ограничения браузера и детекция лиц

Запись камеры и экрана, распознавание лиц, логирование клавиатуры Это звучит не секьюрно, поэтому разработчики ProctorEdu сознательно отказались от идеи устанавливать свое ПО на компьютеры участников экзамена.

ProctorEdu работает через браузер при помощи супервизор SDK JavaScript-библиотеки, в которой реализованы алгоритмы машинного обучения.

SDK не требует установки расширений и плагинов. ProctorEdu интегрируется с сервисом онлайн-тестирования при помощи стандарта IMS LTI или нескольких API-команд. Система запускается на странице тестирования и работает параллельно с ним.

Это удобно для пользователей, и браузер с его политикой безопасности дает независимую гарантию того, что данные собираются только во время экзамена.

Конечно, с таким подходом связаны определенные сложности. Разработчики сами наложили на себя ограничения, с которыми теперь вынуждены жить. Например, у системы нет доступа к оборудованию, процессам, окнам и другим ресурсам компьютера. Поэтому тестирование проходит в той же вкладке, где работает прокторинг. Это позволяет отслеживать переключение фокуса на другие вкладки и окна. Есть и нюансы, связанные с архитектурой и нейросетями.

Распознавание лиц в ProctorEdu реализовано при помощи сверточных нейросетей с использованием OpenCV и Dlib. Они регулярно переобучаются на свежесобранных данных. Для детекции лиц используется отдельная модель.

Разработчики с самого начала планировали запустить эти алгоритмы в браузере. Обычно такие задачи решают при помощи компиляции C++ в WebAssembly (Wasm). Считается, что это хорошая практика.

Чисто теоретически Wasm работает быстрее, чем JavaScript сценарий, но на практике выяснилось, что он медленнее, потребляет больше памяти и процессора, весит больше. Только загрузчик такого кода получается от 10 МБ.

Пришлось разрабатывать на JavaScript в несколько итераций. Первые версии были слабенькими и часто ошибались, но со временем команда ProctorEdu добилась стабильной работы и вывела это решение в продакшн.

Получилось быстро и компактно, но через какое-то время Сколтех пожаловался, что система не видит некоторых студентов. Оказалось, что курсы этого института проходит много чернокожих ребят, которые подключаются прямо из Африки, и алгоритм действительно не всегда их замечает.

За время обучения нейронка видела достаточно людей разных рас и возрастов, никто не ожидал возникновения такой проблемы. В конце концов выяснилось, что сетка здесь ни при чем, а дело в засветке. Африка просто слишком солнечная.

Если за спиной студента окно, или он сидит на ярком солнце в белой с иголочки рубашке, камера выставляет экспозицию по самому светлому участку изображения. Черты лица затемняются, сливаются, и алгоритму не с чем работать. Пришлось добавить рекомендации по освещению в инструкцию для участников экзамена.

Сейчас разработчики планируют перенести в браузер и алгоритм распознавания лиц. Пока что модель великовата (2030 Мбайт с учетом сжатия), это в то время как все SDK весит около 1 мегабайта. Но здесь стоит постараться и найти решение.

Когда все изображения будут распознаваться в браузере, расходы на хостинг сократятся на добрых 30%. К тому же, на сервер будут передаваться только дескрипторы, по которым нельзя восстановить оригинальное изображение, а фото и документы так и останутся на компьютерах пользователей.

Серверная часть ProctorEdu

Кстати, об архитектуре системы.

Основной компонент ProctorEdu сервер приложений. Он работает на Node.js и занимается обработкой веб-запросов и веб-сокетных соединений. Сервер приложений связан с базой MongoDB. Там хранятся все данные, не являющиеся бинарными объектами. Для файлов, изображений, записей экзаменов предусмотрено отдельное S3-совместимое объектное хранилище.

Архитектура ProctorEdu включает отдельный сервис под API распознавания лиц и документов, и TURN-сервер для координации WebRTC-подключений между компьютерами участников.

Раньше для видеосвязи использовался медиасервер, через который проходили видеопотоки всех клиентов. Но разработчики быстро поняли, как тяжело приходится онлайн-кинотеатрам: то соединения отваливаются, то данные не передаются, то память переполняется вечно какие-то сложно диагностируемые проблемы. Когда они перешли на p2p архитектуру, проблемы решились сами собой.

Вся система поддерживает горизонтальное масштабирование. Ее компоненты упакованы в контейнеры. Их можно разбросать по разным физическим серверам и собрать кластерную конфигурацию в режиме мастер-мастер. Тогда нагрузка будет распределяться равномерно.

Обычно ProctorEdu разворачивают на базе одного из российских хостингов, поддерживающих хранение персональных данных, но систему можно запустить и на локальном сервере, как в проекте с МГУ и КРОК.

Требования к железу невысокие: компьютер с восьмиядерным процессором и 8 ГБ оперативной памяти потянет порядка 500 одновременных сессий. Однажды ProctorEdu обслуживала больше 5 тыс. одновременных участников экзамена и понадобилось всего 6 серверов для обработки клиентских запросов.

Можно ли обмануть систему?

Можно, но не так, как это обычно пытаются сделать.

В торговых сетях, где используют ProctorEdu, часто бывает так, что один сотрудник пытается пройти тесты за весь магазин. Порой пользователи подменяют видео с камеры на какую-нибудь видеотрансляцию. Так, однажды разработчики наблюдали, как тесты по технике безопасности на предприятии проходила известная порноактриса.

Был случай, когда один из участников подготовился особенно серьезно: напечатал чужое фото на листе А4, вырезал глаза, привязал резинку и использовал как маску.

Конечно, это все легко детектируется.

Раньше можно было поставить смартфон перед монитором так, что его не было видно с фронтальной камеры. Казалось, что участник постоянно смотрит только на монитор. Теперь ProctorEdu обеспечивает и боковой обзор. К системе подключается вторая камера или тот же смартфон.

Еще можно попробовать списывать при помощи удаленного рабочего стола или виртуальной машины. Отследить их с вкладки браузера практически невозможно. Чтобы закрыть эту возможность, в систему добавили интеграцию с Safe Exam Browser.

Это браузер с открытым исходным кодом, который блокирует компьютер на время экзамена. Он не позволяет использовать удаленный рабочий стол, посторонние программы, а также распознает виртуальные машины.

Конечно, и это не панацея. Если постараться, Safe Exam Browser можно обмануть. Еще можно раздобыть скрытые наушники или аппаратный сплиттер для мониторов. Любой алгоритм можно обойти, вопрос лишь в том, сколько усилий для этого потребуется. ProctorEdu делает так, чтобы было проще выучить, чем смухлевать. И наши клиенты подтверждают, что система успешно справляется с этой задачей.

Подробнее..

ISTQB. Как проходит сдача экзамена онлайн

09.03.2021 10:13:46 | Автор: admin
Лучший тестировщикЛучший тестировщик

Когда я смотрела фильм Идиократия, момент с тестом на сообразительность показался мне
нереальным. Ни за что не хотелось, чтобы показанные в фильме события могли оказаться правдой, но спустя несколько лет это случилось. Я стала тестировщиком, и моя работа сейчас
выглядит примерно так, как показано на главной картинке. Наверно, именно так программисты
видят тестировщиков.

Как доказать, что ты хороший тестировщик? Есть много способов это сделать, и один из них
подтвердить свои знания и умения сертификатом ISTQB. В статье будет описан процесс
регистрации, предварительной технической подготовки и прохождения онлайн-экзамена,
который состоялся 5 декабря 2020.

На просторах русской части Интернета уже есть несколько статей, описывающих процесс сдачи
экзамена. Наиболее свежая статья от 20 мая 2020: Сертификация ISTQB стала доступна онлайн:
личный опыт
. Есть еще описание очного экзамена от 2016 года: ISTQB Сертификация. Опыт сдачи.
Дополню эти статьи своим актуальным опытом от декабря 2020.

Думаю, что не стоит надолго останавливаться на том, что такое ISTQB и зачем нужно его сдавать.
Кто попал сюда, скорее всего уже сам это знает. А кто не знает, буквально в нескольких строчках:
ISTQB (International Qualification Board for Software Testing) международная система
квалификации тестировщиков ПО, унифицирующая стандарты и подходы к тестированию.
Система имеет несколько уровней, от базового (foundation level, подтверждает наличие
минимальных теоретических знаний в области тестирования) до экспертного (expert, сочетает в
себе понимание общего процесса тестирования с глубоким пониманием определенной
предметной области). Для понимания крутости обладания сертификатом уровня Expert: кандидату
необходимо пройти все экзамены предыдущих уровней и иметь по крайней мере 7 лет
практического опыта в тестировании. Наличие сертификата ISTQB высоко ценится заказчиками (в
основном зарубежными).

Бронирование экзамена

Для начала необходимо забронировать место на экзамене. Это можно сделать на сайте GASQ или
на сайте российского представительства.

Нужно заполнить форму с контактными данными о себе и указать язык сдачи экзамена. Важное
замечание про способы оплаты:

Обратите внимание на способ оплаты! Выбрав счет-фактуру, Вы обязываетесь перевести
деньги на наш немецкий банковский счет. При выборе оплаты кредитной картой Вы можете произвести оплату с помощью кредитной карты онлайн.

Для подтверждения регистрации необходимо оплатить взнос (150 евро). Связываться с оплатой
банковского счета мне не хотелось, а при оплате картой могут возникнуть проблемы: платежная
система на сайте gasq.org пытается отобразить страницы для подтверждения 3ds в iframe, что
запрещено некоторыми банками. К примеру, моя дежурная карта меня подвела:

Зато спасла карта Сбера.
Отдельно хочу отметить, что у GASQ есть контактная почта и с нее даже отвечают живые люди :)
Я написала им о проблеме с оплатой, надеюсь, в будущем процесс оплаты будет изменен.

Регистрация на экзамен

После успешной оплаты на почту пришло письмо о подтверждении бронирования экзамена и
указание, что примерно за неделю до даты экзамена мне придет письмо с информацией о
времени и месте сдачи экзамена.

На самом деле письмо пришло за 5 дней до экзамена, когда я уже начала волноваться и писать им
с вопросами. В письме сообщалось, что в забронированную дату экзамен не может состояться по
причине Covid-19 и моя регистрация переносится на следующую дату, которую придется ждать
более трех месяцев. Однако, я могу выбрать вариант сдачи через онлайн-прокторинг в
изначально выбранную дату. Для этого необходимо в ответ написать подтверждение.

Прокторинг это процесс (процедура) контроля и наблюдения за каким-либо дистанционным испытанием или экзаменом (от англ. "proctor" человек, который следит за тем, чтобы экзамены в университете проходили без каких-либо нарушений).

Далее поступило письмо о том, что для завершения регистрации на экзамен необходимо пройти
техническую проверку System Check не менее чем за 48 часов до начала экзамена.

Техническая подготовка к сдаче экзамена онлайн

Подробное описание и инструкция по сдаче экзамена онлайн приходит на почту в виде pdf-файла
(прямая ссылка на этот документ).

Потребуются:

  • стационарный компьютер или ноутбук с веб-камерой, микрофоном и динамиками
    (именно микрофон и динамики компьютера, а не гарнитура; использование наушников на
    экзамене запрещено);

  • браузер Google Chrome с установленным расширением ProctorExam Screen Sharing;
    документ с фото, подтверждающий личность: паспорт, водительские права, студенческий
    билет (номер документа и иную приватную информацию на документе можно скрыть);

  • смартфон или планшет с камерой (будут записывать общий план рабочего места, с
    которого проводится экзамен);

  • стабильный Интернет.

Для начала проверки System Check проходим по ссылке из письма. Обязательно проводим
проверку точно на том оборудовании, которое планируется использовать на самом экзамене.

Этапы проверки:

  1. Микрофон
    На экзамене будет производиться запись окружающих звуков. На проверке
    потребуется просто создать шум, чтобы понять, что микрофон работает и записи звука
    не мешают системные настройки и разрешения.

  2. Динамики
    Стандартная проверка Если Вы слышите рингтон, нажмите да.

  3. Интернет
    Фактической проверки Интернет-соединения не будет, только предупредительное
    сообщение про необходимость стабильного Интернета.

  4. Веб-камера
    Стандартная проверка, видно ли видео с веб-камеры.

  5. Мобильное устройство
    Необходимо установить на устройство приложение ProctorExam. Запустить
    приложение и сканировать им выведенный на экран компьютера QR-код.

  6. Скриншеринг
    Проверка возможности показывать экран.

По завершении проверок вы увидите примерно такой экран:

Сразу после завершения System Check на почту должно прийти письмо со ссылкой для перехода к
экзамену.

В моем случае мне пришло два одинаковых письма для прохождения System Check. Я успешно провела проверку и стала ждать письма со ссылкой. Прошло двое суток, письма не было. Я догадалась пройти проверку по второму письму и о, чудо! сразу же пришло письмо со ссылкой на экзамен.

Процесс сдачи экзамена онлайн

Перед началом сдачи экзамена необходимо проверить, соответствует ли место проведения
экзамена некоторым условиям.

В комнате, в которой будет проходить экзамен, должен находиться только один экзаменуемый,
без посторонних людей. Нужно позаботиться о хорошем освещении и отсутствии громких шумов.
На рабочем столе и в пределах досягаемости сдающего не должно быть посторонних предметов.
Можно использовать офисную доску для ведения заметок.

За всем этим будут наблюдать через камеры экзаменаторы веб-камера компьютера следит за
лицом, а камера мобильного устройства должна быть расположена на расстоянии 3 метров и
снимать общий план.

Хочу отметить, что процесс экзамена очень хорошо продуман, и перед началом будут еще раз
даны все необходимые указания.

Мой экзамен начинался в 10 утра. Если пройти по ссылке раньше, то отобразится страница,
отсчитывающая минуты до начала экзамена. Там же указан временной интервал, в течение
которого можно стартовать, 45 минут (то есть с 10:00 до 10:45). До начала стартового окна не
забудьте еще раз убедиться, что все необходимые условия соблюдены, а также предварительно
сходить в туалет. Простите за такие детали, но во время экзамена нельзя выходить за кадр
ведущейся видеосъемки.

После старта выполняем все, что от нас потребуют. Сразу скажу, что каждое действие
сопровождалось инструкцией и gif-иллюстрацией, все было максимально понятно.

1. Через камеру компьютера сделать фото документа и своего лица.

2. На мобильном устройстве включить режим полета и подключиться к wi-fi. Через приложение ProctorExam отсканировать QR-код с экрана компьютера. С этого момента мобильное устройство начинает снимать видео, которое на время проверок будет транслироваться на экране компьютера.

3. Далее последовательно необходимо через камеру мобильного телефона показать:

  • компьютер, клавиатуру

  • рабочий стол и пространство вокруг компьютера

  • потолок и пространство под столом

  • углы комнаты

  • уши (чтобы показать отсутствие прослушивающих устройств)

4. Располагаем обе камеры. Мобильное устройство располагаем так, чтобы оно на
расстоянии 3 метров снимало общим планом экзаменуемого и захватывало экран
компьютера. Камера компьютера должна снимать лицо.
Если планируется использование доски для записей, то она должна быть в видимости
камер. Перед началом экзамена необходимо показать, что доска полностью чистая.

Рекомендую заранее подумать и порепетировать, как закрепить телефон или планшет в
удобном положении. Меня спас велосипедный держатель для телефона, который был
приделан к стулу. В домашних условиях придется подключить смекалку.

Мы прошли почти все технические мытарства. После требуемой подготовки, наконец-то, будет
получена ссылка для перехода непосредственно к экзамену. Она откроется в новой вкладке.

Обратите внимание, первая вкладка должна оставаться открытой до момента окончания
экзамена. Также на первой вкладке есть окно чата с проктором и чат технической поддержки.
Мне они не понадобились.

Внимательно читаем условия экзаменаВнимательно читаем условия экзамена

По инструкции далее необходимо внимательно заполнить форму, однако у меня она уже была
полностью заполнена данными с регистрации.

Еще раз нажимаем на кнопку старта экзамена:

Еще раз читаем условия экзамена:

Чтобы освоиться с окном экзамена, рекомендую заранее выполнить пробный экзамен на
официальном сайте
.

Мои результаты

Сразу после нажатия на кнопку завершения теста будет известен результат сдачи экзамена
PASSED или FAILED. На экран выводится таблица с общим результатом сдачи, а для дотошных
процентные результаты по темам. К сожалению, нет разбора правильных и неправильных
ответов.

Сам сертификат поступил на почту в виде pdf-файла через 3 дня после сдачи экзамена (экзамен
был в субботу, сертификат пришел во вторник).

Заключение

В качестве заключения попробую ответить на некоторые часто возникающие вопросы.

Нужно ли вообще сдавать ISTQB?

Вопрос, так ли нужно наличие сертификата ISTQB для работы тестировщиком, можно сравнить с
холиварным вопросом о необходимости корочки о высшем образовании. Много различных
мнений: большинство за то, что высшее образование необходимо, но бывают и исключения.
Меньшинство цепляется за истории успешных людей без высшего образования и считает
получение диплома ненужным архаизмом. Несомненно, для кандидата на должность
тестировщика наличие сертификата ISTQB будет плюсом.

Для себя я определила сертификат мне нужен. Не только как бумажка, но и как бесценный опыт.
Во время подготовки мне пришлось проштудировать много источников информации, что помогло разложить по полочкам в голове имеющиеся знания и изучить что-то новое.

Просто для интереса я зашла на hh.ru и задала запрос по ключевому слову ISTQB в описании
вакансий по всей России. Результат 64 вакансии (на 20 декабря 2020).

Для сравнения, всего по профобласти Тестирование на тот же момент было 5833 вакансии:

На каком языке сдавать экзамен на русском или на английском?

Сдавать экзамен на русском языке я советовала бы в двух случаях:

  1. Плохое знание или полное незнание английского языка;

  2. Не планируется дальнейшая сдача других уровней ISTQB, кроме начального.

Во всех остальных случаях я рекомендую сразу готовить себя к сдаче на английском языке. Во-первых, дальнейшие модули ISTQB доступны только на английском языке. Поскольку
сертификация ISTQB ценится в основном зарубежными заказчиками, то скорее всего сдающему
пригодится знание терминологии в английском варианте. Во-вторых, вопросы экзамена на русском языке это в любом случае перевод с английского. Возможно, я придираюсь, но многие
вопросы звучат более органично и понятнее в оригинале.
При этом нужно учитывать, что на экзамене понадобится широкий словарный запас. Скорее всего, неизвестным окажется главное слово вопроса, которое определяет смысл.

Небольшая викторина-разминка.

Попробуйте оценить свое знание английского языка по шкале от 0 до 10, вспомнив перевод следующих слов:
discrepancy
to undertake
entrepreneur
harness
extent
density
linkage
precise
complementary
prevail
(слова взяты из сборника вопросов по подготовке к ISTQB)

Небольшой бонус при сдаче экзамена на неродном языке ко времени добавляются
дополнительные 15 минут.

Где найти всю организационную информацию?

На сайте GASG. Здесь можно найти все официальные инструкции, FAQ, скачать силлабус и пройти
демо-экзамен.

Как лучше готовиться? Какие источники использовать?

Ответ на этот вопрос тянет на отдельную статью со списком источников. Попробую дать краткую
выдержку основных моментов.

Самый лучший источник собственный опыт. Проще всего мне давались вопросы, ответы на
которые я могу дать, исходя из опыта. Но не полагайтесь только на свои знания, используйте
разные виды подготовки.

Обязательно попробуйте сдать пробный экзамен на официальном сайте.

Скачайте и изучите силлабус.

Прочитайте хотя бы одну книгу. Советую Foundations of Software Testing: ISTQB Certification от
авторов Andreas Spillner, Tilo Linz, Hans Schaefer, которые непосредственно связаны с работой над
ISTQB. Содержание книги тесно переплетается с темами вопросов ISTQB и покрывает практически
весь необходимый теоретический минимум. Полный список книг по ссылке.

Обязательно потренируйтесь в решении вопросов теста на нескольких разных платформах.
Многие вопросы экзамена специально составлены так, чтобы сбить с толку, чтобы правильным
казался неправильный вариант. Лучше заранее потренироваться, чем столкнуться с этим уже на
самом экзамене. Попробую привести пример:

Q: Which of the following could be a disadvantage of independent testing?
A. Developer and independent testing will overlap and waste resources.
B. Communication is limited between independent testers and developers.
C. Independent testers are too slow and delay the project schedule.
D. Developers can lose a sense of responsibility for quality.

Если не знать правильный ответ, то акцент в вопросе на независимость тестирования (independent
testing) так и подсказывает выбрать ответ про коммуникацию между тестировщиками и
разработчиками. Вспомните свой опыт, как часто вы сами обращаетесь к разработчикам для
уточнения деталей?

Однако, правильный ответ D.

Рекомендую установить на телефон приложения для решения вопросов по ISTQB и ежедневно
ими пользоваться. Из всего разнообразия особенно оказалось полезным приложение Test Mentor
for ISTQB
. В нем есть survival mode, в котором необходимо набрать как можно больше очков,
правильно отвечая на вопросы. Если ответ выбран верно переход к следующему вопросу, если
неверно конец игры и показ правильного ответа. Очень удобно, что правильный ответ
отображается сразу, а не после завершения всего экзамена из 20-40 вопросов, как это
реализовано в других приложениях.

Вопросы на какие темы скорее всего будут на экзамене?

Темы вопросов экзамена всегда одни и те же:

  1. Fundamentals of Testing

  2. Testing Throughout the Software Development Lifecycle

  3. Static Testing

  4. Test Techniques

  5. Test Management

  6. Tool Support for Testing

Некоторые вопросы из подготовительных экзаменов могут встретиться в настоящем экзамене.
Сложилось впечатление, что некоторые вопросы даже кочуют из экзамена в экзамен с
небольшими переформулировками. Один из таких примеров:

Which of the following statements BEST describes the difference between testing and debugging?
A. Testing pinpoints (identifies the source of) the defects. Debugging analyzes the faults and proposes
prevention activities.
B. Dynamic testing shows failures caused by defects. Debugging finds, analyzes, and removes the causes
of failures in the software.
C. Testing removes faults. Debugging identifies the causes of failures.
D. Dynamic testing prevents causes of failures. Debugging removes the failures.

Which of the following statements correctly describes the difference between testing and debugging?
A. Testing shows failures caused by defects; debugging finds, analyses, and removes the failures in the
software.
B. Testing identifies the source of defects; debugging analyses the defects and proposes prevention
activities.
C. Testing prevents the causes of failures; debugging removes the failures.
D. Testing removes faults; debugging identifies the causes of failures.

Программу какого года (2011 или 2018) выбрать для изучения?

На текущий момент для сдачи экзамена можно выбрать только версию 2018 года. Здесь действует
простое правило чем свежее материал для подготовки, тем лучше.

Сколько времени нужно на подготовку?

Сложно дать единый ответ, который будет применим для каждого человека. Мне лично оказалось
достаточно 5 недель подготовки. Исходя из информации, что в моем городе экзамен проходит
примерно 3 раза в год, я решила сдавать его в ближайшую доступную дату.

Если есть дополнительные вопросы, готова ответить на них в комментариях.

Подробнее..

Как мы сдавали онлайн экзамены в ВУЗах прошли сертификацию, выиграли несколько онлайн олимпиад

18.04.2021 00:07:30 | Автор: admin

В начале года у меня был разговор с моим хорошим другом студентом одного московского вуза, он рассказал, как в условиях карантина и массовой удаленки ему приходится сдавать экзамены. Я узнал новое для себя слово "прокторинг". Естественно, как человек любопытный, сразу же после беседы полез смотреть, что это за чудо-юдо такое.

Итак, для тех, кому лень гуглить: прокторинг - это наблюдение за экзаменуемым, для предотвращения списывания. К слову следует сказать прокторинг применяется и при обычных экзаменах. Когда у профессора нет желания и возможности тратить время на контроль списывания, и он приглашает на экзамен, либо аспиранта, которому доверяет либо сотрудника кафедры. Оказывается, западных университетах существует такая профессия проктор это специально обученный человек, который натренирован на то чтобы следить чтобы экзаменуемые не могли воспользоваться каким-либо преимуществом, которое не положено по условию экзамена.

Но в сегодняшних условиях уже несколько месяцев студенты учатся дистанционно, и сессию в большинстве вузов не отменяли экзаменуемый сидит перед веб-камерой, а проктор наблюдает за ним. Одновременно этот человек видит, что у студента на экране компьютера. Если проктору что-то не нравится в поведении экзаменуемого, он выносит ему предупреждение или даже прерывает экзамен.

Если вы думаете, что поскольку я уже не студент и меня не коснется, не спешите закрывать статью. Прокторинг применяется при сертификации, при прохождении корпоративных курсов. А в связи с переводом их в онлайн формат, даже после снятия эпидемиологических ограничений большинство экзаменов будет переведено в онлайн формат, поскольку это экономически выгодно. Кроме того, системы прокторинга будут применятся в компаниях, которые проводят регулярное обучение сотрудников и тестирование для повышения квалификации или приема на работу.

Дисклеймер: Во всех олимпиадах и сертификациях, в которых мы приняли участие, мы написали организаторам и честно признались, что применяли средства обхода прокторинга и просили исключить нас из списка победителей. Поскольку нашей целью было не выиграть олимпиаду, а обойти прокторинг, а там, где мы удостоверились, что это сделать удалось, мы прекращали сами дальнейшие участие. Мы мне принимали участие во вступительных экзаменах в ВУЗ. А сдача сессионных экзаменов лежит на совести студентов, все они были предупреждены что нарушают правила, а мы оказывали только техническую поддержку.

И так в чем заключается онлайн прокторинг? В основе своей это наблюдение за экзаменуемым посредством WEB камеры; контроль звуков в комнате экзаменуемого; и контроль экрана монитора.

Что теоретически может контролироваться с помощью WEB камеры: аномалии в направлении взгляда; закрытие части лица; наличие других лиц в кадре; обнаружение вторичных гаджетов; обнаружение книг и заметок; обнаружение невербальной коммуникации; обнаружение калькулятора (если это не разрешено).

Что теоретически может контролироваться с помощью микрофона: обнаружение человеческого голоса; обнаружение шелеста бумаги.

Контроль экрана монитора обеспечивает - обнаружение переключения монитора; обнаружение широковещательного ПО; обнаружение переключения вкладок в браузере; обнаружение сторонних алгоритмов. При этом часто визуально контролируется панель задач системное время на панели задач, иногда с точностью до секунды, вкладки в браузере, пару раз попросили продемонстрировать диспетчер задач и диспетчер устройств. Но некоторое ПО для прокторинга может мониторить процессы сетевую активность и другие параметры компьютера, но об этом позже.

Прокторинг может проводится непосредственно под контролем присутствием человека это называется синхронный прокторинг. В полуавтоматическом режиме, когда система сама идентифицирует экзаменуемого и фиксирует возможные нарушения, а затем проктор подтверждает или опровергает предположения системы. И автоматический прокторинг, когда контроль и принятие решений обеспечивает система. Еще есть так называемый пост прокторинг, это когда ведётся запись всех активностей во время экзамена и уже затем, просматривается проктором.

Для нас это стало вызовом, сможем ли мы обойти организационные и технические ограничения прокторинга. Первое к чему мы приступили это детальное изучения правил прокторинга. И исходя из правил вырабатывали стратегию поведения. Местами они отличались в основе своей их можно было свести к следующим пунктам.

  • обеспечить необходимые условия для работы системы прокторинга, в том числе в соответствии с рекомендациями к подготовке рабочего места; Освещенность и чистый рабочий стол.

  • использовать для идентификации оригинал документа, удостоверяющий личность;

  • не покидать зону видимости веб-камеры во время выполнения заданий;

  • при выполнении заданий экзаменуемый по требованию проктора обязуется расположить камеру так, чтобы обеспечить видимость любого места в комнате;

  • в случае отсутствия технической возможности для реализации вышеуказанного пункта (например, недостаточный угол обзора видеокамеры, встроенной в ноутбук или монитор компьютера) экзаменуемый по требованию проктора обязан показывать лист с решением задания по запросу проктора во время проведения экзамена;

  • не отключать микрофон и не снижать его уровень чувствительности к звуку во время тестирования;

  • использовать только одно средство вывода изображения (монитор), одну клавиатуру, одну компьютерную мышь;

  • участник олимпиады не имеет права предоставлять доступ к компьютеру посторонним лицам во время выполнения заданий заключительного этапа, в том числе посредствам программ для удаленного управления компьютером, вступать в разговоры с третьими лицами, открывать другие вкладки браузера, использовать справочные материалы (книги, записи и т.д.), любые гаджеты (мобильные телефоны, пейджеры, планшеты, умные часы и т.д.), наушники, дополнительные мониторы и компьютерную технику;

  • не использовать средства виртуализации;

  • не проговаривать вопросы и задания вслух с уровнем громкости обеспечивающим возможность третьим лицам услышать текст заданий/вопросов;

  • выполнять инструкции проктора;

  • немедленно сообщить Проктору о нарушениях правил, произошедших не по вине экзаменатора.

Как видно большинство требований обеспечивается добросовестностью экзаменуемого и трудно проверить их выполнение, поэтому все держится на нашей совести.

Некоторые организации не желали тратить деньги на системы прокторинга и пытались обеспечить контроль посредством систем видео связи Skype или Zoom, некоторые обеспечивали пост прокторинг просили прислать видеофайл с записью экрана и web камеры программой захвата экрана и веб камеры.

Был случай, когда задания были направлены на почтовый ящик экзаменуемого, их под видео в Skype необходимо было скачать решить отсканировать и направить организаторам экзамена. Запись монитора компьютера при этом не велась, но требовалось установить камеру чтобы было видно экзаменуемого, письменный стол, и по возможности экран компьютера. Мы во время экзамена вошли на почтовый ящик экзаменуемого выполнили решения, отсканировали его своим сканером, а потом положили наши сканы в расшаренную папку на компьютер экзаменуемого. Он сделал вид что отсканировал свою работу на своем сканере, а отправил наши уже загруженные сканы. Поскольку контроль почерка не проводился за эту работу мы получили 100 из 100 условных балов. Кода мы связывались с организаторами пытались объяснить, как обошли контроль, было видно, что они нас даже не понимали.

Очень часто прокторинг обеспечивался следующим образом сайт, на котором демонстрируются задания, и браузер просят включить демонстрацию экрана доступ к веб камере и микрофону.

В данном случае нам необходимо было получить задания, которые демонстрировались экзаменуемому. Мы делали скриншоты экрана каждые 10 сек в расшаренную папку, для этого написали простое приложение, которое не видно не в панели задач не в диспетчере задач. Виден процесс, название которого не чем не выделяется. Отследить факт снятия скриншота достаточно сложно, а запретить практически невозможно, тем боле что его можно делать на уровне драйвера. Или воспользоваться картой захвата.

Необходимо было организовать канал обратной связи использовать микронаушник не очень хотелось поскольку мы посчитали неспортивным. Мы обнаружили что чувствительность нашего микрофона недостаточно хороша чтобы определить некоторые низкочастотные звуки, но при этом проходит все необходимые проверки. Поигравшись чувствительностью микрофона и АЧХ колонки, мы добились того что смогли передать и воспроизвести низкочастотный звук различаемый экзаменуемым, но при этом не фиксируемый микрофоном. Звук при этом так себе, но можно разобрать концепцию решения задачи. Для коммуникации экзаменуемого с помощником использовали обычный беспроводной дверной звонок. Что позволяло коммуницировать в режиме да/нет.

Излишние требования к прокторингу затрудняют работу самих организаторов. Показательным примером была олимпиада по информатике университета одного IT университета. Необходимо было вести запись рабочего экрана и с двух камер с помощью программы OBS. Причем перед началом экзамена необходимо было продемонстрировать подключенное оборудование разрешение монитора и потвердеть то что подключен один монитор, продемонстрировать диспетчер задач. Организаторы потребовали, чтобы время в панели чтобы во время записи панель задач не скрывалась, а системное время показывалось с точностью до секунды, для этого пришлось править реестр. Затем необходимо было этот видео файл размером более 5-6 ГБ загрузить на облачное хранилище и ссылку отправить организаторам. При этом необходимо было подключаться через Zoom, в Zoomе выбрать виртуальную камеру OBS которая передавала видеопоток с двух web камер и захвата экрана. Это вызвало кучу головной боли у организаторов, поскольку настройки программы OBS и правка реестра вызывала огромные проблемы у пользователей несмотря на подробную инструкцию.

Поскольку в ходе олимпиады необходимо было писать код. А человек, который учавствовал не то что не умел программировать он даже печатать нормально не умел. Необходимо было расширить функционал нашего приложения. Суть его заключалась в следующем. Мы, анализируя задания получение со скринов писали код программки в обычный текстовый файл. Затем загружали его в папку на компьютере экзаменуемого. Программка отслеживала нажатия клавиш и в случае комбинации трех заранее выбранных клавиш. Считывала этот файл, а затем по нажатию любой клавиши на клавиатуре выводила на экран нужный символ. От экзаменуемого в данный момент требовалось в лучших традициях голливудских фильмов про хакеров, просто нажимать кнопки на клавиатуре как на пианино. По признанию самого экзаменуемого, самое сложное было в тот момент сдержать улыбку и держать poker face. В данной олимпиаде мы вошли в топ 5 лучших после чего опять написали организаторам, и все рассказали. На удивление в данном случае нас выслушали с особым вниманием и обещали принять меры.

Стоит сказать, что не всегда удавалось найти понимание. Некоторым очень не нравилось, что их обманули, некоторых случаях нас обвиняли в мошенничестве и обещали пожаловаться в правоохранительные органы.

Далее мы столкнулись с системой examus или Экзамус на данный момент это самая совершенная система прокторинга. Но ее использование вызывает кучу вопросов. Сама система представляет собой расширение, для браузера которое требует доступ к камере микрофону, может вести запись экрана. Анализирует запушённые приложения, подключенное оборудование историю браузера и историю поиска. И требует отключить антивирус на компьютере. По их заявлениям они обладают достаточно серьезными возможностями ИИ для анализа поведения экзаменуемого, анализа его клавиатурного почерка, экзаменуемого и планируют контролировать пульс ЭКГ и другие биометрические параметры. Система требует прав администратора в системе и может залезть куда угодно на компьютере. Она собирает обрабатывает кучу персональных данных.

Следует отметить что examus является закрытой системой нигде не публиковался аудит кода и ее истинные возможности и методы контроля. И даже для ВУЗов не раскрываются ее полный функционал.

Отдельный вопрос вызывает документ о политике приватности программы, в котором содержится абстрактный пункт о возможности передавать личную информацию при заключении коммерческой сделки

Студенты ВШЭ выражали претензии, публично заявив о недоверии к ней, и направив ректору просьбу пересмотреть решение об экзаменации через систему Экзамус. Их недовольство спровоцировали стандарты проведения экзамена и вседозволенность программы. Студентам удалось выйти на связь с директором Экзамуса. Хотя он и ответил на вопросы, его комментарии почти не внесли ясности. Мониторинг ранее открытых сайтов объяснялся необходимым "для статистики и повышения эффективности работы сайта", а пункт о личных данных оказался якобы обычной практикой IT-компаний, и необходим из-за обязанности передавать данные в правоохранительные органы.

Поскольку в данном случае это были не олимпиады, а сессионные экзамены и за попытку списывания у студента могли бы быть серьезные проблемы. К вопросу подошли максимально серьезно. Мы поставили себя на место прокторов и думали, как и что бы мы контролировали в системе.

Было принято решение не использовать виртуальную машину поскольку программе достаточно легко определить, что она запущенна в виртуальной среде. Так же приняли решение проводить тестирование на чистой только что установленной ОС и после экзамена откатывать ОС к изначальному состоянию.

Поскольку система скорее всего реализует функцию keylogger, было принято решение отказаться от трюка с клавиатурой. Мы использовали 2 одинаковые радио клавиатуры и мыши, а система видела только радио модуль, а радио модуль реагировал на обе клавиатуры, можно было в соседней комнате набирать текст. Все файлы скриншоты шифровались внутри программки и максимально пережимались и отправлялись на локальный сервер через https со стороны что система общается с роутером. Программка была максимально замаскирована под системное приложение. В этом году мониторинг биоактивности в этом году не проводился. Но мы относимся этим заявлениям максимально серьезно.

В итоге мы успешно сдали все сессионные экзамены в нескольких вузах.

Так же мы без особых проблем прошли прокторинг при Сертификация по Яндекс.Директу. но там система не определяла вообще ни чего и можно было спокойно пользоваться программами удаленного доступа.

Выводы

В интернете очень большое количество маркетинговых статей о том, что прокторинг спасение от списывания, которые ни имеют ничего общего с действительностью если экзаменуемый достаточно заинтересован в успешном результате он сможет обойти практически любую систему.

Для студента данная система добавляет просто огромное количество стресса, помимо самого экзамена заставляет переживать за интернет соединение, работу компьютера, вдруг он посмотрел в окно почесал за ухом, и система приняла это за попытку коммуникации.

Данные системы будут дальше развиваться и применяться поскольку это существенно дешевле чем реальные экзамены.

Я даже боюсь представить каково это сдавать экзамен под детектором лжи.

Планы на будущее

  • Попробовать применить IP KVM, мы хотели его попробовать сразу, но не успели заказать и оттестировать.

  • Раздобыть карту захвата, которая не определяется системой и позволяет добавить в видеопоток на монитор собственную информацию попробуем реализовать технологию picture by picture.

  • Будем разрабатывать собственную клавиатуру, которая бы позволяла обеспечить подключение других систем.

  • Будем думать, как можно будет подделывать информацию с датчиков ЭКГ и пульса.

Все имена изменены все совпадения случайны.

Подробнее..

Категории

Последние комментарии

  • Имя: Макс
    24.08.2022 | 11:28
    Я разраб в IT компании, работаю на арбитражную команду. Мы работаем с приламы и сайтами, при работе замечаются постоянные баны и лаги. Пацаны посоветовали сервис по анализу исходного кода,https://app Подробнее..
  • Имя: 9055410337
    20.08.2022 | 17:41
    поможем пишите в телеграм Подробнее..
  • Имя: sabbat
    17.08.2022 | 20:42
    Охренеть.. это просто шикарная статья, феноменально круто. Большое спасибо за разбор! Надеюсь как-нибудь с тобой связаться для обсуждений чего-либо) Подробнее..
  • Имя: Мария
    09.08.2022 | 14:44
    Добрый день. Если обладаете такой информацией, то подскажите, пожалуйста, где можно найти много-много материала по Yggdrasil и его уязвимостях для написания диплома? Благодарю. Подробнее..
© 2006-2024, personeltest.ru