Так получилось, что моя деятельность связана с созданием тренажерных комплексов для персонала опасных производств. Поскольку имитаторы развиваются в контексте разнонаправленных научных векторов компьютерная графика, инженерная психология (изучение физиологических и психологических характеристик человека, обобщенных независимых характеристик, психограммы личности и профессии), эргономика, когнитивная наука, информатика и т. д.
Я достаточно часто слышу вопрос о том, почему я предпочитаю работать не с классической оценкой (1-5) или (0-100), а с целым набором (знания-умения-навыки), а еще обязательно использую степень переноса навыков на условия работы персонала.
Почему? Ответа будет два один простой, другой подробный)
Простой:
Представьте себе ситуацию, что обучение проходит 2 человека например оператор, который отвечает за работу целого комплекса оборудования и, например клиринговый персонал.
По результату обучения оператор получает 4+, а уборщица получает 4. Можно сделать вывод что оператор прошел обучение лучше. Если говорить только в терминах педагогической шкалы 1-5, то так оно и есть.
Почему это плохо?
Получается что оба где-то ошиблись? Причем оператор ошибся на 0,5, а уборщица на 1. А теперь зададим вопрос а к чему могут привести ошибки, которые стоят за этой единицей и 0,5 на реальном производстве? Уборщица забудет поставить знак осторожно, мокрый пол, кто-то с какой-то вероятностью подскользнется и с какой-то вероятностью получит травмы допустим. А что с оператором, с какой-то вероятностью он не сумеет (например) выполнить верные действия в случае возникновения аварийной ситуации и с некоторой вероятностью весь объект, например, взлетит на воздух. Что скрывает его недополученная половинка единица?
Получается 4+ у оператора смотрятся хуже чем 4 или даже 3 у уборщицы.
Вот по этой причине я стараюсь никогда не использовать классическую шкалу оценок при создании и эксплуатации тренажеров.
Я уже писал про управлении рисками (http://personeltest.ru/aways/habr.com/ru/post/508522/), а сейчас постараюсь пройтись по оценке и контролю необходимого уровня характеристик персонала
Основное допущение:
вероятность каждой ошибки персонала равна вероятности ошибки на имитаторе (тренажере), полностью идентичном реальной системе (системе достоверно воспроизводящей реальную)
1. Процедура выполнения работ
Алгоритм это конечный набор правил, который определяет последовательность операций для решения конкретного множества задач и обладает пятью важными чертами: конечность, определённость, ввод, вывод, эффективность. (Д.Э.Кнут)
Алгоритм это точное предписание, определяющее вычислительный процесс, идущий от варьируемых исходных данных к искомому результату. (А. Марков)
Для любой осваиваемой профессии можно выделить цели обучения, например, персонал должен уметь производить наладку, регулировку оборудования, характерного для осваиваемой профессии. Достижение цели предполагает успешное решение ряда задач (этапов). Таким образом, алгоритм выполнения работ (регламент) можно представить как множество упорядоченных задач, при этом, алгоритм может быть линейным, а может иметь более сложную структуру (рисунок ).
Рисунок. Линейный и нелинейный алгоритм (схема выполнения действий персоналом)
Оценка, формирование и коррекция ЗУН (знания-умения-навыки) непосредственно выполнения работ подразумевает, таким образом, формирование ЗУН для каждой задачи (элемента), которая входит в алгоритм.
Каждая задача, в свою очередь, должна определяться:
1. Входом задаваемые варьируемые исходные данные;
2. Конечным набором правил, который определяет последовательность операций;
3. Используемое оборудование, инструменты и приспособления
4. Желаемым результатом (задаваемые выходные данные).
5. Методикой оценки эффективности
Далее попытаемся раскрыть пункт 5
Рисунок. Схема составного элемента алгоритма задачи
Знания:
- Устройство, назначение и принцип действия.
- основные параметры и рабочие характеристики
- Значения параметров (момент свинчивания, пусковой ток и т.д.)
- Правила безопасности
- Устройство площадок, лестниц для удобного и безопасного обслуживания...
- Освещение объектов, переходов и мест обслуживания.
- Установка и ввод в эксплуатацию, схемы подключения и т.д.
- Маркировка
- правила эксплуатации инструментов и измерительных приборов
- последовательность действий (порядок, регламент)
- Вывод из консервации, подготовка к работе, монтаж.
- Запуск и условие пуска в работу.
- Контроль технологических параметров
- Остановка и вывод из технологической схемы
- Организация и проведение технического освидетельствования
- Контроль основных параметров работы
- критерии отказа и предельных состояний
- Регулирование режима работы по показаниям приборов.
- Возможные причины и порядок аварийной остановки
- Действия персонала в случаях возникновения аварийных ситуаций (действия персонала при нештатных и аварийных ситуациях)
- возможные неисправности и способы их устранения.
- методики расчетов (формулы, перевод величин из одной системы в другую)
- Порядок подготовки и проведение технического обслуживания (технический осмотр, текущий и капитальный ремонты).
- Приемка оборудования из ремонта, обкатка.
- Заполнение типовых форм графиков, журналов и отчетов
- и т.д.
Умения:
- практически (использовать знания) выполнять задачу (с необходимой точностью в заданное время);
Навыки:
- практически выполнять задачу (с необходимой точностью в заданное время в течении всей рабочей смены);
Например, формирование ЗУН алгоритмов выполнения работ испытание центробежных насосов (ГОСТ 6134-2007. Насосы динамические. Методы испытаний) может быть разделена на следующие задачи:
1. Обкатка насоса (агрегата)
2. Снятие напорной и энергетической характеристик
3. частоту вращения;
4. подачу насоса;
5. давление на входе и выходе из насоса или разность указанных давлений,
6. температуру перекачиваемой жидкости.
7. зависимость потребляемой мощности насоса и его КПД от подачи
8. Снятие кавитационной характеристики
9. Испытания насоса на самовсасывание
10. Обработка результатов испытаний
Для реализации этих задач необходимо формирование у обучаемых следующих знаний:
1. Термины, определения:
- показатели назначения (подача, напор, частота вращения);
- показатели эффективности и конструктивные (кавитационный запас h(NPSH), коэффициент полезного действия (КПД), мощность насоса, высота самовсасывания, внешняя утечка, масса)
- показатели эргономические (вибрация, шум)
- показатели надежности (средняя наработка до отказа, ресурс)
- характеристики (напорная, энергетическая, кавитационная, вибрационная, шумовая, самовсасывания)
2. Условия проведения и принципы испытаний:
- Условия определения показателей и характеристик
- Условия проведения испытаний
- Испытания на жидкостях, отличных от чистой холодной воды
- Допустимые отклонения для насосов серийного производства с типовыми каталожными кривыми
- Схемы испытательных установок (стендов)
- Определение погрешностей
- Метод измерения объема
- Принцип измерения напора насоса
3. Последовательность проведения испытаний, оформление и представление результатов.
4. Определение показателей безопасности:
- Электрическая безопасность
- Термическая безопасность
- Механическая безопасность
- Прочие вредные производственные факторы (показатели)
Для формирования умений и навыков необходима практика, включающая выполнение всех необходимых задач, т.е. обучаемый должен иметь опыт выполнения указанных действий. Как правило, каждая задача разделяется на конечный набор элементарных операций подзадач (открыть задвижку всасывания, закрыть задвижку нагнетания, закрыть вентили на манометрах, проверить ., нажать кнопку ПУСК для включения насоса, произвести проверку на вибрации и шум, путем...., и т.д.)
При этом для формирования знаний можно использовать как текстовый материал, видеофильмы, 3D синтезированную анимацию, так и имитаторы. Для формирования умений, и, особенно, навыков, необходимо использование имитаторов или реального оборудования. Также возможно их совместное использование (рисунок).
Для оценки ЗУН необходимо использовать метод оценки эффективности обучения
Рисунок. Вид экрана имитатора Испытания центробежных насосов
Рисунок. Фото реальной установки
Метод (механизм) оценки формирования и переноса знаний, умений и навыков
Оценка сформированных в результате обучения знаний, умений и навыков
Оценку и контроль необходимого уровня характеристики знания можно оценить, исходя из того, сколько запомнил обучаемый (это можно легко измерить, например с помощью тестов).
В работе Новикова А.М. Анализ количественных закономерностей процесса упражнения. Методические рекомендации приводятся следующее данные: При обучении реальных систем в качестве критерия уровня научения могут выступать следующие характеристики:..
- временные (время выполнения действия, операции, время реакции, время, затрачиваемое на исправление ошибки, и т.д.);
- скоростные (производительность труда, скорость реакции, движения и т.д. величины, обратные времени);
- точностные (величина ошибки в мерах физических величин (миллиметрах, углах и т.п.), количество ошибок, вероятность ошибки, вероятность точной реакции, действия и т.д.);
- информационные (объем заучиваемого материала, перерабатываемой информации, объем восприятия и т.д.).
Рисунок. Оценка (измерение) знаний персонала (y=const)
Рисунок. Оценка (измерение) знаний персонала (y=f(t))
Если функция (процента вспомненной информации) в пределах рабочего диапазона находится выше допустимого уровня, можно считать, что вероятность появления ошибки персонала по этой причине равен 0. В противном случае, т.е. когда часть функции или функция целиком находятся ниже допустимого уровня, в в пределах рабочего диапазона, то вероятность ошибки персонала по причине знаний может быть вычислена как отношение площадей функций выше и ниже допустимого уровня, в пределах рабочего диапазона.
Площади функций выше и ниже допустимого уровня (разница или отношение этих площадей фактически задает вероятность ошибки персонала по вине знаний)
принимается, как было указано выше, что вероятность каждой ошибки персонала равна вероятности ошибки на имитаторе, полностью идентичном реальной системе (системе достоверно воспроизводящей реальную), т.е. (P=Pf). Если принять такую зависимость между уровнем характеристики (рассогласованием, величиной ошибки) и вероятностью ошибки персонала (P=Pf), тогда P=1- означает 100% вероятность появления ошибки, P=0 означает отсутствие возможности ошибки (0 %),P=0.5 соответствует 50% вероятности ошибки персонала. В ином случае (когда знания, умения и навыки не полностью переносятся на реальный объект, в силу различий имитатора и реальной системы) зависимость может быть задана выражением P=f(Pf).
Оценку и контроль необходимого уровня характеристики умения можно оценить, исходя из того, насколько точно (правильно) персонал выполняет действия в зависимости от имеющегося времени. Такую проверку можно выполнить с помощью имитаторов, путем предъявления обучаемому/проверяемому персоналу различных событий и замера времени, необходимого для выполнения действий или реакции на событие. Возможен и другой подход предъявлять различные ситуации и ограничивать допустимое время для действий/реакции. Результатом замеров умений будет график, похожий на график знаний.
Рисунок. Графическое представление характеристики для умений и навыков как функции корректности (сверху) или ошибки (рассогласования) выполняемых действий от затраченного времени
Связь умений персонала и вероятностью ошибки персонала по вине умений может быть определена при помощи площадей функций выше и ниже допустимого уровня в пределах рабочего диапазона (разница или отношение этих площадей фактически задает вероятность ошибки персонала по вине умений, см. рисунок)
Например, при проведении балансировки станка-качалки (УШГН) в количестве 5 штук, можно измерить насколько точно (правильно) персонал выполняет действия (качество балансировки) в зависимости от затраченного времени. В данном случае по оси Y откладывается значения % соответствия текущего уровня балансировки с принятой нормой.
Оценку и контроль необходимого уровня характеристики навыки можно оценить используя подход, схожий с оценкой умений, с дополнительным учетом способности сохранять необходимый уровень навыка с течением времени в различных условиях.
Алгоритм оценки уровня навыков выполняется следующим образом: отрезок времени смены работника разбивается на несколько интервала, например 10. С помощью имитатора измеряются точность действий персонала в зависимости от затраченного времени и для каждого промежутка вычисляется (вероятность ошибки персонала). Затем полученные данные представляются в виде графика величины способности сохранять уровень характеристики с течением времени.
При оценке навыков также необходимо учитывать способность обучаемого или аттестуемого персонала сохранять уровень характеристики с течением времени (например на время рабочей смены, с ростом утомляемость, снижением внимания и т.д.) при умеренной нагрузке (нормальные условия), невысокой нагрузке (расслабленное состояние) и высокой нагрузке. В процессе трудовой деятельности персонал проходит через три основные состояния сменяющих друг друга: фаза врабатывания, или нарастающей работоспособности; фаза высокой устойчивости работоспособности; фаза снижения работоспособности (усталость).
Оценка способность персонала сохранять уровень характеристики с течением времени необходима, т.к. эффективность работы человека в значительной степени зависит от действующей нагрузки и в значительной степени от выработанного автоматизма, т.е. навыков. Например, на следующем графике показаны уровени характеристики с течением времени для нормальных условий работы (зеленая линия) и при возникновении/имитации аварийной ситуации (стресс) (синяя линия).
Изменение вероятности ошибки персонала в течении времени рабочей смены при разных условиях. (значения умений в течении рабочей смены )
Днем (по опыту водителей таллинских такси) наиболее опасен период 11 15 ч. Соглафю данным шведских ученых, изучавших связь между ошибочными действиями рабочих и суточными ритмами, именно в эти часы у рабочих возникает больше всего ошибок. А словацкий ученый Ю. Куруц, который приводит эти данные, отмечает, что у водителей на эти часы дневного времени приходится наибольшее число случаев засыпания за рулем. В ночное же время более опасные с этой точки зрения часы от полуночи до 5 ч утра.
Такие графики можно использовать для оценки готовности человека к данной деятельности, а также для получения сильных и слабых сторон персонала.
Связь навыков персонала и вероятностью ошибки персонала по вине навыков может быть определена как максимальное значение вероятности в течении всего времени рабочей смены.
Оценка переноса навыков, достигнутых при обучении, на реальные условия работы
Знание общих принципов переноса стереотипа в той или иной степени необходимо как при разработке обучающих программ, так и при оценке их эффективности.
Перенос навыка
Научившись отслеживанию правой рукой, попробуйте делать то же самое левой рукой вот один из примеров переноса стереотипа. В определенной степени любое обучение связано с переносом стереотипа, так как приобретение нового навыка никогда не бывает совершенно независимым от иной предшествующей ему деятельности. Для большинства обучающих программ вопрос о переносе стереотипа весьма важен, так как, кроме случая, когда обучение ведется непосредственно на рабочем месте, ценность обучающей программы будет зависеть от того, какая часть привитых навыков будет перенесена на реальные условия работы. Так, например, было показано, что для пилотирования вертолета на малых высотах всего лишь 15 ч специализированной навигационной подготовки дают столько же, сколько примерно 2 тыс. ч общей летной практики, результат, полностью оправдывающий расходы времени на обучение. Знание общих принципов переноса стереотипа в той или иной степени необходимо как при разработке обучающих программ, так и при оценке их эффективности.
Основные принципы
Если при освоении задания А улучшаются оценки, получаемые по другому заданию В, по сравнению с оценками контрольной группы, которая изучала только задание В, то перенос от А к В положителен. Задание А может состоять, например, в отслеживании вращения диска одной рукой, а задание В в отслеживании другой рукой. Иногда бывает, что освоение задания А затрудняет освоение задания В, и в таком случае говорят об отрицательном переносе. В более сложных случаях могут наблюдаться так называемые ретроактивные эффекты, которые возникают, когда вначале осваивается А, затем В, после чего производится повторное испытание по А. Если такая вставка задания В улучшила показатели выполнения А, то имеет место ретроактивное усиление; если же вставка В ухудшила показатели для А, то произошла ретроактивная интерференция (или ретроактивное торможение).
Чем более сходны задания А и В, тем сильнее они влияют друг на друга. Будет ли перенос при этом положительным или отрицательным, зависит от того, как соотносятся между собой такие характеристики обоих заданий, как показ и контроль или стимул и реакция. Трехмерная поверхность Осгуда [47] представляет попытку суммировать результаты ранних работ по исследованию взаимосвязей между переносом и ретроакцией. Если и предъявляемые стимулы, и требуемая реакция в обоих заданиях столь схожи, что практически являются неразличимыми, то перенос, очевидно, будет максимальным. Во всех отношениях задания А и В представляют собой варианты одного и того же задания, так что изучение А эквивалентно изучению В.
Другие случаи, содержащиеся в табл. 9.5, можно проиллюстрировать на примере, взятом из обувной промышленности. Пусть задание А состоит в том, чтобы сделать на ботинке шов, состоящий из отдельных стежков (стимул), путем повторяющихся нажатий на педаль с нужной силой (реакция), а задание В в том, чтобы зажечь ряд неоновых ламп (стимул) путем повторяющихся нажатий на телеграфный ключ (реакция). В этих условиях как стимул, так и реакция у обоих заданий различны, и поэтому переноса стереотипа нет [56]. Однако, если попросить ранее обученную группу обувщиков зажигать ряд неоновых ламп путем нажатия обычной ножной педали, то реакция в обоих заданиях будет одинакова, хотя стимулы различны.
Поэтому произойдет положительный перенос; опытные обувщики лучше выполняют задание В в этом варианте, чем необученные лица.
Последний из представленных в таблице вариантов взаимосвязи более сложен для анализа, и поверхность Осгуда описывает его неточно. В нашем примере потребовать разной реакции на одинаковые стимулы означает попросить обувщиков делать стежки, нажимая на телеграфный ключ. Такая процедура может дать отрицательный перенос. В новой ситуации при прочих равных условиях человек обычно имеет тенденцию поступать так же, как в старой. Если условия изменились, но это изменение не является совершенно явным, то может произойти несоответствующая новым условиям старая реакция. В рассматриваемом примере опытные операторы швейной машины вместо серии легких нажатий на телеграфный ключ иногда могут пытаться давить на него длительно и с большим усилием. Но возможно также, что, несмотря на отдельные ошибки, опытные операторы в целом покажут лучшие успехи, чем необученная группа, благодаря общему подобию обоих заданий. Результат будет отчасти зависеть от того, каким образом выставляются баллы. В любом случае может оказаться и так, что по мере дальнейшего освоения задания В первоначально отрицательный перенос сменится положительным, так как ошибки будут становиться все реже.Важно не допустить отрицательного переноса с обучающего устройства, например тренажера, на реальные условия работы, но, к сожалению, нелегко предсказать, когда произойдет отрицательный перенос. Однако из работы [25], где сделана попытка прогнозирования навязчивых ошибок с помощью трехмерной поверхности, связывающей сходство стимулов и реакций с ожидаемыми характеристиками переноса, вытекает, что по мере увеличения степени сходства реакций интерференция между двумя заданиями усиливается. Являются ли такие случающиеся время от времени ошибки существенными, зависит от характера задания. При пошиве обуви случайная ошибка, обусловленная отрицательным переносом, может быть не важна, но при посадке самолета такая ошибка может привести к катастрофе. Подобные ошибки вероятнее всего могут возникать в тех случаях, когда реакции, требуемые в заданиях Л и В, легко перепутать. Обучаемые вряд ли спутают езду на велосипеде с наливанием кофе, даже если стимулом в обоих случаях является зеленый свет. Однако такие реакции, как поднятие и опускание рычага, поворот штурвала по часовой стрелке и против часовой стрелки, перепутать очень легко.
Измерение переноса
Глубина переноса стереотипа на реальные условия имеет тенденцию возрастать с увеличением времени обучения. В ряде случаев объем тренировки может быть важнее, чем принятый метод обучения. Исследование программ подготовки водителей автомобилей показало, что при 6-ч практике глубина переноса навыков на реальное вождение была выше, чем при З-ч практике, независимо от того, использовался ли для обучения кинофильм или автотренажер. Однако глубина переноса не является линейной функцией времени обучения. При дальнейшем увеличении этого времени обычно наступает снижение отдачи, так что для определения эффективности обучения необходимо постоянно измерять глубину переноса.
В традиционном методе измерения оценивается первоначальный перенос на новое задание путем вычисления степени улучшения показателей у тех, кто освоил задание А, по сравнению с теми, кто осваивал только В. Разность показателей группы переноса и контрольной группы (перенос минус контроль для показателей, характеризующих точность; контроль минус перенос для показателей, характеризующих скорость или погрешность), относящихся обычно к первой попытке выполнения задания В, представляется в виде доли (в процентах) от общего объема потенциально возможного научения. Типичная формула имеет вид
Однако перенос может не оставаться постоянным по мере изучения задания В, так что для контроля эффективности обучения могут потребоваться более гибкие методы оценки.
Какая-то чувствительная мера ценности, доставляемой при различных объемах подготовки, особенно нужна при использовании тренажеров, когда стоимость обучения и стоимость натурной практики обычно высоки, но известны и поддаются регулированию. Сами по себе тренажеры, степень их близости к реальным условиям и соответствующие характеристики переноса мы здесь не обсуждаем. Однако авиатренажер может служить хорошим примером освоения задания А, результаты которого должны быть перенесены на реальный полет задание В. Типичная задача состоит в том, чтобы определить, каков должен быть объем обучения на наземном тренажере до того,- как допустить новичков к полетам.
Наиболее полезными являются показатели, характеризующие экономию, или коэффициент замены. Эффективность переноса можно оценить количеством часов летнего времени, сэкономленных благодаря наземной подготовке в том или ином объеме. В работе [49] предложены дифференциальные и кумулятивные измерители такой эффективности. Если для достижения требуемых навыков нужно 10 летных часов, а в случае предварительного обучения пилота на тренажере в течение 1 ч понадобится только 8,6 летных часов, то экономия составляет 1,4 ч. Еще один час на тренажере, возможно, даст несколько меньшую экономию скажем, 1,2 ч, так что накопленная зко-номия после 2 ч на тренажере составит 2,6 ч. Деля эту величину на 2 (количество часов тренажа), получаем кумулятивный коэффициент эффективности переноса (ККЭП), равный 1,3 на час наземной подготовки. Соответствующую формулу можно записать так:
Как показывает рис. эффективность переноса, оцениваемая по этому показателю, как правило, монотонно снижается. При 5 ч подготовки на тренажере все еще будет требоваться 5 ч летного времени, и коэффициент переноса снизится до 1,0. Ясно, что с точки зрения суммарных затрат времени на подго-товку летчика дальнейшее увеличение тренажерного времени не имеет смысла. Если же критерием является стоимость, что вполне возможно в рассматриваемом примере, то может оказаться целесообразным продлить наземное обучение. Например, если 1 ч летного времени стоит в три раза дороже, чем 1 ч на тренажере, то выгодно продолжить наземную подготовку до тех пор, пока коэффициент эффективности не упадет до 0,33. 15 ч тренажерного времени плюс 5 ч летного обойдутся во столько же, что и 10 ч летного времени. Очевидно, в данном случае нужно просто выразить коэффициент эффективности переноса в единицах стоимости, а не времени обучения. Существуют и более сложные способы максимизации эффективности по стоимости, основанные на методах дифференциального исчисления
Более простой способ оценки эффективности обучения также показан на рис. В методе Л+В часы учебного времени (или число практических упражнений, или стоимость обучения) для задания Л складываются с такими же показателями, характеризующими требуемый после переноса объем обучения по заданию В, причем эта сумма вычисляется для каждого из возможных значений объема практики по заданию А. Как только суммарное значение показателя по обоим заданиям превысит его значение для одного лишь задания А, можно сделать вывод, что обучение стало неэкономичным. На графике это происходит в точке, где на каждое из заданий затрачивается по 5 ч, так как 5 ч тренажерного времени и 5 ч летного, очевидно, не дают никакой экономии по сравнению со стандартными 10 ч летного времени. Ясно, что эта граничная точка совпадает с той, которая определена с помощью коэффициента эффективности переноса.
Правильно построенная обучающая программа должна быть ориентирована на максимизацию переноса стереотипа на ту задачу, для которой она предназначена. При достижении высокой степени переноса следует попытаться оптимизировать суммарное время обучения. Применение количественных показателей переноса, как в рассмотренных выше методах оценки вербальных, визуальных и практических навыков, должно способствовать обеспечению эффективности обучения.