Нейроинтерфейс

Представьте, что вы играете в увлекательную компьютерную игру, набираете полезные скиллы, проходите новые уровни, изучаете карты игры, получаете награды, а на следующий день заходите в игру снова, но вот часть скиллов потеряна, уровни нужно проходить заново, карты уже изменились и часть наград отобрали. Вы восстанавливаете утраченные достижения, продвигаетесь немного дальше, а на следующий день снова откатываетесь назад. И так каждый раз. И более того, постепенно ваши откаты превышают продвижение вперед в конце концов вы уже находитесь в самом начале, не помните, что проходили, и даже не знаете, как играть. Примерно так происходит реальная жизнь у людей с диагнозом Болезнь Альцгеймера (БА).

Вкратце про болезнь Альцгеймера

Это нейродегенеративное заболевание, характеризующееся когнитивными нарушениями, развитием деменции, социальной дезадаптацией, сокращением продолжительности жизни. Патофизиологические изменения, характерные для БА, начинаются за годы и даже за десятилетия до клинического подтверждения заболевания.


Кадр из фильма Дневник памяти

Болезни в большей степени подвержены люди пожилого возраста, хотя в редких случаях она может проявляться и сильно раньше. Причем чем дальше за 60, тем больше вероятность развития заболевания. Наверно, поэтому существует распространенное мнение, что Альцгеймер придет к каждому, просто не каждый до него доживет.

Поначалу болезнь проявляется малозаметными симптомами, которые часто путают с реакцией на стресс или обычным старением. Так, люди могут испытывать сложности в выполнении повседневных задач или с трудом усваивать новую информацию, а затем вспомнить ее. На ранних стадиях также могут начать выявляться проблемы исполнительных функций например, планирования, сосредоточенности, абстрактного мышления. Ранние симптомы БА еще относят к так называемым умеренным когнитивным нарушениям (УКН Mild Cognitive Impairment MCI). В это время часто возникает апатия, которая становится наиболее стойким симптомом заболевания. Со временем проявляются потеря и долговременной памяти, нарушения речи и когнитивных функций, разрушение тканей мозга, что влечет за собой неспособность больного к самостоятельному существованию в окружающем мире.


Нейродегенерация тканей мозга при болезни Альцгеймера

До сих пор неясно, что является первопричиной возникновения болезни Альцгеймера, и в настоящее время методов лечения не существует, даже купировать болезнь пока не удается. Однако, если определить предрасположенность к БА лет так за 10 до появления первых симптомов и начать дополнительно развивать когнитивные и двигательные функции, можно существенно продлить жизнь в здравом уме и смягчить проявления заболевания! Тут сразу возникает вопрос: а как же диагностировать заранее возможность развития БА и что после этого делать?

Нейрофизиологические методы

Все большее внимание уделяется нейрофизиологическим методам, позволяющим детектировать когнитивные нарушения на функциональном уровне задолго до того, как они станут заметны окружающим или самому больному. Так, нейрофизиологические исследования последних лет показали, что изменения в реакциях мозга на предъявляемый звуковой стимул потенциалах, связанных с событиями (Event-related potentials ERP), позволяют с высокой точностью детектировать риск развития БА в течение последующих 10 лет.


Процедура регистрации ERP

Известно, что снижение слуха может проявляться на самых ранних стадиях и быть предвестником развития деменции. Причем здесь есть и обратная связь: чем существеннее проблемы со слухом, тем больше человек тратит усилий на то, чтобы разобрать, что ему говорят, и запомнить это, а значит, и большие структурные изменения происходят в мозге, ведущие к развитию БА. Исследования в oddball-парадигме со звуковой стимуляцией, где испытуемым нужно быстро и точно различить сигналы двух разных частот, показали, что увеличение задержки (латентности) и снижение амплитуды таких компонентов ERP, как N100, P200, N200 и особенно P300 (про Р300 можно почитать здесь), возникающих примерно через 100, 200 и 300 мс после предъявления стимула соответственно, сигнализируют о снижении функций кортикального процессинга (подробнее тут и тут) за десятилетие до проявления нарушений. Кроме того, диагностика методом регистрации ERP показала чувствительность 87 % и специфичность 90 %, что можно считать довольно точным методом.


Изменения характеристик волны Р300 при УКН и БА

Самое интересное, что такое обследование может занимать всего пару минут и быть очень простым в прохождении. Всего лишь нужно надеть шапочку с электродами и регистрировать сигнал от мозга, пока человек слушает разные звуки. Это в разы комфортнее, проще и быстрее, чем проводить томографию (ПЭТ, МРТ) и когнитивные тесты, да еще и лучше как превентивный метод.

BCI-реабилитация

Нейрофизиологические методы не только позволяют детектировать нарушения функционирования отделов мозга, но и предоставляют возможность их эффективного восстановления. Это как раз про популярные нынче BCI (brain-computer interfaces), или по-русски интерфейсы мозг-компьютер, они же нейроинтерфейсы. Напомню, что в основе этой технологии лежат детектирование специфического сигнала мозговой активности и преобразование его в команды для управления всевозможными устройствами (подробнее почитать можно здесь).

BCI уже зарекомендовали себя как отличный инструмент для реабилитации людей с нарушениями двигательных функций после инсульта, параличами и плегиями, черепно-мозговыми травмами, СДВГ, аутизмом и в том числе нарушением когнитивных функций и деменцией.


Нейрореабилитация на представлении движения

У BCI на ЭЭГ есть ряд преимуществ по сравнению с прочими методами реабилитации:

• простота в использовании (просто надеть шапочку);

• высокая эффективность;

• активация нейропластичности.

Но есть и ряд ограничений:

• некоторые методы требуют времени на обучение работе с ними (представление движения, ритмы);

• условия тренинга далеки от реальных жизненных случаев (мигающие картинки на экране, управление лодочкой);

• многие используемые в клиниках системы доставляют дискомфорт пациенту (мокрые шапки, куча электродов, гель в волосах, долгая установка).

BCI продемонстрировали свою эффективность и для больных Альцгеймером. Например, в обзоре показаны возможности применения ERP и SMR (сенсомоторный ритм) для улучшения когнитивных функций внимания, пространственного ориентирования и кратковременной памяти.

VR-реабилитация

Другой перспективный метод работы с Альцгеймером это VR. Главное преимущество VR это, конечно, свобода в создании любых условий окружения и управления! Например, по результатам исследования на ранних этапах до появления первых симптомов болезни Альцгеймера ученым удалось добиться высочайшей точности (чувствительность 100 %, специфичность 98 %) в диагностике заболевания при прохождении задач в виртуальном музее. Никаких тебе страшных и неприятных заборов спинномозговой жидкости (люмбальной пункции), томографов (ПЭТ и МРТ), а всего лишь шлем VR.


Тренинг пространственного ориентирования

Тренинг в виртуальном магазине

Использование виртуальной реальности позволяет довольно точно и рано выявить нарушения пространственной и эпизодической памяти, исполнительных функций и внимания, двигательных функций и баланса, выполнения повседневных задач. Более того, исследования показали, что тренинг в VR, представляющий собой простые игровые задания для пользователя в разнообразных условиях, позволяет добиться значительного улучшения всех этих функций у людей с БА (почитать можно здесь).

Искусственный интеллект и Альцгеймер

Ну и конечно, мы не обойдем стороной такой метод ранней диагностики, как использование искусственного интеллекта (ИИ artificial intelligence AI) и машинного обучения на данных различных модальностей. С чем только не объединяли их, какие только данные не скармливали алгоритмам на обучение, и ведь добились неплохих результатов!

Эта статейка на Хабре рассказывает, об исследовании, где удалось по снимкам ПЭТ с помощью ИИ распознать 98 % случаев развития заболевания за 6 лет до проявления симптомов.


Изменения структуры мозга на снимках ПЭТ

Весьма широко изучается метод ИИ для диагностирования болезни Альцгеймера по данным МРТ. Так, показали возможность детектирования заболевания на ранних этапах с точностью 88 %, а в этом исследовании с точностью 98,9 % ИИ определил, у кого из больных УКН болезнь прогрессирует до Альцгеймера.

Не остались в стороне и комбинации машинного обучения с данными ЭЭГ. Всего по нескольким минутам записи ЭЭГ в спокойном состоянии методом I-FAST удалось различить больных Альцгеймером от УКН с точностью до 9498 % и больных УКН от здоровых с 98,25 %.

Вишенка на торте BCI + VR + AI

А теперь представим, что мы взяли все лучшее от BCI, лучшее от VR и еще объединили это с ИИ в единую систему! И теперь мы получили самое раннее возможное детектирование нейродегенеративных изменений и нейрореабилитацию в абсолютно любых условиях VR! Хочешь воссоздавай случаи из реальной жизни (магазин, музей, квартира), хочешь делай захватывающую игру или что угодно, способствующее восстановлению когнитивных функций.


Тренинг нейроуправления в виртуальной реальности

Исследование, сравнивающее эффективность BCI при работе с монитора и в VR, показало, что при сочетании с последним вовлеченность пользователя возрастает на целых 10 %, что уже весьма существенно, хотя там была довольно простая визуализация. Комбинация BCI-VR уже успешно используется для реабилитации постинсультных пациентов с помощью SSVEP и представления движения, пациентов с плегиями, аутизмом и СДВГ, а также для поддержания нормального уровня когнитивных функций у пожилых людей. Регистрация ЭЭГ во время тренинга в VR также позволит детектировать изменения когнитивных функций и эмоционального отклика пациента в режиме реального времени, адаптируя тренинг для более комфортного и эффективного прохождения.

Несмотря на то, что объединение BCI, VR и AI выглядит многообещающим со всех сторон, исследований, сочетающих данные методы, еще совсем немного. Недавно компания Impulse Neiry приступила к разработке быстрого, удобного и эффективного метода диагностики болезни Альцгеймера, умеренных когнитивных нарушений, деменции и нарушений отдельных когнитивных функций на ранних этапах, а также методику тренинга для поддержания уровня когнитивных и двигательных функций при наличии заболевания. В планах создание интересного игрового контента для диагностики, мониторинга и реабилитации в медицинских центрах и домашних условиях.

А избежать можно?

Если вы дочитали досюда и все-таки решили, что вам не хочется лет так в 6070 оказаться на попечении у медработников, не понимать, где ты и кто все эти люди вокруг, то уже сейчас стоит активно развивать свои когнитивные функции любыми возможными методами, будь то чтение книг, разгадывание кроссвордов, настольные игры или что-то поинтереснее вроде когнитивных тренингов (Neiry, CogniFit и другие). Также не будем забывать про здоровое питание и ежедневную физическую активность и подвижность.



Всем здоровья и долгих лет в здравом уме!

29 августа 2020 года Илон Маск, который заведует компанией Neuralink, представил последние достижения компании в работе над интерфейсом мозг-компьютер.




Подключение мозга к компьютеру планируется осуществлять при помощи миниатюрного чипа диаметром 23 мм и высотой 8 мм. Чип может максимум иметь 1024 соединения с мозгом. То есть для работы чипа необходимо воткнуть в мозг более одной тысячи микроскопических проводов с электродами на концах. Чтобы качественно и максимально безопасно выполнить операцию подсоединения проводков к внешней поверхности коры головного мозга был создан специальный робот, который способен проводить операцию автоматически.


Робот анализирует внешний вид коры мозга и старается воткнуть электроды между сосудами и крупными капиллярами так, чтобы не было кровотечения.


Новая конструкция чипа отличается от парадигмы с прошлогодней презентации Neuralink, когда планировалось расположить аккумулятор и модуль беспроводной связи отдельно от чипов.


Теперь чип уже содержит в себе и аккумулятор, и модуль беспроводной связи и катушку для беспроводной индуктивной зарядки.

Благодаря такой универсальности чип стал больше, но теперь не нужно проводить очень сомнительную и сложную операцию по протягиванию проводов под скальпом человека от чипов до уха, как это предполагалось раньше.


Заряда батареи в чипе должно хватать на один день. Ночью его можно будет подзарядить при помощи индуктивного зарядного устройства.


Чип успешно имплантировали в голову свиньи и научились считывать сигналы о движении различных частей тела. На графиках вы можете видеть, что график предсказанных движений свиньи очень неплохо совпадает с её реальными движениями в этот момент.

Такой чип в скором будущем должен начать помогать бороться с различными психическими заболеваниями, позволит управлять механизированными протезами напрямую с помощью мозга, поможет немым и парализованным начать говорить с помощью синтезатора речи.

Борьба с болезнями это очень важно, но мы конечно понимаем, что это только лишь самое начало развития технологии подключения мозга к компьютеру. Борьба с болезнями это отличный результат и хороший предлог на пути к главной цели, которая заключается в переходе жизни на земле на новый эволюционный уровень, когда живые существа смогут модифицировать своё тело по своему усмотрению в крайне широких пределах. С самого момента самозарождения жизни на Земле шла эволюция тел, при этом увеличивалась вычислительная мощность мозгов у живых существ, что позволило с определённого момента времени у некоторых организмов появиться эволюции идей. Наиболее ярко эволюция идей или эволюция мемов наблюдается у людей. При дальнейшем развитии нейроинтерфейсов можно достичь слияния человека и компьютера и перехода жизни на земле в новую форму, когда эволюция идей будет приводить к эволюции тел.

Но можно ли осуществить слияние человека и машины при помощи технологии Neuralink? Допустим, что в будущем можно будет вставить в череп не один чип, а всю поверхность головы покрыть такими чипами. Сколько каналов между мозгом и компьютером тогда можно получить при таком максимальном чипировании? Площадь поверхности крышки черепа около 400 квадратных сантиметров, площадь чипа около 2-х. Итого получаем 200 тысяч проводков к мозгу. А всего в коре мозга содержится 16 миллиардов нейронов. Таким образом, на один проводок будет приходиться 80 тысяч нейронов, даже при максимальном покрытии чипами всего черепа.

Для того чтобы считать все тонкости мыслей и чувств такого небольшого количества каналов может не хватить. Поэтому могут оказаться более перспективными другие способы подключения мозга к компьютеру.


Например, можно выращивать искусственные нейроны уже изначально в матрице с электродами. Их можно генно модифицировать, чтобы им было комфортнее жить на чипе с электродами. Затем уже данный чип с некоторым слоем нейронов можно приложить к поверхности коры головного мозга в надежде, что искусственно выращенные нейроны срастутся с естественными нейронами и таким образом будет возможным добиться гораздо большего числа каналов соединения. В будущем станет возможным создать целиком искусственную крышку черепа, в которой будет аккумулятор, процессор обработки сигналов и возможно даже нейросеть, которая будет дополнять работу биологического мозга.


На внутренней поверхности такой крышки черепа будут искусственно выращены все слои тканей между черепом и мозгом и небольшой слой нейронов в матрице из электродов для сращивания искусственных нейронов с поверхностью мозга. Останется только выпилить свою родную крышку черепа и заменить на новую прокачанную. Кто знает, может после смерти биологического тела, вы продолжите жить в процессоре, встроенном в эту электронную крышку.

Таким образом, эксперименты Neuralink это прорыв в технологии нейроинтерфейсов, но с полным слиянием человека и машины могут возникнуть трудности, если в дело не вмешаются биотехнологи.

В конце августа Илон Маск провел вторую презентацию технологии Neuralink нейроинтерфейса для считывания мозговой активности. Первую версию устройства Макс представил в июле 2019. Тогда редакция журнала J Med Internet Res обратилась за рецензией к ученым из Лаборатории нейронауки и когнитивных технологий Университета Иннополис. Александр Писарчик, Владимир Максименко и Александр Храмов дали экспертные комментарии на новый способ вживления электродов в головной мозг. В этой статье сотрудники университета разбирают новую технологию Маска.



Свой комментарий на технологию Neuralink мы опубликовали в октябре 2019 года. По сравнению с прошлогодней презентацией изменился внешний вид устройства теперь это миниатюрная круглая таблетка размером с монету и язычком из связки электродов, которых, кстати, стало меньше. Изначально было заявлено 3072 электрода, теперь осталось 1024.

Можно предположить, что изменение количества электродов связано с задачами устройства. Прибор нацелен на распознавание конкретной активности мозга. В презентации показали, как с его помощью считывается двигательная активность. Для этой задачи чип должен быть имплантирован в моторную кору. Это небольшая область и 1000 электродов, скорее всего, достаточно.

Если мы захотим решить другую задачу стимулировать зрительные или аудиальные центры, то необходимо имплантировать чип в другие области мозга. Более того, чтобы контролировать сложную когнитивную активность, электроды должны покрывать несколько областей одновременно. Тут уже вопрос не в количестве электродов, а безопасности такой операции.

Появились и новые фишки. На вопрос журналистов можно ли будет с помощью Neuralink управлять Tesla, Макс ответил положительно, добавив, что все чувства: зрение, слух, осязание это электрические сигналы, которые отправляются нейронами в мозг. Учитывая сказанное, можно предположить, что технология применима для управления умным домом и интернетом вещей. Также в презентации говорилось, что чип может транслировать музыку и работать с различными устройствами по Bluetooth-соединению, а для управления Neuralink будет разработано мобильное приложение. Маск сравнил новый прототип с фитнес-браслетов Fitbit только с маленькими проводами в черепе.

Давайте разберем, в чем новизна технологии и почему Neuralink может стать прорывом в области лечения когнитивных нарушений. Для этого абстрагируемся от маркетинговых теглайнов про управление с помощью чипа в игре StarCraft и разговоров про чипирование людей.


Прототип устройства год назад и сейчас

Чем перспективен проекта Маска

Идея Neuralink основана на интерфейсе мозг компьютер. Термин интерфейс мозг компьютер (ИМК) появился в начале 1970-х годов, а первые попытки исследовать нейронную активность на обезьянах проводились уже в 1960-х. Сегодня работа в этом направлении перспективна для реабилитации при нарушениях двигательных функций.

Neuralink позволяет применять инвазивный метод следующего поколения. Устройство содержит до 1024 электродов, распределенных по десяткам нитей, с помощью которых подключается к мозгу. Чтобы преодолеть хирургическое ограничение, разработчики создали нейрохирургического робота, который вводит до шести нитей в минуту с точностью до микрометра.

Технология может служить прототипом инвазивного нейроинтерфейса для клинических приложений. Многоэлектродные нейроинтерфейсы могут стать основой для новых технологий и медицинских решений для парализованных людей. Развитие технологии позволит взаимодействовать с внешней средой без ограничений благодаря интеграции в умный дом и интернет вещей.

Neuralink не имеет аналогов по числу регистрируемых каналов. Существующие ИМК, которые используют инвазивные записи с нескольких десятков нейронов, уже позволяют обезьяне и человеку управлять движениями манипулятора силой мысли. В журнале Nature опубликованы работы, которые демонстрируют, как обезьяна ест роботизированной рукой и как полностью парализованные пациенты захватывают и перемещают предметы с помощью манипулятора.


Нити устройства взаимодействуют с мозгом

ИМК перспективны для обнаружения скрытой информации о работе мозга, которую невозможно получить с помощью обычных каналов связи. Использование неинвазивных ИМК ограничено небольшим количеством распознаваемых команд. Это ограничение возникает из-за зашумленности и нестационарности неинвазивных записей электроэнцефалографии или спектроскопии в ближнем инфракрасном диапазоне.

В этом плане инвазивные электроды более устойчивы к помехам и артефактам, и позволяют получить качественные записи нейронной активности. Вместе с тем, инвазивная регистрация требует большего числа электродов, чтобы покрыть распределенные области мозга. При помощи методов Neuralink эта проблема может быть решена.

Как с помощью инвазивного подхода предсказывать приступы эпилепсии

Для нас технология Маска интересна в том числе с точки зрения собственных разработок. В Лаборатории нейронауки и когнитивных технологий мы работаем над проектом по предупреждению приступов эпилепсии.

Мы разработали ИМК, который при помощи трех электродов, вживленных в мозг крысы, позволяет предсказывать эпилептические приступы с точностью до 90%. Однако, существуют проблемы, связанные с большим числом ложных предсказаний. Если говорить о системе предотвращения приступа при помощи электрической стимуляции, то ложные предсказания приводят к большому числу ненужных стимуляций. В нашем интерфейсе удалось свести к минимуму число ложных предсказаний, но точность предсказания приступа снизилась до 50%.


Подробнее про разработки Университета Иннополис в области предупреждения приступов эпилепсии

Neuralink расширяет возможности для считывания сигналов мозговой активности. Скорее всего, использование 1000 каналов вместо трех, позволит значительно повысить точность предсказаний приступа эпилепсии и уменьшить количество ложных предсказаний.

Для прогнозирования эпилептических приступов нейронная активность должна регистрироваться в заранее определенных фокальных областях мозга, где активность проявляется раньше всего, а патология выражена наиболее ярко. В таком случае можно быстро обнаружить приближающийся приступ.

ИМК нового поколения, которые могут появиться благодаря Neuralink, предполагают стимуляцию мозга для прерывания или даже предотвращения эпилептических приступов среди людей с лекарственной устойчивостью.

Незаменимый робот-хирург

Еще в первой презентации прошлым летом Маск показал прототип нейрохирургического робота для установки импланта. Это очень важное преимущество, потому что ИМК не применяется в клинической практике в том числе из-за хирургических трудностей и проблем биосовместимости. Робот-хирург очень быстрый устанавливает до шести электродов в минуту. Команда Neuralink ставит задачу сократить время установки импланта до часа, а операцию проводить под местной анестезией, чтобы отправлять пациента домой в тот же день.

По идее разработчиков проблему биосовместимости решит использование биосовместимого полиимида с тонкой пленкой золота. При выборе материалов нужно учитывать импеданс и биосовместимость. Команда Neuralink протестировала полимер допированный полиэтилендиокситиофеном с полистиролсульфонатом и оксидом иридия. В результате достигли более низкого импеданса для первого, но лучшей биосовместимости для второго. Разработчики обещают продолжить исследования в этом направлении и проверить гипотезы на других типах проводящих электродных материалах и покрытиях.


Робот-хирург Neuralink

Наши вопросы к Neuralink

Было бы интересно узнать, возможно ли доставлять электрические импульсы к клеткам и одновременно регистрировать нейронную активность. Другими словами, сохраняет ли стимуляция возможность одновременной регистрации нейронной активности с минимальными артефактами.

Если данный функционал будет реализован, то это решит ещё одну важную задачу в области ИМК, возможность подстройки нейронной активности непрерывно. Например, при предотвращении эпилептического приступа путем электрической стимуляции появится возможность контролировать эффективность этого процесса. Можно будет подбирать оптимальную интенсивность стимуляции, чтобы предотвратить приступ, и при этом минимизировать негативное влияние на мозг.

Если заглянуть далеко вперед, то среди нежелательных эффектов ИМК с электродами, имплантированными в мозг человека, можно отметить потенциальную возможность контролировать и манипулировать поведением человека не только через средства массовой информации, но и напрямую посылать команды в мозг. Это предъявляет повышенные требования к шифрованию и защите данных и протоколов, использующихся в ИМК. Сейчас это кажется фантастикой, но в будущем этот вопрос обязательно возникнет.

По поводу этичности таких методов ведутся многочисленные дискуссии. Интересно, как в итоге будет сформулирована общественная позиция на этот счет. Захочет ли большинство добровольно устанавливать нейроимпланты? Напишите в комментариях, что думаете по этому поводу, согласились бы на такое, чтобы силой мысли найти Tesla на парковке или включить свет в квартире?

Вопрос: Что такое бионика?

Ответ: Бионика (от биологии и техники) прикладная наука о применении в технических устройствах и системах принципов организации, свойств, функций и структур живой природы, формах живого в природе и их промышленных аналогах.

В: Небольшая история протезов от самых простых до современных

Первые протопротезы археологи обнаружили на раскопках в Египте. Найденным там деревянным пальцам более 3000 лет. Протез-палец использовался для предотвращения мозолей от сандалий.

Средневековые лекари в эпоху страшных эпидемий лучшим лекарством от распространения заражения считали ампутацию конечности. Протезы того времени начинают приобретать крюки для ношения сумок. А знать даже могла позволить себе искусно изготовленный металлический протез со сжимающейся в кулак кистью. Таким образом его владелец-рыцарь даже мог держать оружие.

В Европе XVIII-XIX веков инженерная мысль шагнула вперед, но протезы еще остаются примитивными. Количество подвижных частей увеличивается, используются гибкие тросики и жесткие тяги. В ладонях часто проделываются специальные отверстия для крепления дополнительных насадок. Так, люди с ограниченными возможностями того времени могли держать перо для письма, ложку и вилку, инструмент для несложной работы. Богатые могли позволить себе шедевры с тонкой гравировкой и чеканкой.

В: Современная бионика

Первую бионическую руку в современном понимании этого слова сделали в 1993 году для Джона Кэмпбелла. Она приводилась в движение за счет датчиков, подсоединенных к мозгу и спрятанных под кепкой.

В 2007-м канадская Touch Bionics представила i-limb первый широко доступный бионический протез. Эта рука весила всего 25 кг, обладала тонкими пальцами и открывала больше возможностей для мелкой моторики: от работы с мышкой до завязывания шнурков. Протез крепится на гильзе, легко закручивается и откручивается.



В 2010-м компания BeBionic представила на Международном конгрессе по протезированию и ортопедии в Лейпциге первый серийный протез. А первый широко доступный Symbionic Leg выпустила в 2011-м исландская ssur. В 2013 году она дополнила модель микропроцессорным управлением: теперь протез подстраивался под походку своего владельца.

Следующим этапом стали протезы, управляемые при помощи мозга. В 2015 году Агентство перспективных исследовательских проектов в области обороны США (DARPA) испытала такой во время полета на авиасимуляторе F-35: им управляла парализованная женщина с помощью механических рук.

В 2018 году появились первые протезы для глаза Argus II. Он помогает частично восстановить зрение за счет электростимуляции оставшихся клеток.



Современные протезы используют разработки робототехники, умеют имитировать индивидуальные жесты, передавать тактильные ощущения. Наконец, экзоскелеты это переходный этап: они не заменяют утраченные органы, а дополняют, расширяя возможности человека. С их помощью люди без физподготовки могут поднимать тяжести, а парализованные двигаться.

В: Какие бывают протезы

• Косметические. Самые простые протезы, нужны, чтобы визуально скрыть физический недостаток.
• Функциональные. Их задача восстановить утраченный функционал.Функциональные протезы делятся еще на три вида:
  
  • Бионические (они же биоэлектрические) оснащены сенсорными датчиками, электрическими двигателями и аккумуляторными батареями.
  • Рабочие протезы, наоборот, максимально не похожи на человеческие конечности и имеют множество насадок самой разной формы: крюк, зажим и так далее. Они нужны для того, что делать работу дома или за его пределами или заниматься спортом с высокими нагрузками.
  • В тяговых (механических) протезах электроники нет, движение осуществляется за счет пружин и тросов. Это менее функциональные, но более дешевые по сравнению с бионическими протезы.

В: Материалы современных протезов

Обычно протезы состоят из культеприемной гильзы и каркаса, поверх которого может быть натянута оболочка. Гильза один из наиболее важных индивидуальных модулей протеза, она соединяет усеченную конечность с механическими частями и воспринимает основные статические и динамические нагрузки в системе человек-протез, отмечает Владимир Нелюб, директор МИЦ Композиты России МГТУ им. Н.Э. Баумана.

Комплектующие и материалы для разных видов протезов тоже нужны разные.

• Косметические протезы производятся из силикона, что позволяет, например, искусственным рукам выглядеть максимально по-настоящему: на них, по желанию заказчика, наносятся родинки, вены и веснушки. Можно даже красить ногти: выглядят они довольно реалистично.
• Бионические протезы тоже могут иметь силиконовую оболочку, но чаще всего каркас из высокопрочных материалов не скрывают, подчеркивая стильный дизайн и супер-начинку искусственных рук последнего поколения: моторы, аккумуляторы и датчики. Чтобы протез был легким и прочным, в ход идет углеродное волокно.

В:Сколько стоят бионические протезы

По данным американской аналитической компании Frost & Sullivan, средняя цена современных усовершенствованных протезов варьируется от $5 тыс. до $50 тыс.

Протез Bebionic стоит более $10 тыс., i-limb от $60 тыс. до $120 тыс., бионический глаз Argus II около $150 тыс.

В России бионическая рука обойдется от 100 тыс. до 1,5 млн руб.

Пока протезы так и не стали массовыми, а их разработки обходятся достаточно дорого, объединяя инженеров, биологов, медиков. При этом создаются протезы каждый раз индивидуально: гильза, к которой крепится бионическая рука или нога должна идеально подходить по форме и размеру. Иногда для этого приходится делать несколько моделей, а на тренировки и реабилитацию уходят недели.

В большинстве случаев протезы оплачивает страховая компания или государство как в России. Но для этого нужно пройти много инстанций и медкомиссию, и выбор моделей будет очень узким.

Возможно, ситуацию сможет исправить 3D-печать: с ее помощью создают недорогие протезы, с учетом всех индивидуальных особенностей, и украшать на свой вкус. Кроме того, они еще и очень легкие. Такой протез стоит до $10 тыс.

В:Протезы-гаджеты

Сейчас производители бионических протезов стремятся всячески расширить их возможности за счет новейших технологий. Уже существуют протезы со встроенным пей-пасс модулем, выключателем для умных устройств, wi-fi-модулем. Совсем скоро протезы смогут заменять смартфоны, фитнес-трекеры, умные колонки и часы.

Что будет дальше? Уже разработаны протезы, такие как LifeHand 2 с инвазивным управлением(интеграция датчиков обратной связи с периферической нервной системой человека). А Илон Маск с его мозговым чипом и нейроинтерфейсами как бы намекает: киберэпоха совсем не за горами.

Список литературы:

1. rb.ru/longread/modern-prosthesis
   
   www.youtube.com/watch?v=CDsNZJTWw0w&t=391s
   
   hightech-fm.turbopages.org/hightech.fm/s/2020/10/21/leg-technology-prostheses
   
   www.youtube.com/watch?v=lrv8ga02VNg
   

Постараюсь рассказать про использование нейроинтерфейса для получения дополнительных данных в процессе обучения персонала (контролем необходимых психофизических возможностей персонала).

На сегодняшний день данная тема становится все более популярной. Имеется масса готовых устройств для нейроинтерфейса, в т.ч. уже оптимизированные под использование совместно с VR, например




На самом деле нейроинтерфейс это старая добрая электроэнцефалография (ЭЭГ)).
Оборудование можно изготовить самостоятельно, в интернете достаточно много схема, но это слабо подходит для коммерческих задач. Мы, например, для создания нейроинтерфейса используем аппаратное и программное обеспечение компании OpenBCI (США). Предупреждение очень много проблем на таможне, т.к. по мнению наших это медицинское оборудование! Это конечно не так, но доказывать бесполезно.



Вот схема как это работает



Обучение и контроль персонала проходит в такой шапке поверх шлема HTC Vive.
При надевании шлема с нейфроинтерфейсом программа (при помощи нейронной сети) анализирует колебания, выделяемые в общей электрической активности головного мозга ритмы головного мозга. Это принимается за 0, т.е. спокойное состояние человека.

Обучаемый персонал выполняет задание на имитационном тренажере (например запуск центробежного насоса). Программа по определенному алгоритму формирует нештатные и/или аварийные ситуации (например начало кавитации). При помощи анализа ритмов мозга и выполняемых (или невыполняемых) действий тренажер фиксирует текущие психофизические параметры обучаемого во время выполнения процедуры обнаружения опасной ситуации, диагностики ситуации, формирования решения, выполняемых действиях.



В результате формируется диаграмма действий персонала (FTA) с учетом психофизического состояния персонала на момент совершения им каких-либо действий. Результатом работы тренажера являются: вероятность возникновения негативных событий (аварии, инциденты) по вине персонала, эффективность выполнения поставленной задачи, вероятность потерь (деньги, жертвы и т.д.), рекомендации по устранению выявленных проблем (не только в знаниях умениях и навыках, но и в психофизическом плане)



На видео можно посмотреть что происходит... youtu.be/fhjTsFUcyew

В это время нейронная сеть выдает дополнительные данные в процессе обучения и оценки знаний умений навыков (более 30 показателей):

• Уровень стресса, влияние стресса на точность и время принятия решения и выполняемых действий.
• Способность длительное время сохранять устойчивое внимание, несмотря на усталость и посторонние раздражители.
• Умение распределять внимание при выполнении нескольких действий, функций, задач.
• Способность вести наблюдения за большим количеством объектов одновременно.
• Способность к быстродействию в условиях дефицита времени.
• Эмоциональная устойчивость при принятии ответственных решений.
• Быстрая адаптация к новым условиям.
• Способность к длительной умственной работе без ухудшения качества и снижения темпа.

-штатное ПО OpenBCI

Без использования нейроинтерфейса получение этих данных в процессе обучения невозможно. Даже присутствие штатного психолога не позволит получить все необходимые данные.

Фактически эта информация помогает выявлять потенциально опасный персонал, т.е. персонал, работа которого несет большой риск. Эта информация, вместе с информацией, которую выдает непосредственно имитатор, на котором обучается персонал, позволят получить полную картину относительно рисков, которые несет каждый работник.



Если данная статья вызовет интерес буду продолжать публиковать это направление.

Лет 20 занимаюсь разработкой обучающих программ для обучения специалистов. За это время использовал массу устройств VR. Были и eMagin Z800 3D Visor, Razer Hydra, стереопроекционная система Barco с серебряным экраном обратной проекции, первый Oculus, перчатки, OptiTrack и т.д. И каждый раз все заканчивалось или прекращением производства оборудования или просто экспериментами, часто возможности VR оборудования не позволяли серьезное использование при обучении персонала.


Например, уже ставший историей, eMagin z800 не позволял работать человеку, впервые его надевшему, более 5 минут. Обычно начиналось головокружение и другие неприятные состояния. Качество изображения также было не высоким, обучаемому приходилось тратить значительное время в попытках понять, что точно он видит.



Пример того, что видел пользователь.

Что изменилось сейчас? Очень многое. Заказчики требуют поддержку VR-шлемов, не для имиджа, а для реального учебного процесса. Последние разработки Oculusа и HTC Vive также начинают трудиться в учебных центрах. Можно сказать, что есть небольшая путаница с API, но и это уже не проблема, т.к. имеется масса примеров.

Сейчас немного о теоретических плюсах и возможностях VR
Виртуальная реальность модельная трехмерная (3D) окружающая среда, создаваемая компьютерными средствами и реалистично реагирующая на взаимодействие с пользователями, а система формирования виртуальной реальности это система, обеспечивающая генерацию модели реальности в соответствии с математической моделью этой реальности при помощи программных средств.

Суть заключается в том, что при подаче на основные органы восприятия пользователя (зрительные, слуховые, тактильные, обонятельные) программно управляемых воздействий, а также при обеспечении реалистичной реакции моделируемой среды на производимые действия, появляется эффект личного участия пользователя в наблюдаемой виртуальной среде.

Главное отличие систем виртуальной реальности от прочих технологий (видеоряд, 2D, 3D графика и проч.) состоит именно в том, что VR обеспечивает эффект личного присутствия и личного участия пользователя (т.е. пользователь не ощущает разницы между действиями в реальности и действиями, выполняемые в системе VR). Системы VR способны реализовать принципиально новый и очень эффективный способ передачи информации с глубокой, на уровне подсознания, степенью воздействия на пользователя.

Глубина закрепления информации в несколько раз превосходит традиционные способы. Это и другие качества систем VR имеют большую значимость при создании имитаторов.
Именно этого и ждут от VR.

Теперь практика.

1. Цель

Уточню, что рассматриваю применение VR только для обучения персонала. Иными словами нас интересует систематическое обучение, т.е. обеспечения усвоения определенной совокупности навыков, умений и процедур. Задачи обеспечить соответствие усваиваемых материалов или навыков требованиям предстоящей работы, эффективность учебного процесса, а также добиться того, чтобы усвоенные при обучении стереотипы были успешно перенесены на условия реальной работы.

2. Выбираем нужный контент

Уровень соответствия синтезируемого изображения и звука оригиналу является важным фактором, от которого зависит эффективность тренажера в целом. Работа реального оборудования редко бывает бесшумной. Очень часто звук несет в себе немало информации о работе оборудования или происходящих процессах. Изменение звуковой картины часто свидетельствует об аварии. Синтезируемое изображение какого-либо объекта, детали или процессов должно быть узнаваемо. Несоблюдение этих требований может привести к потере времени пользователя, в попытках понять, что он видит и слышит, что значительно снижает эффективность обучения.



Выбираем тренажер по выполнению штатных технологических операций и тренажер по действиям персонала в случае возникновения аварийной ситуации.

3. Выбираем железо

HTC Vive + дополнительные трекеры Vive Tracker +перчатки Noitom Hi5 VR Glove.

4. Ставим эксперимент в учебном центре. Группу обучаемых (разных возрастов) разделяем на две части. Первая проходит обучение сначала на ПК без VR, затем на VR-шлеме. Вторая часть группы соответственно наоборот.

5. Сравниваем эффективность обучения с использованием VR с классическим клавиатура/мышь.

Как сравниваем?

Количественное обоснование оценки эффективности использования имитаторов с точки зрения повышения качества обучения, вызывает значительные затруднения.

Большинство существующих исследований связывает эффективность электронных образовательных ресурсов (к которым относятся и имитаторы) с тем, сколько запоминает обучаемый (это можно легко измерить). Часто выделяются следующие характеристики:

• временные (время выполнения действия, операции, время реакции, время, затрачиваемое на исправление ошибки, и т.д.);
• скоростные (производительность труда, скорость реакции, движения и т.д. величины, обратные времени);
• точностные (величина ошибки в мерах физических величин (миллиметрах, углах и т.п.), количество ошибок, вероятность ошибки, вероятность точной реакции, действия и т.д.);
• информационные (объем заучиваемого материала, перерабатываемой информации, объем восприятия и т.д.).

Отмечаются и другие факторы, такие как развитие творческих способностей, профессиональной интуиции и т.д., но единое мнение об оценке этих факторов отсутствует, что и является причиной затруднений при определении количественной оценки. В вопросе эффективности восприятия и запоминания информации наблюдается большая схожесть взглядов. При увеличении популярности имитаторов можно ожидать появления исследований в области педагогики. Метод не совершенен, т.к. использует педагогические шкалы и матрицы компетенций, т. е. размерности не имеющие никакого экономического эквивалента или зависимости. Указываются и другие недостатки, такие как учет знаний/умений/навыков достигнутых в процессе обучения, т. е. перенесенные на условия обучения, а не на реальные условия работы специалиста и т. д. (Эффективность должна оцениваться как результат переноса навыков из учебных условий на условия реальной работы).

Другой подход Адекватность как мера эффективности, т. е. степень схожести реального и имитируемого при помощи имитатора объекта или процесса. Данный метод сфокусирован на вопросе насколько точно имитатор воспроизводит реальное оборудование и процессы, т. е. основным плюсом данного метода являются принятие во внимание следующего комплекса факторов, характеризующих имитаторкак средство обучения:

• уровень соответствия (подобия) синтезируемого изображения оригиналу;
• уровень соответствия синтезируемого звукового окружения оригиналу;
• уровень соответствия механизмов управления оригиналу;
• уровень соответствия механизмов воздействий среды (температура, давление и т.д.);
• адекватность и универсальность математической модели (поведения объектов) и т.д.

У данного метода существует достаточно интересная разновидность адекватность с точки зрения сенсорных процессов и восприятия, т. е. вопрос смещается с как точно имитируется оборудование и процессы? на вопрос насколько сильно различие в восприятии между обучением на имитаторе и обучением на реальном оборудовании?, т. е. акцент смещается с оборудования на обучаемого. Для оценки адекватности (или схожести) восприятия, на данный момент, необходимы дорогостоящие и сложные исследования, т. к. необходимо учитывать множество физиологических показателей:

• eye-трекинг (слежение за траекторией взгляда);
• изменение химии крови;
• регистрация электрической активности головного мозга и т. д.

В качестве основного недостатка метода является необходимость использования экспертного подхода в процессе задания весов факторов, а также границ факторов на этапе разработки требований к создаваемому тренажеру.

В целом данный метод представляет значительный интерес, но достаточно труднореализуем. Если материал будет интересен читателям обязательно напишу статью про нейроинтерфейс.
В результате был выбран новый подход оценки эффективности имитатора, отличительной особенностью которого является рассмотрение имитатора не только как техническое средство обучения, но и как инструмент (средства и методы) управления рисками. При такой постановке эффективность может быть определена как прогнозируемое снижение рисков (потерь) предприятия в результате обучения персонала на имитаторе. Таким образом эффективность может быть определена следующим отношением:

эффект от применения имитаторов прогнозируемое снижение рисков в зависимости от затрат
Effect = (A-B)/C, где

A- Ожидаемый риск (потери) с учетом текущего значения вероятности человеческого фактора (например рубли);
B- Ожидаемый риск (потери) с учетом уменьшения вероятности человеческого фактора (за счет использования тренажеров);
C- Затраты на создание (или покупку) и использование имитаторов в процессе подготовки персонала.
*вероятности рисков А и B содержат в себе промежуток (период) времени время эксперимента.

6. Подводим итоги (за эталон берем стандартный ПК без VR)

Фактор:

• временные (время выполнения действия, операции, время реакции, время, затрачиваемое на исправление ошибки, и т.д.) 140% (VR на 40% лучше)
• скоростные (производительность труда, скорость реакции, движения и т.д. величины, обратные времени) 90% (VR на 10% хуже);
  
• точностные (величина ошибки в мерах физических величин (миллиметрах, углах и т.п.), количество ошибок, вероятность ошибки, вероятность точной реакции, действия и т.д.) 120% (VR на 20% лучше)
• информационные (объем заучиваемого материала, перерабатываемой информации, объем восприятия 170% (VR на 70% лучше)
• прогнозируемое снижение рисков 140% (VR на 40% лучше)

Результаты показывают однозначную победу VR. Из минусов можно указать следующее несколько обучаемых, тем не менее, жаловались на головокружение и усталость (FPS не проседал) в процессе работы в шлеме, часть обучаемых отмечала незначительное головокружение и усталость после обучения.