Тикеты

Звонит как-то вендор и говорит, что в возврате бракованного железа не их жёсткий диск.


Это местный вендор. Для прода мы покупаем серверное железо у крупных поставщиков, часто возим его в разные страны из одного центра. Но для тестовых новых конфигураций обращаемся к локальным поставщикам, берём железо на тесты или разовые проекты. Один из жёстких дисков оказался бракованным, и мы вернули его назад поставщику по гарантии. Причём знатно ругаясь, что связались с маленькой компанией, что задержало нам график тестов.

Гарантийный отдел ковыряется с диском, а потом звонят:

А зачем вы подменили диск?

Мы такие:

В смысле подменили?

Мы вам продавали другой. А тут корпус тот, а внутри другой. Какие-то следы от отвёртки.

Дичь полнейшая! Мы начали было ругаться, но потом стали разбираться. Начали смотреть на камеры и увидели, что наш сотрудник очень подозрительно себя вёл, когда работал с этим диском в стойке. Как в плохих комедиях про жуликов: постоянно осматривался по сторонам, отходил в сторону, возвращался. Оказалось, что он подменил диск. Честно, я не знаю зачем. Его финансовая выгода минимальная, скорее всего, даже не окупает время работы по замене корпуса.

У нас было ещё несколько странных ситуаций, и сейчас я о них расскажу.

Форекс-трейдер

VDS часто покупаются для торговли на биржах. Ну, на нормальных биржах: я имею в виду тех, где важно географическое расположение сервера для минимизации задержек. Но есть и биржи уровня Форекса. Вернее их даже биржами назвать нельзя. Это на сленге трейдеров кухня. Напомню, что многие из них попали в список компаний с признаками нелегальной деятельности, который завёл ЦБ. У меня есть глубокое личное убеждение, основанное на здравом смысле и математике, что система работает как качели для вытаскивания денег из не самых разбирающихся в вопросе клиентов. Возможно, это не так, но свою точку зрения я могу аргументировать и обосновать при необходимости. Но в истории важно другое. Звонит мой знакомый, который взял у нас сервер в Швейцарии. И вот он начинает в открытую меня и всех наших сотрудников обвинять в том, что мы залезаем к нему на сервер в процессе торгов и вмешиваемся в его форекс-сделки.

По его словам, он придумал великую стратегию, а убыточные сделки берутся рынком, плюсовые же вовремя не берутся, игнорируются. И в этом виноваты мы. Точнее, сначала он обратился с задачей, что его не устраивает производительность сервера. С его слов, она радикально падала в момент выхода новостей. В 16:30, когда выходит мировая статистика. В этот момент времени все трейдеры, кто работает с помощью автоматических торговых систем, начинают многократно усиливать свою активность. Если, грубо говоря, внутри дня он делает десять сделок, то в эти 16:30 и одну минуту он может сделать сто сделок. Естественно, это создаёт пик нагрузки, причём не локально, а на принимающем сервере. Но трейдер этого не понимает, он думает, что у нас сервер именно в 16:30, когда ему надо выставить заявку или закрыть заявку, тормозит. А это совпадает с самым нужным временем. И не верится, что это просто совпадение.

Поскольку это был мой знакомый, сначала я потратил неделю на то, чтобы провести ему курс ликбеза про то, как работают серверы и как работают биржи. Потом выделил админа, чтобы он проверил лично его сервер. Потом началось: Ты меня привёл сюда, ты там лазишь, воруешь мою торговую стратегию, ты вор, ублюдок Ты мне врёшь. Вы залезаете ко мне, ты знаешь, что у меня там классный торговый робот, ты хочешь его своровать. Ты залезаешь ко мне на сервер, ты мне гадишь статистику. Это ты подкручиваешь настройки, чтобы у меня ничего не работало. Перешёл на другой хостинг. Потом вроде ещё и ещё. И только через два года мы начали общаться снова, он признал, что я был прав. Но к этому моменту он уже влез в долги.

Здесь главная проблема работа со знакомым. Если бы это был просто клиент, то мы бы провели диагностику и не получали оскорблений.

Игровые серверы школьников

Школьники довольно часто размещают у нас игровые серверы. Это, скажем так, сложные клиенты, потому что они выбирают третий по цене тарифный план. Первый это промо за 30 рублей в месяц (по цене IP), второй урезанная версия стандартных конфигураций за 130 рублей и третий уже полноценный сервер от 300 рублей в месяц.

Итак, дети открывают сервер, начинают играть. Через некоторое время их с завидным постоянством начинают дидосить. Не каждого, условно примерно каждый десятый сервер. После начала дидоса наша система их блокирует. Ещё через пять минут ребёнок с большим гонором и богатым трёхэтажным матом начинает писать в нашу поддержку о том, какие мы тут все плохие люди. Обрезали ему, значит, игру, у него там нет дохода из-за этого, мы там попали на миллионы из-за него теперь. Он нас побить приедет.

Поддержка вежливо объясняет суть проблемы и предлагает подключить защиту от DDOS-атак за 400 рублей (причём первый месяц бесплатно). По нашей практике, потом можно будет играть совершенно спокойно. На что клиент начинает нас обвинять в том, что это мы специально дидосим его, чтобы он нам заплатил ещё. Далее закономерно встаёт вопрос о возврате средств, и обычно мы средства возвращаем и с лёгкостью расстаёмся с таким клиентом.

Один из тикетов был похож на подобный, но с нюансом. Блокировки не было, дидоса не было, трёхэтажного мата тоже не было. Просто клиент запросил возврат средств с сервера, который был оплачен на несколько месяцев. А тут надо сказать, что у нас есть ссылка для оплаты, которую можно выставить наружу, и любой человек может оплатить хостинг для какого-то клиента. Это удобно, потому что бухгалтерии не обязательно логиниться в админпанель. Школьники использовали эту ссылку для краудфандинга, скинулись на сервак и начали играть.

Клиент пишет заявку на возврат средств, мы отправляем её в платёжный шлюз. И вдруг владелец удаляет сервер, начинаются тот самый мат и дикие крики про то, что вернуть надо на его счёт, а не на счета плательщиков. То есть условно у них было порядка сорока оплат по 100 рублей, и все их платёжный шлюз собирался распихать обратно по тем самым карточкам, с которых они платили. Но главному герою нужен был возврат на один свой счёт. В общем, в ходе диалога с поддержкой он уже прямо признался, что хотел получить чужие деньги. Через пару месяцев эта же история повторилась с минимальными вариациями с другим школьником.

Самый короткий детектив

Бывает, наши серверы берутся для обхода блокировок. Люди разворачивают VPN и просто ходят через наш сервер в большой интернет, если на работе он заблокирован. Ну или просто берут сервер в другой юрисдикции типа Швейцарии и ходят через него. Почему это важно, есть вот тут про маски-шоу.

И вот пишет клиент, что наш сервер не отвечает.

Мы просим трассировку. Клиент делает, присылает. Мы сообщаем, что RDP блокирует его отель, и желаем приятного отпуска в Таиланде. Клиент немного в панике, но мы поясняем, что его Wi-Fi-точка названа именно по отелю. И даём ссылку на то, как это обойти. В тот раз помогло.

Регистрации под ботами

Очень странная ситуация была с тестовыми периодами на наших 32-ядерных машинах. Кто-то научился брать американские номера, парсить голос, русский текст и цифры. Как только криптовалюты совершали очередной прыжок, начинались авторегистрации, а дальше серверы использовались (судя по характеру нагрузки) для майнинга криптовалют. Не знаю, что это было, но майнить биткоин на VDS без видеокарты идея откровенно так себе. Процессор уходит в потолок, три дня они пытаются что-то там сделать, потом период заканчивается. Мы обновили капчи, но на следующей волне скачка курса биткоина снова начались авторегистрации. Я откровенно не понимаю, какой в этом смысл, ведь аренда американского номера стоит дороже, чем возможный профит с майнинга на процессоре три дня. Сейчас эти волны мы наконец-то победили.

Блокировки по IP

Мы выдаём один статический IP клиенту при аренде сервера. Это не карусель динамических адресов, не замены раз в месяц, а конкретный IP, привязанный к клиенту. Сначала мы проверяем его чистоту и отсутствие во всяких чёрных списках, а потом даём клиенту.

Дальше клиент может испортить этот айпишник. Например, инста-блогерки и инста-блогеры часто разворачивают у нас средства накрутки Инстаграма. Инстаграм их ожидаемо банит через некоторое время. Дальше в поддержку начинаются обращения: Почему меня забанил Инстаграм?! с кучей смайликов. Или: Почему меня забанило Авито, смените мне IP-адрес, но про Авито смайликов почти нет.

Ещё накручивают отзывы и просмотры на Амазоне. Потом в поддержке: Ребята, это мой не первый аккаунт, можете, пожалуйста, сменить мне IP-адрес, потому что меня забанило?

Бывает так, что админ настраивает клиенту работу на сервере, но забывает уточнить вопрос про лицензии. Звонит генеральный директор, у которого 25 сотрудников, и они все сидят на удалённом рабочем столе, у нас размещали соответственно. Весь замес в том, что системный администратор, который это настраивал, был на аутсорсе. Он настроил кучу виртуальных рабочих мест. Человек платил около 35 тысяч. У него там размещалось 25 сотрудников, и 120 дней человек вообще не знал никакой проблемы с подключением к удалённому рабочему столу. А цимес в том, что Майкрософт даёт триалку на размещение этого удалённого сервера рабочих столов 120 дней ровно. Человек четыре месяца, получается, пользуется, и тут внезапно посреди пятого месяца обнаруживает, что у него ни один сотрудник не может зайти. Диктует нам ошибку, мы всё прекрасно понимаем, что у него там происходит. И предлагаем ему два варианта:

Вы либо удаляете эту службу, которая не даёт вам подключиться вообще в принципе, либо платите за каждую лицензию.

В общем, ребят, я не буду платить тройную цену от сервака.

Неудивительно, потому что лицензия стоит 91 тысячу рублей, а у него сервак стоит 36 тысяч.

Ребята, надо, короче, решать. Давайте так: мне по-любому нужно это бесплатно. Что если мы оформим договор на другое лицо, и таким образом у меня будет ещё 120 дней? А что если вы измените человека, у меня сейчас есть знакомый, он зарегистрируется?

А вы точно понимаете, что сейчас у официального партнёра MS спрашиваете, как их же обмануть?

Да! Ребята, какие ещё варианты есть?

Неожиданный уход коллеги

Текучка у нас минимальная, поэтому, когда человек уходит, это целое событие. Главное в этом событии то, что на выходном интервью сотрудник уже может быть полностью откровенным, и мы часто узнаём про какие-то вещи, которые раздражают, но про которые обычно не говорят. Это самая полезная обратная связь для найма и удержания людей.

И вот одна из ситуаций. Сотрудник взял и не пришёл на работу. Работал-работал и потом пропал. Выходного интервью нет. Начали разбираться, что же случилось, может быть, обиделся на что-то. Никаких внутренних предпосылок. Уже потом начали общаться с ним удалённо, он прислал ссылку на статью на Хабре про профессиональное выгорание.

Это ничего не объясняло, но дальше удалось поговорить. Сотрудник сказал, что внимательно всё прочитал и не хочет, чтобы это случилось с ним. Поэтому увольняется.

Никаких выводов и действий. Просто, возможно, он счастлив где-то ещё.

Дебош

На корпоративе сотрудник устроил жутчайший дебош. Страшнее представить сложно! Сначала дрался с коллегами, потом начал нападать на случайных людей вокруг. Кое-как скрутили и прижали к полу. Подошёл мужик, начал кричать, что мы ограничиваем свободу человеку, столкнул с него двух человек. Наш герой встал и дал правозащитнику мощного леща, после чего уже и он помогал его держать. Приехали на это все: скорая, полиция, охрана местная. При запаковке в наручники он умудрился вырваться и разбить нос полицейскому.

В итоге уголовку он не получил, полицейские оказались добрыми. Оставили всего до утра к КПЗ и отпустили домой к жене и детям. Как бы конец истории, но непонятно, что делать дальше, потому что в беседе он пояснил, что нет гарантии того, что ровно такое же не повторится. Например, в офисе. Или в серверной. Или на переговорах с клиентом или ЦОДом.

Долго думали, что делать. Увольнять вроде неправильно. По работе претензий нет, всё хорошо.
Но вроде, если человек облажался в соцсетях и кого-то оскорбил, в крупных компаниях увольняют. Тут похожая ситуация. Непонятно. В общем, в итоге перевели на полную удалёнку ещё до того, как это стало мейнстримом.

Уничтоженный сервер 1С

Мы ужасно серьёзны в плане защиты финансовых данных своих клиентов, поскольку довольно часто наши ЦОДы в других юрисдикциях выбираются именно для этого. Одно из следствий если клиент отдаёт прямую команду из личного кабинета на удаление машины, то она именно удаляется, а не помещается в хранилище на несколько месяцев. Для подтверждения этого действия нужно ещё раз ввести пароль от ЛК.

Итак, бухгалтерше одного из клиентов нужны закрывающие документы о том, что услуга оказана. Документы есть в личном кабинете, они автоматически формируются. Она сообщает, что доступ утерян. Но она знает номер договора и все реквизиты. ОК, говорим мы: пришлите письмо на бланке организации с подписью генерального и печатью, восстановим вам доступ.

Письмо приходит, в нём просьба поменять основную почту доступа.

Мы соответственно меняем почту.

Потом нам пишет генеральный директор и сообщает, что бухгалтерша удалила его сервер 1С с базой. И слёзно просит нас его восстановить. Сотрудницу к этому моменту он уже уволил.

Это трагедия в чистом виде, потому что всё юридически правильно, но понятийно нет. Мы долго думали, что можно было сделать в этой ситуации, и решили, что у нас будет отдельная роль внутри аккаунта для биллинга (закрывающих документов и оплат). Сейчас это в планах релизов.

Общие выводы и чем закончилась история с жёстким диском

Мы стараемся разобраться и понять, что можно сделать, чтобы риск не повторялся.
В случае с заменённым жёстким диском сотрудник написал по собственному и уволился тем же днём. Мы не предъявляли ему претензий, поскольку понимали, что будет крайне тяжело это доказать. И, несмотря на всю иррациональность ситуации, у нас есть правило: если ты знаешь риск, то надо постараться его минимизировать на будущее. В этой истории было не очень понятно, что делать. В итоге посовещались и выделили отдельную комнату в офисе для сборок оборудования, над столом там поставили камеру. В этом случае мы, наверное, больше параноики, чем оптимизаторы, но таков принцип. Возможно, это потому, что мы из финансовой сферы, и с этим очень серьёзно. Здесь мы страхуемся не только от хищения, но и от того, чтобы ложно не обвинить своего сотрудника, если будет какая-то путаница от вендора или что-то подобное, потому что оборудование довольно дорогое.

Бенджамин Делпи изначально создал Mimikatz в качестве доказательства концепции, чтобы продемонстрировать Microsoft уязвимость для атак их протоколов аутентификации. Вместо этого он непреднамеренно создал один из самых широко используемых и загружаемых хакерских инструментов за последние 20 лет.
Джейк Уильямс из Rendition Infosec говорит: Mimikatz сделал для повышения безопасности больше, чем любой другой известный мне инструмент. Если защита сетей Windows ваша работа, важно быть в курсе последних обновлений Mimikatz, чтобы понимать методы, которые хакеры будут использовать для проникновения в ваши сети, и оставаться на шаг впереди.

Что такое Mimikatz?

Mimikatz это приложение с открытым исходным кодом, которое позволяет пользователям просматривать и сохранять учетные данные аутентификации, такие как тикеты Kerberos. Бенджамин Делпи продолжает руководить разработкой Mimikatz, поэтому набор инструментов работает с текущей версией Windows и включает самые современные виды атак.

Злоумышленники обычно используют Mimikatz для кражи учетных данных и повышения привилегий: в большинстве случаев программное обеспечение для защиты конечных точек и антивирусные системы обнаруживают и удаляют его. И наоборот, специалисты по тестированию на проникновение используют Mimikatz для обнаружения и тестирования уязвимостей в ваших сетях, чтобы вы могли их исправить.

Возможности Mimikatz

Первоначально Mimikatz демонстрировал, как использовать одну уязвимость в системе аутентификации Windows. Теперь же этот инструмент охватывает несколько различных видов уязвимостей. Mimikatz может выполнять следующие методы сбора учетных данных:

• Pass-the-Hash (перехват хеша): ранее Windows хранил данные аутентификации в хэше NTLM. Злоумышленники используют Mimikatz для передачи точной строки хеша на целевой компьютер для входа в систему. Злоумышленникам даже не нужно взламывать пароль, им просто нужно перехватить хеш и использовать его без какой-либо обработки. Это то же самое, что найти ключ от всех дверей дома на полу. Вам нужен один ключ, чтобы открыть любую дверь.
• Pass-the-Ticket (перехват тикета): новые версии Windows хранят данные аутентификации в конструкции, называемой тикетом (Ticket). Mimikatz предоставляет пользователю возможность передать тикет Kerberos на другой компьютер и войти в систему с помощью этого тикета. В остальном это то же самое, что и перехват и передача хеша.
• Over-Pass the Hash (Pass the Key): еще одна разновидность атаки pass-the-hash, но этот метод передает уникальный ключ для выдачи себя за пользователя, данные которого можно получить от контроллера домена.
• Kerberos Golden Ticket): это вид атаки с перехватом тикета (pass-the-ticket), но в данном случае целью является конкретный тикет для скрытой учетной записи под названием KRBTGT. Эта учетная запись шифрует все остальные тикеты.Золотой билет дает вам учетные данные администратора домена для любого компьютера в сети без срока истечения.
• Kerberos Silver Ticket: еще одна атака типа pass-the-ticket, но серебряный тикетиспользует для своих целей функцию Windows, которая упрощает использование служб в сети. Kerberos предоставляет пользователю тикет сервера выдачи разрешений (TGS), и пользователь может использовать этот тикет для входа в любые службы в сети. Microsoft не всегда проверяет тикет сервера выдачи разрешений (TGS) после его выпуска, поэтому с его помощью можно легко обойти любые меры безопасности.
• Pass-the-Cache): единственная атака, не использующая уязвимости Windows! Атака с перехватом кэша обычно аналогична атаке с перехватом билета, но в этой атаке используются сохраненные и зашифрованные данные для входа в систему Mac/UNIX/Linux.

Как скачать Mimikatz

Вы можете скачать Mimikatz с GitHub Бенджамина Делпи. Он предлагает несколько вариантов загрузки, от исполняемого файла до исходного кода, который вам нужно будет скомпилировать с Visual Studio 2010 или более новой версии.

Как использовать Mimikatz

После запуска исполняемого файла Mimikatz появится интерактивная консоль Mimikatz, в которой вы сможете запускать команды в реальном времени.

Запустите Mimikatz от имени администратора: для полноценной работы Mimikatz выберите Запуск от имени администратора, даже если вы используете учетную запись администратора.

Проверка версии Mimikatz
Существует 2 версии Mimikatz: 32-битная и 64-битная. Убедитесь, что вы используете версию, соответствующую разрядности вашей Windows. Выполните команду version из командной строки Mimikatz, чтобы получить информацию об исполняемом файле Mimikatz, версии Windows и о наличии каких-либо настроек Windows, которые могут помешать корректной работе Mimikatz.

Извлечение из памяти паролей в виде открытого текста
Модуль sekurlsa в Mimikatz позволяет выгружать пароли из памяти. Чтобы использовать команды в модуле sekurlsa, у вас должны быть права на уровне администратора или системы.

Сначала выполните команду:

mimikatz # privilege::debug 

Вы увидите, есть ли у вас соответствующие разрешения, чтобы продолжить.
Затем запустите функции логирования, в дальнейшем этот журнал вам может понадобиться в работе:

mimikatz # log nameoflog.log

И, наконец, выведите все хранящиеся на этом компьютере пароли в виде незашифрованного текста:

mimikatz # sekurlsa::logonpasswords

Использование других модулей Mimikatz

Модуль шифрования открывает доступ к CryptoAPI в Windows, который позволяет перечислять и экспортировать сертификаты и их закрытые ключи, даже если они отмечены как неэкспортируемые.
Модуль Kerberos обращается к API Kerberos, поэтому вы можете поэкспериментировать с этой функциональностью, извлекая тикеты Kerberos и управляя ими.
Модуль служб позволяет запускать, останавливать, отключать и выполнять другие операции со службами Windows.
И, наконец, команда coffee выводит ASCII-изображение кофе, ведь кофе нужен всем. :)

Mimikatz способен на гораздо большее Если вы интересуетесь тестированием на проникновение или просто хотите покопаться во внутреннем устройстве проверки подлинности Windows, ознакомьтесь со ссылками ниже.

• Руководство по тестированию на проникновение в средах Active Directory
• Неофициальное руководство по Mimikatz и справочник команд
• Koadic: вредоносная программа LOL и сервер контроля и управления на Python
• Официальная энциклопедия Mimikatz

Хотите увидеть Mimikatz в действии и узнать, как Varonis защищает вас от проникновения? Присоединяйтесь к нашему бесплатному интерактивному практическому семинару по кибератакам и посмотрите, как инженеры Varonis проводят кибератаку в нашей лаборатории безопасности.

Когда мы задумывали Медицинский голосовой помощник, пандемии ещё не было. А когда выпустили поняли, что релиз очень своевременный (без ложной скромности). Впрочем, в нынешних реалиях это актуально для каждого сервиса, который упрощает жизнь врачам и повышает качество обслуживания пациентов.

О нашем новом продукте расскажем подробно в этой статье. План такой:

• зачем нужен Медицинский голосовой помощник;
• основные сценарии использования;
• из каких компонентов состоит решение;
• как происходит обработка и назначение задач.

Как работает МГП

Зачем нужен Медицинский голосовой помощник (МГП)

МГП решает две основные задачи.

• Помощь обездвиженным пациентам. Больные в палатах обращаются к медперсоналу исключительно голосом, не нажимая на кнопки: вызывают врача, запрашивают (и получают) консультацию, самостоятельно записываются на процедуры, узнают расписание работы нужного кабинета.
• Учёт и автоматическая обработка запросов. Руководству больниц МГП помогает упорядочить загрузку персонала, правильно распределять приоритеты и не отвлекать специалистов на задачи, которые не требуют посещения палат. В результате врачи и медсёстры/медбратья занимаются важными задачами, уровень стресса персонала снижается.

Базовые сценарии

Здесь мы рассмотрим базовые сценарии использования голосового помощника, которые подходят практически любой больнице. Разумеется, вариантов может быть гораздо больше всё зависит от потребности конкретной клиники.

Вызов врача/медсестры. Подходит для случаев, когда больному нужна помощь медперсонала. Как только больной произносит ключевое слово например, обезболивающее, больно, нужен укол, система назначает задачу на нужную группу специалистов и устанавливает срок решения.

Автоматическое выполнение запроса. Пациент запрашивает справочную информацию, которая уже есть в базе знаний, например, расписание работы столовой. МГП находит соответствующую статью по ключевым словам и озвучивает её пациенту. Пациент доволен, медсёстры тоже: они могут заниматься более важными задачами.

Двусторонняя связь. Применяется, когда больному требуется консультация специалиста например, если нужно узнать у лечащего врача подробности о дозировке и графике приёма нового лекарства.

Компоненты МГП

Медицинский голосовой помощник может решать множество задач, от простых до самых сложных. Однако его многофункциональность сочетается с простотой реализации. На уровне компонентов это довольно минималистичное программно-аппаратное решение к этому мы стремились сознательно.

МГП включает 4 базовых модуля.

1. Терминал пациента. Состоит из микрофона для приёма звука, колонок для воспроизведения сообщений системы (и врачей) и микрокомпьютера, который обрабатывает информацию пациента и взаимодействует с другими компонентами.
2. Система распознавания и синтеза речи. Систему можно использовать в облаке или установить локально.
3. Система учёта и обработки запросов. Веб-приложение, в котором работает медперсонал. Реализовано на базе ESM-платформы для автоматизации бизнес-процессов SimpleOne.
4. Терминалы врачей и медперсонала. Планшеты или ПК, которые подключены к системе учёта и обработки запросов по Wi-Fi или по LAN.

Обработка голосовых запросов

Терминал в палате выступает в роли узла связи между пациентом, Системой распознавания и синтеза речи (СРС) и Системой учёта и обработки запросов (СУЗ).

В общем виде процесс обработки запроса выглядит так:

• терминал постоянно ожидает ключевого слова;
• если произнесено ключевое слово, терминал записывает короткое аудио (45 с);
• аудио отправляется в СРС;
• ответ от СРС терминал отправляет в СУЗ;
• терминал озвучивает информацию пациенту в зависимости от преднастроенной логики СУЗ (шаблона).

На скриншоте пример обработки запроса с записью на рентген

Для более комфортного взаимодействия, кроме стандартных ответов Ваш запрос принят, ожидайте помощи, МГП воспроизводит специальные сигналы например, о начале и об окончании записи сообщения пациента.

Назначение задач на основе шаблонов

В системе можно настроить уникальные шаблоны запросов, каждому из которых назначить условия активации нужные ключевые слова. Как только клиент произносит прописанное в шаблоне ключевое слово, система активирует запрос и назначает задачу на конкретную группу специалистов либо, например, озвучивает нужную информацию из базы знаний.

В системе есть таблица Сообщения, в которой хранятся все произнесённые пациентом фразы. Система мониторит таблицу поступающих сообщений и создаёт запрос, если сообщение попадает под условие шаблона.

Пример

Для шаблона запроса Обезболивающее пациенту выбираем ключевое слово больно. Присваиваем запросу высокий приоритет, выбираем метод Медперсонал и подключаем нужную группу исполнителей медсестёр. Теперь, если больной скажет больно, МГП автоматически назначит задачу на группу Медсёстры. Участники группы получат уведомление о назначении задачи; сообщение пациента отразится в поле Описание запроса.


Вид шаблона запроса

Параллельно задача зафиксируется в счётчике контроля времени реакции (SLA). В нашем примере на решение проблемы отводится 10 минут. Если специалист не укладывается в срок, проблема эскалируется на вышестоящего врача или группу (сценарии эскалации также настраиваются).


Счётчик SLA

В системе можно создавать неограниченное количество шаблонов запросов. Делать это могут сотрудники с правами администратора.


Шаблоны запросов

Почему мы выбрали Pocketsphinx, Python и SQLite3

В прототипе решения мы использовали микрокомпьютер семейства Raspberry Pi и базовую ОС Raspbian GNU/Linux. Терминал это простое приложение, написанное на Python с использованием REST-запросов к вспомогательным системам, а также библиотеки Pocketsphinx (LiveSpeech).

Библиотека Pocketsphinx хороша тем, что помогает повысить быстродействие первого отклика поиска ключевого слова. Система распознавания и синтеза речи использует сложные механизмы и словари для распознания. Грубо говоря, Pocketsphinx ускоряет процесс распознания ключевого слова, чтобы не возникало негативного клиентского опыта. Ещё Pocketsphinx проста в настройке и может работать в нескольких режимах.

Использование Python и Pocketsphinx значительно расширяет функциональные возможности терминала. Чтобы пациенты не скучали, в МГП можно добавить игры. В прототипе мы, например, реализовали простую игру Города.

Для интеграции СРС и СУЗ используется стандартный REST API.

Ниже пример обращения СУЗ (отправляем POST-сообщение в сторону СУЗ, парсим ответ, и так по кругу):

url = 'https://user:pass@mva.simpleone.ru/rest/v1/table/mva_itguild_inquiry'
payload = {description: text, subject: mva_inquiry}
header = {'Accept': 'application/json;charset=UTF-8','Content-Type': 'application/json;charset=UTF-8'}
response = requests.post(url,data=json.dumps(payload), headers=header)
i_json = response.json()

Постоянный синтез речи с помощью СРС процесс небыстрый, потому что довольно ёмкий: авторизация, запрос, обработка. Чтобы его ускорить, используется локальная база данных SQLite3 для хранения уже сгенерированных ранее ответов пациенту. Такое решение хорошо подходит для обработки запросов с постоянным сценарием например, при озвучивании информации о расположении кабинетов врачей и процедурных, расписании работы столовой.

Другой важный момент логирование. Без него невозможно работать над улучшениями и устранением ошибок. Поэтому в терминале реализовано логирование как общего процесса работы всех смежных систем, так и отдельных компонентов.

Что в итоге

Назначение задач на медперсонал с помощью голосового управления это не только про удобство (для врачей и для пациентов), это ещё и про возможность серьёзной оптимизации рабочих процессов в стационарах. Чем больше у больниц будет возможностей сделать работу медперсонала более удобной и продуктивной, тем выше в конечном итоге будет качество обслуживания пациентов.

Мы хотели создать действительно полезное, многофункциональное решение для стационаров, используя при этом минимальный набор готовых сервисов. Но едва ли не главное преимущество МГП в его универсальности. Голосовой помощник можно быстро внедрить в больнице любого размера и любого профиля. Оптимизировать ПО можно на ходу, учитывая задачи конкретного медучреждения и быстро меняющиеся условия.