Русский
Русский
English
Статистика
Реклама

Исследования и прогнозы в it

Надёжный, неуловимый, пуленепробиваемый какой хостинг использует киберкриминал

09.11.2020 18:08:51 | Автор: admin
Один из факторов успеха любого онлайн-бизнеса использование надёжной и устойчивой инфраструктуры: иметь онлайн-бизнес значит быть онлайн. Это справедливо как для легального бизнеса, так и для киберпреступного. Наш свежий отчёт завершает серию исследований о рынке нелегального хостинга. В первой части мы рассказали о хакерской инфраструктуре и нелегальных интернет-услугах, во второй о том, как злоумышленники используют захваченные серверы и как обнаружить такие взломы. Последняя часть посвящена пуленепробиваемому хостингу (bulletproof hosting, BPH). В этом посте наиболее важные и интересные выводы из этого исследования.
image

Что такое пуленепробиваемый хостинг


Пуленепробиваемый хостинг, или BPH, это хостинг, который позволяет вести нелегальную деятельность, запрещённую у обычных провайдеров: размещение вредоносных программ, пиратского контента или похищенных данных.
BPH-провайдеры либо игнорируют жалобы и запросы от правоохранительных органов, либо заранее предупреждают клиентов, чтобы у них было время адаптировать свой бизнес. Во многих случаях BPH позволяют злоумышленнику скрыть свою истинную личность.

image
Разновидности BPH. Виды услуг и стоимость. Источник (здесь и далее, если не указано иное): Trend Micro

BPH, использующий короткоживущую инфраструктуру, состоящую из захваченных или скомпрометированных серверов, имеет высокий уровень устойчивости. Провайдеры BPH не является официальными владельцами ресурсов, доступ к которым предоставляют, поэтому любые претензии прилетят к настоящему владельцу, а не к ним. Следствие этого является то, что любой хост в их сети может быть удалён в любое время, например, после того как владелец обнаружит компрометацию.
Такие BPH крайне дёшевы и удобны для проведения быстрых операций: распространения спама, размещения реверсивных прокси, массового сканирования и брут-форса. Даже если захваченный сервер будет изъят или удалён, потеряется лишь незначительная часть информации.
Другая разновидность BP-хостеров перепродаёт услуги легальных компаний. Их пуленепробиваемость обеспечивается благодаря способности реселлеров точно соответствовать потребностям киберкриминала, а также за счёт налаженных отношениях с легальными хостинг-провайдерами при обработке запросов о злоупотреблениях. В некоторых случаях реселлеры могут выступать в роли посредников при разрешении конфликтов и споров между поставщиками и потребителями хостинговых услуг.
Для систем, требующих длительных периодов доступности, более жизнеспособным подходом является хостинг в центрах обработки данных, где BPH-провайдер владеет инфраструктурой. Такие провайдеры, как правило, стратегически распределяют свои ресурсы и строят или арендуют инфраструктуру по всему миру, принимая во внимание местные правовые нормы, географические и национальные особенности, профессионализм местных правоохранительных органов и уровень коррупции в государственных учреждениях. Такой BPH самый дорогой, но и самый стабильный.

Способы обеспечения непробиваемости


Каждый BPH-провайдер имеет ограниченный перечень услуг, которые тот оказывает криминалитету. В зависимости от соглашений с вышестоящими провайдерами они публикуют перечень строго запрещённой деятельности и список того, что считается допустимым.

Использование особенностей законодательства
Источником таких ограничений являются различия в законодательствах разных стран, поэтому предмет особенного внимания BPH-провайдеров регион размещения дата-центра, информация о регистрации компании и партнёры по сетевому пирингу.

image
Криминальные активности и их степень приемлемости в разных странах. Y (yes) означает, что указанные действия, по отзывам пользователей подпольных хостинг-услуг, возможны с использованием серверов, расположенных в отмеченной стране, N (no) для указанных действий серверы в этой стране решительно не рекомендуются, M (maybe) использование серверов возможно, но с некоторыми ограничениями

Одна из популярных стран для размещения BPH-инфраструктуры Украина. Причина этого в том, что государственное регулирование и правоприменение этой страны во многих случаях значительно менее жёсткие по сравнению с соседними странами. В то же время действия правоохранителей Украины менее предсказуемы: известны случаи, когда СБУ проводили самостоятельные расследования и арестовывала владельцев пуленепробиваемых хостингов.

Швейцария и Нидерланды также популярны у владельцев BPH как страны, подходящие для создания компаний-прокладок для проведения прокси-хостинга. Это обусловлено тем, что в соответствии с законодательством этих стран хостинг заблаговременно получает уведомление о жалобе, что даёт возможность переместить системы в безопасные локации.
Законодательство Китая достаточно терпимо относится к рассылке спама и сетевому сканированию, однако крайне жёстко реагирует на все виды деятельности, связанные с азартными играми или политической активностью.
В Канаде для изъятия контента требуется длительная подготовка документов, на основании которых выносится решение суда, а уже потом производятся действия с оборудованием и данными.
В США считается допустимым размещение порнографического контента за исключением, разумеется, детского порно, однако рассылка спама, сетевое сканирование и брутфорс приводят к многочисленным жалобам. Помимо этого, правоохранители США нетерпимо относятся к нарушениям законодательства о копирайте (DMCA и другие подобные акты).
В России очень строго относятся к порнографическим материалам, и большая часть порнографического контента считается недопустимым. На многих хостингах к категории запрещённых относятся материалы, связанные с наркотиками и политическим контентом. Однако пользователи таких провайдеров отмечают, что их те проявляют значительную гибкость, заранее предупреждая о поступивших жалобах, а также терпимо относятся к вредоносной деятельности, пока она не направлена против российских компаний и граждан.
Сейшельские острова, Белиз, Доминикана и Панама крайне популярны как место для размещения BPH из-за хороших интернет-каналов и лояльных законов, которые допускают весьма неторопливое реагирование на любые жалобы. Для таких BPH-сервисов даже появился термин офшорный хостинг.

Анонимность
Одна из важнейших характеристик BPH это степень анонимности. Возможность скрыть личность владельца криминального ресурса, принимать анонимные платежи в криптовалютах, регистрировать домены на фиктивные данные и другие подобные свойства являются определяющими при выборе платформы для криминального хостинга.

image
Реклама анонимного хостинга

Анонимность рекламируют даже некоторые законные хостинговые платформы. Например, компания Domains by Proxy строит бизнес на сокрытии личности клиента от большинства публичных запросов. Однако следует отметить, что компания всё-таки реагирует на запросы о раскрытии информации о владельце сайта в случае получения претензий, связанных с нарушением авторских прав.

image
Реклама Domains by Proxy

Гибкость и адаптивность
Эти характеристики чрезвычайно важны для BPH-провайдеров. Их практическим проявлением может быть, например, перемещение серверов или виртуальных машин из одной страны в другую, если в прежней локации возникли неожиданные юридические проблемы. Это гарантирует, что вредоносная служба продолжит работать несмотря на попытки правоохранительных органов изъять оборудование. В комплекте с внешним реверсивным прокси-сервером такая хостинговая модель идеально подходит для BPH-услуг с высокой степенью доступности.

Защита от DDoS
Надёжная сетевая инфраструктура лишь половина дела. Как и любой другой сайт в интернете, киберпреступные ресурсы могут стать мишенью для кибератак, начиная от отказа в обслуживании (DoS) и заканчивая попытками взлома. Вероятность таких инцидентов у таких ресурсов выше, чем у обычных сайтов: недовольные пользователи могут быть и на обычных сайтах, но посетители хакерских ресурсов, с большей вероятностью могут устроить атаку.
Простой во время DDoS-атаки может повлиять на репутацию ресурса, в результате чего его аудитория переметнётся к конкурентам, а владелец сайта потеряет доход.
DDoS-атаки могут проводиться на различных уровнях модели OSI. Как правило, атаки на уровень 7 требуют более сложных методов, но при этом от них сложнее защититься, чем от банального SYN-flood (уровень 4). Именно поэтому многие сайты используют профессиональные сервисы, которые защищают их от DoS-атак на прикладном уровне, и криминальные форумы в этом плане ничем не отличаются от легальных ресурсов.

image
Экран одного из сервисов по защите от DDoS-атак

Анти-скрапинг
Ещё одна проблема, с которой сталкиваются операторы криминальных форумов при выборе хостинга, заключается в том, что многие поисковые системы, организации, правоохранительные органы и исследователи пытаются автоматизировать процесс выявления нелегального контента.
Собранная информация затем публикуется в отчётах об угрозах или используется в расследованиях, проводимых правоохранительными органами. Это может привлечь нежелательное внимание и нанести вред репутации форума.
Для предотвращения скрапинга на различных хостингах используются разные механизмы. Например, для гостей может быть ограничено количество страниц, которые они могут просмотреть в течение суток.

image
Уведомление системы защиты от скрапинга

Другие форумы используют капчу или контрольные вопросы, чтобы удостовериться, что имеют дело с живым человеком.

Рекомендации по противодействию


Противодействовать криминальным ресурсам, размещённым на BPH довольно сложно. В ходе работы над исследованием мы разработали следующие методы, которые могут помочь выявить компании, предоставляющие услуги нелегального хостинга. Вот что можно сделать:
определить, какие диапазоны IP-адресов находятся в публичных чёрных списках; особое внимание уделить адресам, связанным с большим количеством публичных запросов о злоупотреблениях, поскольку это может указывать на деятельность BPH;
проанализировать поведение автономной системы и данные пиринга это также может помочь выявить активность, связанную с BPH.
после обнаружения одного хоста BPH использовать полученный цифровой отпечаток, чтобы найти другие, которые могут быть связаны с тем же провайдером.
В качестве мер, которые могут способствовать прекращению деятельности подпольных хостинговых компаний без необходимости обнаружения или отключения их серверов мы предлагаем следующие:
отправка должным образом оформленных запросов о злоупотреблениях подозреваемому провайдеру нелегального хостинга и его вышестоящим партнёрам;
добавление диапазонов IP-адресов сетей BPH в популярные чёрные списки;
увеличение эксплуатационных расходов BPH для подрыва прибыльности их бизнеса;
подрыв репутации провайдера BPH в киберпреступном подполье создание аккаунтов на подпольных форумах и публикация от их имени постов, в которых высказываются сомнения в безопасности BPH или его возможном сотрудничестве с властями.
Подробнее..

Сравнительный обзор смарт-карт ридеров критерии и оценки

09.11.2020 18:08:51 | Автор: admin

Рекомендации по сравнению и выбору правильного смарт-карт ридера


Данный документ содержит краткое введение в проблематику смарт-карт ридеров (их устройство, классификация, определение параметров для сравнения), предлагает набор критериев и методику для сравнения и анализа конкурирующих продуктов.


Обзор смарт-карт ридеров

Критерии отбора (выбора) продуктов для сравнения


  • Сравниваемые продукты должны иметь схожие технические характеристики, должны использоваться в том же рыночном сегменте
  • Сегмент рынка Enterprise, В2В, В2С, G2B, G2C, офисное применение
  • Подключение по USB 2.0, работа через стандартный встроенный в современные ОС CCID-драйвер
  • Исполнение: горизонтальное и вертикальное, с одним слотом для стандартных смарткарт ISO 7816 типоразмера ID-1

В данном сравнении подробно не рассматриваются портативные, мобильные, ридеры с PIN-клавиатурой, беспроводные (в т.ч. Bluetooth), PCMCI, Express Card, с поддержкой бесконтактных карт, встроенные в клавиатуру и др.


  • Территория Россия

Конкурирующие продукты, которые время от времени появляются на российском рынке, но не имеют сколь-нибудь заметного влияния и/или выраженной инновационной составляющей, в данном сравнении также не рассматриваются.




Рассматриваемые продукты



Модель Разработчик-производитель Страна производства Поставщик в РФ Цена, руб
Ридеры в горизонтальном исполнении
1 JCR721 Аладдин Россия Аладдин 1,895
2 ASEDrive IIIe v2 NXP (Athena) Тайвань Аладдин 2,750
3 ASEDrive IIIe v3 Mini NXP (Athena) Тайвань Аладдин 2,200
4 ASEDrive IIIe v3 Mini Аладдин (по лицензии) Россия Аладдин 1,110
5 ACR38U-I1 ACS Гонконг ISBC 1,110
6 ACR39U-U1 ACS Гонконг ISBC 1,190
7 Rockey 301 C25 Feitian Китай Avito 1,450
8 Rockey 301 C11 Feitian Китай Secure-Market 1,480
9 OMNIKEY (CardMan) 3021 HID США ISBC 1,546
10 IDBridge CT30 Gemalto Китай Актив 1,250
Ридеры в вертикальном исполнении
11 JCR731 Аладдин Россия Аладдин 1,520
12 ACR38U-H1 ACS Гонконг ISBC 1,190
13 ACR3901U-H3 ACS Гонконг ISBC 2,100
14 OMNIKEY (CardMan) 3121 HID США ISBC 1,638
15 Rockey 301 C41 Feitian Китай Аладдин 2,600

Примечание:


  • Сравнение горизонтальных моделей ридеров с JCR721.
  • Синим цветом выделены ридеры в вертикальном исполнении, их необходимо сравнивать с моделью JCR731, выполненной в корпусе с вертикальным исполнением.
  • Цена получена с сайтов рассматриваемых поставщиков в России по состоянию на август 2019 г.


Краткий обзор продуктов


  • JCR721 (Аладдин)
  • ASEDrive IIIe v2 (NXP/Athena)
  • ASEDrive IIIe v3 Mini (NXP/Athena)
  • ACR38U-I1 (ACS)
  • ACR39U-U1 (ACS)
  • Rockey 301 C25 (Feitian)
  • Rockey 301 C11 (Feitian)
  • OMNIKEY (CardMan) 3021 (HID Global)
  • IDBridge CT30 (Gemalto)

JCR721 (Аладдин)


Краткое описание


  • Профессиональный доверенный универсальный смарт-карт ридер Enterprise-класса
  • Предназначен для интенсивного использования с любыми типами контактных микропроцессорных смарт-карт и может использоваться в ГИС, АСУ ТП, для обеспечения безопасности персональных данных 1-го уровня защищённости, на предприятиях КИИ (критической информационной инфраструктуры), в госорганах, на предприятиях ОПК, Министерства Обороны, в банках, многофункциональных центрах (МФЦ), офисах обслуживания, в проектах типа Электронное удостоверение, Электронное правительство, Электронное декларирование и пр.
  • Спроектирован по новым Требованиям доверия ФСТЭК России, в том числе для работы с гостайной, производится в России
  • Имеет повышенный ресурс, не царапает поверхность карты, есть механизм безопасного обновления прошивки (для добавления новых функций и протоколов), машиночитаемый серийный номер, контроль за выработанным ресурсом ридера и кучу др. полезных (но не обязательных для ридеров) функций
  • Быстрый, поддерживает все современные смарт-карты, реальная (подтверждённая) скорость обмена данными со смарт-картой до 625 Кбит/с
  • Работает в Windows, Linux (со всеми российскими дистрибутивами), macOS, ОС Эльбрус, МС ВС, Android, Sailfish/Аврора, на процессорах IA-32, IA-64, x86-64, ARM, Эльбрус, Байкал, Комдив 64/128 (по запросу)
  • Ридер выпускается в том же корпусе, что и ASEDrive IIIe, к которому за 7 лет многие пользователи хорошо привыкли (по лицензии компании NXP/Athena), выпущен на замену ридерам ASEDrive
  • Помимо базовой модели JCR721 со стандартным разъёмом USB-A, выпускается модель с USB Type-C, в вертикальном корпусе, встраиваемые в 525 Slim слот CD-привода, 35 слот дисковода, в ОЕМ-исполнении.
  • Подробное описание


Конструкция



Обзор смарт-карт ридеров

Обзор смарт-карт ридеров

Обзор смарт-карт ридеров


Другие модели линейки JCR7xx:


Обзор смарт-карт ридеров

Обзор смарт-карт ридеров

Обзор смарт-карт ридеров


ASEDrive IIIe v2 (NXP/Athena)


Краткое описание


  • Универсальный настольный смарт-карт ридер, поддерживающий работу со всеми контактными смарт-картами, картами с памятью и картами-счётчиками (I2C, 2/3 bus)
  • Имеет повышенный ресурс, надёжность, не царапает поверхность карты, и из-за этого очень популярен и принят в качестве корпоративного стандарта в крупных корпорациях, Федеральных структурах, внедривших проекты Электронное удостоверение сотрудника
  • Довольно быстрый
  • Широкий модельный ряд, есть ридеры-трансформеры для настольного вертикального/горизонтального использования, портативного-мобильного, ридеры-токены для SIM-карт, встраиваемые, встроенные в клавиатуру, хотя главной фишкой являются ридеры со встроенным сенсором для биологической идентификации пользователя по отпечатку пальца.

Конструкция


Обзор смарт-карт ридеров


Другие модели линейки ASEDrive:


Обзор смарт-карт ридеров

Обзор смарт-карт ридеров


Обзор смарт-карт ридеров


Обзор смарт-карт ридеров


Обзор смарт-карт ридеров


Обзор смарт-карт ридеров


Обзор смарт-карт ридеров


Обзор смарт-карт ридеров


ASEDrive IIIe v3 Mini (NXP/Athena)


Краткое описание


  • Универсальный портативный смарт-карт ридер, который удобно носить собой и использовать вместе с ноутбуком в поездках, дома, имеет укороченный отсоединяемый USB-кабель, поддерживающий работу со всеми контактными смарт-картами, картами с памятью и картами-счётчиками (I2C, 2/3 bus)
  • Предназначен для периодического использования в командировках, дома, в системах ДБО, для получения госуслуг и т.п.
  • Имеет фрикционную (Sliding) контактную группу
  • Довольно быстрый
  • Широкий модельный ряд линейки ASEDrive.

Конструкция


Обзор смарт-карт ридеров

Обзор смарт-карт ридеров


ACR38U-I1 (ACS)


Краткое описание


  • Универсальный настольный компактный смарт-карт ридер, хороший дизайн под Apple, поддерживающий работу со всеми контактными смарт-картами, картами с памятью, картами-счётчиками по протоколам I2C, 2/3 bus и с кучей разной экзотики, использующейся на различных национальных рынках
  • Имеет фрикционную (Sliding) контактную группу с небольшим ресурсом, поэтому ридер предназначен для не очень интенсивной работы с картами
  • Поддерживает всего одну тактовую частоту для работы с картами (4 МГц), поэтому с новыми быстрыми (PKI) картами будет работать относительно медленно
  • Модельный ряд ридеров включает ридеры в вертикальном исполнении, встраиваемые, портативные-мобильный, ридеры-токены, встроенные в клавиатуру, встраиваемые в 35 слот дисковода, есть модели с USB Type-C
  • Подробное описание (с сайта производителя описание этой модели уже убрано, её заместила модель ACR39U-U1)

Конструкция


Обзор смарт-карт ридеров


Другие модели линейки ACR38U-I1:


Обзор смарт-карт ридеров

Обзор смарт-карт ридеров

Обзор смарт-карт ридеров

Обзор смарт-карт ридеров


ACR39U-U1 (ACS)


Краткое описание


  • Универсальный настольный компактный смарт-карт ридер, является обновлением предыдущей модели, поддерживает работу со всеми контактными смарт-картами, картами с памятью, картами-счётчиками (I2C, 2/3 bus)
  • Имеет фрикционную (Sliding) контактную группу с небольшим ресурсом, предназначен для периодической не очень интенсивной работы с картами, есть опция заказа модификации с опускающейся контактной группой (Landing) с большим ресурсом, но она будет стоить дороже
  • По сравнению с предыдущей моделью хорошо работает с современными быстрыми картами
  • Выпускается широкий модельный ряд ридеров в различных исполнениях
  • Подробное описание

Конструкция


Обзор смарт-карт ридеров


Rockey 301 C25 (Feitian)


Краткое описание


  • Универсальный компактный смарт-карт ридер, стильный дизайн (так же под Apple), поддерживает работу со всеми контактными смарт-картами
  • Имеет фрикционную (Sliding) контактную группу с небольшим ресурсом, предназначен для периодической не очень интенсивной работы с картами
  • Очень медленный (хотя декларируются высокие скорости обмена данными с картой)
  • Выпускается широкий модельный ряд ридеров в различных исполнениях ридеры в вертикальном исполнении, встраиваемые, портативные-мобильный, ридеры-токены, беспроводные (NFC, Bluetooth), есть модели с USB Type-C
  • Используемый в ридере специализированный микроконтроллер имеет серьёзные проблемы с безопасностью (см. далее)
  • Подробное описание

Конструкция


Обзор смарт-карт ридеров

Обзор смарт-карт ридеров


Другие модели линейки:


Обзор смарт-карт ридеров

Обзор смарт-карт ридеров


Rockey 301 C11


Краткое описание


  • Универсальный компактный смарт-карт ридер, от предыдущей модели (С11) отличается только дизайном корпуса и использованием более надёжного контактного механизма с опускающимися контактами (Landing) и большим ресурсом
  • Очень медленный (хотя декларируются высокие скорости обмена данными с картой)
  • Как и модель С25 имеет серьёзные проблемы с безопасностью (см. далее)
  • Подробное описание

Конструкция



Обзор смарт-карт ридеров


OMNIKEY (CardMan) 3021 (HID Global)


Краткое описание


  • Универсальный компактный смарт-карт ридер со стильной полупрозрачной вставкой, поддерживает работу со всеми контактными смарт-картами, картами с памятью, картами-счётчиками (I2C, 2/3 bus) от большинства известных производителей
  • Имеет фрикционную (Sliding) контактную группу с относительно небольшим ресурсом, предназначен для периодической или не очень интенсивной работы с картами
  • Довольно быстрый
  • Выпускается широкий модельный ряд ридеров в различных исполнениях ридеры в вертикальном исполнении, трансформеры, встраиваемые, портативные-мобильные, ридеры-токены, беспроводные (NFC)
  • Подробное описание

Конструкция


Обзор смарт-карт ридеров


Другие модели линейки:


Обзор смарт-карт ридеров

Обзор смарт-карт ридеров

Обзор смарт-карт ридеров

Обзор смарт-карт ридеров


Обзор смарт-карт ридеров

Обзор смарт-карт ридеров

Обзор смарт-карт ридеров


IDBridge CT30 (Gemalto)


Краткое описание


  • Универсальный компактный смарт-карт ридер в прозрачном корпусе, поддерживает работу со всеми контактными смарт-картами, картами с памятью, картами-счётчиками (I2C, 2/3 bus) от большинства известных производителей
  • Имеет фрикционную (Sliding) контактную группу с относительно небольшим ресурсом, предназначен для периодической или не очень интенсивной работы с картами, при длительном использовании довольно сильно запиливает карту, оставляя на ней характерные полосы и затёртости по углам (см. фото с поджимными рёбрами не дне ридера)
  • Хорошо работает с современными быстрыми картами
  • Выпускается достаточно широкий модельный ряд в различных исполнениях встраиваемые, портативные-мобильные, ридеры-токены, беспроводные (NFC)
  • Подробное описание

Конструкция


Обзор смарт-карт ридеров

Обзор смарт-карт ридеров

Обзор смарт-карт ридеров


Другие модели линейки IDBridge CT30:


Обзор смарт-карт ридеров

Обзор смарт-карт ридеров

Обзор смарт-карт ридеров


Критерии выбора параметров и оценки



Ключевой показатель Важность
1 Качество контактной группы, её ресурс 1
2 Поддержка различных типов карт 0.6
3 Разнообразие модельного ряда (наличие моделей с новым разъёмом USB Type-C, наличие разных форм-факторов и исполнений: горизонтального, вертикального, компактного/мобильного, встраиваемого, OEM, беспроводного/Bluetooth) 0.3
4 Безопасность (есть ли известные проблемы с безопасностью), доверие (открытость прошивки для анализа на уязвимости и закладки, страна производства), защита от статики и пробоя 0.8
5 Возможность обновления прошивки (в т.ч. удалённо, для ридеров, находящихся в полях/в эксплуатации) 0.4
6 Наличие машиночитаемого уникального серийного номера устройства для его идентификации 0.2
7 Быстродействие (поддерживаемые частоты и скорости чтения/записи на смарт-карты) 0.6


Ключевой показатель параметр, по которому производится анализ и сравнение.


Важность параметр, определяющий важность или весовой коэффициент данного ключевого показателя при комплексном сравнении по всем показателям (экспертная оценка).



Тип контактной группы, её ресурс



Тип контактной группы является важнейшим параметром при выборе ридера.


Обычно в офисные (настольные) ридеры устанавливают недорогие фрикционные (Sliding) контактные группы (припаиваются прямо на печатную плату, без собственного корпуса картоприёмника), при этом карта поджимается к ним за счёт полозьев и направляющих, сделанных в корпусе ридера. При подключении карты скользящие контакты процарапываю поверхностный жировой/грязевой слой на карте, обеспечивая плотный контакт.


Два дополнительных контакта-концевика обеспечивают подачу питания на карту с некоторой задержкой только после полного вставления карты в слот.


Такая конструкция самая простая и дешёвая, но она очень чувствительна к отклонениям в толщине карты и качеству сборки (люфтам) корпуса ридера, его жёсткости.


Ряд производителей таких контактных групп декларирует их ресурс 100,000 подключений, но при этом не делает на контакты даже золотое напыление (либо оно настолько тонкое, что почти не заметно на глаз как на фото ниже), на практике ресурс ридеров с такой контактной группой обычно выдерживает порядка 50,000 подключений.


Типовая конструкция ридера с фрикционной контактной группой выглядит так:



Обзор смарт-карт ридеров

Обзор смарт-карт ридеров


В профессиональные ридеры Enterprise-класса, или в ридеры, использующиеся при работе с комбинированными картами (с NFC/RFID), в проектах типа Электронное удостоверение/пропуск должны устанавливаться другие контактные группы (картоприёмник), более дорогие и надёжные, с опускающейся (Landing) контактной группой только после того, как карта вставлена в картоприёмник.


Такая конструкция не царапает поверхность пластика и контактной площадки карты, не создаёт избыточного неравномерного давления на неё, снижается риск повреждения карты и повышается срок её службы.


Надёжность контактов обеспечиваются за счёт небольшого скольжения с процарапыванием жирового/грязевого слоя при вставлении карты уже опустившимися контактами прямо на контактной площадке карты, не царапая пластик.


Типовая конструкция ридера с опускающейся контактной группой выглядит так:



Обзор смарт-карт ридеров


От правильного выбора типа контактной группы зависят:


  • Долговечность карты на неё влияет несколько факторов:
    • Механический износ и запиливание как пластика карты, так и контактной группы. Если на карту нанесено изображение, то на нём (с обоих сторон карты) довольно быстро появятся полосы: на лицевой стороне карты от фрикционных контактов, скользящих с определённым усилием по поверхности карты, и с обратной стороны следы от поджимающих карту направляющих и ограничителей на внутренней крышке корпуса (см. пример типовой конструкции ридера с фрикционными контактами)
    • Механическое давление от давящих на карту контактов, неравномерно распределяющееся по карте в моменты её подключения или вытаскивания из ридера это обычно приводит к обрыву антенны в комбинированных и дуальных картах с радио-интерфейсом NFC/RFID, иногда к внутренним обрывам проводников, соединяющих кремниевый чип с контактной группой на карте, и выходу его из строя.

  • Надёжность работы с картой (частота возникновения ошибок при операциях чтения/записи данных на карту, вероятность их повреждения за счёт плохого (дребезжащего) контакта и риска повреждения записанного на карту массива данных.
  • Ресурс (долговечность) работы ридера:
    • Для фрикционных (Sliding) контактных групп ресурс обычно составляет 100,000 подключений
    • Для опускающихся (Landing) контактных групп ресурс обычно составляет 200,000, 300,000 и для встраиваемых ридеров с прецизионным позиционированием карты 500,000 подключений.


Далее обзор режет Хабр (а там начинается всё самое интересное!), поэтому вы сможете прочитать его продолжение из источника на нашем сайте https://www.aladdin-rd.ru/company/pressroom/articles/readers

Подробнее..

Telegram, Signal, Wickr Me выбираем самый безопасный мессенджер и разбираемся, существует ли он

12.11.2020 10:07:10 | Автор: admin


Нас часто спрашивают, насколько хорошо те или иные популярные мессенджеры хранят тайны своих пользователей переписку и пересылаемые файлы, существуют ли риски взлома самих сервисов, да и вообще, есть ли он идеальный безопасный мессенджер? Команда департамента аудита и консалтинга Group-IB провела сравнительный анализ защищенности трех основных мессенджеров, которых чаще других называют в списке наиболее защищенных. В этой обзорной статье мы представим результаты независимого исследования и дадим свой ответ, какой мессенджер безопаснее.

О каких мессенджерах пойдет речь?


Сразу оговоримся, что отбор мессенджеров для нашего обзора производился на основе анализа существующих открытых исследований защищенности мессенджеров, их популярности в России и их позиционирования на рынке.

По итогам оценки и изучения мнений экспертов отрасли наша команда выбрала три мессенджера, ориентированные на защиту данных пользователей:

  1. Signal некоммерческий проект Open Whisper Systems
  2. Telegram некоммерческий проект Telegram FZ-LLC
  3. Wickr Me коммерческий проект Wickr Inc с бесплатной версией

Для исследования мессенджеров использовали последние версии, доступные на момент исследования в App Store и Google Play.

Мессенджеры устанавливались на смартфоны с iOS версии 13.3.1 и Android версии 7.1.2, при этом на смартфонах заранее были получены права суперпользователя (jailbreak для iOS и root-доступ для Android).

Как сравнивали мессенджеры?


Теперь вкратце расскажем о методике проведенного анализа защищенности. На рисунке ниже отображена схема формирования оценки по каждому мессенджеру.

Для проведения анализа мы выбрали три основные категории:

  1. Открытость сообществу
  2. Архитектура
  3. Основная функциональность

В категории Открытость сообществу оценивались:

  • наличие отчетов внешних аудиторов (в том числе наличие bug bounty-программ)
  • доступность исходного кода мессенджера для исследователей (клиентская и серверная часть, протокол шифрования)
  • наличие доступной и подробной документации для пользователей мессенджера

В этой категории не проводятся технические проверки, а полученный результат основан на оценке специалистов-участников проекта. Максимальная возможная оценка для мессенджера в этой категории 12 баллов.

В категориях Архитектура и Основная функциональность оценка складывалась на основе результатов технических (инструментальных) проверок, которые проводились по стандарту OWASP Mobile Security Testing Guide.

В категории Архитектура после проведения инструментальных проверок мы получили оценку:

  • защищенности данных мессенджера (например, конфигурационные файлы, необходимые для работы мессенджера)
  • защищенности каналов связи (например, реализация передачи данных на сервер мессенджера)
  • защищенности резервных копий (например, файлы приложения, создаваемые как мессенджером, так и операционной системой смартфона)
  • защищенности данных профиля пользователя (например, логин пользователя, местоположение)

При наличии недостатков в какой-либо из проверок максимальный балл категории снижался, а максимальная возможная оценка 200 баллов.

В категории Основная функциональность оценивалась корректность работы следующих функций мессенджеров:

  • обмен сообщениями (включая файлы различных форматов)
  • совершение видео- и аудиовызовов

Максимальная оценка в этой категории 120 баллов.

Таким образом, максимальная итоговая оценка мессенджера может составить 332 балла и складывается в следующем отношении:
Если вам интересно узнать больше полную информацию о методологии проведенного анализа защищенности можно найти здесь.

Сразу оговоримся, что в границы нашего исследования не вошли:
  • анализ исходного кода: он доступен не для всех мессенджеров.
  • исследование серверной части мессенджеров: оно может включать инвазивное воздействие и требует письменного согласия на проведение данных работ.
  • криптографический анализ используемых алгоритмов шифрования и reverse engineering мессенджеров: эти работы займут намного больше времени, чем было отведено на проект, поэтому не будем отбирать хлеб специалистов-криптографов.

И что получилось?


Пришло время поделиться результатами исследования: как видно на диаграмме ниже, наибольшее количество баллов набрал Wickr Me 304 из 332 возможных:

В таблице отражено, как складывалась оценка каждого мессенджера:

Давайте рассмотрим лидеров в каждой категории и найденные недостатки, после чего немного детальнее рассмотрим каждый из них.

Открытость сообществу


Лидеры в этой категории Signal и Telegram набрали одинаковое значение, 10 баллов. Репозитории мессенджеров содержат исходный код приложения и протоколы, доступные для исследования всем желающим. Однако мессенджеры держат закрытой серверную часть приложения, поэтому не получили максимальную оценку.

Wickr Me набрал меньше баллов, так как мессенджер не раскрывает исходный код.

Архитектура


В этой категории есть общий для мессенджеров недостаток возможность обхода биометрической аутентификации. Эксплуатируя этот недостаток, можно получить доступ к данным пользователя мессенджера.

Лидером в категории Архитектура является Wickr Me, который содержит меньше выявленных недостатков, чем у конкурентов.

Signal и Telegram набрали меньше баллов, так как небезопасно хранят чувствительные данные мессенджера и профиля пользователя на клиентской стороне.

Из плюсов следует отметить, что все мессенджеры поддерживают E2EE-шифрование передаваемых данных, поэтому оценка Certificate pinning не проводилась.

Основная функциональность


Эту категорию можно расширять до бесконечности, но у нашей команды не было цели исследовать все реализованные фичи, и мы остановились на изучении основной функциональности мессенджеров и их безопасности:

  • обмен сообщениями
  • совершение аудио- и видеозвонков

Примечание: не рассматривалось использование в корпоративной среде.

Лидерами данной категории стали Wickr Me и Telegram, набрав максимальное количество баллов.

Версия мессенджера Signal под платформу Android содержит недостаток обработки исключений, который приводит к остановке приложения (то есть мессенджер сразу закрывается), поэтому Signal набрал меньше баллов в этой категории.

Информация о найденных недостатках


Мы описали общие результаты исследования, а теперь перейдем к более технической части. Ниже описаны некоторые детали выявленных недостатков мессенджеров.

Напомним, что все выявленные недостатки были обнаружены на устройствах с root-доступом (или к устройству применен jailbreak).

Первый недостаток, характерный для всех трех мессенджеров (для обеих платформ) это возможность обхода описанной выше биометрической аутентификации. Дальше мы рассмотрим этот недостаток для каждой платформы.

Возможность обхода биометрической аутентификации


Современные смартфоны поддерживают несколько механизмов аутентификации, и один из возможных это биометрическая аутентификация при помощи Touch ID или Face ID. При включенной функции биометрической аутентификации устройство сканирует отпечаток пальца (или лицо) и сравнивает с эталонным, заранее занесенным в систему.

iOS


У всех приложений, в том числе мессенджеров из нашего списка, для платформы iOS биометрическая аутентификация пользователя осуществляется при помощи Local Authentication Framework с использованием функции evaluatePolicy класса LAContext. Рассмотрим работу биометрической аутентификации немного подробнее.

Как выглядит биометрическая аутентификация для пользователя?

При нажатии на логотип мессенджера отображается диалоговое окно аутентификации, которое запрашивает у пользователя подтверждение действия, например, изменение настроек, покупку и т.д. с помощью биометрической аутентификации (Touch ID/Face ID).

В зависимости от того, как закончился процесс биометрической аутентификации, функция evaluatePolicy возвращает значение (true или false), которое используется далее для управления приложением (например, открывается мессенджер или нет).

В чем заключается недостаток?

У всех исследуемых мессенджеров недостаток реализации биометрической аутентификации состоит в том, что пользователь аутентифицируется лишь на основе результата функции evaluatePolicy (true или false) и мессенджер не использует системные механизмы авторизации при доступе к значениям из защищенного хранилища Keychain. Более подробно о локальной аутентификации можно узнать в Mobile Security Testing Guide: здесь и здесь.

Как устранить недостаток?

Один из способов устранить описанный недостаток создать в защищенном хранилище Keychain запись, которая будет содержать некоторый секрет (например, упомянутый ранее аутентификационный токен). При сохранении записи в Keychain необходимо задать соответствующие атрибуты, например, kSecAccessControlTouchIDAny или kSecAccessControlTouchIDCurrentSet.

Далее, чтобы получить значение этой записи, нужно будет обязательно успешно пройти локальную аутентификацию (в зависимости от заданных настроек доступа в Keychain с помощью Touch ID/Face ID или ввода парольной фразы). Использование Keychain с необходимыми атрибутами сохраняемых в нем объектов позволит снизить возможность получения доступа к данным мессенджера.

Android


Описанный выше недостаток характерен и для мессенджеров платформы Android, поэтому мы рассмотрим работу биометрической аутентификации немного подробнее.

В приложении для платформы Android биометрическая аутентификация пользователя осуществляется с использованием классов FingerprintManager (не используется с Android 9), BiometricPrompt, BiometricManager.

Процесс биометрической аутентификации для пользователя на платформе Android выглядит абсолютно так же, как и на iOS.

В чем заключается недостаток?

Недостаток реализации биометрической аутентификации исследуемых мессенджеров для платформы Android аналогичен недостатку для iOS не используются возможности операционной системы и устройства: мессенджеры не запрашивают системную авторизацию пользователя через KeyStore. Таким образом, потенциальный злоумышленник может подменять результат выполнения процедуры аутентификации для ее обхода.

Как устранить недостаток?

Для устранения данного недостатка в приложении рекомендуется использовать симметричные/асимметричные криптографические ключи (класс KeyGenerator), при инициализации которых вызывать функцию setUserAuthenticationRequired (true). Вызов данной функции позволяет получить доступ к значениям соответствующих криптографических ключей только после успешного прохождения процесса локальной аутентификации. Ключи при этом используются для шифрования некоторого секрета, например, аутентификационного токена в приложении.

Хранение чувствительной информации в локальном хранилище


Еще один обнаруженный недостаток небезопасное хранение чувствительных данных в локальном хранилище характерен для двух из трех мессенджеров.

Ниже мы привели примеры небезопасного хранения чувствительной информации в локальном хранилище, которые встречаются у некоторых мессенджеров платформы iOS:

  • передаваемые файлы, а также кэшированные изображения из чатов в открытом виде;
  • ключ шифрования базы данных мессенджера в Keychain. Поскольку не используется локальная аутентификация для доступа к значениям из Keychain (см. Возможность обхода биометрической аутентификации), хранение ключа шифрования базы данных мессенджера в Keychain снижает уровень защищенности данных;
  • файлы конфигурации мессенджера, в которых присутствуют параметры, использующиеся для шифрования;
  • IP-адрес устройства в лог-файлах мессенджера;
  • сообщения чатов в открытом виде в базе данных мессенджера.

Если говорить про мессенджеры на Android, небезопасное хранение чувствительных данных тоже встречается, например:

  • файлы конфигурации мессенджера, в которых присутствуют параметры, использующиеся для шифрования, а также информация о номере телефона пользователя;
  • сообщения пользователя (в том числе черновики) в открытом виде;
  • контактная информация пользователей мессенджера, с которыми переписывался владелец устройства.

Как устранить недостаток?

Для устранения данного недостатка рекомендуется пересмотреть архитектуру и способы хранения чувствительных данных мессенджера.

Еще раз напомним, что вышеуказанные чувствительные данные мессенджера недоступны без использования root-доступа (или jailbreak) на устройстве.

Некорректная обработка исключений


Данная уязвимость относится только к платформе Android и мессенджеру Signal.

При исследовании основной функциональности мессенджеров осуществлялась отправка файлов разных форматов. В результате был найден один сценарий, при котором отправка файла вызывала остановку в работе мессенджера со следующей ошибкой: Signal has stopped.

Исследование лог-файлов мессенджера показало, что у мессенджера есть необрабатываемое исключение. Информация об ошибке на внешние серверы не отправляется.

Как устранить недостаток?

Чтобы избавиться от данного недостатка, нужно реализовать проверку формата файла, который пользователь выбирает для отправки.

Ответы разработчиков


Обо всех описанных выше недостатках наша команда сообщила разработчикам мессенджеров. На момент публикации мы получили ответ от двух из трех мессенджеров (Signal и Telegram), третий на наши вопросы так и не ответил.

Разработчики поблагодарили нашу команду за предоставленную информацию и сообщили, что не считают выявленные недостатки уязвимостью, поскольку исследуемые версии мессенджеров используют для защиты данных мессенджера штатные механизмы защиты информации операционной системы. Используемые механизмы не позволяют эксплуатировать выявленные недостатки, а использование на устройстве root-доступа (или jailbreak) остается на усмотрение пользователя.

Тем не менее, мессенджеры могут реализовать проверку наличия root-прав на устройстве и уведомлять об этом пользователя устройства для снижения риска потенциальной компрометации данных.

Вывод


Мы провели сравнительный анализ защищенности трех мессенджеров, позиционирующих себя как безопасные, и выяснили, что все мессенджеры имеют ряд общих недостатков, а у Signal и Telegram также выявлены недостатки реализации хранения чувствительной информации в локальном хранилище.

Несмотря на то, что эксплуатация вышеуказанных недостатков возможна только при наличии физического доступа к смартфону, по оценке нашей команды, все эти недостатки снижают уровень защищенности данных пользователя.

По итогам всех проверок лидером нашего исследования стал мессенджер Wickr Me, который набрал 304 балла и у которого выявлено меньше всего недостатков.

Вывод прост: абсолютно безопасных мессенджеров нет, но мы надеемся, что благодаря этому исследованию вы сможете сохранить конфиденциальность и повысить безопасность своего общения, зная обо всех подводных камнях выбранного вами сервиса.
Подробнее..

Исследование атак со стороны профессиональных кибергруппировок смотрим статистику техник и тактик

01.12.2020 12:23:05 | Автор: admin
Это был сложный год не только в свете коронавируса, локдауна, экологических бедствий и прочего, но и в части информационной безопасности. С переходом на удаленку многие компании выставили наружу ходы в инфраструктуру, что открыло новые возможности для мамкиных хакеров. Параллельно и профессиональные группировки, использующие гораздо более сложные инструменты, стали атаковать чаще. Мы подвели итоги за неполный год и свели в единую статистику те техники и тактики, с которыми мы чаще всего сталкивались в процессе мониторинга инфраструктур заказчиков.


Как считали


Прежде всего методология и источники данных. Что легло в основу аналитики:

  • анализ инцидентов и атак, выявленных командой центра мониторинга и реагирования на кибератаки Solar JSOC на инфраструктурах заказчиков;
  • работы команды JSOC CERT по расследованию инцидентов;
  • агрегированная информация об атаках и вредоносном ПО, собираемая ханипотами, размещенными на сетях связи и центрах обработки данных;
  • информация, получаемая в рамках коммерческих подписок от внешних поставщиков услуг и информационного обмена с российскими и международными CERT.

Скоуп объектов мониторинга:

  • более 140 крупных организаций (и более 600 тысяч сотрудников) в самых разных отраслях: банки, энергетика и нефтегазовый сектор, органы государственной власти и др.
  • более 1500 внешних сервисов, опубликованных в интернете;
  • более 70 тысяч серверов общего, инфраструктурного и прикладного назначения.

TL;DR (главные выводы)


Профессиональные группировки мы условно делим на несколько уровней: киберкриминал (группировки среднего уровня, нацеленные в основном на вывод денег, выкуп за расшифрование данных и т.д.), кибернаемники (нарушители, зарабатывающие заказными атаками) и кибергруппировки, предположительно финансируемые государствами.

За 2020 год зафиксировано более 200 атак со стороны киберкриминала, включая массовые атаки на отрасль/сектор экономики). Рост по сравнению с прошлым годом примерно на 40%. Самые популярные объекты атаки банки.

Инициаторы примерно 30 атак атрибутируются как группировки, действующие в интересах различных иностранных государств. В 2019 году атак такого уровня было примерно в два раза меньше. Такие группировки атаковали преимущественно органы госвласти, энергетический сектор, компании нефтегазовой отрасли и объекты критической информационной инфраструктуры других сфер деятельности.

Инструментарий группировок среднего уровня


Группировки среднего уровня квалификации, как правило, не разрабатывают вредоносное ПО самостоятельно, а приобретают его в даркнете. Иными словами, статистика применения того или иного массового вредоноса фактически отражает статистику атак киберкриминала. В 2020 году наибольшую популярность имели:

  • RTM 45%
  • Emotet 24%
  • Remcos 5%
  • Nanocore 5%
  • Quasar 5%
  • LokiBot 4%
  • Pony 4%
  • Dharma 3%
  • Hawkey 3%
  • прочие около 2%

Более профессиональные группировки, как правило, используют самописное вредоносное ПО, поэтому составить статистический срез в этом отношении не представляется возможным.

Техники, применяемые для преодоления периметра и взлома инфраструктуры


В случае если злоумышленники применяли комбинированный способ атаки, мы учитывали вектор, наиболее критичный с точки зрения контроля и блокировки. Например, при атаке на Exchange Server с помощью уязвимости CVE-2020-0688, для эксплуатации которой требуются учетные данные одного из пользователей, инцидент учитывался как использование уязвимостей в веб-приложении, так как в данном случае более критична необходимость закрытия уязвимости (технической возможности полного контроля компрометации учетных данных за пределами компании не существует).

Действия киберкриминала за последний год существенно не поменялись. Злоумышленники этого уровня все чаще используют фишинг и социальную инженерию для проникновения в компанию. В целом тяготение киберкриминала к конкретным техникам взлома в 2020 году прослеживалось достаточно четко:

  • Фишинг 74%
  • Атаки на веб-приложения 20%
  • Компрометация учетных записей 3%
  • Эксплуатация уязвимостей периметра 2%
  • Supply chain менее 1%

Это объяснимо: фишинг достаточно прост и по-прежнему эффективен для массовых атак, требует минимальных вложений в обследование и анализ инфраструктуры жертвы. Параллельно влияет ежегодно растущее число утечек учетных данных с публичных и внутренних сервисов, что вывело атаки посредством компрометации учетных записей на третье место. А вот атаки через подрядчика (supply chain) требуют длительной подготовки, поэтому крайне редко используются этой категорией злоумышленников.

Существенно отличается статистика по кибернаемникам и проправительственным группировкам, нацеленным на деструктивные действия и шпионаж с использованием более фокусного, индивидуального подхода к реализации атак:

  • Атаки на веб-приложения 45%
  • Эксплуатация уязвимостей периметра 32%
  • Supply chain 16%
  • Компрометация учетных записей 4%
  • Фишинг 3%

Слабый уровень защищенности веб-приложений на объектах КИИ и в органах государственной власти делает этот вектор наиболее популярным у высокопрофессиональных киберпреступников. Также существенный вес имеют атаки через подрядчика, который, как правило, обладает высокими привилегиями на обслуживание не только корпоративных, но зачастую и закрытых технологических сегментов. Поэтому компаниям стоит обратить внимание на уровень защищенности подрядных организаций и выстроить максимально безопасный способ доступа подрядчиков в инфраструктуру.

Техники, используемые злоумышленниками для закрепления и развития атаки


Совокупно ключевые способы закрепления в инфраструктуре жертвы сводятся к следующим техникам:

  • механизмы автозагрузки прописывание запуска инструментария в автозагрузку операционной системы и сокрытие этого запуска от защитных механизмов
  • системные службы создание системной службы для функционирования инструментария
  • формирование собственного драйвера для максимального сокрытия от защитных алгоритмов
  • использование для работы вредоносного ПО технологий WMI внутренних технологий управления Windows
  • использование ОС для работы инструментария BITS-задач фоновых задач передачи файлов
  • использование планировщика задач для старта вредоносного ПО в определенное время
  • использование планировщика задач для старта вредоносного ПО в определенное время
  • использование планировщика задач для старта вредоносного ПО в определенное время

Ключевые техники для распространения по сети:

  • Pass the Ticket/Pass the Hash кража аутентификационной информации пользователей с использованием слабой защиты аутентификации в Windows
  • использование удаленных сервисов: RDP, SMB, SSH применение административных протоколов с предшествующей кражей учетных записей пользователей
  • эксплуатация уязвимостей удаленных сервисов: RDP-, SMB-, WEB-компоненты эксплуатация уязвимостей в административных протоколах

При использовании комбинированного способа атаки учитывался вектор, наиболее сложный для технического детектирования.

Ситуация в 2020 году выглядела следующим образом.

Закрепление


Группировки среднего уровня:

  • Механизмы автозагрузки 70%
  • Использование планировщика задач 15%
  • Системные службы 10%
  • Использование BITS-задач 5%
  • Формирование собственного драйвера 0%
  • Использование технологий WMI 0%

Кибернаемники и проправительственные группировки:

  • Системные службы 70%
  • Использование планировщика задач 10%
  • Использование BITS-задач 7%
  • Механизмы автозагрузки 5%
  • Использование технологий WMI 5%
  • Формирование собственного драйвера 3%

Распространение



Группировки среднего уровня:

  • Использование удаленных сервисов: RDP, SMB, SSH 80%
  • Pass the Ticket/Pass the Hash 15%
  • Эксплуатация удаленных сервисов: RDP-, SMB-, WEB-компоненты 5%

Кибернаемники и проправительственные группировки:

  • Использование удаленных сервисов: RDP, SMB, SSH 60%
  • Pass the Ticket/Pass the Hash 20%
  • Эксплуатация удаленных сервисов: RDP-, SMB-, WEB-компоненты 20%

Видно существенное различие подходов, используемых группировками разного уровня для сокрытия своей активности. Инструменты, применяемые группировками среднего уровня, гораздо проще для реализации и могут быть детектированы командой защиты средней квалификации. Более профессиональные группировки используют подходы, требующие сложных алгоритмов выявления и продвинутых технологий защиты.

Подход к реализации вредоносного кода


Группировки среднего уровня:

  • Легитимные корпоративные или свободно распространяемые утилиты для администрирования 40%
  • Различные доступные инструменты и фреймворки (для проведения анализа защищенности или ВПО, опубликованное в интернете) 40%
  • Самописное бинарное вредоносное ПО 10%
  • Самописные скрипты на различных интерпретируемых языках (Powershell, vbs, js, bat) 10%

Кибернаемники и проправительственные группировки

  • Самописное бинарное вредоносное программное обеспечение 50%
  • Самописные скрипты на различных интерпретируемых языках (Powershell, vbs, js, bat) 20%
  • Легитимные корпоративные или свободно распространяемые утилиты для администрирования 20%
  • Различные доступные инструменты и фреймворки (для проведения анализа защищенности или ВПО, опубликованное в интернете) 10%

Ключевые узлы инфраструктуры, к которым злоумышленники стремились получить доступ


Группировки среднего уровня при проведении атак, как правило, были нацелены на получение доступа к следующим узлам инфраструктуры:

  • Контроллер домена 80% случаев (для получения максимальных привилегий и возможности использовать различных учетных записей)
  • АРМ и транзитные серверы, обрабатывающие платежную информацию 85% (с целью крупной монетизации атаки)
  • АРМ ИТ-администраторов с высоким уровнем привилегий 75%
  • Системы ИТ-управления инфраструктурой (серверы инвентаризации, обновления, управления конфигурацией и т.д.) 65% (для получения наиболее полной информации об инфраструктуре)
  • Прикладные системы, хранящие финансовую информацию (АБС, ДБО, ERP, бухгалтерские системы) 45% (для возможности более типизированной монетизации через платежную информацию или вирусы-шифровальщики)
  • Системы ИБ-управления инфраструктурой (антивирусное ПО, системы защиты от несанкционированного доступа, сканеры уязвимостей) 40% (для получения возможности централизованного управления парком серверов и рабочих станций с высокими уровнями

  • При защите и мониторинге безопасности инфраструктуры рекомендуем учитывать данные особенности и повысить контроль за указанными активами. Надеемся, эта аналитика будет полезна при определении приоритетов реализации тех или иных мер защиты. Stay safe!
Подробнее..

Перевод Про iPhone 12, названия моделей и ценообразование

11.11.2020 12:15:25 | Автор: admin

Джон Грубер, один из ведущих в подкасте Dithering, опубликовал свои Мысли и наблюдения на тему мероприятия Apple "Hi, Speed", посвященного запуску iPhone 12:

Итак, в этом году вышло четыре новых iPhone. Можно запутаться? Вряд ли. Если в линейке этого года и есть что-то непонятное и сложное, то лишь верхний сегмент с различиями в системе камер между 12 Pro и 12 Pro Max. Добавление четвертой модели iPhone, 12 Mini, нисколько не усложняет линейку, потому что название точно описывает все, что о ней нужно знать.

Названия моделей iPhone

Начнем с того, что под названием iPhone 12 вышло 4 новых смартфона: это примечательно, потому что модели прошлого года назывались iPhone 11, а версии iPhone 11S не было! Вероятно, Apple было бы целесообразнее отказаться от поколения "S", прежде всего из-за китайского рынка.

Во избежание будущих ошибок не помешали бы следующие корректировки:

  • Первая, и наиболее очевидная компании стоит быть более пессимистичной с учетом ее прогнозов по Китаю в годы моделей "S";

  • Вторая руководство должно понимать, что уровень конкуренции в Китае отличается от остального мира: компания является люксовым брендом, но только в плане аппаратного обеспечения. В Китае iOS следует ориентироваться главным образом на местный рынок; что касается железа, возможно, пришло время отказаться от стратегии "S".

Аргументация более чем весома, но если взглянуть на схему запуска топовых моделей, станет понятно, что велика вероятность в следующем году увидеть 12S:

Промышленный дизайн

Камеры

iPhone

Новый

1

iPhone 3G

Новый

1

iPhone 3GS

Старый

1

iPhone 4

Новый

1

iPhone 4S

Старый

1

iPhone 5

Новый

1

iPhone 5S

Старый

1

iPhone 6

Новый

1

iPhone 6S

Старый

1

iPhone 7

Старый

2

iPhone X

Новый

2

iPhone XS

Старый

2

iPhone 11 Pro

Старый

3

iPhone 12 Pro

Новый

3

В случае с iPhone 7, Apple оставили прежний промышленный дизайн для третьего поколения, но добавила вторую камеру. В прошлом году компания поступила аналогично с iPhone 11, добавив третью камеру. Если сохранится эта схема, следующий год обойдется без сенсаций в плане дизайна и камер иными словами, грядет год "S".

Конечно, за последние четыре года линейка Apple пополнилась и более дешевой моделью (ранее аналогичная цена была на флагманские модели):

Промышленный дизайн

Камеры

iPhone 8

Старый

1

iPhone XR

Новый

1

iPhone 11

Старый

2

iPhone 12

Новый

2

Если этот шаблон останется, iPhone 12S сохранит текущий дизайн, также как и 12S Pro, но, возможно, обзаведется третьей камерой.

Ценообразование iPhone

А теперь самая интересная часть публикации Грубера.

Вот матрица новой линейки, систематизированная наиболее логичным способом.

В нижней строке сравниваются все уровни хранилищ с объемом 128 Гб, взятым за основу. В этом году цены очень стабильны: во всех моделях iPhone каждые дополнительные 64 Гб памяти стоят 50 долларов.

64 Гб

128 Гб

256 Гб

512 Гб

iPhone 12 Pro Max

$1,100

$1,200

$1,400

iPhone 12 Pro

1,000

1,100

1,300

iPhone 12

830

880

980

iPhone 12 Mini

730

780

880

iPhone 11

600

650

750

iPhone XR

500

550

iPhone SE

400

450

550

from 128 GB

-50

+100

+300

Для сравнения не лишним будет добавить прошлогодние цены новой на тот момент линейки iPhone 11:

64 Гб

128 Гб

256 Гб

512 Гб

(2019) 11 Pro Max

$1,100

$1,250

$1,450

(2019) 11 Pro

1,000

1,150

1,350

(2019) iPhone 11

700

750

850

Приведены расценки для разблокированных телефонов.

Промо тарифы на iPhone 12 и 12 Mini, начиная с 799/699 долларов соответственно, а не с 829/729 долларов не более чем маркетинговый ход в результате партнерских соглашений с AT&T и Verizon. Эти цены актуальны только для клиентов AT&T и Verizon, так что по сути это приманка стоимостью 30 долларов. А теперь компания Apple приняла в клуб еще и T-Mobile.

В прошлом году было поднято слишком много шума по поводу снижения цен на iPhone 11, а также на вышедший год назад XR. Этот слайд многих сбил с толку, вследствие чего повышение цен в этом году осталось незамеченным:

699 долларов стоимость модели Mini, и это даже не настоящая цена! При этом iPhone 12, эквивалент модели iPhone 11, стоит на 130 долларов дороже. Грубер считает, что повышение цены, скорее всего, связано с появлением OLED-экрана, который по данным TechInsights в iPhone 11 Pro Max оценивался в 66,50 долларов. Это, конечно, существенно дороже, чем LCD-экран в iPhone 11 (ориентировочная стоимость которого долларов 30), но намного дешевле меньшего по размеру OLED-экрана в iPhone X, который оценивался примерно в 110 долларов.

Вероятно, произошло следующее:

  • Модель iPhone 12 будет выпускаться в ближайшие 3-4 года, поэтому Apple принимают решения о техническом оснащении не только на ближайший год, но и на несколько лет вперед, собирая iPhone 12 из максимально современных комплектующих.

  • Цены на OLED стремительно падают, и через год-два существования iPhone 12 на рынке она почти сравняется с ценой, которая была на LCD.

  • Цены на OLED не настолько низкие, чтобы оставаться в сегменте прошлого года, поэтому Apple апгрейдили iPhone 12 сильнее обычного по своим функциям он практически идентичен iPhone 12 Pro, и добавили iPhone 12 Mini, соответствующий старой ценовой планке (с учетом промо тарифа).

Короче говоря, Apple могли бы подождать годик до запуска OLED, но они хотели как можно скорее выпустить на рынок новый промышленный дизайн (включая MagSafe), и это был единственный способ достичь цели и получить прибыль.

Весьма разумный подход, но стоит признать, что предыдущее снижение цен сомнительный аргумент в пользу клиентоориентированности Apple: это по-прежнему аппаратная компания как с точки зрения принятия решений, так и прибыли, и искать подтекст в ее ценообразовании не стоит.

Подробнее..

Кибербуллинг почему люди становятся наблюдателями

11.11.2020 20:10:19 | Автор: admin

Мы второй год подряд проводим всероссийскую кампанию по борьбе с травлей в интернете День борьбы с кибербуллингом. Приглашаем объединиться всех, кто верит, что агрессия в сети и за ее пределами недопустима.

Мы провели масштабное исследование и изучили поведение людей, которые при столкновении с агрессией, направленной на других, занимают наблюдательную позицию. Результаты исследования 2019 года показали, что таких в рунете 60%. А в этом году мы узнали, почему наблюдатели бездействуют, что заставляет их оказывать помощь жертвам агрессии и есть ли разница между их действиями в интернете и в реальной жизни.

Исследование проводилось в сентябре-октябре 2020 года совместно с Research.me, UX-лабораторией Mail.ru Group и UXSSR. Здесь вы можете скачать полные результаты исследования. Некоторые из них весьма печальны для нашего общества. Второй карантин, экономический кризис, преддверие зимы всё это не помогает людям быть добрее и терпимее друг к другу. Это подтверждает опрос: половина респондентов считает, что уровень агрессии в обществе вырос в ходе пандемии. Причём эта агрессия в интернете чаще всего не обоснована. Любопытно, что люди считают грубость и оскорбления в интернете неприемлемыми но готовы использовать их для самозащиты. Прямо напрашивается аналогия с физическим нападением.


При этом большинство занимают позицию наблюдателя, когда становятся свидетелями кибербуллинга. И главная причина в том, что публичный спор многие считают бессмысленным. Вторая по популярности причина люди не знают жертву лично. Странная логика, но так считает 28% опрошенных. Третья причина, по которой люди просто наблюдают за кибертравлей, заключается в том, что они не уверены в состоятельности своих аргументов. И наконец, 13% признались, что не вступают в защиту других из боязни стать мишенью.


Так что очевидно, что бороться с кибербуллингом необходимо, он стал частью нашей повседневности.

Краткие выводы по результатам исследования


  • Наблюдатель может сам стать агрессором, если вместо поддержки жертвы унижает агрессора. Написать грубый или эмоциональный комментарий в защиту другого человека приемлемо для 26% пользователей рунета.
  • Почти половина респондентов (49%) считает, что уровень агрессии в российском обществе в период пандемии вырос. Чаще это отмечают женщины (52% против 46% мужчин). При этом каждый четвертый не заметил изменения уровня агрессии.
  • За последний год каждый второй (52%) никогда не заступался ни за кого в интернете, а 44% в офлайне. Свидетели агрессивного поведения чаще заступаются за жертв в реальной жизни, чем в интернете.
  • Каждый пятый (20%) опрошенный испытывал бессилие, не зная, как помочь жертве (как онлайн, так и в реальной жизни). Наблюдение за травлей влияет на эмоциональное состояние интернет-пользователей.
  • Главная причина, по которой наблюдатели не поддерживают жертв агрессии в интернете, нежелание участвовать в публичном споре. Это выглядит бессмысленным для 65% опрошенных. В реальной жизни треть наблюдателей (33%) не заступаются за жертв агрессии, потому что не знакомы с ними лично.
  • 38% свидетелей проявления агрессии в интернете не пытаются разобраться, кто жертва, а кто виновник конфликта. В основном вникнуть в суть стараются подростки (85%).
Подробнее..

Восхождение интернет. Что было или могло быть у нас

18.11.2020 18:12:16 | Автор: admin
Второго ноября 2020 года я прочитал на хабре публикацию SLY_G Восхождение интернета, ч.2: появление частных и публичных компаний. Меня поразил абзац:
Летом 1986 года сенатор Эл Гор (Альберт Арнольд Гормладший) из Теннеси ввёл поправку к закону Конгресса, позволяющую выделить бюджет для Национального научного фонда США (NSF). Он призвал федеральное правительство изучить возможности коммуникационных сетей для связи суперкомпьютеров в университетах и федеральных исследовательских центрах.
Одна из многообещающих технологий разработка оптоволоконных систем для передачи голоса и данных.

Поразился я тем, что именно в это же время участвовал в подготовке материалов для Постановления ЦК КПСС и СМ СССР. Это постановление готовилось во исполнение Решения ГК СМ СССР по ВПВ от 18.03.85 года 79:



Этим Решением предусматривалась организация работ по противодействию стратегической оборонной инициативе (СОИ) США. СОИ США это так называемые звездные войны. Надо сказать, что военно-политическая обстановка в середине 80-х прошлого столетия лично мне напоминает сегодняшний день. Тоже противостояние с США, те же санкции, та же сложная экономическая ситуация в стране. И вот в этих тяжелых экономических условиях надо было найти решение, которое могло сохранить паритет с США.

Основной объем работ по программе АнтиСОИ (ответ СССР звездным войнам США) был возложен на РВСН, на 4 ЦНИИ МО.

Возглавлял в те годы 4 ЦНИИ МО генерал Волков Лев Иванович, (19302007) российский учёный в области ракетных комплексов, член-корреспондент Российской академии наук (1991), лауреат Государственной премии СССР (1990), генерал-лейтенант (1984). Волков Л.И. лично возглавил работы по АнтиСОИ. Для проведения этих работ им была проведена реорганизация института, которая коснулась и лично меня. В середине 1986 года меня младшего научного сотрудника вызвал к себе начальник управления Боярский А.Г. и сказал, что нас вызывает Начальник института. Волков Л.И. спросил, что я думаю об использовании вычислительной техники в рамках работ по АнтиСОИ. К этому времени я уже защитил в 1982 году в Военной Академии им. Ф.Э. Дзержинского диссертацию по системам управления распределенными базами данных. Я мечтал о построении вычислительных сетей, о персональных компьютерах и т.д. И тут все совпало. Все свои мысли по этому поводу я выложил ему. Я нарисовал ему картину как будем создавать вычислительные сети в подразделениях института, в Главном штабе, как мы будем их объединять на базе оптоволокна в единую сеть, как их можно будет использовать:

image


Я сказал, что все это можно будет потом передать в народное хозяйство.

Его решение меня поразило. Л.И. Волков вместо того, чтобы отчитать меня за маниловщину, вдруг сказал:- А что вы думаете о том, что, если мы предложим вам возглавить новый отдел, который займется вопросами автоматизации научных исследований в нашем институте? Мне недавно исполнилось 33 года, и мне предлагают должность полковника. Такого еще не было. Я ответил, что готов, но при условии, что людей буду подбирать сам. Добро было получено.

И вот с этой минуты началось и мое участие в подготовке Постановления ЦК КПСС и СМ СССР по программе АнтиСОИ. Эта работа была прежде всего связана с обоснованием создания стенда имитационного моделирования на базе вычислительных сетей, которые бы строились на оптике и персональных компьютерах, которые еще не выпускались в СССР, но мы уже закладывали их в план поставок в институт, да и сетевой аппаратуры тоже не было. Надо было найти кто сможет создать вычислительные сети. Пришлось объехать ряд институтов, включая Институт Кибернетики в г. Киеве. Наш выбор в конечном итоге остановился на ИТК АН БССР и НИИ СВТ г. Киров.

Итогом этой большой коллективной подготовительной работы стал фундаментальный доклад Волкова Л.И. Методология обоснования требований к перспективным образцам В и ВТ с использованием автоматизированной системы научных исследований. Он неоднократно докладывался в разных высоких кабинетах, что в итоге и привело к утверждению в 1987 году подготовленного нами Постановления ЦК КПСС и СМ СССР.
Посмотрите, как актуально звучит этот доклад и сегодня:
Вероятным противником брошен вызов социализму, нашему передовому строю, в области научно-технического прогресса. Не отстать, найти свои пути развития, обеспечить обороноспособность страны на должном уровне в условиях реализации США программы звездных войн, использования в вооружении новейших достижений науки и техники все это требует поднять на новый уровень качества научных исследований, резко повысить производительность труда ученых.
Быстрое развитие и усложнение вооружения и военной техники, увеличение масштабов проводимых мероприятий и затрат при создании новых образцов вооружения привело к необходимости рассмотрения их как больших сложных систем и использования системного подхода при исследовании и проектировании.
Сегодня основные задачи перемещаются из области разработки конкретных образцов и систем вооружения в сферу анализа и предсказания тех изменений, которые вызовут создаваемые образцы вооружения в системе вооружения в целом, в соотношении сил противоборствующих сторон, реакции вероятного противника, а также экономические, социальные и экологические изменения.

Замените социализму, нашему передовому строю на Российской Федерации и все.
А вот заключительные слова доклада:
В заключении перечислим основные проблемы, которые необходимо решить в процессе разработки АСНИ:
создание локальных вычислительных сетей на базе моноканала и отработка основных вопросов, связанных с их эксплуатацией;
создание системы управления распределенными базами данных;
разработка инструментальных средств поддержки исследовательского проектирования и создание специального программного обеспечения;
создание проблемно-ориентированных языков взаимодействия пользователей с системой на различных этапах исследовательского проектирования;
разработка методов решения на ЭВМ задач синтеза структур проектируемых сложных систем;
разработка методов декомпозиции и агрегирования задач нелинейного программирования большой размерности.

Надо иметь ввиду, что когда писался доклад в институте еще не было ни одного персонального компьютера. Первый появился дай бог мне памяти в 1987 году! Сам доклад был напечатан в нескольких экземплярах под копирку на пишущей машинке, а затем был размножен электрографическим способом, один экземпляр из которых сохранился у меня:



Именно в силу этого способа размножения доклада я не смог даже его сконвертировать в текст, пришлось набирать заново. Но это даже к лучшему, заново пережил все события практически сорокалетней давности. Это я к чему? А к тому, чтобы показать какой уровень развития ЭВТ техники был тогда в 1986 году.
Чего мы хотели добиться? Первое увеличить вычислительные мощности института и количество автоматизированных рабочих мест за счет терминалов и персональных компьютеров:



Вот как должна была измениться вычислительная мощность парка ЭВМ института:



Второе что мы хотели получить, это технологию построения локальных сетей и глобальных сетей на базе оптоволокна:



И все это мы задумывали в 1986 года. Обратите внимание, как все это коррелируется с датами из публикации SLY_G Восхождение интернета, ч.2: появление частных и публичных компаний. Именно по этому я взял смелость взять первую часть названия для этой публикации. Я думаю автор поймет меня и простит.

Поскольку этот доклад нигде не публиковался, то я решил представить на суд общественности этот коллективный труд.
Полный текст доклада
В текст доклада я позволил себе добавить в некоторых местах посткриптум, которые выделены синим цветом.

Методология обоснования требований к перспективным образцам В и ВТ с использованием автоматизированной системы научных исследований.



Л.И. Волков



imageС увеличением объема исследовательских работ возрастают затраты материальных средств и рабочего времени, но они могут быть компенсированы тем, что возможные ошибки, и прежде всего концептуальные, исправляются с небольшими затратами на ранних стадиях, тогда как на более поздних стадиях их исправление было бы связано с большим материальным ущербом. Как известно, затраты на устранение проектных ошибок на стадии эксплуатации на три-четыре порядка превышают затраты на их устранение на стадии проектировании.
Успешное решение стоящих перед институтом задач, дальнейшее повышение качества исследований, проводимых на уробне больших систем, невозможно без автоматизации научно-исследовательских работ, и прежде всего исследовательского проектирования. В связи с этим в институте развернуты работы по созданию автоматизированной системы научных исследований (АСНИ), с которыми связываются обновление методического багажа, расширение парка его электронно-вычислительной техники, и, в первую очередь, широкое внедрение персональных ЭВМ.
АСНИ, по нашему мнению, должна представлять собой комплекс сбалансированных методических, программных и технических средств, предназначенных для проведения и управления научными исследованиями по обоснованию вооружения вида ВС.
Систему планируется создавать поэтапно. Первая ее очередь система автоматизированного исследовательского проектирования (САИПР-I), нацелена на обеспечение формирования тактико-технических требований к перспективным летательным комплексам, научно-технического сопровождения их разработки и экспериментальной отработки. Вторая очередь АСНИ (САИПР-II) ориентирована на обеспечение исследований перспектив развития совокупности систем летательных аппаратов.
Создании АСНИ обеспечит возможность вести сквозные исследования и решать взаимосвязанные задачи по обоснованию перспектив развития В и ВТ вида ВС.
В структуре исследований по обоснованию перспектив развития В и ВТ вида ВС можно выделить три основных составных части:
оперативно-стратегические исследования;
комплексный военно-экономический анализ систем вооружения вида ВС;
формирование обликов перспективных летательных систем.
P.S. Насколько это удалось можно судить по тому, что сегодня имеют ВС РФ
Оперативно-стратегические исследования позволяют на основе определения расчетных боевых задач и разработки сценариев боевых действий сформулировать оперативно-стратегические требования к системе вооружения вида ВС.
Комплексный военно-экономический анализ системы вооружения, включающий тактико-технико-экономический анализ образцов вооружения, оценку эффективности системы вооружения в различных условиях боевого применения с учетом вклада в нее обеспечивающих систем, направлен на выработку требований к основным тактико-техническим характеристикам образцов В и ВТ, являющихся объектами исследовательского проектирования.
Эти исследования должны вестись на широкой информационной оснве, включающей результаты прогноза военно-политической обстановки, тенденций развития ударных и оборонительных средств и систем противннка, отечественных стратегических ядерных сил, результаты исследований АН СССР и ВШ, выполненных по оборонной тематике, а также в интересах развития народного хозяйства СССР, НИОКР оборонных отраслей промышленности. Важным источником информации, влияющей на принятие решений при проведении этих исследований, является анализ экспериментальной отработки и эксплуатации летательных комплексов.
В целях обеспечения решения задач, связанных с обоснованием перспектив развития систем летательных комплексов, АСНИ должна включать ряд проблемно-ориентированных подсистем:
комплексного прогнозного анализа:
аналитического и имитационного моделирования;
информационно-справочную;
разработки специального программного обеспечения.
Эти подсистемы должны поддерживаться своими инструментальными средствами, базами знаний, погружаемыми в единую операционную среду.
Операционная среда должна создаваться на базе единого для всех функциональных подсистем АСНИ комплекса технических средств и общесистемного программного обеспечения
Комплекс технических средств АСНИ, по нашему убеждению, целесообразно строить на принципах вычислительной сети с широким применением персональных ЭВМ. В структуру вычислительной сети должны быть включены центральный вычислительный комплекс на базе мощных универсальных ЭВМ производительностью порядка пять десять млн. операций в секунду для обеспечения имитационного моделирования, периферийные вычислительные комплексы для создания баз данных в научных подразделениях на базе ЭВМ средней производительности и автоматизированные рабочие места на базе персональных ЭВМ.
Технические средства, включаемые в вычислительную сеть, должны базироваться на единой системе электронно-вычислительных машин ЕС ЭВМ.
В качестве операционной системы АСНИ целесообразно использовать мобильную операционную систему типа UNIX, в значительной степени машинно-независимую, мощную, многофункциональную и в тоже время простую с точки зрения пользователя и применимую для широкого круга задач, решаемых с помощью ЭВМ. Перечисленные достоинства обеспечивают ей хорошие перспективы.
Предметной областью базовой подсистемы АСНИ-САИПР-I являются технические облики перспективных летательных комплексов.
Под техническим обликом летательного комплекса понимается совокупность свойств, состава и структуры комплекса, раскрываемая его характеристиками и определяющая его существование как боевого средства, объекта управления, создаваемого объекта и объекта, внедряемого в окружающую среду.
В виду сложности восприятия исследователем и оперирования описанием летательного комплекса в целом требуется структуризация описания и соответствующее расчленение представления о ЛК на иерархические уровни и аспекты.
Разделение описаний по степени детализации отображаемых свойств и конструктивных решений летательного комплекса и его элементов может быть положено в основу блочно-иерархического подхода к исследовательскому проектированию и приведет к появлению иерархических уровней в представлениях о летательном комплексе.
Специальное математическое обеспечение САИПР строится на основе блочно-иерархического подхода к представлению структуры летательного комплекса по модульному принципу. Модульный принцип формирования моделей на основе разработки типовых блоков с последующей их композицией, широкое использование метода статистического моделирования, по нашему мнению, обеспечат возможность быстрого построения и переналадки модулей для сокращения сроков моделирования и обеспечения адекватности моделей летательным комплексам и процессам их функционирования. Кроме того, использование различных параметрических соотношений позволит увеличить число исследуемых вариантов проектируемых элементов летательного комплекса и расширить область поиска рационального варианта, учесть различные ограничения, повысить качество исследования.

В целом специальное математическое обеспечение САИПР можно разделить на две специфические группы, отражающие выделение проектного и тактического направлений исследования. К проектному направлению относятся модели, описывающие конструктивно-компоновочные схемы, габаритно-массовые характеристики элементов летательного комплекса.
Разработка моделей тактического направления связана с описанием типовых фаз функционирования комплекса, отражающих физическую сущность процессов его функционирования и специфику исследуемых свойств ЛК. Методическое объединение отдельных моделей составляет модель оценки эффективности летательного комплекса в заданных условиях боевого применения. Таким образом, специальное математическое обеспечение, реализованное в виде комплекса проблемно-ориентированных программ, в сочетании с техническими и общепрограммными средствами представляет инженерный инструмент для исследовательского проектирования, под которым мы понимаем комплекс научно-исследовательских работ по изысканиям, исследованиям, расчетам и конструированию объектов на концептуальном уровне, имеющих целью получение в принятой форме всех необходимых данных для обоснования тактико-технических требований к перспективным летательным комплексам и их элементам.
Как уже было отмечено, в качестве основного методического принципа исследовательского проектирования используется моделирование объектов ЛК, физических процессов, связанных с их функционированием и принятие проектных решений по результатам математического эксперимента, проведенного на этих моделях.

P.S. Надо отметить, что методология изложенная в этом докладе 35 лет абсолютно актуально. Тем более, что сегодня нет проблем с персональными компьютерами. И в распоряжении ученого сегодня вся мощь Интернета. И надо отдать должное тем, кто стоял у истоков, как сегодня модно говорить, цифравизации различных процессов.

Сочетание методов планирования эксперимента с различными оптимизационными методами, решающими правилами позволят повысить вероятность нахождения оптимального варианта облика проектируемого летательного комплекса.
Необходимо отметить характерные отличительные особенности создаваемой системы от систем автоматизированного проектирования, создаваемых в промышленных организациях и получивших широкое развитие в последнее время. Среди них можно выделить такие особенности как многофункциональность, адаптивность, модульность, открытость, преобладание макромоделирования, обеспечение принятия проектного решения в условиях большой степени неопределенности и неполноты информации, наличие этапа содержательного описания облика проектируемого летательного комплекса, анализ большой области проектных решений и оперативность их получения.
Имеются отличия в целях проектирования и в содержании работ. Целью традиционного проектирования является разработка некоторого законченного проекта, т.е. комплекса технической документации, которой в конечном счете достаточно для изготовления того или иного узла, изделия и т.д. Исследовательское же проектирование имеет целью подготовку, как отмечалось выше, рекомендаций и определение ориентировочных значений сравнительно небольшого числа основных характеристик ЛК. Без дальнейшей проработки по этим данным ничего изготовить невозможно, но их достаточно для предъявления обоснованных требований на реальное проектирование. При исследовательском проектировании уже в ходе проработок может возникнуть необходимость разработки новых моделей и методик для исследования систем нетрадиционных типов.
Исследовательское проектирование в САИПР по характеру и степени участия исследователя и использования ЭВМ при выполнении проектных операций ориентировано на диалоговый (интерактивный) режим, при котором большинство процедур выполняется с помощью ЭВМ, а участие исследователя проявляется в формировании стратегии проектирования, в оперативной оценке результатов проектных процедур или операций, в выборе продолжений и корректировке хода проектирования. Оно представляет собой итерационный многоэтапный процесс, включающий концептуальное проектирование, разработку формализованной постановки задачи исследования, проведения проектных исследований, оценку проекта и оформления документации.
P.S. Еще раз подчерку, что доклад делался когда в институте не было ни одной персоналки. Но какое предвидение самого процесса научных изысканий. И доклад надо оценивать с позиций не сегодняшнего, а с позиций середины 80-х прошлого столетия!

На этапе концептуального проектирования по целевой установке на проектирование, в которой отражается потребность в модернизации (разработке нового) летательного комплекса или его элементов, назначение и условие боевого применения, необходимость использования тех или иных унифицированных элементов, целевая функция, вид и состав выходной информации, необходимые исходные данные, формируется подробное содержательное описание проектируемого летательного комплекса и его элементов.
Процесс составления содержательного описания объекта проектирования включает разработку системы оперативных задач, которая позволяет комплексно рассмотреть проблему с учетом взаимосвязи проектируемого объекта с системой высшего порядка, системы функций ЛК и системы реализующих их средств. В соответствии с оперативными задачами выделяются критерии, по которым будет оцениваться качество создаваемого объекта и вклад в достижение поставленной цели.
Система функций должна разрабатываться по принципу полного перекрытия множества оперативных задач. Декомпозиция основной функции проводится, как правило, до уровня, на котором дальнейшее членение приводит к потере функционального свойства. Однако такая декомпозиция связана с большой детализацией и не всегда целесообразна при исследовательском проектировании. Уровень детализации определяется исследователем по целому ряду соображений и может, например, ограничиваться уровнем, на котором возможно четкое выделение физического принципа действия, характерного свойства, которым должен обладать объект и по возможности охарактеризован количественными показателями. Совокупность функций является основным системообразующим механизмом при формировании облика летательного комплекса и его элементов.
Этап концептуального проектирования заканчивается определением совокупности средств, реализующих сформированную ранее систему функций, и выделением для каждого их них проектных параметров. Осуществляемый на этом этапе структурный синтез системы в основном выполняется непосредственно самим исследователем, однако, он может поддерживаться различными диалоговыми процедурами анкетного типа, анализом и-или деревьев, построенным по образцам-аналогам и хранятся в специальных разделах баз знаний. Поиск и анализ патентной информации, а также использование эвристических приемов генерации идей способствует получению оригинальных решений.
Следующий этап исследовательского проектирования связан с разработкой формализованной постановки задачи, обеспечивающей возможность математически строго сформулировать требования, предъявляемые к разрабатываемой системе. В идеальном случае это может быть задача по оптимизации основных ТТХ летательного комплекса. Общая задача при необходимости и возможности декомпозируется на ряд иерархически взаимосвязанных между собой подзадач. На этом же этапе формируется расчетная схема, устанавливающая функциональные взаимосвязи проектных параметров элементов и подсистем летательного комплекса, находящихся на разных иерархических уровнях, путем просмотра типовых расчетных модулей, находящихся в базе знаний и сборки их в расчетные цепочки. При отсутствии входной информации для ряда стыкуемых модулей она может оперативно дополняться исследователем в процессе формирования цепочки путем моделирования недостающих связей, используя язык формирования расчетных схем (язык проектирования). В случае невозможности оперативно смоделировать недостающую связь исследователь определяет в этом месте точку диалога.
С целью оказания методической помощи при выполнении работ на этом этапе предусматривается накопление в базе знаний типовых постановок задач для исследования различных летательных комплексов и их подсистем, а также разработка диалоговых процедур, упорядочивающих процесс формализации задачи. Такие процедуры могут включать набор наводящих вопросов и предложений о порядке действий исследователя.
Проведение проектных исследований составляет суть следующего этапа процесса исследовательского проектирования.
По сформированным расчетным схемам составляются реальные расчетные цепочки с включением в них оптимизационных процедур в случае решения оптимизационных задач. Таким образом, максимальное приближение конечного пользователя к ЭВМ за счет возможности непосредственно, без каких-либо посредников участвовать в процессе решения задачи на языке своей предметной области придает технологии проектирования на этом этапе качественно новые черты. Отпадает необходимость составления программы решения задачи проектирования на языле программирования ЭВМ. Решение задач осуществляется синтезом вычислительного процесса на основе модели предметной области и библиотеки программных модулей. Задачи, которые невозможно решать сквозным программным способом из-за трудностей смоделировать те или иные связи, реализуются в диалоговых проектных процедурах.
При прерывании вычислительного процесса в точках диалога исследователь на основании своей интуиции, или используя различные эвристические методы принятия решения, восполняет недостающую информацию и продолжает процесс решения задачи, либо корректирует расчетную схему.
Для получения информации в требуемом виде, в частности различных параметрических соотношений, может планироваться математический эксперимент, результаты которого затем отрабатываются различными статистическими методами.
Планирование математического эксперимента в процессе исследований важно не только с точки зрения построения макромодели и получение практической возможности решить общую задачу по результатам решения частных задач, но и с позиций последующей интеллектуализации системы (расширение библиотеки программных модулей), а следовательно, и повышения эффективности системы автоматизированного исследовательского проектирования.
Результатом проектных исследований являются альтернативные варианты облика летательного комплекса.
Проблема выбора рационального варианта облика летательного комплекса, как отмечалось выше, связана с комплексным военно-экономическим анализом системы вооружения ВС. Ее нельзя решить в отрыве от проблемы, касающейся условий боевого функционирования ЛК как элемента системы вооружения вида ВС, так как только таким образом можно получить достаточно точные знания оптимальных ТТХ летательного комплекса. Кроме того, в связи с высокой стоимостью современных образцов летательных комплексов при проведении исследований недостаточно учитывать только технические и оперативно-тактические аспекты. Необходимы комплексные исследования с оценкой экономических факторов.
Указанные задачи решаются в процессе исследовательского проектирования на этапе анализа проекта. При этом для различных сочетаний значений ТТХ проектируемого ЛК и с учетом ограничений на интегральные количественные характеристики определяются значения показателей эффективности системы ДК и в общем случае строится так называемая область допустимых состояний системы вооружения вида ВС. Она представляет собой такую область в пространстве возможных значений интегральных количественных характеристик системы ЛК и ТТХ рассматриваемого ЛК, в которой система вооружения вида ВС выполняет поставленные перед ней задачи.
Окончательное принятие решения о целесообразности дальнейшей, более тщательной и глубокой проработки того или иного варианта ЛК, рассматриваемого в качестве рационального, остается в компетенции руководящих органов и лиц, ответственных за эти решения.
Заключительный этап исследовательского проектирования в САИПР связан с документированием результатов исследований. Содержательная часть документа может формироваться автоматически, исходя из цифровой модели проектируемого ЛК, либо с использованием диалоговой процедуры, если необходимо ее дополнение текстовой или графической информацией.
При анализе технического облика летательного комплекса было показано, что он обладает довольно разветвленной структурой, особенно в нижнем звене. Состав ЛК меняется от типа к типу комплекса и зависит от его назначения. Большую сложность имеет и связь между задачами исследования летательного комплекса.
Специалистами разных уровней решается иерархия задач по частным научным направлениям, например:
установление оптимальных параметров летательного аппарата;
выбор рациональных характеристик подсистем ЛК, обеспечивающих точность доставки боевого оснащения к цели;
выбор параметров технологического и механического оборудования стартовых сооружений;
определение рационального состава, структуры и основных характеристик средств боевого управления;
определение рациональной структуры и состава средств комплексной защиты летательного аппарата;
рациональное размещение объектов ЛК в предполагаемом районе дислоцирования на базе камерального анализа;
анализ тактики функционирования летательного комплекса;
определение рационального состава средств обслуживания ЛК и основных характеристик технологических эксплуатационных процессов.
На основе анализа решения перечисленных задач осуществляется координация требований к отдельным подсистемам ЛК и оценка эффективности в составе системы вооружения вида ВС.
Следует отметить, что, несмотря на специфику различных летательных комплексов, при обосновании требований к их тактико-техническим характеристикам для них для всех присуще решение перечисленных главных задач.
САИПР относится к системам коллективного пользования. Поэтому весьма важно обеспечить планирование работ пользователей, поддержку и координацию процесса автоматизированного проектирования, контроль выполнения работ на различных его этапах. Для решения этих задач разрабатывается система средств базового программного обеспечения (СС БПО), являющаяся надстройкой над базовым программным обеспечением вычислительной сети САИПР.
Реализация принципа модульности приводит к концепции построения СС БПО в виде набора базовых процессоров, на каждый из которых возлагается выполнение определенного подмножества функций. По результатам анализа этих функций система средств базового программного обеспечения должна включать:
диалоговый процессор взаимодействия с пользователем;
процессор административного управления разработкой проекта;
процессор формирования описаний (целеполагания);
процессор формирования концептуальной схемы проектной процедуры;
процессор-планировщик
процессор-исполнитель;
процессор системы управления распределенными базами данных;
процессор управления проектными данными;
графический процессор;
процессор документирования.
Диалоговый процессор взаимодействия с пользователем является ведущим элементом в СС БПО САИПР. С его помощью осуществляется первичный контакт пользователя с системой. К основным его функциям относится:
организация диалогового взаимодействия пользователя с системой в процессе выполнения им автоматизированного проектирования;
активизация и координация функционирования всех остальных базовых процессоров СС БПО на всех этапах процесса автоматизированного проектирования;
организация взаимодействия СС БПО с базовым программным обеспечением вычислительной сети.
После завершения загрузки этого процессора на терминал пользователя прежде всего передается корреспонденция, направленная ему по электронной почте. Сообщение о наличии для пользователя указанной корреспонденции, с которой он прии желании может ознакомиться прежде, чем приступить к работе с системой, возникает на экране вместе с главным меню. Такое оповещение пользователя осуществляется также при включении в работу других базовых процессоров.
Процессор административного управления разработкой проекта включается в работу по соответствующей команде-директиве пользователя из главного меню диалогового процессора взаимодействия с пользователем.
Главное меню процессора административного управления предоставляет пользователю следующие возможности:
вызвать из рабочей базы данных и просмотреть набор заданий на проектирование;
разработать задачи проектирования для подчиненных соисполнителей;
вызвать из базы описаний задач проектирования аналог и откорректировать его в случае необходимости;
занести разработанные задачи проектирования в рабочую базу данных или в системную базу описаний задач;
просмотреть задание о ходе выполнения задач, полученных подчиненным исполнителем, о выполнении собственной задачи и всего задания в целом.
Процессор формирования описаний предназначен для автоматизированного построения в режиме диалога декомпозиционной схемы разработки как проектируемого летательного комплекса в целом, так и отдельных его подсистем. При разработке декомпозиционной схемы в отнову может быть положена методология структурного анализа и технология проектирования, обеспечивающая графическое представление декомпозиционной модели и описание взаимосвязей между модулями по данным и управлению.
Главное меню процессора целеполагания предоставляет пользователю следующие возможности:
сформировать и описать декомпозиционную схему разбиения задачи проектирования на взаимоувязанные по входным и выходным параметрам и характеристикам проектные задания и подзадания;
выявить в процессе построения декомпозиционной схемы ее противоречивость и неполноту и получить рекомендации по способам устранения допущенных ошибок;
предоставить на экране описание декомпозиционной схемы в виде графа декомпозиции;
занести описание декомпозиционной схемы в рабочую или системную базу данных;
оформить описание декомпозиционной схемы в виде документа.
В связи с изложенным на процессор описания (целеполагания) возлагается функция обеспечения инструментальной поддержки процесса построения в диалоговом режиме системы задач, функций и средств. В основу разработки алгоритмов формирования и ведения деревьев задач может быть положен метод логико-лингвистического структурирования цели для целевых программ.
Базовый процессор формирования концептуальной схемы проектной процедуры включается в работу диалоговым процессором взаимодействия с пользователем и предоставляет ему меню нижнего уровня, реализуя которое он получает возможность отображать на экране и просмотреть копии хранящихся в системных и специальных базах данных каталоги концептуальных схем проектных процедур, математических моделей, их спецификаций и текстов. Непосредственное формирование концептуальной схемы проектной процедуры пользователь выполняет с помощью диалогового языка формирования схем.
Процессор-планировщик предназначен для построения вычислительной схемы проектной процедуры (ВСПЛ) на основании ранее ее разработанной концептуальной схемы и сведений о содержащихся в базе данных программных модулях специального программного обеспечения. Построение вычислительной схемы проектной процедуры осуществляется пользователем в диалоговом режиме с непосредственным включением в ее состав программных модулей. Включение состоит в автоматической замене наименований вершин графа концептуальной схемы проектной процедуры идентификаторами выбранных программных модулей.
Процессор-исполнитель обеспечивает выполнение вычислительной схемы проектной процедуры. С помощью команд меню пользователю предоставляется возможность указать на графе ВСПП точку приостановки вычислительного процесса, отобразить на экране промежуточные результаты выполнения ВСПП, продолжить процесс исполнения, прервать его с сохранением текущего состояния до следующего сеанса.
Процессор системы управления распределенными базами данных должен обеспечить:
поддержание единой концептуальной модели РБД;
распределенный и локальный доступ к данным, их целостность и защиту от несанкционированного досткпа;
обеспечить прозрачность РБД для пользователей вычислительной сети и т.д.

P.S. О масштабах проекта надо судить не с позиций сегодняшнего дня, а с позиций 1985 года, когда не было ни интернета, ни СУБД типа oracle, не было таких как сегодня привычных мониторов и персональных компьютеров. И тогда становится каким продвинутым для своего времени был этот проект. И сегодня он нисколько не устарел. Терминологические нюансы я не беру в расчет.

В процессе развития системы управления базами данных, постпенно эволюционируя, должны обрести новые свойства и превратиться в системы управления базами знаний.
Процессор управления проектными данными ориентирован на решение задач системного характера по организации проектных данных в памяти вычислительной системы и управления ими.
Графический процессор как базовый процессор СС БПО включается в работу в процессе автоматизированного проектирования при возникновении необходимости получения графического изображения интересующего пользователя объекта. Его прямое назначение состоит в преобразовании поступившей на его вход информации в описание требуемого изображения и передаче этого описания выходное устройство (экран графического дисплея, графопостроитель).
Назначение процессора документирования состоит в том, чтобы по командам пользователя или вызывающих программ преобразовать получаемую в процессе автоматизированного проектирования информацию в совокупность документов на бумажных или машинных носителях.
P.S. И сново, как тут не вспомнить как была подготовлена сам этот доклад в далеком 1985 году.

Как было отмечено, автоматизированная система научных исследований создается на базе вычислительной сети, предоставляющей возможность размещения персональных рабочих мест непосредственно в научных подразделениях.
Основными принципами, закладываемыми в проектируемую вычислительную сеть, являются:
доступность ко всем средствам сисчтемы:
высокая информационная и вычислительная мощность системы;
высокая функциональная надежность.
Доступность системы достигается за счет создания АРМ на базе ПЭВМ, объединенных в рамках каждого подразделения в локальную вычислительную сеть. Локальные вычислительные сети всех подразделений с помощью коммуникационной подсети объединяются в единую вычислительную сеть института.
В перспективе мы рассматриваем возможность подключения к вычислительным сетям внешних организаций.
P.S. Чем не интернет?!

Высокая информационная и вычислительная мощность достигается за счет включения в состав локальной вычислительной сети малых ЭВМ типа ЕС-1007 для создания баз данных и мощного вычислительного комплекса на базе двух ЭВМ ЕС-1066. Предполагается, что суммарная вычислительная мощность первой очереди АСНИ составит к 1990 г. 300 млн. операций в секунду.
Построение АСНИ на базе локальных вычислительных сетей, объединяемых посредством коммуникационной подсети, обеспечивает одновременно возможность ее наращивания и высокую функциональную надежность.
В заключении перечислим основные проблемы, которые необходимо решить в процессе разработки АСНИ:
создание локальных вычислительных сетей на базе моноканала и отработка основных вопросов, связанных с их эксплуатацией;
создание системы управления распределенными базами данных;
разработка инструментальных средств поддержки исследовательского проектирования и создание специального программного обеспечения;
создание проблемно-ориентированных языков взаимодействия пользователей с системой на различных этапах исследовательского проектирования;
разработка методов решения на ЭВМ задач синтеза структур проектируемых сложных систем;
разработка методов декомпозиции и агрегирования задач нелинейного программирования большой размерности.


А теперь вернемся к статье, с которой мы начали, еще одна цитата из нее:
Взрастив интернет под чутким руководством государства, ему позволили развиваться при почти полном невмешательстве.

О, как я надеялся, что Постановление ЦК КПСС и СМ СССР позволит нам создать базу для внедрения ЭВТ в ВУЗах и школах страны, в НИИ и заводах и создать в итоге ОГАС страны, что государство будет заинтересованно в нашей работе. Вот же она реальная конверсия
О том как удалось реализовать наш проект читайте здесь.
А на пороге стоял 1991 год!..
Низкий поклон Волкову Л.И. за то, что он дал возможность хотя бы попытаться реализовать свои идеи. И не его вина, что что-то пошло не так.
И все же я принял участие в создании российского сегмента Интернет. В 1998 году я уволился из рядов ВС РФ и меня пригласили на работу в ЗАО Микротест. И уже там я принимал участие в строительстве СПД МПС России. Но все оборудования было уже импортным Тогда еще речи об импортозамещении не было.
Подробнее..

Из песочницы Вводная по квантовым компьютерам (перевод с сайта Explaining Computers)

07.11.2020 20:18:47 | Автор: admin
Привет, Хабр! Представляю вашему вниманию перевод статьи Quantum Computing автора Christopher Barnatt.

Квантовые вычисления


Квантовые вычисления быстро развивающаяся область компьютерных исследований, коммерческое применение которой ожидается в ближайшее время. К этому времени квантовые компьютеры превзойдут традиционные компьютеры в определённых задачах, к которым относятся молекулярное и материальное моделирование, оптимизация логистики, финансовое моделирование, криптография и обучение искусственного интеллекта.

Основы квантовых вычислений


Традиционные компьютеры построены из кремниевых микросхем, содержащих миллионы или миллиарды миниатюрных транзисторов. Каждый из них может быть включен в понимании машины это состояние 0 или 1. Впоследствии компьютер хранит и обрабатывают данные, используя двоичные числа или биты.

Квантовые компьютеры работают с квантовыми битами или кубитами. Они могут поддерживаться аппаратно разными способами например, с помощью квантово-механических свойств сверхпроводящих электрических цепей или отдельных захваченных ионов.

Кубиты могут существовать более чем в одном состоянии или суперпозиции в один и тот же момент времени. Что позволяет кубиту принимать значение 1, 0 или оба значения одновременно. Это позволяет квантовому компьютеру обрабатывать гораздо большее количество данных, чем классический компьютер, и выполнять массовую параллельную обработку. Это также означает, что каждый кубит, добавленный в квантовый компьютер, экспоненциально увеличивает его мощность.

Большинство людей теряется, когда слышит про свойства кубита. Подброшенная монета не может выпадать одновременно орлом и решкой. И всё же, квантовому состоянию кубита под силу что-то подобное. Поэтому неудивительно, что известный физик-ядерщик Нильс Бор однажды заявил: Всякий, кого не шокирует квантовая теория, просто её не понимает!

Помимо суперпозиций, кубиты могут запутываться. Запутанность ещё одно ключевое квантово-механическое свойство, означающее, что состояние одного кубита может зависеть от состояния другого. Это означает, что наблюдение за одним кубитом может выявить состояние его ненаблюдаемой пары.

Создавать кубиты и управлять ими очень сложно. Многие из сегодняшних экспериментальных квантовых процессоров используют квантовые явления, возникающие в сверхпроводящих материалах, и, следовательно, нуждаются в охлаждении почти до абсолютного нуля (около минус 272 градусов Цельсия). Также требуется защита от фонового шума, и даже в этом случае выполнение вычислений с использованием кубитов потребуют исправления ошибок. Основной задачей квантовых вычислений является создание отказоустойчивой машины.

Квантовые первопроходцы


image

К компаниям, которые в настоящее время разрабатывают оборудование для квантовых компьютеров, относятся: IBM, Alibaba, Microsoft, Google, Intel, D-Wave Systems, Quantum Circuits, IonQ, Honeywell, Xanadu и Rigetti. Многие из них работают совместно с исследовательскими группами крупных университетов, и все они продолжают добиваться значительных успехов. Дальше приводится обзор работы каждой из этих компаний.

IBM


IBM работает над созданием квантового компьютера уже более 35 лет. Она добилась значительного прогресса с несколькими работающими машинами. Согласно веб-сайту IBM-Q: Сегодня квантовые вычисления это игровая площадка для исследователей, но через пять лет они станут мейнстримом. Через пять лет эффект квантовых вычислений выйдет за рамки исследовательской лаборатории. Он будет широко использоваться новыми категориями профессионалов и разработчиков, которые используют этот новый метод вычислений для решения проблем, которые когда-то считались неразрешимыми.

В 2016 году IBM запустила сайт под названием IBM Q Experience, который показал 5-кубитный квантовый компьютер всему интернету. С этого времени, к нему присоединились вторая машина на 5 кубитов и машина на 16 кубитов, обе из которых доступны для экспериментов. Чтобы помочь тем, кто хочет узнать о квантовых вычислениях и принять участие в их разработке, IBM предлагает программную платформу для квантовых вычислений с открытым исходным кодом под названием Qiskit.

В ноябре 2017 года IBM объявила, что к её квантовому облаку добавляются две 20-кубитные машины. Их могут использовать клиенты, которые являются зарегистрированными членами IBM Q Network. IBM описывает это как всемирное сообщество ведущих компаний, стартапов, академических институтов и национальных исследовательских лабораторий из списка Fortune 500, работающих с IBM над продвижением квантовых вычислений и изучением практических приложений для бизнеса и науки.

Также в ноябре 2017 года IBM объявила что сконструировала квантовый процессор на 50 кубитов, который на тот момент считался самым мощным квантовым оборудованием.

image
50-кубитный квантовый компьютер IBM

В январе 2019 года IBM объявила о выпуске своей IBM Q System One как первой в мире интегрированной универсальной системы приближенных квантовых вычислений, разработанной для научного и коммерческого использования. Эта модульная и относительно компактная система предназначена для использования вне лабораторных условий. Вы можете узнать больше о IBM Q System One в этом пресс-релизе.

Google


Ещё один технологический гигант, который усердно работает над тем, чтобы квантовые вычисления стали реальностью, это Google, у которой есть лаборатория квантового ИИ. В марте 2017 года инженеры Масуд Мохсени, Питер Рид и Хартмут Невен, которые работают на этом объекте, опубликовали статью в Nature. В ней они рассказали, что квантовые вычисления возможны на относительно небольших устройствах, которые появятся в течение следующих пяти лет. Это подтверждает взгляды IBM на сроки появления коммерческих квантовых вычислений.

На раннем этапе развития квантовых вычислений компания Google использовала машину от канадской компании D-Wave Systems. Однако сейчас компания активно разрабатывает собственное оборудование, а в марте 2018 года анонсировала новый 72-кубитный квантовый процессор под названием Bristlecone.

В июне 2019 года директор лаборатории квантового искусственного интеллекта Google Хартмут Невен отчитался, что мощность их квантовых процессоров в настоящее время растет вдвое экспоненциально. Это было названо законом Невана и предполагает, что мы можем достичь точки квантового превосходства, когда квантовый компьютер может превзойти любой классический компьютер к концу 2019 года.

В октябре 2019 года команда инженеров Google опубликовала в Nature статью, в которой утверждала, что достигла квантового превосходства. В частности, учёные Google использовали квантовый процессор под названием Sycamore для выборки выходного сигнала псевдослучайной квантовой схемы. Sycamore потребовалось около 200 секунд, чтобы выполнить выборку одного экземпляра схемы миллион раз. Для сравнения, команда Google подсчитала, что классическому суперкомпьютеру потребуется около 10 000 лет для выполнения тех же вычислений. Далее команда пришла к выводу: Квантовые процессоры на основе сверхпроводящих кубитов теперь могут выполнять вычисления за пределами досягаемости самых быстрых классических суперкомпьютеров, доступных сегодня. Этот эксперимент знаменует собой первое вычисление, которое может быть выполнено только на квантовом процессоре. Таким образом, квантовые процессоры достигли режима квантового превосходства.

Это откровение инженеров Google было большой новостью, но вскоре вызвало споры. IBM опубликовала сообщение в блоге, сказав, что вычисления в эксперименте Google могут быть выполнены на классическом компьютере за два с половиной дня, а не за 10 000 лет. И по утверждению IBM: Поскольку первоначальное значение термина квантовое превосходство, предложенное Джоном Прескиллом в 2012 году, заключалось в описании точки, в которой квантовые компьютеры могут делать то, что не могут классические компьютеры эта граница ещё не преодолена.

Alibaba


В Китае главным интернет-гигантом является Alibaba, а не Google. А в июле 2015 года они объединилась с Китайской Академией Наук, чтобы сформировать Лабораторию квантовых вычислений CAS Alibaba. Как пояснил профессор Цзянвэй Пан, их цель состоит в том, чтобы провести передовые исследования систем, которые кажутся наиболее многообещающими для реализации практических приложений квантовых вычислений, а также разрушить узкие места закона Мура и классических вычислений. Вы можете посетить сайт лаборатории здесь.

Как и IBM, Alibaba сделала экспериментальный квантовый компьютер доступным в Интернете. В частности, в марте 2018 года китайский гигант электронного бизнеса запустил своё сверхпроводящее облако квантовых вычислений, чтобы обеспечить доступ к 11-кубитному квантовому компьютеру. Он был разработан с Китайской Академией Наук и позволяет пользователям запускать квантовые программы и загружать результаты.

Microsoft


Как и следовало ожидать, Microsoft тоже заинтересована в квантовых вычислениях и работает с некоторыми ведущими учёными и университетами мира. С этой целью Microsoft создала несколько лабораторий Station Q, например лабораторию в Калифорнийском университете. В феврале 2019 года компания также анонсировала Microsoft Quantum Network, чтобы объединить вместе все партнёрские коалиции.

Ключевым элементом стратегии Microsoft является разработка квантовых компьютеров на основе топологических кубитов, которые, по мнению компании, будут менее подвержены ошибкам (следовательно, для исправления ошибок потребуется меньшее количество системных ресурсов). Microsoft также считает, что топологические кубиты будет легче масштабировать для коммерческого применения. Согласно статье в Computer Weekly за май 2018 года, вице-президент Microsoft, отвечающий за квантовые вычисления, считает, что коммерческие квантовые компьютеры могут появиться на их облачной платформе Azure всего через пять лет.

Что касается программного обеспечения, то в декабре 2017 года Microsoft выпустила предварительную версию своего инструмента разработчика вычислительной техники. Его можно загрузить бесплатно, он включает язык программирования под названием Q# и симулятор квантовых вычислений. В мае 2019 года Microsoft сообщила, что собирается открыть исходный код инструмента разработчика. А в мае 2020 года компания анонсировала свой сервис облачных вычислений Azure Quantum.

Intel


Intel, как ведущий производитель микропроцессоров в мире, тоже работает над созданием микросхем для квантовых вычислений. Компания применяет два различных подхода. Одно из этих направлений проводится совместно с ведущим голландским пионером квантовых вычислений QuTech. 17 ноября 2017 года Intel объявила о поставке своему партнеру в Нидерландах тестового чипа на 17 кубитов. Затем, в январе 2018 года на выставке CES, компания объявила о поставке тестового квантового процессора на 49 кубитов под названием Tangle Lake.

Второе направление исследований Intel в области квантовых вычислений проводится исключительно внутри компании и включает в себя создание процессоров на основе технологии, называемой спиновой кубит. Это важное нововведение, поскольку чипы спиновых кубитов производятся с использованием традиционных методов изготовления кремния Intel. В июне 2018 года Intel сообщила, что начала тестирование 26-спинового кубитного чипа.

image

Спиновые кубиты Intel имеют диаметр всего около 50 нанометров, или 1/1500 ширины человеческого волоса. Это означает, что, возможно, через десять лет Intel сможет производить крошечные квантовые процессоры, содержащие тысячи или миллионы кубитов. В отличие от обычных процессоров, их нужно охлаждать почти до абсолютного нуля. Но потенциал поистине захватывающий. Согласно разделу сайта Intel, посвященному квантовым вычислениям, компания нацелена на производство квантовых процессоров в течение десяти лет и ожидает, что технология начнет входить в свою коммерческую фазу примерно в 2025 году.

D-Wave Systems


D-Wave Systems пионер квантовых вычислений, базирующийся в Канаде, и ещё в 2007 году продемонстрировавший 16-кубитный квантовый компьютер. В 2011 году компания продала 128-кубитную машину D-Wave One за 10 миллионов долларов американской военно-промышленной корпорации Lockheed Martin. В 2013 году 512-кубитные D-Wave Two ведомству NASA и компании Google. К 2015 году D-Wave преодолела барьер в 1000 кубитов со своим D-Wave 2X, а в январе 2017 года продала свою первую 2000-кубитную машину D-Wave 2000Q фирме, специализирующейся в кибербезопасности, Temporal Defense Systems.

Читая этот список достижений, вы, возможно, пришли к выводу, что D-Wave должен быть ведущим производителем квантовых компьютеров в мире. В конце концов, это единственная компания, которая торгует такими машинами. Тем не менее, работа компании остаётся спорной. Это потому, что их оборудование основано на адиабатическом процессе, называемом квантовый отжиг, который другие пионеры отвергли как ограничительный и тупиковый. IBM, например, использует подход к квантовым вычислениям на основе затвора, который позволяет ей управлять кубитами аналогично тому, как транзистор управляет потоком электронов в обычном микропроцессоре. Но в системе D-Wave такого контроля нет.

Вместо этого квантовый компьютер D-Wave использует факт того, что все физические системы стремятся к состояниям с минимальной энергией. Так, например, если вы заварите чашку чая и отлучитесь по делам когда вы вернетесь, она будет холодной, потому что содержимое стремится к минимальному энергетическому состоянию. Кубиты в системе D-Wave также этому подвержены, и поэтому компания использует своё оборудование для решения проблем оптимизации, которые могут быть выражены как проблемы минимизации энергии. Это ограничивает в возможностях, но всё же позволяет аппаратному обеспечению выполнять определенные алгоритмы намного быстрее, чем классический компьютер. Вы можете ознакомиться с видео, в котором D-Wave объясняет свой подход к квантовым вычислениям.

В августе 2016 года в статье Physical Review X сообщалось, что некоторые алгоритмы работают до 100 миллионов раз быстрее на D-Wave 2X, чем на одноядерном классическом процессоре. Одним из авторов этого исследования оказался технический директор Google. Всё это говорит о том, что мнение о ценности работы D-Wave для развития квантовых вычислений остаётся спорным.

Компания продолжает продвигать свои квантовые компьютеры. В октябре 2018 года D-Wave запустила облачную квантовую среду приложений под названием Leap. Она обеспечивает доступ в реальном времени к квантовому компьютеру D-Wave 2000Q, а в марте 2019 года доступ был расширен, чтобы предоставить такую возможность Японии и всей Европе.

Rigetti



image

Ещё один игрок в области квантовых вычислений это стартап под названием Rigetti. В компании уже работает более 120 сотрудников, и они собрали 19-кубитный квантовый компьютер доступный онлайн через свою среду разработки под названием Forest.

Quantum Circuits


image

Другой стартап Quantum Circuits, основанный ведущим профессором квантовых вычислений Робертом Шёлкопфом и другими коллегами из Йельского университета. Компания привлекла 18 миллионов долларов венчурного капитала и планирует победить гигантов компьютерной индустрии в гонке за создание жизнеспособного квантового компьютера.

IonQ


IonQ специализируется в области квантовых вычислений с захваченными ионами. Компания утверждает, что её технология сочетает в себе непревзойденную физическую производительность, идеальную репликацию кубитов, возможность подключения к оптическим сетям и высокооптимизированные алгоритмы, чтобы создать квантовый компьютер, который является столь же масштабируемым, сколь и мощным и который будет поддерживать широкий спектр приложений в самых разных отраслях. Если вы хотите узнать больше о квантовых вычислениях, на сайте IonQ есть отличное учебное пособие.

Xanadu


Xanadu разрабатывает фотонные квантовые вычисления, интегрируя квантовые кремниевые фотонные чипы в существующее оборудование для создания полнофункциональных квантовых вычислений. Как отмечает компания, по сравнению с другими технологиями кубитов, фотоны очень стабильны и почти не подвержены влиянию случайного шума от тепла. Мы используем фотонные чипы для генерации, управления и измерения фотонов способами, обеспечивающими чрезвычайно быстрые вычисления.

Honeywell


image

Еще одна компания, которая применяет способ квантовых вычислений с захваченными ионами, является Honeywell. У компании огромный опыт в области бизнес-вычислений. В июне 2020 года Honeywell объявила о создании самого высокопроизводительного квантового компьютера в мире. Остальные компании отнеслись к этому скептически. Но, тем не менее, это ещё одна важная разработка особенно потому, что как стало известно, американский финансовый холдинг JPMorgan Chase уже экспериментирует со этой системой для разработки приложений финансовых услуг, включая обнаружение мошенничества и торговлю под управлением ИИ.

Amazon


Amazon не объявила о разработке аппаратного или программного обеспечения для квантовых вычислений. Однако, 2 декабря 2019 года гигант запустил ряд квантовых сервисов Amazon Web Services. К ним относится Amazon Bracket, который позволяет учёным, исследователям и разработчикам начинать эксперименты с квантовыми компьютерами от нескольких поставщиков оборудования. В частности, клиенты могут получить доступ к оборудованию от Rigetti, Ion-Q и D-Wave Systems, что означает, что они могут экспериментировать с системами, основанными на трёх различных технологиях кубитов.

Помимо Bracket, Amazon также запустила лабораторию Amazon Quantum Solutions Lab. Она предназначена, чтобы помочь компаниям подготовиться к квантовым вычислениям, позволяя им работать с ведущими экспертами. Таким образом, ключевая вещь, которую Amazon делает со своими предложениями по квантовым вычислениям, это действовать в качестве облачного брокера. То есть стать посредником между производителями квантовых компьютеров и теми, кто захочет воспользоваться их мощностями.

Разработчики программного обеспечения для квантовых компьютеров


Даже лучшее всего оборудованный квантовый компьютер не сможет использоваться без соответствующего программного обеспечения, и многие из производителей этих машин разрабатывают собственное. Тем не менее, количество стороннего ПО под квантовые компьютеры постоянно растет.

1QBit


1QBit сотрудничает с крупными компаниями и ведущими поставщиками оборудования для решения отраслевых задач в области оптимизации, моделирования и машинного обучения. Компания разрабатывает программное обеспечение как для классических, так и для квантовых процессоров.

CQC


Cambridge Quantum Computing разрабатывает ПО для квантовых компьютеров под решения самых интригующих задач в таких областях, как квантовая химия, квантовое машинное обучение и квантовая кибербезопасность. В число клиентов входят компании, входящие в некоторые из крупнейших в мире химических, энергетических, финансовых и материаловедческих организаций, которые пробуют использовать возможности квантовых вычислений.

QC Ware


QC Ware разрабатывает корпоративное программное обеспечение и услуги для квантовых вычислений с клиентами, включая Airbus, BMW и Goldman Sachs, и партнерами по оборудованию, включая AWS, D-Wave Systems, Google, IBM, Microsoft и Rigetti.

QSimulate


QSimulate разрабатывает ПО, чтобы использовать возможности количественного моделирования для решения насущных проблем в фармацевтической и химической областях.

Rahko


Rahko создаёт ПО, которое предназначено для использования квантового машинного обучения (квантового ИИ) под решения задач квантовой химии.

Zapata


Zapata работает со своими клиентами над разработкой ПО для квантовых компьютеров под решения сложных вычислительных задач в таких областях, как химия, финансы, логистика, фармацевтика, машиностроение и материалы.

Пользователи приложений квантовых компьютеров


Приложения для квантовых компьютеров включают молекулярное моделирование (также известное как квантовая химия), оптимизацию логистики, финансовое моделирование, криптографию и обучение искусственного интеллекта. Некоторые крупные предприятия уже активно изучают что именно квантовые машины смогут сделать для их исследований и разработок, продуктов и услуг, а также их чистой прибыли. Я приведу несколько примеров.

image

Daimler работает как с IBM, так и с Google, чтобы исследовать, как квантовые компьютеры могут использоваться в логистике, чтобы оптимизировать маршруты доставки автомобилей или поток запчастей через фабрики. Компания также изучает, как квантовые компьютеры можно использовать для моделирования химических структур и реакций внутри батарей, чтобы помочь в усовершенствовании электромобилей.

Другой автомобильный гигант Volkswagen работает с Google и с D-Wave Systems, чтобы применить квантовые компьютеры в решении проблем оптимизации транспортного потока и в разработке лучших аккумуляторов.

В финансовом секторе, JPMorgan работает с IBM, чтобы изучить, как квантовые компьютеры смогут помочь в разработке торговых стратегий, оптимизации портфеля, ценообразования на активы и анализа рисков. Другой финансовый конгломерат Barclays участвует в сети IBM Q Network, чтобы выяснить, можно ли использовать квантовые компьютеры для оптимизации расчётов по крупным пакетам финансовых транзакций.

В 2011 году аэрокосмический гигант Lockheed Martin стал первым покупателем квантового компьютера, произведенного D-Wave Systems, и продолжил изучение возможности использования этой технологии для приложений, включая управление воздушным движением и проверку системы. Airbus аналогичным образом исследует, как квантовые компьютеры могут ускорить его исследовательскую деятельность, и вложил средства в компанию QC Ware, производящую программное обеспечение для квантовых машин.

Тем временем Accenture Labs и биотехнологическая компания Biogen сотрудничают с 1QBit, исследуя, как можно ускорить открытие лекарств, применив квантовые компьютеры для молекулярных сравнений. В сентябре 2017 года IBM использовала своё 7-кубитное оборудование для моделирования структуры трёхатомной молекулы гидрида бериллия. В октябре 2017 года Google и Rigetti также анонсировали OpenFermion, программу для моделирования химических процессов на квантовом компьютере.

Квантовое будущее


image

Я надеюсь, что эта статья продемонстрировала вам, как квантовые вычисления довольно быстро превращаются из фантазий в реальность. Разумно предположить, что в 20-х годах из облака будут доступны квантовые суперкомпьютеры, которым найдут практичное применение и это будет стоить недорого. Вполне возможно, что через десять лет основные службы интернет-поиска и облачного ИИ будут использовать возможности квантовых машин, а большинство пользователей этого и не осознают.

Для тех, кто хочет узнать больше, приведу несколько избранных источников для получения дополнительной информации:


В книге Digital Genesis Кристофера Барнатта автора этой статьи и сайта explainingcomputers.com, вы сможете прочитать о квантовых вычислениях и многом другом, связанном с будущими вычислительными разработками, например органическими компьютерами.

image
Подробнее..

Recovery mode Этические ценности как элемент проектирования продуктов

08.11.2020 22:05:43 | Автор: admin
Скоро мы будем наблюдать появляние вакансий в сфере этики технологий, курсов по основнам этического создания продуктов. И тому есть объяснение. Человек будущего должен уметь анализировать, какими этическими рамками руководствоваться до момента, когда они выйдут из под его контроля и он станет объектом посягательства незапрограмированных на этику устройств.

Эта статья попытка разобраться, что скрывается за этикой цифровых продуктов. Возможно, это не совсем та платформа, на которой стоит публиковать философскую работу. Но я хочу хотя бы на момент чтения пригласить вас поразмышлять, в какой степени создаваемый вами продукт отвечает нормам нравственности.

Базовым элементом, замыкающим в себе все проявления трансформации, является цифровой продукт. Цифровые продукты позволяют людям решать повседневные задачи и взаимодействовать друг с другом, создавать сообщества по интересам и заявлять о себе миллиардной аудитории.

В текущем тысячелетии правда сложно представить окружающий мир без цифровых продуктов, которые постоянно трансформируют человеческую природу. В результате их потребления появляется новый уровень отношения человека к технологиям, происходит формирование нового типа мышления.

Проблема же века инновациий заключается в том, что вещественная ориентация человека может превзойти ценностно-этические вопросы и тогда творческое начало человека будет нацелено на создание новых вещей без осмысления их моральных действий и последствй.

Техноэтика


Развивающиеся технологии демонстрируют (например, аддиктивный UX или вот ещё пример с дипфейками), что они могут нести моральную угрозу человеку и обществу.
Вместе с этим они же несут в себе более сложные этические вопросы. Эти события актуализируют потребность в определении норм для оценки вмешательства технологий в жизнь человека.

Из-за своей относительной новизны как науки в настоящей момент термин техноэтика не получил однозначного определения, при этом все данные раннее рассуждения сводятся к тому, что данная наука изучает индивида и социум под влиянием различных факторов технологий.

Технологическая этика это вид прикладной этики, который занимается исследованием связи человека и общества с технологиями, проблем и следствий этого взаимодействия, а также конкретизации этических норм, которыми должны регулироваться создатели технологий. Чем больше масштаб использования технологии в мире, тем сложнее разрабатывать систему как с точки зрения поддержания и обеспечения ее жизнедеятельности, так и воплощения в ней этических принципов.

Этические принципы


Считается, что этические принципы классифицируются на два основных раздела: первый это базовые, основанные на благодетелях, а вторые это частные, которые также принято называть ценностями-добродетелям. Последние также разделяются на направления, основывающиеся на храбрости, мудрости, искренности, любви к себе и дальнему.

Технологии не могут обладать искренностью, самообладанием и другим частным принципам. Так называемые аффективные технологии, которые способны считывать эмоциональное состояние человека, и отвечать ему тем же, пока что умеют считывать экспрессию человеческого лица (тут подробнее). Но правильная ответная реакция технологии не может отвечать оператору только по его звучанию голоса или движению. Большое значение имеет логика ситуации, потому что человек может не явно или, к примеру, совсем не выражать свои отрицательные чувства и технологии будет сложно дать подходящую к моменту ответную реакцию.

Чтобы решать какие-либо этические вопросы и проблемы при проектировании продуктов, необходимо рассматривать теоретическую сторону базовой этики, которую наследует и техноэтика:

  • Команда должна обладать набором знаний, которые позволят реализовывать технические замыслы, быть не равнодушным к жизни людей, проявлять лояльность к потребителям и стремиться к ненасилию, не принесению физического вреда, уделять особое внимание ответственности за свои действия. Это техноэтика добродетели.
  • Техноэтика долга поднимает вопросы безопасности, экологии и здоровья людей при работе или вынужденными использованием технологических системам. Технология не должна ущемлять свободу и безопасность общества. Технология распознавания лиц может попасть под категорию несоблюдения техноэтики долга, если не соблюдаются условия прозрачности при применении данной технологией.
  • Техноэтика ценностей подразумевает, что эволюция технологий должна быть основана на двух разделах ценностей. Первый из них провозглашает права человека на благополучную жизнь, чувства человека, которые дают ему состояние спокойствия без нарушения течения жизни, гармонии с окружающей средой, самопринятие, цели и позитивный жизненный настрой. Второй раздел относится к ценностям технологии, которая должна быть функциональной, удобной в использовании, экономичной и удовлетворять потребности.

Тем не менее, трата ресурсов компании на изучение и внедрение принципов этики не всегда очевидна своими выгодами для бизнеса в сравнении с заработанной прибылью, выполнение/ перевыполнение плана продаж, количеством новых клиентов, проданными подписками. Но как часто принимается во внимание идеалы и принципы долженствования человека? С увеличением масштаба продукта вопрос о моральной ответственности может не возникнуть до первого несчастного случая.

Люди являются не независимы от технологий, а являются её частью как система. Такое понимание ставит технологию в тесную связь с человеком, при этом система должна включать в себя оценку этичную разработку технологий и принятие общественных ценностей.

Путем изучения взаимоотношений человека с технологиями в различных контекстах общество приобретает ценные знания для принятия ответственных решений.
Подробнее..

Перевод Какое будущее нас ждет роботакси или беспилотные автомобили

13.11.2020 12:14:13 | Автор: admin
image

Роботакси или совершенные беспилотные автомобили? Вы предпочтете ездить на бездушном роботакси, управляемом киборгом, или отправляться в путь на совершенной беспилотной машине?

Какой сериал вы смотрели на локдауне? Мы с женой постоянно обсуждали Самые живописные железнодорожные путешествия в мире. Раз уж мы не могли путешествовать, мы смотрели сериал о путешествиях. Люди любят путешествовать. Новые места, новые взгляды, новые культуры, новые воспоминания. Путешествия важная часть человеческого опыта. Они увлекательны, в них много стимулов и информации. Мы тщательно планируем их и с нетерпением ждем.

А что насчет переездов? Можно переехать из одного дома в другой или перевезти пианино. А можно устроить переходной жизненный этап и жить в пути. Перемещаться и переезжать необходимо, но, как и чистить зубы зубной нитью, скучно. Когда вы в последний раз спрашивали кого-нибудь о том, какую марку зубной нити они используют?

Итак, когда я услышал слоган Вы двигаете мир. Мы помогаем передвигаться вам я подумал не о высоких технологиях. Я подумал о слабительных.



Вероятно, это совсем не та реакция, на которую рассчитывали специалисты из Motional (так теперь называется совместное предприятия Hyundai и Aptiv), когда публиковали свой промо-ролик. Но ведь человеческое восприятие очень сложно и непредсказуемо (в чем бы там нас не убеждали специалисты по ИИ и глубокому обучению).

Предсказуемость скучна. Оглянитесь и вспомните самоизоляцию. Это же было похоже на день сурка? Одни и те же четыре стены? Один и тот же экран компьютера? Вам же хотелось чего-то другого? Людям нужны перемены: вот почему мы так любим путешествовать. Возможно, мы не всегда рады этим переменам, но наш мозг не приспособлен к скучной, нестимулирующей и репетативной деятельности. Для нас это как пытка.

Именно поэтому у меня возникают сомнения касательно реального опыта использования роботакси. Автопарки роботов, перевозящих человеческие грузы. Все автомобили-роботы одинаковы, все водители-роботы одинаковы, все машины-роботы одинаковы. Вы заранее будете точно знать, какую услугу получите. Вот только, как и в случае с фаст-фудом, результат будет скучным и вы мгновенно его забудете.

Я не сомневаюсь, что разработчики беспилотных транспортных средств (такие как Cruise, Motional и Waymo) думают, что знают, чего хотят люди. Но, как и в случае с локдауном, мне интересно как быстро люди устанут от скучной, бездушной и повторяющейся природы опыта поездок в роботакси?

Мне всегда казалось, что сама концепция роботакси недооценивает человеческую природу. Каждый раз, когда я вижу картинки с ровными рядами машин-роботов, я вспоминаю боргов из Звездного Пути. Ждет ли нас будущее с роборгтакси, в котором сопротивление будет бесполезно?

Разработчики роботакси вполне могли потратить много миллиардов долларов на разработку функциональных, практичных, предсказуемых и жутких (как борги) технологий. Но сопротивление пока не бесполезно. Еще не все потеряно. У нас еще есть шанс

Техновойны: возвращение автопроизводителя


Если весь этот сценарий подразумевает, что технологии беспилотной езды приведут к полной ассимиляции, поражению автопроизводителей и миру, в котором все водители отказываются от своих водительских прав, то альянс повстанцев возглавит BMW. При этом стоит помнить, что почти вся индустрия технологий сосредоточена на очеловечивании опыта использования автомобилей.

В последние годы очень много внимания уделялось использованию ИИ и глубокого обучения для замены водителей-людей на системы беспилотной езды. Все это делалось для того, чтобы сделать поездки более безопасными и улучшить пользовательский опыт нахождения в салоне автомобиля.

В авангарде этой области идет платформа iNEXT от BMW, и я хочу рассказать о трех технологиях, которые, как мне кажется, будут использоваться их новых купе i4 и внедорожниках i5.

В конце сентября компания Cerence провела презентацию своего разговорного ИИ, который делает автомобиль более человечным. Если у вас есть десять минут, вы можете посмотреть слайды этой презентации по ссылке. Если у вас есть полтора часа, вы можете посмотреть видео всей презентации, представленное ниже.



Очеловечивание опыта использования автомобилей подразумевает использование передовых дисплеев дополненной реальности (AR-HUD). Думаю, что поставщиком таких дисплеев для iNEXT станет компания Continental, узнать больше об их разработках можно здесь.



Ключевыми аспектами систем отслеживания состояния водителя являются исследования человеческого фактора, мониторинг и отслеживание взгляда. Я думаю, что поставщиком решений в этой области для BMW станет компания Seeing Machines.

Краткое описание развития технологии представлено ниже, а возможности алгоритмов мониторинга состояния водителя остаются строго охраняемым секретом.

image

Как недавно обсуждалось в EE Times и New Scientist, технология визуального наблюдения за водителями вполне может помочь в обнаружении водителей, находящихся в состоянии алкогольного или наркотического опьянения. Исследования человеческого фактора и поведения сыграют решающую роль в разработке технологий переключения управления для борьбы с фактором пьяных водителей. С нетерпением жду информации об этих разработках. Подробнее о Seeing Machines можно узнать на этих слайдах.

Сочетание разговорного ИИ, AR-HUD и систем отслеживания состояния водителя совершит революцию в пользовательском опыте пребывания в салоне, и я аплодирую BMW это похоже на значительный шаг вперед с точки зрения технологий. Я не думаю, что другие игроки на рынке значительно отстают. Наверняка Google уже работает над системой отслеживания взгляда для новой версии Android Automotive OS.

В видео, представленном ниже, вы можете увидеть презентацию от Motional. Я предлагаю вам посмотреть ее полностью и решить волнует ли вас роботакси больше (или меньше) чем другие технологии, описанные в этой статье.



Столетние перспективы


Когда я смотрел Самые живописные живописные железнодорожные путешествия в мире, меня очень удивлял тот факт, что на строительство многие железнодорожных путей потребовалось более века. Разорялись компании (причем некоторые разорялись несколько раз), а строительство забрало множество жизней.

Все эти проекты были более сложными, заняли больше времени и требовали больше инвестиций, чем предполагалось изначально. Затраты почти полностью покрывались авансами, выручка появлялась только после завершения строительства участков, а прибыли порой и не было вовсе. Будет ли таким же будущее роботакси?

Если предположить, что технологии и системы беспилотной езды могут быть успешно разработаны и развернуты, захотят ли потребители ездить на бездушных роботакси, управляемых боргами, или они захотят ездить на совершенных беспилотных автомобилях с иммерсивным пользовательским опытом пребывания в салоне?

Прелесть этой истории в том, что каждый может решить для себя сам. Я точно знаю, что с нетерпением жду появления машин на платформе iNEXT на дорогах в следующем году. Судя по всему, BMW оценила и поняла человеческую природу (и возможно, даже превзошла Tesla)




image

Вакансии
НПП ИТЭЛМА всегда рада молодым специалистам, выпускникам автомобильных, технических вузов, а также физико-математических факультетов любых других высших учебных заведений.

У вас будет возможность разрабатывать софт разного уровня, тестировать, запускать в производство и видеть в действии готовые автомобильные изделия, к созданию которых вы приложили руку.

В компании организован специальный испытательный центр, дающий возможность проводить исследования в области управления ДВС, в том числе и в составе автомобиля. Испытательная лаборатория включает моторные боксы, барабанные стенды, температурную и климатическую установки, вибрационный стенд, камеру соляного тумана, рентгеновскую установку и другое специализированное оборудование.

Если вам интересно попробовать свои силы в решении тех задач, которые у нас есть, пишите в личку.



О компании ИТЭЛМА
Мы большая компания-разработчик automotive компонентов. В компании трудится около 2500 сотрудников, в том числе 650 инженеров.

Мы, пожалуй, самый сильный в России центр компетенций по разработке автомобильной электроники. Сейчас активно растем и открыли много вакансий (порядка 30, в том числе в регионах), таких как инженер-программист, инженер-конструктор, ведущий инженер-разработчик (DSP-программист) и др.

У нас много интересных задач от автопроизводителей и концернов, двигающих индустрию. Если хотите расти, как специалист, и учиться у лучших, будем рады видеть вас в нашей команде. Также мы готовы делиться экспертизой, самым важным что происходит в automotive. Задавайте нам любые вопросы, ответим, пообсуждаем.

Подробнее..

Перевод Отчет Waymo о безопасности беспилотных автомобилей

14.11.2020 08:07:17 | Автор: admin
image

Команда Waymo (которая занимается беспилотным автомобилем от Google) выпустила подробный отчет о своих тестах в Финиксе, штат Аризона. В этих отчетах описываются несколько лет их работы и более 9 миллионов километров пробега. В отчетах представлены просто невероятные показатели безопасности, исходя из которых им стоит начать разворачивать свои продукты в больших масштабах (по крайней мере, в малозагруженных городских и пригородных зонах вроде Чендлера, штат Аризона).

Этот отчет примечателен по нескольким причинам:

  1. Он невероятно прозрачен такого мы еще не видели ни у одной команды. В сущности, остальным компаниям брошена перчатка если их отчеты не будут столь же прозрачны, ты мы будем предполагать, что у них все не столь хорошо.
  2. У них есть возможность писать столь прозрачные отчеты ввиду того, что у них отличные показатели безопасности. На почти 10 миллионов км пробега у них приходится 30 тревожных сигналов без ожидаемых травм, 9 сигналов с потенциальными травмами и 8 со срабатыванием подушки безопасности (вероятность получения травмы в этих случаях оценивалась в 10%, то есть серьезные травмы ожидались лишь в 2 случаях). Водители-люди получили бы порядка 6 травм.
  3. Waymo утверждают, что во всех дорожных происшествиях виноваты другие водители/участники дорожного движения.
  4. В отчетах не приводится ни одного происшествия с участием одного транспортного средства (вроде выезда с дороги), а такие происшествия часто происходят при участии живых водителей.
  5. Если считать в масштабах страны, 9.8 миллионов километров пробега под управлением хороших водителей должны привести к 40-60 происшествиям, из которых большинство будут малозначительными, 22-27 потребуют страхового возмещения, о 12 будет сообщено в полицию и примерно 6 приведут к травмам. Благодаря отсутствию аварийных ситуаций за время, сравнимое с 8 человеческими жизнями, Waymo значительно превосходит человеческую езду даже в таких простых местах как Чендлер.


image

Авария с участием автомобиля от Waymo без водителя-испытателя. В заднюю часть беспилотной машины врезался автомобиль, водитель которого не сбросил скорость.

Отметим, что 62% описанных событий и вовсе не происходили. Как правило, водители-испытатели брали управление на себя, а тщательный анализ в симуляторах позволял сделать вывод, что без водителя безопасности произошел бы определенный контакт. Инженеры Waymo изучают все потенциальные столкновения, чтобы оценить общее количество аварий, которые могут произойти без водителя за рулем (беспилотные автомобили Waymo проехали 104 000 км без водителей-испытателей. Одна из аварий произошла именно с таким автомобилем, которому врезались в заднюю часть во время торможения). 18 аварий были реальными, 29 оценены в симуляторах.

47 аварий на 9.8 миллионов километров (или 209 000 километров на аварию) эта оценка немного лучше той, что мы делали для людей, если речь идет об учете всех аварий (включая те контакты, которые не причиняют значимого ущерба и о которых не узнают полиция и страховые компании). Инженеры Waymo учитывали контакты пешеходов с их автомобилем и даже водителей, которые намеренно подрезали их машины, чтобы проверить их. Число 47, упомянутое выше, было бы лучше оценки аварийности людей, если бы половина из этих 47 контактов произошла по вине Waymo.

image

Эти оценки не совсем корректны, поскольку у нас нет данных о достаточно спокойных пригородах Финикса. Ездить там проще (поэтому компания выбрала их в качестве первого шага), так что если мы аварийность улучшится вполовину или на треть (по сравнению с более сложными зонами), результаты будут впечатлять.

Ниже я расскажу о ряде частных случаев и некоторых утверждениях. Компания Waymo также выпустила новый документ, описывающий их технические процессы и принципы безопасности. Этот документ представляет собой скорее новую версию прошлого, и великих откровений в нем нет. Впрочем, это все равно хороший пример прозрачности, возможно ему стоить посвятить отдельную статью.

Неужели они и правда ни в чем не виноваты?


Waymo считает, что все инциденты связаны с неправильными действиями других сторон. Большая часть этих происшествий не доходила до полиции с формальными обвинениями. При чтении описаний может показаться, что в некоторых авариях все же виновата Waymo, так что компания использует формулировку почти все инциденты. Так, например, их машина действительно врезалась в автомобиль, который ее подрезал и затормозил без причины, но компания считает, что это было сделано намеренно.

Как бы то ни было, можно выделить два основных фактора отказа. Во-первых, в 29 смоделированных авариях водитель-человек мог бы спасти положение, хотя вина лежала на других участниках движения. В самом деле, люди часто предотвращают аварии, которые могут быть спровоцированы другими водителями. Конечно, ПО от Waymo есть куда расти оно все еще работает не так хорошо, как водители-испытатели. Waymo утверждает, что их испытатели прошли дополнительные курсы подготовки, и их навыки вождения заметно превосходят среднестатистические. Я прошел их курс 8 лет назад, и в него входили специальные программы по безопасному вождению, предотвращению несчастных случаев и многому другому. Полагаю, сейчас эти курсы стали еще лучше.

Все это здорово, к этому надо стремиться, но это не та планка, которую нужно ставить, когда речь идет о первой версии продукта. Водители-испытатели Waymo (их двое) не ведут машину, они просто сидят, будучи готовыми взять управление на себя. Чтобы быть готовыми к потенциально опасным ситуациям они следят за дорогой (и консолью ПО) пристальнее всех остальных водителей. Надеюсь, алгоритмы в системах Waymo будут учиться на всех смоделированных контактах и делать выводы из действий пилотов-испытателей, чтобы водить так же, как они.

Возможно самый жуткий пример связан с автомобилем, который ехал по встречной полосе навстречу лобовому столкновению с машиной Waymo. В симуляции машина от Waymo полностью остановилась в своей полосе, но все равно была ударена встречным автомобилем (компания не раскрывает каким образом удалось избежать столкновения в реальности возможно водитель-испытатель совершил маневр, на который ПО бы не пошло, а может водитель другой машины пришел в себя и свернул в свою полосу).

image

Водитель, который едет по встречной полосе, выезжает на полосу движения машины от Waymo симуляция лобового столкновения.

Возможно, в некоторых инцидентах Waymo все же отчасти виновата. В двух смоделированных авариях машина Waymo ударила другие автомобили. В одном из случаев беспилотный автомобиль перестроился в полосу, в которой другая машина совершала обгон, превышая скорость на 48 км/ч. В другом случае беспилотный автомобиль перестраивался в левую полосу для поворота и врезался в машину, которая пролезла в эту полосу чуть раньше. Несмотря на то, что эти водители, безусловно, нарушали правила, Waymo могла бы улучшить обнаружение объектов, находящихся позади (вероятно, компания это уже сделала).

Машина Waymo врезалась в заднюю часть автомобиля, который подрезал ее и резко затормозил без причины. Вероятно, кто-то игрался с беспилотной машиной, чтобы проверить ее и делал это плохо (такое изредка случается, но мы знаем не обо всех случаях. Обычно водитель-испытатель немедленно вмешивается).

Второй же вопрос заключается в следующем: стало ли необычное и консервативное поведение беспилотных автомобилей причиной некоторых из этих аварий не потому, что система что-то делала неправильно, а из-за повышения вероятности человеческих ошибок. Люди ожидают от других водителей определенных действий, а роботы могут их не совершать, что может удивить других участников движения. Все 15 раз, когда в машину от Waymo врезались сзади, были виноваты другие водители, но некоторых из этих аварий могло бы не произойти, если бы манера езды беспилотного автомобиля была более агрессивной.

Также было несколько инцидентов, в которых автомобиль Waymo поворачивал направо, и что-то побуждало водителей позади него попытаться обогнать его справа. Из-за этого происходили боковые столкновения. Люди не ожидают, что кто-то будет проходить правый поворот по правой стороне это могло вызвать у других водителей агрессию, приводившую к аварии (в которой все еще виноват именно водитель-человек). Все это напоминает мне о первой (и единственной?) аварии, в которой была виновата Waymo их машина попыталась обойти автобус справа, как это часто делают люди в широких полосах для правых поворотов.

Однажды автомобиль от Waymo резко затормозил после того, как начал поворачивать налево в результате в него врезалась сзади машина, которая шла слишком близко.

Waymo утверждает, что им нужны были такие случаи, и что вряд ли подобных ситуаций будет много, но исключать их полностью нельзя. Как бы то ни было, 200 000 км на аварию примерно сопоставимы с человеческим вождением (по некоторым оценкам даже чуть лучше), и этому есть подтверждения. Более того, даже если мы будем считать, что Waymo виновата в некоторых из аварий, перечисленных выше, они все равно врезаются реже, чем люди.

image

Это всего лишь пригородный Финикс


Существует мнение, что если у Waymo все получилось в пригородном Финиксе, то далеко не факт, что их система будет работать достаточно безопасно в центре Сан-Франциско или более сложных городах вроде Бостона, Нью-Йорка или Мумбаи. Конечно, нельзя думать, что вы просто перевезете туда машину, загрузите в нее новую карту и все будет работать. Еще многое предстоит сделать.

Компания Cruise, которая проводит тесты в центре Сан-Франциско, давно заявляла, что сперва хочет решить более сложную задачу. Пока неясно сколько еще времени потребуется Cruise, чтобы развернуться там, и сколько времени потребуется Waymo, чтобы выйти в свет. Waymo длительное время проводила тесты в пригороде Сан-Франциско/Кремниевой долине (там базируется компания) и проводила несколько испытаний в центре Сан-Франциско.

Впрочем, в мире много мест, не сильно отличающихся от Финикса, так что если Waymo еще немного поработает, то сможет покрыть весьма значительный пласт территорий. Следует также отдать должное Cruise. Даунтауны главный рынок для такси, а сервис пригородных поездок, неспособный добраться до центра, находится в неудобном положении. Waymo об этом прекрасно знает, так что гонка продолжается. Когда они вырастут, они будут учиться еще быстрее.

Для обозначения своих зон обслуживания Waymo использует карты, в то время как Tesla пытается автомобиль, который ездит на основе самых базовых карт. Подход Waymo позволяет компании значительно опережать Tesla, машины которой пользуются картами и не могут без них работать. Это не очень большая проблема для такси, потому что у них есть ограниченная зона обслуживания, покрытая картами. Проблема в том, что Tesla продает автомобили клиентам, которые будут на них ездить повсюду. Составление карт стоит денег, но оно явно дешевле строительства и содержания дорог. Если у вашей компании достаточно большой объем предоставляемых услуг, стоимость составления карты в пересчете на клиентский пробег незначительно. Более того, вы получите дополнительную добавленную стоимость и ускорите свое развитие на рынке.

У Waymo также есть оперативный центр, сотрудники которого следят за беспилотными машинами без водителей и дают им подсказки в непонятных (для систем) ситуациях. Сотрудники операционного центра не могут удаленно управлять автомобилями, а потому не могут предотвращать аварии. Помимо того, что они помогали избегать неправильных действий в сложных ситуациях, если бы у них была возможность осуществлять удаленное управление, они могли бы сыграть определенную роль в поддержании хороших показателей безопасности.

image

Достаточно ли данных?


Автомобили Waymo не попадали в серьезные аварии, и компания отрицает свою вину даже в незначительных инцидентах. Отчасти дело может быть в том, что их машины стараются ездить по дорогам с ограничением в 72 км/ч (или ниже), а также стараются пользоваться преимуществом простоты езды по пригороду, о котором шла речь выше. Поскольку несчастные случаи со смертельным исходом происходят в среднем происходят каждые 120 млн. километров (и каждые 290 млн. километров при езде по автостраде), можно утверждать, что 9.6 млн. километров пробега недостаточно для того, чтобы сделать выводы о смертности. В статье 2016 года от Rand утверждается, что для доказательства безопасности езды нужны миллиарды километров пробега (на этой неделе Rand опубликовали исследование, несколько смягчающее эту оценку).

Лучший подход подходить не с точки зрения доказательства безопасности, а количественно определять низкие риски (это близнец безопасности). При принятии решения о появлении и внедрении роботизированных автомобилей обществу нужно будет убедиться в приемлемости рисков, а не сводить их к нулю или стремиться к абсолютным доказательствам. В частности, важно понимать, что почти всегда в жизни не просто приемлемо, но и необходимо идти на риск это может позволить получить значительную выгоду (особенно если выгода заключается в значительном снижении рисков в будущем).

Таким образом, Waymo не может утверждать, что их автомобили будут попадать в несчастные случае со смертельным исходом реже, чем каждые 120 млн, километров, поскольку у компании есть данные всего о 9.6 млн. километров (или 32 млн, если считать другие тестовые зоны, а также миллиарды километров пробега в симуляторах). Впрочем, компания может вполне обоснованно заявить, что риски значительной опасности их автомобилей достаточно низки. Кроме того, это быстро стало бы ясно по наносимому вреду (даже минимизированному).

С другой стороны, риски и опасности человеческого вождения хорошо известны, и они достаточно высоки. С каждым годом развертывание систем беспилотной езды откладывается все дальше, и тем дольше сохраняются все эти риски с ужасными последствиями в виде 40 000 смертей в США каждый год. Ожидание определенности становится похожим на безумие, потому что мы уже прекрасно понимаем, насколько опасна альтернатива.

Будет это Cruise, Waymo или еще кому-то удастся провести поездки по оживленным городам с приемлемыми рисками, мы не хотим откладывать наступление этого дня. Все это стоит небольшого риска. Подумайте о том, что каждый, кто превышает скорость (то есть почти все) подвергает себя и всех остальных гораздо большему риску чем системы беспилотной езды, а ведь единственная выгода всех этих людей попасть куда-либо на минуту раньше.

Что касается водителей-людей, то для них у нас есть тест DMV полчаса вождения, и можно получить права. Мы идем на это, хотя знаем, что новоиспеченные водители-подростки куда более опасны, чем взрослые. Мы наверняка не уверены в том, что они достаточно безопасны (на самом деле, мы почти уверены, что это не так). В самом деле, поскольку за время, в пересчете равное восьми человеческим жизням, машины Waymo не совершали ошибок, приводящих к серьезным происшествиям, ни один человек пока не сравнится с ними по безопасности езды. Люди могут совершать серьезные ошибки, провоцировать серьезные аварии, явно обозначать свою опасность и при этом сохранять свои водительские права.

Реальность такова, что мы (как общество) должны быть готовы пойти на разумные риски и позволить разработчикам делать то, что кажется очень рискованным, в небольших масштабах. Таким образом, когда они добьются значительных успехов и развития, им удастся значительно снизить риски в глобальных масштабах. Риски, на которые они пойдут на первых этапах, будут связаны с малыми автопарками и ограничены изначально. Но суть в том, что Waymo удалось доказать больших рисков тут нет.

image

Зеленый свет для Waymo


Вскоре Waymo сделает доступными для широкой публики свои услуги в Чендлере. Их автомобили можно будет использовать как Uber, зачастую даже без водителя. Компания собирается вернуть всех пилотов, как только во всех транспортных средствах появятся антивирусные барьеры. Думаю, они готовы пойти дальше и выпустить все свои машины без водителей.

(Компания считает, что то, что она сделала в Аризоне это уже реальное развертывание. Waymo позволила участникам тестовой кампании Waymo One Beta приглашать своих друзей, хотя им все еще нужно будет получить разрешение от Waymo, поскольку на этих новых участников не будет распространяться NDA. Я же считаю, что реальное развертывание выглядит как Uber любой может скачать приложение и поехать. Впрочем, это очень сложно, поскольку компанию могут просто завалить запросами)

Близки ли к таким успехам другие команды? Мы не знаем. Столь подробных данных еще никто не публиковал. Перчатка брошена. Если Cruise, Zoox, Argo, Tesla и другие хотят сказать, что они в игре, то им нужно опубликовать такие же данные. Если они этого не сделают, то мы можем предположить, что они по какой-то причине этого боятся. Раскрывать внутренние секреты не требуется. Из данных можно извлечь ряд полезных выводов, и всем стоит ими делиться на благо отрасли.

Будет ли Waymo в развертывании столь смела, как описывалось выше? Вероятно, нет. Как я часто говорил, людям не хочется умирать от рук роботов. Мы бы предпочли, чтобы нас убил пьяница. Мы ожидаем от машин-роботов совершенства, которое они не могут обеспечить, хотя от водителей-людей мы этого не ждем. Для людей риски, связанные с развертыванием систем Waymo, не прости низки, они ниже, чем риски их самостоятельной езды. И я говорю не только о сегодняшнем обществе. Предположим, что Waymo будет расти в зависимости от сроков запуска, и что если они запустятся через месяц, то еще через месяц компания значительно вырастет. Тогда математика подсказывает нам, что риск, который они предотвратят, на самом деле равен совокупности всех рисков людей, которые ездили самостоятельно все то время, пока Waymo была небольшой компанией, и он же будет равен рискам всех поездок за тот месяц, за который компания станет действительно большой. Если Waymo удастся взять на себя до 10% всех поездок в США, то откладывание развертывания на месяц будет приводить к 80 000 аварий и 250 смертям из-за того, что все эти люди будут ездить сами, а не пользоваться беспилотными машинами Waymo. И так каждый месяц задержки.

Откладывание развертывания Waymo аморально, как и любые регуляции, которые будут мешать компании.




image

Вакансии
НПП ИТЭЛМА всегда рада молодым специалистам, выпускникам автомобильных, технических вузов, а также физико-математических факультетов любых других высших учебных заведений.

У вас будет возможность разрабатывать софт разного уровня, тестировать, запускать в производство и видеть в действии готовые автомобильные изделия, к созданию которых вы приложили руку.

В компании организован специальный испытательный центр, дающий возможность проводить исследования в области управления ДВС, в том числе и в составе автомобиля. Испытательная лаборатория включает моторные боксы, барабанные стенды, температурную и климатическую установки, вибрационный стенд, камеру соляного тумана, рентгеновскую установку и другое специализированное оборудование.

Если вам интересно попробовать свои силы в решении тех задач, которые у нас есть, пишите в личку.



О компании ИТЭЛМА
Мы большая компания-разработчик automotive компонентов. В компании трудится около 2500 сотрудников, в том числе 650 инженеров.

Мы, пожалуй, самый сильный в России центр компетенций по разработке автомобильной электроники. Сейчас активно растем и открыли много вакансий (порядка 30, в том числе в регионах), таких как инженер-программист, инженер-конструктор, ведущий инженер-разработчик (DSP-программист) и др.

У нас много интересных задач от автопроизводителей и концернов, двигающих индустрию. Если хотите расти, как специалист, и учиться у лучших, будем рады видеть вас в нашей команде. Также мы готовы делиться экспертизой, самым важным что происходит в automotive. Задавайте нам любые вопросы, ответим, пообсуждаем.

Подробнее..

Перевод Почему именно Tesla победит в гонке за автономностью

17.11.2020 12:21:43 | Автор: admin
Анализ факторов, которые могут помочь Tesla превзойти Waymo и других игроков на рынке беспилотных систем 5 уровня и никакого хайпа.

image


Автопилот Tesla основан на 8 камерах и 12 ультразвуковых датчиках

Прежде чем начать, я должен сложить с себя ответственность. Я не прорицатель. Я не знаю наверняка станет ли Tesla первой компанией, которая создаст беспилотную систему пятого уровня. В этом уравнении слишком много переменных, и они не позволяют сделать однозначный вывод. Впрочем, исходя из текущей траектории развития Tesla, я предполагаю, что именно эта компания первой создаст полноценный автопилот. Позвольте мне все объяснить.

Существует шесть уровней автономности автомобилей от нулевого до шестого. Нулевой уровень полное отсутствие автономности, самый обычный автомобиль. Пятый полноценная система беспилотной езды, которой не нужен водитель. В настоящее время автопилот от Tesla относят ко второму уровню далековато от пятого уровня, требуемого для полной автономности. Звучит безрадостно особенно если учесть, что Waymo (главный конкурент Tesla) уже создали систему четвертого уровня.

image

Компания Waymo (принадлежит холдингу Google Alphabet) создала систему беспилотной езды четвертого уровня

В самом деле, человеку со стороны может показаться, что компания Waymo, принадлежащая холдингу Google Alphabet может выиграть гонку за автономностью. Согласно данным, опубликованным калифорнийским автотранспортным управлением в 2018 году, сейчас у Waymo лучшие технологии беспилотной езды на рынке их машины способны проезжать почти 18 тысяч километров без вмешательства водителя-человека. Безусловно, это впечатляет, хотя немногие эксперты действительно верят в эти цифры.

Также Waymo запустила Waymo One сервис по продаже поездок в пределах восточной долины Финикса. Беспилотные автомобили в этом сервисе осуществляют перевозки реальных клиентов. В водительском кресле нет сотрудника Waymo. Если что-то пойдет не так машина сама по себе.

Это удивительно. Особенно если сравнивать с автопилотом от Tesla, за которым нужно постоянно следить и исправлять ошибки в различных ситуациях. Так почему же я считаю, что Tesla первой сможет создать систему беспилотной езды пятого уровня? На самом деле, все сводится к данным.

Системы беспилотной езды работают на основе искусственного интеллекта и машинного обучения. Эти системы учатся на практике. Медленно, но верно, с каждым километром пробега эти системы учатся водить машину все лучше и лучше. Таким образом, очевидно, что компания, которая сможет собрать больше данных о пробеге для своего ИИ-пилота сможет продвинуться быстрее остальных.

image

Автопилот от Tesla становится лучше с каждым километром пробега

Waymo принадлежит Alphabet, холдинговой компании Google. Как известно, Google занимается большими данными, а значит ими занимается и Waymo. 7 января 2020 года Waymo объявила, что их беспилотные системы суммарно проехали более 32 миллионов километров в реальном мире. Большинство людей столько не проезжают за всю жизнь, и это без учета пробега, накопленного системами от Waymo в симуляторах (согласно отчетам TechCrunch, пробег в симуляторах превышает 16 миллиардов километров по состоянию на 2019 год).

Впрочем, генеральный директор Tesla Илон Маск считает, что пробег в симуляторах и близко не так полезен, как пробег в реальном мире. Все дело в том, что искусственный пробег не отражает фактор случайности, с которым водители регулярно сталкиваются на дорогах. Итак, у Waymo есть данные о более чем 32 миллионах километров пробега в реальном мире. Каковы позиции Tesla, если сравнить компании по этому показателю? Хорошие. Очень хорошие.

В то время как в автопарке Waymo имеется 600 автомобилей, Tesla недавно продала более миллиона автомобилей. Это значит, что их искусственный интеллект проехал намного больше. Ранее в этом году суммарный пробег автопилота Tesla превысил 4.8 миллиардов километров. Это значит, что у инженеров Tesla для обработки имеется в 150 раз больше данных, чем у инженеров Waymo. И это без учета данных о пробеге без использования автопилота (так называемый теневой режим).

image

Я не смог найти данных о том, насколько часто люди пользуются автопилотом от Tesla. Но если представить, что на каждые 16 километров пробега 1.6 км проезжаются с включенным автопилотом (мне кажется, это значительная оценка), то это будет значить, что инженеры Tesla смогут изучать данные о почти 50 миллиардах километров пробега. Если автопилот будет использоваться каждые 1.6 км из 32, то мы получим 96.5 миллиардов километров. Как я говорил ранее, я не знаю какая доля пробега Tesla приходится на автопилот, но мне кажется, что у Tesla данных о реальном мире будет больше, чем у Waymo в симуляторах (не говоря уже о реальном пробеге).

Такое лидерство в данных иронично похоже на то лидерство, которое есть у Google на рынке поисковых систем. У самого Маска также есть объяснения важности данных:

Этот аспект трудно оценить в полной мере. Я просто хочу сказать, что очень трудно создать поисковую систему, которая сможет соперничать с Google, ведь все постоянно обучают их алгоритм, кликая по ссылкам в его выдаче. Когда вы что-то ищете и нажимаете на ссылку в выдаче, в обучаете алгоритмы поиска Google. Новым поисковым системам очень тяжело оставаться конкурентоспособными на рынке в таких условиях.


Все это справедливо и для Tesla. Каждый километр пробега их автомобилей обучает их ИИ, за счет чего он учится водить лучше (при этом все это работает для каждой машины из миллиона проданных). У Waymo может быть поддержка со стороны Google, но им просто не удастся конкурировать с миллионом водителей, постоянно и одновременно тренирующих ИИ от Tesla. Tesla удалось занять такое положение на рынке, которое позволяет компании собирать огромные массивы данных исключительно за счет высокого качества их автомобилей (и того факта, что люди хотят ими пользоваться).

Мне трудно себе представить ситуацию, в которой появится какая-либо компания, которая сможет собирать столь же большие массивы данных и конкурировать с Tesla. Ранее Маск утверждал, что для создания полностью беспилотной системы им потребуются данные о 9.6 миллиардах километров. Если исходить из нынешней траектории развития компании, скоро Tesla придет к этой вехе (хотя, вероятно, прогноз Маска на 2020 год не сбудется). Ранее Маск сказал, что их автопилот выйдет из беты как только станет водить в 10 раз более безопасно, чем человек. По оценкам Inverse, для этого необходимо достигнуть показателей в 1 смерть на 1.4 миллиарда километров пробега. Tesla опубликовала отчеты, согласно которым их автопилот водит в 9 раз безопаснее человека. Впрочем, эти цифры искажены, поскольку система беспилотной езды от Tesla преимущественно используется на шоссе, а не на городских улицах.

image

В конечном итоге, для создания беспилотных систем 5 уровня человечеству еще предстоит немало потрудиться. Всегда могут возникнуть непредвиденные переменные, которые могут склонить чашу весов в сторону одного из конкурентов Tesla. Впрочем, если с имеющимися технологиями уже можно работать, данные это преимущество, которое нельзя упускать из виду. Google доминирует над компаниями вроде Yahoo именно благодаря данным. Хоть кому-то и может показаться, что сейчас Waymo лидирует на этом рынке, будьте готовы к тому, что положение дел изменится. Tesla закладывает фундамент для своего господства на рынке систем беспилотной езды.




image

Вакансии
НПП ИТЭЛМА всегда рада молодым специалистам, выпускникам автомобильных, технических вузов, а также физико-математических факультетов любых других высших учебных заведений.

У вас будет возможность разрабатывать софт разного уровня, тестировать, запускать в производство и видеть в действии готовые автомобильные изделия, к созданию которых вы приложили руку.

В компании организован специальный испытательный центр, дающий возможность проводить исследования в области управления ДВС, в том числе и в составе автомобиля. Испытательная лаборатория включает моторные боксы, барабанные стенды, температурную и климатическую установки, вибрационный стенд, камеру соляного тумана, рентгеновскую установку и другое специализированное оборудование.

Если вам интересно попробовать свои силы в решении тех задач, которые у нас есть, пишите в личку.



О компании ИТЭЛМА
Мы большая компания-разработчик automotive компонентов. В компании трудится около 2500 сотрудников, в том числе 650 инженеров.

Мы, пожалуй, самый сильный в России центр компетенций по разработке автомобильной электроники. Сейчас активно растем и открыли много вакансий (порядка 30, в том числе в регионах), таких как инженер-программист, инженер-конструктор, ведущий инженер-разработчик (DSP-программист) и др.

У нас много интересных задач от автопроизводителей и концернов, двигающих индустрию. Если хотите расти, как специалист, и учиться у лучших, будем рады видеть вас в нашей команде. Также мы готовы делиться экспертизой, самым важным что происходит в automotive. Задавайте нам любые вопросы, ответим, пообсуждаем.

Подробнее..

Перевод Генный драйв и CRISPR история, потенциал и стартапы

02.12.2020 14:12:13 | Автор: admin
image

Скоро изменится сама природа человеческой расы. Эти изменения будут радикальными и быстрыми таких в истории нашего вида еще не было. Только что закончилась одна глава нашей истории и начинается следующая.

Революция существования людей станет возможной благодаря новой генетической технологии с безобидным названием CRISPR (произносится как криспр). Многие читатели уже могли встречать это название в новостях, и скоро его подхватят другие мейнстримные медиа. CRISPR аббревиатура от Clustered Regularly Interspaced Short Palindromic Repeats (короткие палиндромные повторы, регулярно расположенные группами). CRISPR для геномики то же самое, что и vi (визуальный текстовый редактор в Unix) для ПО. CRISPR это технология редактирования генома, которая дает генным инженерам беспрецедентные возможности: она превращает их в генных хакеров. До появления CRISPR генная инженерия была медленной, дорогой и неточной. Теперь же редактирование генома можно будет выполнять дешево, точно и воспроизводить результаты.

Этот текст очень не-технический пересказ истории развития CRISPR. Также мы поговорим о Gene Drive [1], биологическом методе, который при использовании вместе с CRISPR дает генным инженерам еще больше возможностей. Ниже я добавил несколько ссылок для тех, кому интересно углубиться в эту тему по ним можно почитать о технических подробностях. В конце я кратко расскажу о последствиях и перспективах этих технологий.

Кратко рассмотрим вводную информацию. Генетический код, описанный в ДНК, можно рассматривать как ПО, которое порождает всевозможные формы жизни, существующие на нашей планете. Генетики изучают методы расшифровки генома, но все затрудняет тот факт, что у них очень мало возможностей для изменения этого кода. Для сравнения представьте, если бы у разработчиков ПО был доступ к огромному количеству чрезвычайно мощных программ, которые они едва понимают, и код которых не могут изменять. Но если возможность редактировать код появится, и ученые смогут модифицировать генетическое ПО, то исследованиями можно будет заняться всерьез. У инженеров появится возможность не только изменять код, но и исправлять и улучшать его. Снова появятся хакеры.

Понять эту удивительную технологию будет проще, если узнать где она появилась. В 1980-х ученые из университета Осаки секвенировали ДНК бактерии E Coli и заметили нечто странное. ДНК состояла из длинных цепочек нуклеотидов, а внутри нее были повторяющиеся кластеры странных последовательностей нуклеотидов, которые находились не на своих местах. Они выглядели так, будто они прерывались случайными цепочками ДНК. Со временем подобные кластеры были обнаружены у нескольких других бактерий и получили название CRISPR (это название вполне емко описывает то, что обнаружили ученые). Впрочем, тогда никто не знал что это и каковы функции этой находки.

Существует несколько открытий, которые давали ученым ответы на эти вопросы, но стоит выделить два самых важных. Во-первых, три разные команды недавно использовали свежие базы данных генетического материала и заметили, что эти цепоки CRISPR похожи на необычную вирусную ДНК. Во-вторых, гениальный биолог-эволюционист из Национального центра биотехнологической информации Евгений Кунин критически пришел к заключению, что это бактериологический механизм защиты от вирусов. В итоге эта идея привела к формулированию предназначения CRISPR.

Мы, люди, постоянно сражаемся с различными бактериями и вирусами, так что для нас может быть неожиданным тот факт, что сами бактерии и вирусы миллиарды лет борются за собственное выживание. Каждый день триллионы и триллионы бактерий убиваются вирусами (вирусы, атакующие бактерии, называются фагами). Большинству людей удается справляться со своими фагами, во многом благодаря тому вооружению, которое у нас появилась после многих тысяч лет эволюции иммунитету. Оказывается, что CRISPR очень эффективное оружие, которое может быть использовано в иммунной системе.

Позвольте мне прояснить один момент во избежание путаницы. Ранее мы говорили о том, что CRISPR это описание определенных необычных цепочек ДНК. Чтобы использовать эти цепочки в качестве защитного механизма или для редактирования генома (об этом поговорим дальше), необходим инструмент, который называется Cas. Если будете читать о Cas-белках, вы можете также встретить упоминания Cas9 (или Cas3 и т.д.). Полный набор этих инструментов иногда называют CRISPR/Cas, но обычно говорят просто CRISPR, и я придерживаюсь именно этого термина.

Обсудим как все это работает. Когда бактериям, обладающим CRISPR, удается отбиться от атак вирусов, они используют белки Cas для захвата фрагментов вирусной ДНК и вставляют эти фрагменты в свою ДНК. Если вирусу не повезет напасть на столь хорошо подготовленную бактерию, то эта самая бактерия использует цепочку CRISPR как паттерн для распознавания вируса и использует Cas для того, чтобы раздробить вирус на безобидные частицы.

Это очень крутой механизм. Белки Cas копируют вирусные гены CRISPR из собственной ДНК в молекулы РНК (как и ДНК, РНК очень важна для записи структуры генома), за счет чего формируется структура, состоящая из Cas-белка и РНК. После своего создания эта структура начинает блуждать по клетке. Когда эта структура сталкивается с другой молекулой, она проверяет есть ли в ней ДНК и при обнаружении считывает нуклеотидную последовательность. Если эта последовательность соответствует хранимой цепочке CRISPR, то произошла встреча с известным вирусом. Затем РНК захватывается и ферменты CAS расщепляют вирусную ДНК подобно гильотине (или убивают ее, если вам хочется считать вирусы живыми). Если для вас все это звучит как некий иммунологический алгоритм, реализованный сущностями из биологии, то вы в целом правы:

CRISPR.блуждать() //пока не встретится другая молекула    если (новая молекула содержит ДНК и ДНК совпадает с CRISPR.ДНК)        CRISPR.cas9.захватить() //захват нового вирусного ДНК        CRISPR.cas9.уничтожить() //убить вируспродолжить

CRISPR.wander() - until encounter another molecule        If (new molecule contains DNA and DNA matches            CRISPR.dna) CRISPR.cas9.grab() // nab the viral dna            CRISPR.cas9.chop() // kill the virus!    continue

Круто, не правда ли? Расшифровка этой загадки могла бы принести ее автору докторскую степень или сделать доцента профессором, но теперь за нее можно получить даже Нобелевскую премию ведь мы говорим об открытии, которое может изменить судьбу человечества. Все дело в том, что над ним независимо работали несколько разных команд (и теперь они соревнуются между собой [2]), и на каждую из этих команд снизошло невероятное озарение. Они поняли, что иммунная система, появившаяся в результата в результате миллионов лет эволюции может совершить революцию в генной инженерии. Если у ученых появится возможность использовать механизм CRISPR, то они смогут точно выделять и вырезать отдельные фрагменты ДНК. Более того, с помощью CRISPR и двух разных белков Cas9, они смогут точно вырезать целые сегменты из произвольных структур. Конечно, это лишь половина задачи редактирования генома. После удаления нежелательной последовательности на ее место нужно будет вставить те гены, которые нам нужны. Как оказалось, это очень просто. Достаточно просто ввести ген(ы), которыми вы хотите заменить удаленные фрагменты, и уже существующие ферменты восстановления сами все соберут.

Одна из самых классных особенностей CRISPR заключается в том, что эта технология универсальна (в отличие от большинства уже существующих методов редактирования генома они работают с ограниченным множеством организмов). Теоретически, CRISPR может работать с любыми (земными) формами жизни.

Давайте минутку подумаем над тем, сколько всего хорошего может сделать CRISPR для будущего человечества. Мы сможем нейтрализовать своих врагов в животном мире. Мы сможем лечить генетические заболевания. Возможно, мы сможем разработать терапию против любых вирусных или бактериологических болезней, причем эта терапия будет индивидуальной и исключительно эффективной. Может быть, нам даже удастся найти лекарство от рака. И (или, возможно, следует сказать но) у нас появится возможность создавать людей по индивидуальному заказу, или, если уж на то пошло, любые другие формы жизни.

Такова CRISPR самая мощная из когда-либо созданных технологий генной инженерии. Впрочем, CRISPR позволяет нам изменять лишь один ген и лишь один организм за раз. Чтобы вносить изменения на уровне целого вида, в CRISPR нужно внедрить еще одну технологию: Gene Drive. Сначала дадим ей определение, а затем сделаем краткое, но уместное отступление и поговорим об одном из самых известном хаков в истории программирования.

Концепция Gene Drive существует уже порядка 15 лет. Некоторые версии генов (также известные как аллели) распространяются через поколения у видов, воспроизводящихся половым путем. Это значит, что аллель наследуется каждым из потомков с вероятностью 50% (при условии, что эта конкретная версия есть только у одного из родителей), поскольку от каждого из родителей происходит половина ДНК потомка. Итак, если у нас есть аллель для голубых глаз и аллель для карих, то глаза вашего ребенка буду голубыми или карими с вероятностью 50%. Очевидно, что независимо от внешних факторов в следующем поколении аллель передастся с вероятностью 25%, и так далее. О каких внешних факторах идет речь? Наиболее очевидный естественный отбор. Если некоторая аллель дает своему владельцу определенное преимущество, то имена она с большей вероятностью будет передаваться в дальнейшей популяции. Gene Drive это механизм, который делает гены эгоистичными, увеличивая вероятность их наследования с вероятностью свыше 50%, независимо от влияния отбора.

Эта идея очень важна, если мы хотим использовать CRISPR для оказания большого влияния на целые популяции. Например, для изменения комаров, чтобы они больше не разносили малярию, нам нужно будет не применять CRISPR к миллионам комаров и видеть, как наши внесенные изменения слабеют через поколения (при условии, что эти изменения не дают виду каких-либо преимуществ), а использовать Gene Drive, поскольку эта технология куда более эффективна для распространения генов в популяции. Здесь в нашей истории появляется новый персонаж, Кевин Эсвелт из MIT. Идея Эсвелта заключалась использовании Gene Drive в сочетании с исключительной точностью CRISPR. Таким образом, ему удалось создать самую мощную технологию Gene Drive в истории.

Чтобы понять что он сделал, давайте коснемся мира ПО. В 1984 году Кен Томпсон, изобретатель операционной системы Unix и один из величайших программистов всех времен, написал о своем любимом [3] хаке. Они написал блестящий рекурсивный вирус, который мог заразить инфраструктуру любой Unix-OC. Он работал следующим образом:

  • Сперва Томпсон модифицировал исходный код стандартной программы авторизации в Unix (написанный на языке C). Это нужно было для создания секретного бэкдора, позволяющего стать любым пользователем в системе.

если (пароль == пароль пользователя или пароль == специальный пароль Кена):
Авторизовать пользователя

if (password == users password or password == kens special password)
Log user in.

Столь нехитрый хак давал Томпсону возможность получить полный доступ к любой Unix-системе, в которую была встроена его версия программы входа в систему. Но это было очевидно для всех, кто видел исходный код этой программы.

  • Затем (и это поистине коварный момент) Томпсон модифицировал исходный код компилятора языка C, чтобы он мог распознавать компиляцию кода для входа в систему и внедрял вирусный код в результирующий файл, независимо от того, какой исходный код подавался на вход. [4]

Таким образом, код, который должен был пересобирать все ядро системы Unix был изменен для создания хакнутой версии ОС. И это хороший аналог того, как Кевину Эсвелту удалось взломать ДНК.

Эсвелт понял, что ДНК компилятор самой жизни. Все, что существует в жизни, включая цепочки CRISPR, было создано этим компилятором. Итак, подобно Томпсону, Эсвелт понял, что можно изменить сам компилятор для изменения того, что он компилирует (и неважно какие инструкции будут использоваться в исходной программе). Рассмотрим упрощенное описание хака Эсвелта:

  • Создать цепочку CRISPR, которая будет применена к ДНК эмбриона для внесений желаемых изменений. Например, заменим ген карего цвета глаз на ген голубого цвета.
  • Создать цепочку CRISPR, которая будет включать в себя инструкции, необходимые для создания цепочки из первого пункта в ДНК, с которым мы работаем. Иными словами, модифицируем компилятор жизни, чтобы он мог распознавать и модифицировать цепочки ДНК.
  • Во время оплодотворения, когда модифицированная ДНК встретится со своей парой, новые инструкции приведут к созданию цепочки CRISPR, которая применится к новой ДНК, гарантируя, что обе цепочки в результирующей паре будут иметь желаемые изменения. Таком образом, даже если в ДНК родителя (к которой не применялась CRISPR) содержится ген карего цвета глаз, он будет заменен на ген голубого цвета.
  • Результирующий организм и его потомки также будут иметь внесенные изменения. Прощайте, карие глаза!

В этом и заключается суть Gene Drive. Какие бы изменения вы не вносили, они будут воспроизводиться во всех потомках с вероятность 100% [5]. Это приведет к тому, что новые признаки будут проходить через геном всего вида с исключительной скоростью.

Когда мы будем будем пытаться контролировать различные организмы (от комаров до бактерий) появится множество применений и приложений технологии Gene Drive. Тем не менее, давайте представим ее применения к нашему виду. Кто-то может заявить, что модифицировать человеческие эмбрионы таким образом аморально. Политики, религиозные лидеры и специалисты по этике объявят, что применение CRISPR (особенно для изменения человечества) незаконно. С другой стороны, давайте подумаем о преимуществах. Генетические заболевания можно будет полностью устранять еще до рождения ребенка. Более того, мы все лучше и лучше понимаем структуру и устройство генома только представьте себе все те преимущества, которые мы сможем дать нашим детям (а с помощью Gene Drive и детям наших детей). Подумайте о преимуществах для общества, возможно мы сможем поднять IQ всех детей на 10 (или 20, или 30) баллов.

Что может помешать и остановить людей на пути к изменению характеристик популяции? Возвращаясь к приведенному выше примеру, что произойдет, когда (и если) ученые получат полное представление о генетических основах продвинутого интеллекта? Что помешает правительствам запретить изменения в своем населении? И что предпочтут делать конкурирующие правительства?

Мы в YCombinator уже начали инвестировать в CRISPR-стартапы, и я думаю, что мы будем развивать это направление. Важно понимать, что как только генные программисты получат доступ к коду жизни, пределов не будет. Разнообразие приложений (существующих и потенциальных) поражает уже сейчас. Ученые использовали CRISPR для внесения изменения в геном коз для того, чтобы они производили паучий шелк (очень необычный материал, который сложно производить в больших объемах) в своем молоке! Также было высказано предположение, что CRISPR может лечить гемофилию и даже заменит антибиотики. Китайские ученые использовали CRISPR для внесения изменений в эмбрион человека (нежизнеспособный), и этот случай вызвал много споров. Появление людей, прокачанных с помощью CRISPR не так далеко, как кажется.

Методы и технологии применения CRISPR становятся все лучше и лучше. Они становятся более точными, предсказуемыми и дешевыми. Мы узнаем о генетическом коде все больше и больше (отчасти благодаря тому, что с помощью CRISPR мы можем видеть что происходит, когда мы убираем один ген и вставляем на его место другой). Технологии не остановить и есть один неизбежный вывод: в не очень далеком будущем мы сможем программировать почти любых существ так, как пожелаем. Включая людей. Будем ли мы сопротивляться желанию пересмотреть определения существования человека вопрос открытый. Я думаю, что решительный шаг со стороны какой-то личности или общества, это лишь вопрос времени.

Спасибо Сэму Альтману, Крейгу Кэннону, Карен Лиен и Джону Ралстону, которые прочитали и прокомментировали ранние версии этого текста.

Ссылки


RadioLab CRISPR
Breakthrough DNA Editor Born of Bacteria Quanta Magazine
Rewriting the Code of Life The New Yorker, Jan 2 2017 Michael Spector
Emerging Technology: Concerning RNA-guided gene drives for the alteration of wild populations Kevin M Esvelt, Andrea L Smidler, Flaminia Catteruccia, and George M Church
Вики о CRISPR
Вики о Gene Drive

Примечания


  1. Если вы предпочитаете слушать, а не читать, то у RadioLab есть прекрасный подкаст о CRISPR, доступный по этой ссылке
  2. Калифорнийский Университет Беркли и институт BROAD в Массачусетсе два главных противника в споре о правах на CRISPR. Таймлайн работы BROAD можно увидеть здесь.
  3. Последствия взлома Кена Томпсона огромны. Вот классическое эссе Томпсона Размышления о том, можно ли полагаться на доверие и хорошее обобщение его выводов.
  4. Если вы почитаете о хаке Томпсона, то узнаете, что на самом деле он пошел еще дальше и модифицировал компилятор C, чтобы он мог распознавать сам себя и вводил код распознавания подпрограммы авторизации в программу для инъекции кода.
  5. Это утверждение не вполне верно для всех поколений. Несмотря на то, что поначалу эффективность должна быть очень высокой, биология часто подбрасывает нам сюрпризы. Исследователи обнаружили, что на самом деле организмы могут вырабатывать устойчивость к Gene Drive (во много это похоже на устойчивость к антибиотикам).

Полезные материалы


Подробнее..

Как оптимизировать работу аэропортов с помощью машинного обучения

05.11.2020 18:21:17 | Автор: admin

Как научиться применять методы машинного обучения, поставить задачу, выбрать модель, найти данные для её обучения и упростить работу аэропортов за пару месяцев, обнаружив связь между биржевыми индексами и дневным количеством пассажиров? Проще, чем может показаться.

Наша команда более десяти лет разрабатывает приложения, которые управляют работой крупнейших аэропортов: Франкфурт, Дублин, Манила, Джакарта, Майами, Пекин. Аэропорты используют приложения для оптимального управления ресурсами, организации работы и контроля за потоками информации аэропортов, координации расписания рейсов.

Аэропорты, использующие наши приложенияАэропорты, использующие наши приложения

Крупные аэропорты обслуживают сотни тысяч пассажиров, тысячи тонн грузов и сотни самолётов в день. Так, за 2019 год аэропорт Франкфурта обслужил более 70 миллионов пассажиров, более двух миллионов тонн грузов и более пятисот тысяч самолётов. То есть, в день аэропорт обслуживал порядка 190 тысяч пассажиров, более пяти тысяч тонн грузов, более тысячи самолётов. Такие показатели связаны с огромным количеством человеческих и материальных ресурсов. Для типичного пассажира внутренняя работа аэропорта представляется чёрным ящиком. Мы проходим набор рутинных процедур: собственную регистрацию, регистрацию или получение багажа, трансфер до самолёта и полёт. Кажется, всё достаточно просто, однако, это лишь вершина айсберга. Каждый видимый нами процесс включает в себя десятки подпроцессов, в которых задействованы сотни людей. Логично, что задачей менеджеров аэропорта является оптимизация процессов для снижения затрат на привлечение сотрудников и других ресурсов. Мы попытались решить это задачу.

Идея звучит достаточно просто: Если вы знаете, сколько пассажиров обслуживает аэропорт в конкретный день вы знаете, какой набор ресурсов для этого потребуется: сколько сотрудников должно выйти на работу, сколько автобусов будет использовано для доставки пассажиров к самолётам, сколько горючего этим автобусам потребуется. Таким образом, задача сводится к определению количества пассажиров в аэропорту в конкретный день в будущем. Это позволит менеджменту привлекать заранее известное количество ресурсов, а значит, точнее рассчитывать расходы. Поставленная задача является задачей регрессии, в которой необходимо установить зависимость количества пассажиров от других параметров.

Следующим шагом стал подбор параметров, которые могли бы оказать влияние на количество пассажиров. Первыми в голову пришли характеристики искомого дня:

  • Время года. Туристические сезоны отчётливо прослеживаются и вносят существенный вклад в количество пассажиров. В авиации принято использовать астрономические сезоны, поэтому и мы опирались именно на них.

  • День недели. От дня недели зависит как количество туристических рейсов, так и количество рабочих перелётов.

  • Праздник и его характер. Информация о том, является ли день праздничным, продолжительность праздника, характер праздника (религиозный или общественный). Череда праздников, как правило общественных, может мотивировать людей совершать перелёты.

Важнейшим же шагом на пути к решению задачи стало предположение о влияние экономической ситуации в стране на пассажиропоток. А именно о том, что экономической рост стимулирует пассажиропоток, и между двумя этими величинами существует зависимость. Для динамической оценки состояния экономики мы решили использовать DAX, а также уровень занятости населения.

DAX

Deutscher Aktienindex German stock index важнейший фондовый индекс Германии. Индекс вычисляется как среднее взвешенное по капитализации значение цен акций крупнейших акционерных компаний Германии.

Ежедневные значения DAX, а также процент работающих граждан Германии были взяты с Yahoo Finance. Для обучения модели использовались данные о ежедневном количестве пассажиров в аэропорте за 2018 и 2019 год, взятые на kaggle. Сезонность, день недели и характер праздничности дня мы посчитали вручную. На подготовительном этапе были использованы исключительно открытые источники, данные из которых были сгруппированы в единый датасет.

Влияние состояния экономики на пассажиропоток не носит молниеносный характер. Должно пройти время для того, чтобы люди ощутили изменения на себе. Поэтому судить о текущем дне по текущему DAX не совсем справедливо. Нужно было найти оптимальный сдвиг DAX от текущей даты по величине коэффициента корреляции между DAX и количеством пассажиров. Такой поиск обозначил 5 различных сдвигов со схожим результатом: от 15 до 19 дней относительно текущей даты.

Следующим шагом был выбор используемой модели. Нашей целью было получение минимального значения MAE, которое говорило бы об ошибке в (количество людей / день). Были испробованы различные варианты разбиения датасета на тест и трейн, различные сдвиги DAX относительно текущего дня, различные модели и их параметры. Конкретно были рассмотрены Linear Regressor, Random Forest, Gradient Boosting, SGDRegressor. Параметры для моделей подбирались с помощью GridSearchCV.

MAE

Mean Average Error

Расчёт ошибки и точности предсказания происходил отдельно для каждого сдвига DAX для каждой модели. Результатом каждого прогона были графики как на картинке ниже. На каждом из таких графиков изображено реальное количества пассажиров из данных теста (синим) и график предсказаний модели на данных того же тестового датасета (оранжевым). Для уверенности в правильном обучении модели и недопущении её переобучения также сравниваются показатели MAE для теста и трейна. Их близость говорит о корректности обучения. Решение о компетентности модели и выборе данных принимались на основе MAE, однако привычный показатель score модели для каждого набора (сдвиг DAX + модель) тоже принимался во внимание.

Графики для Linear Regression со сдвигом DAX в 15 дней Графики для Linear Regression со сдвигом DAX в 15 дней

При построении всех возможных комбинаций стало понятно, что с использованием любой модели наилучший результат достигается при использовании DAX со сдвигом в 15 дней. Как говорилось выше, при выборе модели, мы ориентировались на минимальность MAE. На основе этого критерия была выбрана модель Gradient Boosting с ошибкой в 297 человек. Это означает, что ошибка в день в среднем составляет вместительность одного самолёта.

Следующим шагом стало сохранение обученной модели с помощью pickle, использование REST API для взаимодействия с моделью и создание Docker-образа. После контейнеризации получаем готовое приложение, которое отвечает на вопрос о количестве пассажиров в аэропорту через 15 дней, исходя из DAX, уровня безработицы и информации о том, является ли день праздничным. Данное решение может быть встроено в инфраструктуру любого аэропорта при наличии данных о пассажиропотоке в прошлом. Необходимо лишь переобучить модель на данных конкретного аэропорта.

Это был первый проект подобного рода для нашей команды. Приложение вот-вот начнёт использоваться заказчиками, но мы уже строим планы по его дальнейшему усовершенствованию и хотим продолжить использовать машинное обучение для решения других задач. Если у вас есть вопросы, пишите в комментариях, буду рад ответить на них.

Подробнее..

Из песочницы Анализ вакансий с использованием кластеризации

22.11.2020 20:18:28 | Автор: admin
В статье приводится метод анализа вакансий по поисковому запросу Python с помощью модели кластеризации Gaussian Mixture Model (GMM). По каждому выделенному кластеру будут приведены наиболее востребованные навыки и диапазон заработных плат.

Для чего проводилось данное исследование? Мне хотелось узнать:

  • В каких прикладных направлениях используется Python
  • Какие требуются знания: базы данных, библиотеки, фреймворки
  • Насколько востребованы специалисты каждого направления
  • Какие зарплаты предлагают



Загрузка данных


Вакансии загружались с сайта hh.ru, с использованием API: dev.hh.ru. По запросу Python было загружено 1994 вакансии (регион Москва), которые были разделены на обучающий и тестовый наборы, в пропорции 80% и 20%. Размер обучающего набора 1595, размер тестового 399. Тестовый набор будет использован только в разделах Топ/Антитоп навыков и Классификация вакансий.

Признаки


По тексту загруженных вакансий были сформированы две группы наиболее часто встречающихся n-грамм слов:

  • 2-граммы на кириллице и латинице
  • 1-граммы на латинице

В вакансиях IT ключевые навыки и технологии обычно пишутся на английском языке, поэтому вторая группа включала слова только на латинице.

После отбора n-грамм первая группа содержала 81 2-граммы, а вторая 98 1-граммы:
n n-грамма Вес Вакансии
1 2 на python 8 258
2 2 ci cd 8 230
3 2 понимание принципов 8 221
4 2 знание sql 8 178
5 2 разработка и 9 174
... ... ... ... ...
82 1 sql 5 490
83 1 linux 6 462
84 1 postgresql 5 362
85 1 docker 7 358
86 1 java 9 297
... ... ... ... ...

Разбиение вакансий на кластеры было решено сделать по следующим критериям в порядке приоритета:
Приоритет Критерий Вес
1 Сфера (прикладное направление), должность, опыт
n-граммы: машинного обучения, администрирования linux, отличное знание
7-9
2 Инструменты, технологии, программное обеспечение.
n-граммы: sql, ос linux, pytest
4-6
3 Прочие навыки
n-граммы: техническое образование, английского языка, интересные задачи
1-3

Определение к какой группе критериев относится n-грамма, и какой вес ей присвоить, происходило на интуитивном уровне. Приведу пару примеров:
  1. С первого взгляда Docker можно отнести ко второй группе критериев с весом от 4 до 6. Но упоминание Docker в вакансии, скорей всего говорит о том, что вакансия будет на должность DevOps инженер. Поэтому Docker попал в первую группу и получил вес равный 7.
  2. Java тоже попадает в первую группу, т.к. в большинстве рассматриваемых вакансий с присутствием слова Java ищут Java-разработчика с пунктом будет дополнительным преимуществом знание Python. Бывают и вакансии с поиском человека-оркестра. Как первые, так и вторые вакансии меня не интересуют, поэтому их я хочу отделить от остальных вакансий, соответственно присваиваю Java наибольший вес 9.

Чем больше вес у n-граммы тем сильней будут группироваться вакансии по данному признаку.

Преобразование данных


Для вычислений каждая вакансия была преобразована в вектор с размерностью 179 (число отобранных признаков) из целых чисел от 0 до 9, где 0 означает что i-ая n-грамма отсутствует в вакансии, а числа от 1 до 9 означают присутствие i-ой n-граммы и ее вес. Далее в тексте под точкой понимается вакансия представленная таким вектором.
Пример:
Допустим список n-грамм содержит всего три значения:
n n-грамма Вес Вакансии
1 2 на python 8 258
2 2 понимание принципов 8 221
3 1 sql 5 490

Тогда для вакансии с текстом.

Требования:

  • Опыт разработки на python от 3-х лет.
  • Хорошее знание sql

вектор равен [8, 0, 5].

Метрика


Для работы с данными нужно иметь представление о них. В нашем случае хотелось бы увидеть, есть ли какие-то скопления точек, которые мы и будем считать кластерами. Для этого я использовал алгоритм t-SNE, чтобы перевести все векторы в двухмерное пространство.

Суть метода в том, чтобы понизить размерность данных, при этом максимально сохранить пропорции расстояний между точками множества. Понять по формулам, как работает t-SNE довольно сложно. Но мне понравился один пример найденный где-то на просторах интернета: допустим у нас есть шарики в трехмерном пространстве. Каждый шарик мы соединяем со всеми остальными шариками невидимыми пружинами, которые никак не пересекаются и не мешают друг другу при пересечении. Пружины действуют в две стороны, т.е. они сопротивляются как отдалению, так и приближению шариков друг к другу. Система находится в стабильном состоянии, шарики неподвижны. Если мы возьмем один из шариков и оттянем его, а затем отпустим то за счет силы пружин он вернется в исходное состояние. Далее мы берем две большие пластины, и сжимаем шарики в тонкий слой, при этом не мешая шарикам двигаться в плоскости между двумя пластинами. Начинают действовать силы пружин, шарики перемещаются и в итоге останавливаются, когда силы всех пружин становятся уравновешенными. Пружины будут действовать так, что шарики, которые находились близко друг к другу, останутся относительно близко и на плоскости. Также и с удаленными шариками они будут удалены друг от друга. С помощью пружин и пластин мы перевели трехмерное пространство в двухмерное, сохранив в каком-то виде расстояния между точкам!

Алгоритм t-SNE использовался мною только для визуализации множества точек. Он помог выбрать метрику, а также подбирать весы для признаков.

Если использовать метрику Евклида, которую мы используем в нашей повседневной жизни, то расположение вакансий будет выглядеть следующим образом:


На рисунке видно, что большинство точек сосредоточены в центре, и есть небольшие ответвления в стороны. При таком подходе алгоритмы кластеризации, использующие расстояния между точками, ничего хорошего выдавать не будут.

Существует большое множество метрик (способов определения расстояния между двумя точками), которые будут хорошо работать на исследуемых данных. Я выбрал в качестве меры расстояние Жаккара, с учетом весов n-грамм. Мера Жаккара простая для понимания, при этом хорошо работает для решения рассматриваемой задачи.
Пример:
Вакансия 1 содержит n-граммы: на python, sql, docker
Вакансия 2 содержит n-граммы: на python, sql, php
Веса:
на python 8
sql 5
docker 7
php 9
Пересечение множеств (n-грамма встречается в 1-ой и 2-ой вакансии): на python, sql = 8 + 5 = 13
Объединение множеств (все n-граммы из 1-ой и 2-ой вакансии): на python, sql, docker, php = 8 + 5 + 7 + 9 = 29
Расстояние =1 (Пересечение множеств / Объединение множеств) = 1 (13 / 29) = 0.55

Была вычислена матрица расстояний между всеми парами точек, размер матрицы 1595 х 1595. Всего 1 271 215 расстояний между уникальными парами. Среднее расстояние получилось равным 0.96, между 619 659 расстояние равно 1 (т.е. сходства нет совсем). Следующая диаграмма показывает, что в целом вакансии имеют мало сходства:


При использовании метрики Жаккара наше пространство теперь выглядит так:


Появились четыре ярко выраженных участка плотности, и два маленьких скопления с небольшой плотностью. По крайней мере, так видят мои глаза!

Кластеризация


В качестве алгоритма кластеризации была выбрана модель Gaussian Mixture Model (GMM). Алгоритм получает на вход данные в виде векторов, и параметр n_components число кластеров, на которые надо разбить множество. О том, как работает алгоритм, можно посмотреть здесь (на английском языке). Я использовал готовую реализацию GMM из библиотеки scikit-learn: sklearn.mixture.GaussianMixture.

Отмечу, что GMM не использует метрику, а делает разделение данных только по набору признаков и их весам. В статье расстояние Жаккара используется для визуализации данных, подсчета компактности кластеров (за компактность я принял среднее расстояние между точками кластера), и определения центральной точки кластера (типичная вакансия) точка с наименьшим средним расстоянием до других точек кластера. Многие алгоритмы кластеризации использует именно расстояние между точками. В разделе Другие методы будет рассказано о других видах кластеризаций, которые основываются на метрике и тоже дают хорошие результаты.

В предыдущем разделе на глаз было определено, что кластеров скорей всего будет шесть. Так выглядят результаты кластеризации при n_components = 6:



На рисунке с выводом кластеров по отдельности, кластеры располагаются в порядке убывания числа точек слева направо, сверху вниз: кластер 4 самый большой, кластер 5 самый маленький. В скобках для каждого кластера указана его компактность.

На вид кластеризация получилась не очень хорошей, даже если учитывать, что алгоритм t-SNE не идеален. При анализе кластеров результат тоже не обрадовал.

Для нахождения оптимального числа кластеров n_components, воспользуемся критериями AIC и BIC, о которых можно прочитать здесь. Расчет данных критериев встроен в метод sklearn.mixture.GaussianMixture. Так выглядит график критериев:


При n_components = 12 критерий BIC имеет наименьшее (наилучшее) значение, критерий AIC тоже имеет значение близкое к минимуму (минимум при n_components = 23). Произведем разделение вакансий на 12 кластеров:



Теперь кластеры имеют более компактные формы, как на вид, так и в числовом выражении. При ручном анализе вакансии оказались разбиты на характерные группы для понимания человека. На рисунке выведены названия кластеров. Кластеры под номерами 11 и 4 помечены как и <Trash 2>:

  1. В кластере 11 все признаки имеют приблизительно одинаковые суммарные веса.
  2. Кластер 4 выделен по признаку Java. Тем не менее вакансий на должность Java Developer в кластере мало, часто знание Java требуется как будет дополнительным плюсом.

Кластеры


После удаления двух неинформативных кластеров под номерами 11 и 4 в итоге получилось 10 кластеров:


По каждому кластеру приведена таблица признаков и 2-грамм, которые чаще всего встречаются в вакансиях кластера.

Обозначения:

S доля вакансий, в которых встречается признак, умноженная на вес признака
% процент вакансий, в которых встречается признак/2-грамма
Типичная вакансия кластера вакансия, с наименьшим средним расстоянием до других точек кластера

Data Analyst


Кол-во вакансий: 299

Типичная вакансия: 35805914
Признак с весом S Признак % 2-грамма %
1 excel 3.13 sql 64.55 знание sql 18.39
2 r 2.59 excel 34.78 в разработке 14.05
3 sql 2.44 r 28.76 python r 14.05
4 знание sql 1.47 bi 19.40 с большими 13.38
5 анализа данных 1.17 tableau 15.38 разработка и 13.38
6 tableau 1.08 google 14.38 анализа данных 13.04
7 с большими 1.07 vba 13.04 знание python 12.71
8 разработка и 1.07 science 9.70 аналитический склад 11.71
9 vba 1.04 dwh 6.35 опыт разработки 11.71
10 знание python 1.02 oracle 6.35 базами данных 11.37

С++ Developer


Кол-во вакансий: 139
Типичная вакансия: 39955360
Признак с весом S Признак % 2-грамма %
1 c++ 9.00 c++ 100.00 опыт разработки 44.60
2 java 3.30 linux 44.60 c c++ 27.34
3 linux 2.55 java 36.69 c++ python 17.99
4 c# 1.88 sql 23.02 на c++ 16.55
5 go 1.75 c# 20.86 разработки на 15.83
6 разработки на 1.27 go 19.42 структур данных 15.11
7 хорошее знание 1.15 unix 12.23 опыт написания 14.39
8 структур данных 1.06 tensorflow 11.51 программирования на 13.67
9 tensorflow 1.04 bash 10.07 в разработке 13.67
10 опыт программирования 0.98 postgresql 9.35 языков программирования 12.95

Linux/DevOps Engineer


Кол-во вакансий: 126
Типичная вакансия: 39533926
Признак с весом S Признак % 2-грамма %
1 ansible 5.33 linux 84.92 ci cd 58.73
2 docker 4.78 ansible 76.19 опыт администрирования 42.06
3 bash 4.78 docker 74.60 bash python 33.33
4 ci cd 4.70 bash 68.25 tcp ip 39.37
5 linux 4.43 prometheus 58.73 опыт настройки 28.57
6 prometheus 4.11 zabbix 54.76 мониторинга и 26.98
7 nginx 3.67 nginx 52.38 prometheus grafana 23.81
8 опыт администрирования 3.37 grafana 52.38 систем мониторинга 22.22
9 zabbix 3.29 postgresql 51.59 с docker 16.67
10 elk 3.22 kubernetes 51.59 управления конфигурациями 16.67

Python Developer


Кол-во вакансий: 104
Типичная вакансия: 39705484
Признак с весом S Признак % 2-грамма %
1 на python 6.00 docker 65.38 на python 75.00
2 django 5.62 django 62.50 разработки на 51.92
3 flask 4.59 postgresql 58.65 опыт разработки 43.27
4 docker 4.24 flask 50.96 django flask 24.04
5 разработки на 4.15 redis 38.46 rest api 23.08
6 postgresql 2.93 linux 35.58 python от 21.15
7 aiohttp 1.99 rabbitmq 33.65 базами данных 18.27
8 redis 1.92 sql 30.77 опыт написания 18.27
9 linux 1.73 mongodb 25.00 с docker 17.31
10 rabbitmq 1.68 aiohttp 22.12 с postgresql 16.35

Data Scientist


Кол-во вакансий: 98
Типичная вакансия: 38071218
Признак с весом S Признак % 2-грамма %
1 pandas 7.35 pandas 81.63 машинного обучения 63.27
2 numpy 6.04 numpy 75.51 pandas numpy 43.88
3 машинного обучения 5.69 sql 62.24 анализа данных 29.59
4 pytorch 3.77 pytorch 41.84 data science 26.53
5 ml 3.49 ml 38.78 знание python 25.51
6 tensorflow 3.31 tensorflow 36.73 numpy scipy 24.49
7 анализа данных 2.66 spark 32.65 python pandas 23.47
8 scikitlearn 2.57 scikitlearn 28.57 на python 21.43
9 data science 2.39 docker 27.55 математической статистики 20.41
10 spark 2.29 hadoop 27.55 алгоритмов машинного 20.41

Frontend Developer


Кол-во вакансий: 97
Типичная вакансия: 39681044
Признак с весом S Признак % 2-грамма %
1 javascript 9.00 javascript 100 html css 27.84
2 django 2.60 html 42.27 опыт разработки 25.77
3 react 2.32 postgresql 38.14 в разработке 17.53
4 nodejs 2.13 docker 37.11 знание javascript 15.46
5 frontend 2.13 css 37.11 и поддержка 15.46
6 docker 2.09 linux 32.99 python и 14.43
7 postgresql 1.91 sql 31.96 css javascript 13.40
8 linux 1.79 django 28.87 базами данных 12.37
9 html css 1.67 react 25.77 на python 12.37
10 php 1.58 nodejs 23.71 проектирования и 11.34

Backend Developer


Кол-во вакансий: 93
Типичная вакансия: 40226808
Признак с весом S Признак % 2-грамма %
1 django 5.90 django 65.59 python django 26.88
2 js 4.74 js 52.69 опыт разработки 25.81
3 react 2.52 postgresql 40.86 знание python 20.43
4 docker 2.26 docker 35.48 в разработке 18.28
5 postgresql 2.04 react 27.96 ci cd 17.20
6 понимание принципов 1.89 linux 27.96 уверенное знание 16.13
7 знание python 1.63 backend 22.58 rest api 15.05
8 backend 1.58 redis 22.58 html css 13.98
9 ci cd 1.38 sql 20.43 умение разбираться 10.75
10 frontend 1.35 mysql 19.35 в чужом 10.75

DevOps Engineer


Кол-во вакансий: 78
Типичная вакансия: 39634258
Признак с весом S Признак % 2-грамма %
1 devops 8.54 devops 94.87 ci cd 51.28
2 ansible 5.38 ansible 76.92 bash python 30.77
3 bash 4.76 linux 74.36 опыт администрирования 24.36
4 jenkins 4.49 bash 67.95 и поддержка 23.08
5 ci cd 4.10 jenkins 64.10 docker kubernetes 20.51
6 linux 3.54 docker 50.00 разработки и 17.95
7 docker 2.60 kubernetes 41.03 опыт написания 17.95
8 java 2.08 sql 29.49 и настройка 17.95
9 опыт администрирования 1.95 oracle 25.64 разработка и 16.67
10 и поддержка 1.85 openshift 24.36 написания скриптов 14.10

Data Engineer


Кол-во вакансий: 77
Типичная вакансия: 40008757
Признак с весом S Признак % 2-грамма %
1 spark 6.00 hadoop 89.61 обработки данных 38.96
2 hadoop 5.38 spark 85.71 big data 37.66
3 java 4.68 sql 68.83 опыт разработки 23.38
4 hive 4.27 hive 61.04 знание sql 22.08
5 scala 3.64 java 51.95 разработка и 19.48
6 big data 3.39 scala 51.95 hadoop spark 19.48
7 etl 3.36 etl 48.05 java scala 19.48
8 sql 2.79 airflow 44.16 качества данных 18.18
9 обработки данных 2.73 kafka 42.86 и обработки 18.18
10 kafka 2.57 oracle 35.06 hadoop hive 18.18

QA Engineer


Кол-во вакансий: 56
Типичная вакансия: 39630489
Признак с весом S Признак % 2-грамма %
1 автоматизации тестирования 5.46 sql 46.43 автоматизации тестирования 60.71
2 опыт тестирования 4.29 qa 42.86 опыт тестирования 53.57
3 qa 3.86 linux 35.71 на python 41.07
4 на python 3.29 selenium 32.14 опыт автоматизации 35.71
5 разработки и 2.57 web 32.14 разработки и 32.14
6 sql 2.05 docker 30.36 тестирования опыт 30.36
7 linux 2.04 jenkins 26.79 опыт написания 28.57
8 selenium 1.93 backend 26.79 тестирования по 23.21
9 web 1.93 bash 21.43 автоматизированного тестирования 21.43
10 backend 1.88 ui 19.64 ci cd 21.43


Зарплаты


Зарплаты указаны только в 261 (22%) вакансии из 1167 попавших в кластеры.

При расчете зарплат:

  1. Если указывался диапазон от и до ..., то использовалось среднее значение
  2. Если указывалось только от ... или только до ..., то это значение и бралось
  3. При расчетах использовалась(или приводились) ЗП после уплаты налогов (NET)

На графике:

  1. Кластеры идут в порядке убывания медианной зарплаты
  2. Вертикальная черта в коробке медиана
  3. Коробка диапазон [Q1, Q3], где Q1 (25%) и Q3 (75%) перцентили. Т.е. в коробку попадают 50% зарплат
  4. В усы попадают зарплаты из диапазона [Q1 1.5*IQR, Q3 + 1.5*IQR], где IQR = Q3 Q1 интерквартильный размах
  5. Отдельные точки аномалии, не попавшие в усы. (Есть аномалии не попавшие и на диаграмму)


Топ/Антитоп навыков


Диаграммы строились по всем 1994 загруженным вакансиям. Зарплаты указаны в 443 (22%) вакансиях. Для расчета по каждому признаку отбирались вакансии, где этот признак присутствует, и на их основе вычислялась медианная ЗП.



Классификация вакансий


Кластеризацию можно было сделать гораздо проще, не прибегая к сложным математическим моделям: составить топ наименований вакансий, и разбить их по группам. Далее анализировать каждую группу на топ n-грамм, и средние зарплаты. Не нужно выделять признаки и присваивать им веса.

Такой подход хорошо бы работал (в какой-то мере) для запроса Python. А вот для запроса Программист 1С такой подход работать не будет, т.к. для программистов 1С в наименовании вакансий редко указывают конфигурации 1С или прикладные направления. А направлений где используется 1С много: бухгалтерия, расчет ЗП, расчет налогов, расчет себестоимости на производственных предприятиях, складской учет, бюджетирование, ERP системы, розничная торговля, управленческий учет, и т.д.

Для себя я вижу две задачи по анализу вакансий:

  1. Понять, где используется язык программирования, о котором я мало знаю (как в этой статье).
  2. Фильтровать новые опубликованные вакансии.

Для решения первой задачи подходит кластеризация, для решения второй разнообразные классификаторы, случайные леса, деревья принятия решений, нейронные сети. Тем не менее мне захотелось оценить пригодность выбранной модели для задачи классификации вакансий.

Если использовать встроенный в sklearn.mixture.GaussianMixture метод predict(), то ничего хорошего не получается. Большинство вакансий он относит к большим кластерам, а два кластера из первых трех являются неинформативными. Я использовал другой подход:

  1. Берем вакансию, которую хотим классифицировать. Векторизуем ее и получаем точку в нашем пространстве.
  2. Рассчитываем расстояние от этой точки до всех кластеров. Под расстоянием между точкой и кластером я принял среднее расстояние от этой точки до всех точек кластера.
  3. Кластер с наименьшим расстоянием и является предсказанным классом для выбранной вакансии. Расстояние до кластера указывает надежность такого предсказания.
  4. Для увеличения точности модели я выбрал расстояние 0.87 как пороговое, т.е. если расстояние до ближайшего кластера больше 0.87, то модель не классифицирует вакансию.

Для оценки модели случайным образом отобраны 30 вакансий из тестового набора. В колонке вердикт:

N/a: модель не классифицировала вакансию (расстояние > 0.87)
+: правильная классификация
-: неправильная классификация
Вакансия Ближайший кластер Расстояние Вердикт
37637989 Linux/DevOps Engineer 0.9464 N/a
37833719 C++ Developer 0.8772 N/a
38324558 Data Engineer 0.8056 +
38517047 C++ Developer 0.8652 +
39053305 Trash 0.9914 N/a
39210270 Data Engineer 0.8530 +
39349530 Frontend Developer 0.8593 +
39402677 Data Engineer 0.8396 +
39415267 C++ Developer 0.8701 N/a
39734664 Data Engineer 0.8492 +
39770444 Backend Developer 0.8960 N/a
39770752 Data Scientist 0.7826 +
39795880 Data Analyst 0.9202 N/a
39947735 Python Developer 0.8657 +
39954279 Linux/DevOps Engineer 0.8398 -
40008770 DevOps Engineer 0.8634 -
40015219 C++ Developer 0.8405 +
40031023 Python Developer 0.7794 +
40072052 Data Analyst 0.9302 N/a
40112637 Linux/DevOps Engineer 0.8285 +
40164815 Data Engineer 0.8019 +
40186145 Python Developer 0.7865 +
40201231 Data Scientist 0.7589 +
40211477 DevOps Engineer 0.8680 +
40224552 Data Scientist 0.9473 N/a
40230011 Linux/DevOps Engineer 0.9298 N/a
40241704 Trash 2 0.9093 N/a
40245997 Data Analyst 0.9800 N/a
40246898 Data Scientist 0.9584 N/a
40267920 Frontend Developer 0.8664 +

Итого: на 12 вакансиях нет результата, на 2 вакансиях ошибочная классификация, на 16 вакансиях правильная классификация. Полнота модели 60%, точность модели 89%.

Слабые стороны


Первая проблема возьмем две вакансии:
Вакансия 1 Ведущий программист C++
Требования:

  • Опыт разработки на C++ от 5-ти лет.
  • Дополнительным плюсом будет знание Python

Вакансия 2 Ведущий программист Python
Требования:
  • Опыт разработки на Python от 5-ти лет.
  • Дополнительным плюсом будет знание C++
С точки зрения модели эти вакансии идентичны. Я пробовал корректировать веса признаков на порядок их нахождения в тексте. Ни к чему хорошему это не привело.

Вторая проблема GMM кластеризует все точки множества, как и многие алгоритмы кластеризации. Неинформативные кластеры сами по себе не являются проблемой. Но и информативные кластеры содержат выбросы. Впрочем, это легко решается очисткой кластеров, например удалением самых нетипичных точек, которые имеют наибольшее среднее расстояние до остальных точек кластера.

Другие методы


На странице cluster comparison хорошо продемонстрированы различные алгоритмы кластеризации. GMM единственный, который дал хорошие результаты.
Остальные алгоритмы либо не работали, либо давали очень скромные результаты.

Из реализованных мной, хорошие результаты были в двух случаях:

  1. Выбирались точки с большой плотностью в некоторой окрестности, стоящие на удаленном расстоянии друг от друга. Точки становились центрами кластеров. Далее на основе центров начинался процесс формирования кластеров присоединение соседних точек.
  2. Агломеративная кластеризация итерационное слияние точек и кластеров. В библиотеке scikit-learn этот вид кластеризации представлен, но работает плохо. В своей реализации я менял матрицу соединений после каждой итерации слияния. Процесс останавливался по достижению некоторых граничных параметров по факту дендрограммы не помогают понять процесс слияния, если кластеризуются 1500 элементов.

Заключение


Проведенное исследование дало мне ответы на все вопросы, которые приведены в начале статьи. Я получил практический опыт по кластеризации, когда реализовывал вариации известных алгоритмов. Очень надеюсь, что статья мотивирует читателя провести свои аналитические исследования, и чем-то поможет в этом увлекательном занятии.
Подробнее..

Ну вы и кадры показываем, на ком держатся IT в 2020 году

23.11.2020 20:22:46 | Автор: admin


Привет! В июле Хабр и Экопси объявили о старте исследования IT-брендов работодателей. Мы собрали и обработали всё, что вы рассказали нам о российских IT-компаниях, подвели итоги и уже скоро назовем работодателей с самыми сильными IT-брендами этого года. Интересных данных у нас много, поэтому разделим их на несколько постов. В этом покажем, каким получился средний российский айтишник в 2020-м году: часть анкеты содержала общие вопросы о респондентах и сфере их деятельности, и именно эти данные нам сейчас помогут. Итак, за подробностями под кат.

Выборка, на основе который мы подводим итоги, получилась вполне репрезентативной: в итоговом исследовании участвовали 4720 человек, что в принципе позволяет сделать выводы об общем портрете обитателей рынка. Анкет было еще больше, но мы рассматривали только те, в которых оценили хотя бы одного работодателя, и учитывали время заполнения: по нашему опыту, если опрос пройден подозрительно быстро, это мог быть рандом или ситуация, когда кто-то зашёл заценить анкету и не заполнил ее до конца.

Давайте посмотрим, как выглядит собирательный образ IT-сообщества в 2020 году.

Первый интересный факт: девушек среди айтишников стало гораздо больше. Если 3-4 года назад на Хабре их было менее 15% от всех пользователей то в нашем опросе этот показатель достиг 28%.

Как и раньше, костяк IT-рынка молодые специалисты. Среди участников опроса были люди всех возрастов от20 до 50 лет, но львиная доля аудитории в границах 2035 лет.

Наши цифры показали, что большая часть активных айтишников живёт в Москве, Санкт-Петербурге и (сюрприз!) Воронеже. Остальные города участвовали в опросе менее активно, и мы объединили их по федеральным округам. Оценить, как относятся к работодателям IT-специалисты из Дальневосточного и Северокавказского федеральных округов, мы не смогли: от них мы получили слишком мало данных.

IT-отрасль огромна. Чтобы айтишники смогли адекватно оценить работодателей, мы, посоветовались с экспертами и разбили респондентов на 11 групп по направлениям деятельности. Анкета позволяла выбрать несколько вариантов и оценивать компании из разных групп. Оказалось, что больше всего айтишников работают в сфере разработки и системной интеграции, затем идут консалтинг и телеком.
image

Среди голосовавших по квалификациям собралось достаточно людей по всем уровням от джунов до топ-менеджеров. Квалификацию intern опрашиваемые выбирали редко: похоже, айтишникам привычнее называть себя junior даже на стажёрских позициях.

Интереснее всего нам было посмотреть на разрез по специализациям. В этом и следующем вопросах можно было выбрать несколько ответов, поэтому суммарное количество больше4720. Мы боялись, что по многих направлениям нам может не хватить респондентов, но страхи оказались напрасными: мало оказалось только сейлзов; все остальные голосовали достаточно активно, чтобы получилась репрезентативная выборка. Большая часть опрошенных айтишников это, конечно, разработчики.

Напоследок немного про языки. Данные опроса показали, что реже всего используются Perl, Rust, Haskell и Erlang. По остальным языкам выборка получилась репрезентативной, при этом самыми популярными оказались SQL и Python.

Такими мы увидели айтишников в 2020 году. Спасибо каждому хабравчанину, кто потратил свое время, честно высказался о работодателях и дал нам подробные комментарии об интерфейсе опросника под нашими прошлыми постами. В следующем году мы расширим паспорт исследования, учтем ошибки и недоработки.

Круто, что у нас были неравнодушные партнеры, которые помогали с привлечением респондентов и оказывали информационную поддержку. ОНТИКО, Open Data Science, университет Иннополис, МИСиС, ИТМО, ТПУ, МИФИ, МФТИ и другие вы огонь. 25 ноября выйдет следующий пост, в котором мы покажем рейтинг силы IT-брендов работодателей и расскажем, какие критерии хабражители считают самыми важными при выборе места работы. Подпишитесь на наш блог, чтобы не пропустить :)
Подробнее..

Зачем тратить деньги на юристов?

12.11.2020 18:15:59 | Автор: admin

Зачем тратить деньги на юристов?


image


Опыт общения и сотрудничества с различными стартаперами и начинающими предпринимателями показывает, что чаще всего они не придают должное значение правовому оформлению и сопровождению своего бизнеса.


Никто особо не стремится платить хорошие деньги профессиональным юристам до тех пор, пока не возникнет какой-нибудь челлендж: придет претензия из налоговой, партнеры по бизнесу поругаются и проект окажется на грани фола. До этого момента стартаперы либо не делают вообще ничего и все дела ведут неформально, либо гуглят шаблоны документов, максимум нанимают юриста на аутсорсе через своих знакомых.


А давайте разберемся почему так происходит?


Авось прокатит. Наши люди не задумываются о рисках. Вернее задумываются, но считают, что их пронесет и партнеры по бизнесу не поссорятся, сотрудники не уйдут в Яндекс со своими разработками, а поставщики всегда будут соблюдать дедлайны. А раз так, то зачем обращаться к юристам? Увы, сверхоптимизм и экономия на хороших юристах чаще всего приводит к факапам.


Главное выжить! Как ни странно, но у небольших начинающих компаний просто может не хватать денег на юридические услуги. У стартапа каждая копейка на счету и тратятся деньги в основном на самое необходимое: операционную деятельность, продвижение, аренду офиса и тд. Эта ситуация усугубляется еще и экономическим кризисом, поэтому сейчас компании скорее стремятся выжить, а если получится, то и заработать что-нибудь. В таких условиях многие считают, что выделять деньги на юристов нецелесообразно.


Ученье свет, неученье тьма. Как я не разбираюсь в программировании, так и айтишники не знают всех правовых аспектов и возможностей для своего бизнеса. Например, если о патентах и товарных знаках кто-то слышал, то про термшит, корпоративный договор, служебные произведения, комплаенс и кучаиныхтерминов абсолютное большинство не в курсе (хотя эти фичи действительно важны для бизнеса!).


Юрист = пожарный. И наверное, самое печальное для меня, это восприятие в общественном сознании юристов как пожарных, которым звонят, только если проблема уже произошла. Такой подход позволяет сэкономить в краткосрочной перспективе. В долгосрочной перспективе отсутствие профессиональной юридической поддержки приведет к тяжким последствиям, вплоть до закрытия проекта, банкротства компании, уголовного преследования руководителей и т.д.


image


Думаю, все согласятся, что предупреждать риски гораздо эффективнее, чем устранять негативные последствия. Для этого и нужно нанимать хороших юристов!


Правовую работу в этой области можно разделить на три направления:


Формализация. Юрист приведет документацию в порядок, составит необходимые договоры, внутренние политики, регламенты и иные акты. Вы будете знать свои права и обязанности, гарантии и процедуры. Это позволит вам действовать с минимальными рисками. Пример: по предложению юриста вы заключили корпоративный договор с другими бизнес-партнерами, и теперь все знают, как разрешать спорные ситуации (дедлоки). Это сократило риск того, что учредители не смогут договориться и управление компанией выйдет из под контроля.


Оптимизация. Используя знания, опыт и возможности законодательства, юрист улучшит бизнес-процессы. Например, предложит наиболее выгодную юрисдикцию для вашего финтех-проекта или за счет внедрения грейдов оптимизирует фонд оплаты труда и сократит издержки. В итоге, за счет одной только правовой работы у вас повысится конкурентное преимущество на рынке.


Комплаенс. Юрист проанализирует вашу документацию и бизнес-процессы; расскажет, какие требования законодательства вашей компании следует соблюдать и какие у вас есть риски, предложит различные пути их устранения; проверит, соблюдают ли ваши сотрудники внутренние политики и регламенты. Таким образом, будут снижены различные правовые, операционные и репутационные риски. Пример: юрист составил регламент подбора персонала и проведения собеседований, указал в нем личностные характеристики, связанные с трудовой функцией, и деловые качества, наличие которых будет проверяться на различных этапах подбора. Это снизило дискриминационные и репутационные риски, поскольку теперь у сотрудников из отдела кадров есть конкретный алгоритм оценки кандидата, на основании которого будут приниматься решения об отказе или найме.


Поэтому из парадигмы юрист = пожарный необходимо перейти к другой парадигме восприятия юридической профессии: юрист = стратегический партнер.


Мои слова основаны на моем опыте и опыте моих коллег, а также на моих размышлениях по данной тематике.


Но мне очень интересно узнать, что думаете вы, стартаперы и представители IT-отрасли? Какой у вас опыт работы с юристами и как вы считаете, нужны ли мы вам?


Также хотел бы узнать мнение и опыт своих коллег-юристов, согласны ли вы со мной и какие у вас мысли?


Давайте общаться!

Подробнее..

IT-инновации. Как внедрить и извлечь пользу

20.11.2020 00:18:43 | Автор: admin

В чем проблема?

Бизнес живёт в условиях гиперконкуренции. Новые предложения появляются на рынке ежеминутно и столь же часто меняются предпочтения потребителей. В этих условиях будет процветать бизнес, способный предлагать новаторские решения и системно совершенствовать продукт. Это современный путь к увеличению прибыли и привлекательности для инвесторов.

Инновации в широком смысле это научные открытия, новые технологии, применение новых подходов и методик, новые бизнес-модели, открывающие ценность, которая раньше была скрыта, новые рынки или даже новые сегменты пользователей.

Внедрение инноваций требует комплексного подхода, что ведет к издержкам. Многие бизнесы играют почти вслепую на этом поле, бездумно стараясь внедрить новомодные усовершенствования. Без грамотной стратегии и вложения средств внедрение новаторских решений может сыграть злую шутку.

Главная проблема здесь неопределенность, в которой действует бизнес.

Комплексный подход к внедрению инноваций

Эксперимент основной метод разработки и внедрения инноваций. Есть два способа разработки и планирования инновационных решений.

Customer Development - подход к созданию продукта или бизнеса, основанный на плотном взаимодействии с клиентом. Важным элементом является формулировка MVP (Minimum Viable Product) - минимального жизнеспособного продукта, обладающего минимальными, но достаточными для удовлетворения первых пользователей функциями.

В основе лежит формулирование и управление гипотезами. Гипотеза - предположение, которое основывается на том, что решение (продукт или сервис) принесет определенную ценность выделенному сегменту пользователей за счет удовлетворения потребности или решения какой-то проблемы. Гипотеза должна формироваться и проверяться на разных циклах Customer Development, но её конечная валидация происходит на этапе релиза MVP.

Ниже мы рассмотрим набор методов и инструментов, которые позволят значительно снизить порог входа в инновационную деятельность для среднего бизнеса.

Robotic Process Automation как пример инновационной ИТ-технологии

Robotic Process Automation - форма технологии автоматизации бизнес-процессов. Эта технология получила широкое распространение не только зарубежом, но и в России. Порой компании начинают внедрение там, где не стоит этого делать. Известны случаи, когда бизнесы вместо того, чтобы подготовить почву для внедрения RPA-решений и осмысленно подойти к вопросу, поспешно приобретают лицензии на готовые решения, либо инициируют разработку RPA-решений.

Одной из ошибок является неверное понимание того, какое место занимают элементы RPA в бизнес-архитектуре и ИТ-инфраструктуре. Робот не является частью инфраструктуры, а находится на более верхнем уровне в архитектуре бизнеса, взаимодействуя с интерфейсами существующих ИТ-приложений. RPA-решения насаживаются на существующую инфраструктуру, для того, чтобы выполнять рутинные операции, которые ранее выполнял человек. Чтобы понять, как внедрить RPA-решение и какие процессы можно отдать на выполнение этой технологии, нужно применить большой набор методик и инструментов.

Компоненты успешной разработки и внедрения инновационных ИТ-продуктов

Разработку и внедрение инноваций в бизнесе лучше рассматривать как стартап - автономное или полуавтономное подразделение, команду людей, наделенных свободой экспериментировать и несущих ответственность за результаты экспериментов. Важно не пытаться совмещать инновационную деятельность и операционное ведение бизнеса.

Технология Форсайт: анализ рынков, отраслей и выявление трендов.

Форсайт - технология средне- и долгосрочного прогнозирования, и оценки стратегических направлений развития, способных оказать воздействие на бизнес, экономику и общество. Это визионерский подход к стратегическому развитию бизнеса, который исследует драйверы, тенденции, факторы и кардинальные сдвиги в отраслях и рынках. Внедрение принятого решения может опираться на опыт и компетенции внутри компании. В случае, если бизнес не располагает таковыми, стоит посмотреть вовне.

Определение пользователей и требований.

Вне зависимости от того, является ли заказчиком бизнес, или внешний пользователь, акцент должен делаться на изучении конечного потребителя. Необходимо понимать какие пользователи будут и могут быть задействованы при работе с новой системой. Для выявления роли пользователей и составлениях их портрета используется Impact Mapping и интервью.

Impact mapping - это методика планирования для команд, которые создают ИТ-решения и продукты. Она основана на дизайне взаимодействия с пользователем, планировании, ориентированном на результат, и составлении диаграмм связей. Визуализация, помогающая составить портрет потребителя.

Основным инструментом выявления требований являются интервью. На начальных этапах возможна комбинация тех методик, которые используются в бизнес-анализе и так называемых проблемных интервью, предлагаемые методикой Customer Development. Далее, после того как ИТ-решение будет сформулировано, проводят решенческие интервью, целью которых является проверка правильности потенциального решения.

В случае, если понадобится применение технологии RPA, и решение будет внедряться для рынка B2B, то дальше необходимо придерживаться следующей последовательности относительно получения первых бизнес-кейсов (case study).

Анализ бизнес-процессов.

BPM (business process management) - концепция управления бизнес процессами занимает важное место в предлагаемом подходе. При создании ИТ-инноваций, тем более связанных с использованием RPA-решения, необходимо начать с описания основного и дополнительных процессов, в рамках которых работают все пользователи будущей системы.

Необходимо провести эти действия для пилотной имплементации решения, на основе которой будет описываться бизнес-кейс. Если имеется готовое описание бизнес-процессов, то на его основе можно произвести оценку для какой части бизнес-архитектуры целесообразно применение инструментов BPM, а для какой - RPA.

Далее, необходимо реализовать или обновить бизнес-архитектуру и выделить шаги для внедрения инновации. При этом надо фиксировать цели на каждом шаге процесса и метрики, которые будут отслеживаться. Один из инструментов, который может помочь в данном направлении - User Story Mapping - создание карты пользовательских историй, который строится на основе бизнес-сценария.

К robotic process automation прибегают именно на этой стадии, когда становится ясно, какие действия можно отдать на исполнение RPA-технологиям. В отличии от средств ИТ-автоматизации, RPA-решения способны адаптироваться к меняющейся среде, исключениям из правил и новым ситуациям. Эти самообучающиеся системы способны выявлять и интерпретировать действия в определенных процессах, оперировать данными, инициировать ответные действия, запускать команды и коммуникации с остальными системами в ИТ-инфраструктуре, и делать это автономно.

Инициативы, связанные с внедрением RPA-решений, просто не могут обойтись без управленческой концепции BPM. Особенно это важно для тех организаций, которые используют множество сложных систем, между которыми должен осуществляться бесперебойный обмен данными.

Формулировка гипотезы и описание MVP.

Сформулировать гипотезу означает описать сегмент пользователей, их проблему, что именно будет являться решением данной проблемы и показатели успешности MVP, т.е. метрики продукта. Для отслеживания метрик надо продумать и реализовать линейку - определить, как выбранные показатели будут отслеживаться, с помощью каких инструментов, кем и как часто. Результатом MVP являются знания и информация о том, подтвердилась ли основная гипотеза. Фокус нужно держать на целях, обозначенных на этапе анализа бизнес-процессов и метриках. Шаблон MVP позволяет наглядно представить всю эту информацию. Как следует и не следует подходить к формированию MVP я описал в этой статье.

Пример шаблона MVP

Для кого:

(пользователи системы)

Для администраторов и их менеджеров в среднем по размеру дата-центрированном бизнесе с географически распределенным оборудованием.

Которые:

(с какой проблемой сталкиваются или какую проблему пытаются решить)

Которые тратят много времени на то, чтобы предсказать и исправить сбои в оборудовании из-за отсутствия на рабочих местах или из-за того, что не знакомы с участком обслуживаемого оборудования (в случае, если это дежурный администратор).

Решение:

(предлагаемое нами инновационное решение проблемы пользователей)

Необходимо разработать мобильный интерфейс быстрого доступа к информации и функциям управления оборудованием, которое находятся в зоне риска, либо на которых уже случилась авария.

нность:

(как именно решим проблему пользователей и облегчаем им жизнь)

Данное решение должно уменьшить среднее время закрытия инцидентов и снизить частоту возникновения критических инцидентов за счёт проактивного подхода к работе с инцидентами и, как следствие, увеличить лояльность пользователей к продуктам компании.

В отличие от:

(дифференциация от конкурентов)

Решений X, Y, Z данный продукт будет иметь X, Y, Z особые функции

Опережающие индикаторы:

(метрики, значения которых важны при принятии решения об успешности MVP)

-Промежуток времени с момента возникновения инцидента до старта работ администратором.

-Время, которое тратит администратор на решение инцидента.

-Количество критичных инцидентов в системе в месяц.

Нефункциональные требования:

(требования к устойчивости, безопасности и т.д.)

-Система должна выдерживать нагрузку и обрабатывать X гигабайт данных в секунду.

скачать чеклист готовности MVP

В таблице приведен пример описания MVP системы мониторинга распределенной системы центров обработки данных, одним из элементов которой является RPA-технология (чат-бот) для оптимизации определенных процессов, связанных с администрированием оборудования.

User Story Mapping - создание карты пользовательских историй.

Этот этап позволяет правильно определить объем MVP для оптимального использования средств.

На данном этапе результаты проделанной работы - пользовательские истории, опережающие индикаторы, описанный процесс - сводятся воедино в карте пользовательских историй.

В данном примере на верхнем уровне (в блоках голубого цвета) находятся опережающие индикаторы, на которые новое решение должно влиять, уровнем ниже (в желтых блоках) - бизнес-процесс, в котором работают пользователи, разбитый на шаги, а ниже - расписаны минимальные решения, которые могут повлиять на каждую метрику в рамках каждого шага процесса.

При этом, данный инструмент дает возможность определять объем MVP, варьируя количество пользовательских историй, который влияют на опережающий индикатор. Количество функций, которые войдут в MVP, определяется горизонтальной линией, которая отделяет самые верхние минимальные пользовательские истории.

У будущего продукта может быть множество пользователей, и типичная ошибка на данном этапе - добавление и реализация всех функций для каждой роли пользователя. В этом нет смысла, поскольку создавать новый сервис или продукт, в котором будет множество разных функций для всех потенциальных пользователей экономически невыгодно.

  1. Запустить пилот и отслеживать метрики.

На этом этапе минимальный жизнеспособный продукт вводится в тестовую эксплуатацию и предоставляется первым пользователям, отслеживается, как работы, и исправляются обнаруженные дефекты. После того, как пользователи начали работать с системой (ИТ-решением, продуктом), и в системе появились данные, начинается работа с аналитикой - опережающими показателями.

Линейка, составленная на этапе формулировки гипотезы и MVP, предоставляет четкий и понятный инструмент для калибровки действий относительно дальнейшего развития продукта. Также, на этом этапе снимается и фиксируется обратная связь от пользователей.

В случае, если гипотеза подтверждена, после этого этапа повторяются подобные циклы работ, связанные с расширением функционала. Каждое последующее улучшение ИТ-решения проходит через цикл Разработать - Оценить результат - Сделать Выводы. Такой итерационный подход позволяет установить факты и соотнести свои предположения с действительностью. Поэтапное внедрение RPA-инноваций с помощью MVP позволяет постепенно уменьшать число операций, выполняемых человеком, тем самым снижать вероятность ошибки и повышать надежность решения.

Заключение

Инновации являются одним из ключевых факторов развития как частного бизнеса, так общества и государства в целом. Ранее компании концентрировались на повышении качества продукции и сервиса, вели ценовую конкуренцию. Современная действительность требует от бизнеса системного подхода к инновациям.

Корпорации уверенно осваивают и внедряют инновации. Для этого у них есть ресурсы и инфраструктура: собственные фонды и акселераторы, мероприятия, корпоративные школы, командировки во всея святых инноваций - Кремниевую долину. Как среднему бизнесу угнаться за передовиками инноваций и сохранить свою релевантность на рынке? Для тех, кто не в состоянии самостоятельно осилить данную инициативу предлагается начать с проведения форсайт-сессий или развивать партнерские связи в части разработки и управления инновационными ИТ-продуктами.

Консалтинг и проверка зарождающихся инициатив на прочность - один из способов решения этой задачи. Структурировать идею нового технологичного продукта или сервиса можно на воркшопе Проработка идеи ИТ-продукта и запуск валидации с помощью MVP.

Подробнее..

Мы посадили за телефон робота вместо человека и чуть все не сломали

06.11.2020 10:14:52 | Автор: admin

Еще пару лет назад казалось, что мир должны захватить телефонные роботы-обзвонщики. Потому что на дворе цифровой век, умные люди обещают сингулярность через двадцать лет а компании все еще держат гигантские колл-центры с кучей народа. Те делают монотонную однотипную работу, и аналитики в один голос твердят вот первые кандидаты на автоматизацию и смерть профессии.

Процесс вроде начался распознавание голоса вышло на новый уровень. Гугл на своей презентации показывает, как робот звонит в ресторан, бронирует столик, а человек на другом конце не понимает, что говорил с роботом. Корпорации одна за другой выпускают голосовых помощников Яндекс Алису, Тиньков Олега. Роботы поддерживают беседу и шутят шутки.

Мы тоже подумали, что посадить за телефон робота будет отличной идеей. Но поняли на самом деле все не так уж круто.

Казалось, настроить робота плевое дело

У нас в Skyeng есть бесплатные вводные занятия. Люди на них записываются, но мы знаем, что часть из них передумает. Поэтому, например, на 10 преподавателей в слоте записываем 13 учеников. Преподаватель ищет себе ученика ближе к уроку и обзванивает записавшихся получить у них подтверждение. Каждый раз нужно обзвонить несколько контактов, подсказанных системой.

Это съедало время, которое преподаватель мог потратить на урок или на отдых. И мы решили пусть звонит робот!

Глобально роботы делятся на два типа: с машинным обучением и без него. Первый тип поглощает данные, учится на них и становится всё лучше и лучше. Второй тип проще он работает на готовых пакетах распознавания слов. Система слышит голос, распознает, переводит аудио в текст, и слова сверяются с прописанным текстовым сценарием. Грубо говоря, если в ответе ученика есть слово да произнеси один текст, если нет другой.

Наш робот был как раз таким простой, без ИИ, со встроенным пакетом для распознавания от стороннего подрядчика и синтезатором речи.

Первого робота звали Антон

На мой вкус у него был самый противный голос из стандартных: мужской-скрипучий-роботизированный.

Этим голосом он напоминал день и время, когда состоится урок, спрашивал, готов ли студент к занятию, и принимал два ответа: да или нет, а потом направлял их в соответствующие ветки разговора.

Мы запустили тест на большой трафик, и это все только испортило. Пропущенных вводных занятий было много. Тогда мы стали слушать записи разговоров, чтобы понять, в чем проблема. Она оказалась на поверхности люди бросали трубку только услышав первые слова.

В скрипучем голосе робота Антона, естественно, было мало приятного (я же говорила). Мы подумали: сейчас сделаем голос красивее, люди будут слушать робота до конца и конверсия заживет.

Неприятного Антона заменила Влада.

Ей дали голос реального человека сотрудницы Skyeng, девушки-оператора из отдела продаж. Звучало потрясающе, очень красиво. Всем нравилось.

Ликовали мы недолго. Люди не отваливались от звонка сразу, но переводов на оператора стало кратно больше. Потому что теперь, слыша голос живого человека, не все понимали, что это робот. И отвечали витиеватыми фразами как в разговоре с настоящим оператором. А не короткими ответами-командами, которые хотелось бы услышать роботу. Слишком подробно для нашей Влады. Процент успешного распознавания просел, это сказалось на конверсии.

Еще один минус живого голоса Влада могла произносить только заранее записанные сэмплы. Обычный робот синтезировал любой текст, это давало нам гибкость и возможность быстро перенастраивать сценарии. А Влада не могла даже проговорить, когда состоится занятие. Мы не записали сэмплы всех возможных комбинаций дат и времени их очень много. Она просто говорила ваш урок скоро состоится, что тоже вносило путаницу.

Оказалось, робот не должен быть слишком человечным

Тогда мы взяли третий вариант робот Захар, не такой противный как Антон, но и не такой живой как Влада. Захар просто норм. Не так раздражает, но и не вводит в заблуждение.

Плюс, после опыта с Владой мы расширили Захару словарь. К примеру, мы научили его распознавать популярные ответы КОНЕЧНО и НЕ. Но это привело к новым проблемам. Например, слово КОНЕЧНО робот отправлял в ветку НЕТ. Потому что часто при произношении в слове коНЕчно четко слышился слог НЕ. С распознаванием ничего не сделаешь. Словарь не помог.

Хуже того когда робот делал ложно-отрицательный вывод, он отвечал: Спасибо, менеджер с вами свяжется. Человек думал, что вводное занятие подтверждено, а потом ему звонил менеджер и предлагал назначить вводный урок на другое время. Возникала неловкая путаница.

Мы заморочились: стали менять тексты, которые произносил робот. Увеличили количество развилок в разговоре. Добавили тоновый набор вместо распознавания слов. Подумали, что так ответы станут точнее, и это поднимет конверсию в подтверждение. Доля ложных отказов и правда снизилась. Зато ухудшилось все остальное. Оказалось, испортить метрики может даже время года.

Тестирование гипотез начиналось с 5-10% пользователей и могло доходить до 50% перед принятием решения о сохранении такого изменения.Тестирование гипотез начиналось с 5-10% пользователей и могло доходить до 50% перед принятием решения о сохранении такого изменения.

Мы тестировали робота зимой. Представьте человек идет по улице в перчатках и слышит телефонный звонок. Отвечает через наушники и доходит до момента с тоновым набором. Снимает перчатки, разблокирует телефон, идет искать нужную цифру для ответа. Ошибается и нажимает не туда, либо нажатие не срабатывает, и он не успевает ответить.

Поэтому мы вернули распознавание голоса, но и тоновый набор убирать не стали. Если робот не распознал голос, мы ставили блок с таким текстом: Я вас не понял, нажмите единичку, если вы придете

Число ошибок и правда упало до прежнего уровня, зато нам стали чаще отвечать нет. А да реже. Что тоже было плохо.

Главное, что мы поняли: назвался роботом упрощай

Самые лучшие результаты получились, когда мы стали подсказывать людям, как отвечать. Если вы придете на вводный урок, скажите "да". Америку мы не открыли, так делают многие роботы. Человек слышал четкий инструктаж, как ответить, но это тоже не панацея.

Мы выстроили такую цепочку. Сначала говорит Захар и произносит инструкции, как ответить. Студент отвечает, а если робот не понимает подключается блок с тоновым набором ответов, максимально короткими вопросами и инструкциями. Затем вторая тоновая попытка для подтверждения. А уж если и тоновые не вывозят переводим на оператора.

Так мы, наконец, снизили нагрузку на операторов и получили сильное снижение числа ошибок но росли как ответы да, так и ответы нет. Мы оставили этот вариант, так как получили рост ключевой сквозной метрики. На этом история с тестом робота завершилась. Она была долгой и мучительной для всех участников процесса.

А может ну их, эти звонки?

Мы часто думали об этом в ходе эксперимента. В звонках нет привычных метрик: кликов на кнопки, переходов по страницам, проведенного на них времени. В звонки невозможно вставить виджет с просьбой оценить удобство интерфейса есть только голос человека и тикающие секунды разговора.

Когда запускаешь гипотезу, собираешь данные и выясняешь, что работает плохо это неприятно. Хочется просто взять и больше никогда в жизни не заниматься никакими звонками. Просто выкинуть их как явление и перевести все на интерфейсы.

Но так не работает. День, когда условный Apple выпустит айфон без функции звонков, вряд ли наступит скоро, если вообще наступит. Как бы ни поумнели наши девайсы, сколько бы ядер ни было в их процессорах, и сколько бы камер ни было на задней панели это все еще телефоны, по которым люди друг другу звонят.

Что там будет дальше вообще неизвестно. Сегодня интерфейсы кажутся проще и понятнее, а завтра дети, выросшие на разговорах с колонкой, опять вернутся к голосу. А потом к чему-то еще.

Но пока звонки все еще часть мира, их надо автоматизировать так, чтобы всем было удобно и хорошо. Через тернии и скрипучие голоса.

Подробнее..

Перевод На подходе поколение No-Code

04.11.2020 16:22:09 | Автор: admin
image

В прошлом веке существовал так называемый цифровой разрыв между теми, кто умел пользоваться компьютерами, и теми, кто нет. Молодое поколение X и их более поздние товарищи-миллениалы выросли уже с Power Mac, и это сделало их опытными пользователями технологий. Старшие поколения будут вытеснены молодыми работниками, которые более приспособлены к потребностям современной цифровой экономики.

Но не все так просто. Навык использования компьютера тогда определялся способностью включить его и войти в систему, планка настолько низкая, что современного человека может удивить мысль о том, что разрыв вообще существовал. Программная инженерия, информатика и статистика оставались довольно непопулярными по сравнению с другими академическими науками, даже в университетах, не говоря уже о начальных и средних школах. Большинство представителей поколения X и миллениалов никогда не учились программировать, или даже составлять сводную таблицу или вычислять основные статистические средние значения.

Примерно за последние два года мы стали свидетелями роста целого класса программного обеспечения, которое окрестили платформами без кода (no-code platforms). Эти инструменты сделаны чтобы упростить пользователям использование вычислительной мощности в повседневной работе. Это может быть что угодно: от расчета наиболее успешных цифровых рекламных кампаний с учетом какой-либо целевой функции до интеграции библиотеки компьютерного зрения в рабочий процесс, который подсчитывает количество людей, входящих/выходящих из здания.

Казалось бы что такие инструменты наделяют своих пользователей сверхспособностями. Проекты, над созданием которых раньше часами трудилась команда инженеров, теперь можно сделать в пару кликов через пользовательский интерфейс. Вот почему молодые стартапы, такие как Retool, получают оценку почти в 1 миллиард долларов, а Airtable в 2,6 миллиарда долларов, в то время как другие, такие как Bildr, Shogun, Bubble, Stacker и другие еле волокут существование.

Конечно, инструменты без кода (название No-Code не совсем точное определение) часто требуют кода или, по крайней мере, той дедуктивной логики, которая присуща кодированию. Вы должны знать, как создавать сводную таблицу, или понимать, что такое машинное обучение и для чего оно может быть полезным. Вы должны думать о входных данных, преобразованиях и конечном результате.

Ключевым моментом является то, что инструменты без кода успешны не потому, что их проще использовать они успешны, потому что они находят отклик у нового поколения молодежи, которое воспринимает свои компьютеры и мобильные устройства не только как инструменты исследования и анализа, но и самовыражения.

Например, такие популярные платформы как Roblox и Minecraft, высмеиваемые за одержимость ими детей, учат создавать целые миры с помощью своих инструментов. Еще лучше, когда дети расширяют набор инструментов, предлагаемых этими играми, и вдохновляются на создание своих собственных инструментов. Появилось множество руководств и онлайн-сообществ, которые учат детей создавать свои собственные игры и плагины для этих платформ (Lua никогда не был таким популярным).

150 миллионов человек играют в Roblox, а над платформой работают почти 350 000 разработчиков. Minecraft, в свою очередь, имеет более 130 миллионов активных пользователей. Это не так уж мало.

Специализированные, почти загадочные знания в области анализа и разработки программного кода широко демократизируются молодым поколением, и именно здесь возникает новый цифровой разрыв.

Если несколько лет назад менеджер магазина мог (если мог) помещать свои данные о продажах в таблицу Excel и оставлять их там до востребования, то новое же поколение готово подключить несколько онлайн-инструментов для создания онлайн-магазина (с помощью инструментов без кода, таких как Shopify или Squarespace), рассчитать базовые оценки LTV (Lifetime Value) и расставить приоритеты для своих лучших клиентов с помощью маркетинговых мероприятий с помощью базовых служб доставки электронной почты. И все это воспроизводимо, так как это сделано с помощью технологий и кода, а не вручную.

Здесь есть два важных момента. Во-первых, следует отметить степень владения этими новыми работниками таких технологий и то, сколько представителей этого поколения, готовы их использовать. У них просто нет страха пробовать новые программы, и они знают, что всегда могут использовать поисковые системы, чтобы найти ответы на свои проблемы.

Во-вторых, это разница в производительности. Даже базовый, но точный анализ данных может существенно повысить производительность по сравнению с интуитивным чутьем и устаревшими таблицами.

Второй цифровой разрыв будет только усиливаться. Рассмотрим современных школьников, которые в силу обстоятельств вынуждены использовать цифровые технологии для получения образования. Сколько из них станут использовать технологии после учебы? Насколько лучше они будут приспособлены работать удаленно? Несмотря на то, что нынешняя образовательная система является пародией на саму себя, в результате все больше учеников будут вынуждены свободно владеть компьютерами.

Прогресс во многих смыслах это поднимать планку. Новое поколение поднимает планку того, как данные должны использоваться на рабочем месте, в бизнесе и в предпринимательстве. Они лучше, чем когда-либо, объединяют различные отдельные услуги и инструменты в эффективный метод для решения задач. Поколение No-Code возможно сможет заполнить этот недостающий разрыв в производительности в мировой экономике, сделать нашу жизнь лучше, сэкономив время для всех.
Подробнее..

Категории

Последние комментарии

© 2006-2020, personeltest.ru