Хакатон

20 и 21 марта 2021 года прошел хакатон проектов в сфере приватности и открытости информации DemHack 2, организованный Роскомсвободой и Privacy Accelerator. Хакатон собрал интересные идеи и талантливых разработчиков, выявил несколько по-настоящему перспективных проектов и наградил два из них! Некоторые решения были высоко оценены жюри и менторами, что дает им отличные шансы на дальнейшую экспертную поддержку, нетворкинг и дальнейшее сотрудничество с бизнес-инвесторами или профильными НКО.

Как готовился и проходил DemHack 2

Demhack 2 - второй - потому что первый состоялся осенью 2020 года. Тогда победителями стали три команды, одна из которых, Amnezia VPN, уже через полгода зарелизила готовое решение - сервис для создания личного VPN на собственном сервере. Проект после хакатона участвовал в Privacy Accelerator и прокачался от идеи до выпуска готового продукта. Сейчас команда Amnezia исправляет баги, дорабатывает новые фичи и готовится выйти на международный рынок!

Второй Demhack было решено проводить так, чтобы разу после его завершения перспективные команды смогли начать дополнительную акселерацию. Как показал опыт, даже лучшие проекты после хакатона остро нуждаются в помощи менторов, объясняющих, как наладить бизнес-процессы, понять потребительские запросы и выпустить продукт на рынок.

Еще одним важным этапом подготовки хакатона стали консультации с экспертами, которые участвовали в фокус-группах и обсуждали актуальные вызовы в сфере прайваси и доступа к информации. По итогам этих обсуждений был сформирован список задач, которые команды могли взять за основу для решения на хакатоне. И многие команды с успехом воспользовались возможностью. Например, в треке Приватность и цифровая безопасность можно было взять задачу и разработать трекер привычек по информационной безопасности или систему проверки разрешений для установленных мобильных приложений, систему обнаружения взлома мессенджеров и пр. А в треке Доступ к информации и свобода передачи данных предлагалось придумать, как мониторить использование технологий слежки за гражданами на основе анализа госзакупок, документировать шатдауны или разрабатывать технологии Internet over gsm.

Кроме списка задач от экспертов, участники могли предложить собственные идеи. Предложенные проекты проходили специальный отбор конкурсной комиссии, которая оценивала их перспективность, а также соответствие ценностям хакатона и актуальность поднятой проблемы.

На хакатон было подано более 70 заявок, которые пришли из из 21 региона России, а также Сербии, Таджикистана, Республики Беларусь, Украины.Сформировалось и приступило к работе на хакатоне 15 команд.

Хакатон проводился полностью онлайн от момента открытия до объявления победителей. Субботним утром 20 марта состоялся старт конкурса, команды встретились со своими наставниками - ведущими менторами, которые сопровождали их на протяжении всего хакатона и следили за развитием проекта. Помимо наставников, команды встречались с узкоспециализированными экспертами. А уже в конце второго дня команды заполнили финальные чек-поинты, сформировали презентацию и вышли на питчинг перед жюри. После презентаций судьи назвали лучшие проекты, а организаторы распределили призы.

Победители хакатона Demhack 2

В треке Прайваси и цифровая безопасность победителем стал проект Security Addon, в лице единственного члена, юного разработчика Захарова Алексея. Он спроектировал приложение, запускающее безвозвратное удаление и шифрование папок в экстренных ситуациях, когда безопасность и приватность на первом месте. Приложение предназначено для использования широким кругом лиц в пов

В треке Доступ к информации и свобода передачи данных лучшими стали ребята из команды mr.bot, предложившие проект Deep Silent, куда входят два андроид-приложения: первое - кнопка SOS делает звонок абоненту и передает DTMF-код; второе - умеет кодировать информацию с помощью высокого и низкого сигнала принимать и обрабатывать ее.

Победитель Security Addon получил приглашение стать резидентом второго набора Privacy Accelerator. А с командой mr.bot взялись далее сотрудничать менторы, в том числе для того, чтобы помочь им найти поддержку заинтересованных организаций и выйти на целевую аудиторию.

Некоторые перспективные проекты хакатона DemHack 2 также получили приглашение в акселератор.

Среди них Nemezida DNT (второе место в треке Прайваси и цифровая безопасность), плагин для браузеров, функционирующих на основе Chromium, который позволяет обеспечить максимальную защиту пользователя от сбора информации о нем и его устройстве. К сожалению, у команды сейчас нет ссылки на активный гитхаб. А также проект Соlaba (третье место в треке Прайваси и цифровая безопасность), который позволяет проверить себя на умение распознавать фишинговые рассылки, проверить свою команду на устойчивость к фишинговым атакам.

Второе место в треке Доступ к информации и свобода передачи данных занял проект Shutdown Scout, веб-сервис для определения скорости соединения и наличия блокировки сетевых ресурсов для каждой страны мира. Третьи в этом треке - команда UNDEFINED, которая разработала систему мониторинга инфраструктуры слежки за гражданами в виде общедоступного ресурса с визуализацией данных.

Проект Kitty Cloud не занял почетного места, но был высоко оценен менторами и судьями хакатона, что дало ему возможность также попасть в новый набор Privacy Accelerator. Проект представляет собой облачное хранилище данных с полным p2p-шифрованием.

Что будет дальше

Новый хакатон не за горами! Мы уже сейчас начинаем готовиться к нему и планируем вскоре встретиться с нашими экспертами для обсуждения новых угроз и трансформаций в сфере прайваси и доступа к информации. Мы обновим карту вызовов и придумаем новые форматы работы.

А еще мы надеемся, что новый хакатон будет - наконец! - оффлайн. И мы сможем не только хорошо поработать и сделать крутые проекты, но и славно потусить все вместе. Как в старые добрые!

Совсем скоро стартует серия хакатонов от Цифрового Прорыва, а это значит, что огромное число специалистов смогут проверить и проявить себя, решая самые необычные и интересные задачи от заказчиков, а самые талантливые смогут выиграть денежный приз и найти работу в крупных компаниях страны.

В 2020 году на отборочных соревнованиях Цифрового прорыва, крупнейшего в России командного соревнования специалистов в ИТ-сфере, выступили более 45,5 тысяч россиян из 85 регионов. 1249 специалистов вышли в финал, по итогам которого победили 45 команд.

Прошлый год был особенным, Цифровой Прорыв смог объединить тысячи специалистов, которые реализовали большое количество кейсов, а проекты-победители Цифрового прорыва 2020 будут представлены потенциальным заказчикам на площадке премии Цифровые вершины.

Особо следует отметить победителей гранд-финала, в котором команды разделили общий призовой фонд в 22,5 млн рублей. Также они представили свои проекты перед топ-менеджерами корпораций и руководителями федеральных ведомств результаты этих презентаций станут известны на следующий день. Цифровой прорыв флагманский проект президентской платформы Россия страна возможностей. Гранд-финал определил 13 цифровых разработок для совместной реализации с партнерами конкурса. Участники еще шести команд получили предложения по трудоустройству и приглашения на стажировки.

7 ПРИЧИН УЧАСТВОВАТЬ В ЦИФРОВОМ ПРОРВЕ В 2021 ГОДУ

Участие в Цифровом прорыве в 2021 году позволит Вам:

• Научиться работать в команде;

• Обрести новые знания/специализацию, повысить компетенции;

• Найти новых друзей;

• Побороться за денежные призы;

• Реализовать интересные Вам кейсы, которые могут изменить жизнь тысяч людей;

• Найти работу или получить интересные предложения;

• Превратить MVP в полноценный стартап, реализация которого поможет Вам открыть свой бизнес.

Мы ждем тебя наЦифровом Прорыве 2021уже в апреле!

В прошлом году я случайно наткнулась на сайт #ЦифровойПрорыв и шутки ради отправила ссылку тимлиду нашей команды разработки: смотри, поучаствуем? Мы как раз успевали на последний региональный Северо-Западный хаб.

Из положения о конкурсе:

Хакатон ограниченное во времени соревновательное мероприятие для IT-специалистов и специалистов сферы цифровой экономики, в рамках которого участники в составе команд от 3 до 5 человек (программисты, дизайнеры, менеджеры, аналитики) создают прототипы цифровых решений. Сами кейсы ставятся организациямипартнерами хакатона.

Всего в рамках Конкурса планировалось проведение 8 окружных онлайнхакатонов, которые завершились Финалом.

Принцип Парето

Я не верила, что мы ввяжемся в эту авантюру до последнего синдром самозванца всегда был моим спутником.

Команду собрали из коллег: тимлид/архитектор/питчер Илья Шумилов, 2 full stack Дмитрий Николаев и Кирилл Петров, аналитик/тестировщик Марина Никулина. Так появилась команда IT animals.

А что же дальше?

Самое смешное, что, предлагая поучаствовать, я не дочитала до пункта про призы, и свято верила, что идем к победе ради ачивки и толстовок. Я ни разу не участвовала в подобных мероприятиях.

Хакатон проходил в формате онлайн. Все 9 кейсов были озвучены заранее, на старте предполагалось, что мы узнаем подробности каждого. Выбрать его нужно было до начала хаба.

В пятницу вечером мы остались после работы в офисе и приступили к решению.

Формулировка кейса и наше видение решения

Из списка выбор пал на кейс Почты России: разработка веб-ресурса по проверке и преобразованию к специфицированному формату (нормализации) адресных баз данных, представленных в виде файлов csv или xlsx. Клиенты Почты России используют для рассылки корреспонденции свои базы данных адресов. Полнота, достоверность и актуальность данных в этих базах, как правило, низкая, что приводит к невозможности отправки письма или ошибкам в логистике и в результате к увеличенному сроку доставки. Почта России ищет возможность создания веб-ресурса для пользователей по нормализации адресных баз данных с реализацией функций биллинга.

Почему он? Наша команда специализируется на корпоративных веб-системах.

Стек технологий: php7, apache, yii2, postgresql, yii2 queue, ГАР.

Мы разработали за 2 дня прототип веб-сервиса, который исправляет ошибки в адресных базах пользователей. Делает это быстро и четко и в соответствиями с требованиями Почты России. Мы постарались максимально автоматизировать процесс исправления файлов пользователя, наш сервис сам все находит и исправляет, не задавая лишних и наводящих вопросов пользователю (та самая большая кнопка сделать хорошо).

Что происходило на самом деле:

На протяжении всего хаба нас сопровождали трекеры и эксперты кейсодержателя, проводились обязательные чек-поинты, время которых отображалось в личном кабинете.

Мы старались соблюсти все условия: если обещали что-то доделать к чек-поинту делали. Морально было сложновато никто с нами не церемонился: тыкали в больные места палками и не только, указывали на промахи. Было, за что ругать, на самом деле, сейчас я понимаю: тратить время на излишнюю похвалу не разумно, так как надо было уложиться в 30 минут, и нам этого-то едва хватало. Но после каждой такой встречи в Discord казалось, что мы не просто дно, а те, кто его пробил. Очень хотелось все бросить и пойти спать.

Что очень понравилось: были четкие требования по структуре презентации и питча.

Необходимо было осветить: проблематику, экономический эффект, структуру решения, используемые технологии, предполагаемые направления развития продукта.

А потом наступило утро воскресенья. Сдать решение кейса надо было до 08:00 (МСК): я судорожно сохраняла презентацию в pdf, чтобы загрузить ее на сайт ЦП. 3 раза перепроверила, что загрузила верный файл. Ждем защиты.

За питчера у нас был тимлид Илья: 5 минут на презентацию и 3 минуты на вопросы.

Как толстовка большим кушем оказалась

Через час после защиты было награждение, не затягивали (орг. моменты прямо по максимуму были выверены), но по ощущениям как будто вечность.

Встреча происходила в Zoom, было интересно: кто же победит? Третье место. Второе. А дальше все как в тумане мы выиграли. Ощущение безмятежного счастья, моральный подъем, вера в команду и в то, что вместе можем горы свернуть - малая часть того, что нас ждало в результате. Ну и да, не могла не радовать новость, что также со званием победителей прилагается еще и денежный выигрыш в размере 150 тысяч рублей на команду.

Выплату обещали совершить в течение 90 рабочих дней так и случилось. Что вдвойне приятно обязанности налогового агента организаторы ЦП взяли полностью на себя, и сумма пришла уже за вычетом НДФЛ. Это сохранило много нервных клеток участников (ну мне точно).

Первая пятерка в рейтинге участников каждого кейса автоматически попадает в Финал конкурса Цифровой прорыв мы были из их числа. О нем расскажу позже.

Данная статья написана в соавторстве с тимлидом @Restlin

Выбор кейса и наше видение его решения

Изначально выбор пал на кейс МВД: Разработка автономного программного решения лингвистического анализа и преобразования в тексте лица повествования.

Формулировка кейса:

Учитывая специфику деятельности определенных служб МВД России, при подготовке документов требуется преобразование в тексте лица повествования от первого лица в третье с учетом рода. Например, фраза в исходном тексте Я увидел, что Иванов пошёл ко мне в итоговом тексте должна быть преобразована в Он увидел, что Иванов пошёл к нему. Разработанное программное решение позволит в автоматическом режиме проводить процесс конвертации лица повествования, что позволит сотрудникам уделить больше времени на иные аспекты служебной деятельности. Кейс подготовлен Департаментом информационных технологий, связи и защиты информации МВД России.

Нам он был близок по специализации, и было четкое представление как красиво можно решить данную задачу.

Планировалось, что мы создадим веб-сервис, который умеет автоматически преобразовывать показания свидетеля из первого лица в третье.

Все складывалось как нельзя лучше до того момента, как мы не посмотрели видео с презентацией кейса от кейсодержателя, что на выходе они ждут:

1) локальное решение, работающее без доступа в сеть;

2) интегрированные офисные пакеты посредством макросов.

Наша команда разделилась на 2 лагеря: половина настаивала на четком соблюдении требований кейсодержателя, в противном случае смене кейса, вторая настаивала на первичном варианте решения ( оффтоп: подобное решение выстрелило у других ребят и они выиграли).

Долгое время споры не утихали по данному поводу, все же решили сменить первоначальный выбор на кейс Почты России: Разработка прототипа системы обработки и подписания документов с использованием электронной подписи, применяемой для работы с обращениями граждан.

Формулировка кейса:

Согласно действующему законодательству Почта России обязана официально отвечать на поступающие запросы граждан, связанные с работой компании и качеством оказания услуг. Обращения поступают в профильное подразделение, где, после подготовки ответа, подписываются, сканируются и отправляются в соответствующий филиал или автору обращения. Процесс является трудоемким и ресурсоемким с точки зрения ручных операций и расходных материалов (бумага, расходы на оргтехнику). Участникам хакатона предлагается разработать программное решение - модуль подписания документов с помощью электронной подписи, который расширит функциональность существующей системы работы с обращениями (Террасофт Creatio). Модуль должен формировать электронную подпись для каждого файла отдельно и перед подписанием проверять срок действия сертификата электронной подписи уполномоченного сотрудника.

Почему он? У нас было понимание как работать с электронной подписью на Open source решениях: OpenSSL. Пригодился опыт Ильи в разработке СЭД - он знал о существовании php библиотеки tcpdf для генерации файла pdf с возможностью встроить электронную подпись. Плюс на текущем проекте pirs.online мы уже копали эту тему, и оттого данной задачей заниматься было приятно вдвойне.

Вся наша подготовка к финалу заключалась в обсуждениях плана решения и договоренности с родными, что мы опять пропадем на работе на все выходные.

Панические атаки и ведро валерьянки

В пятницу вечером мы остались в офисе, получили подробное техническое задание кейса и приступили к решению. Последнее вранье - мы начали неистово паниковать, так как в технических ограничениях к решению значилось требование в реализации на ASP.NET.

Написали в чат поддержки ЦП (хвала за неиссякаемое терпение Ирине с вопросом: что нам делать и можно ли сменить кейс? К счастью, организаторам удалось переубедить представителей Почты России снять это ограничение и только тогда мы смогли приступить к решению.

А что потом? Технические подробности

Дальше пошло по накатанной: первый чекпоинт и наши идеи по реализации, полученное одобрение экспертов и практически бессонная ночь работы.

Нам повезло: роли между командой у нас распределены четко, и каждый занимается своей задачей. Марина - презентация и вычитка спитча Ильи. Илья отвечает за спитч, архитектуру, бэк. Дима и Кирилл - фуллстеки.

С точки зрения технической реализации функционал прототипа выглядел просто:

• вход пользователя под одной из двух ролей: гость и администратор;

• формирование обращения администратору (почте РФ);

• рассмотрение обращения и формирование ответа;

• можно прикрепить файлы к обращению и ответу;

• создать сертификат пользователя в личном кабинете;

• подписать файлы ответа электронной подписью;

• выгрузить обращение с электронной подписью;

• проверить электронную подпись в обращении.

Структура базы данных прототипа уместилась всего в 3 таблицы, размещенных в PostgreSQL:

1. user - таблица пользователей с реквизитами и типами;

2. message - таблица обращений и ответов. По сути это переписка клиента и администратора;

3. file - таблица файлов, прикрепленных к обращениям и ответам.

Благодаря большому опыту команды с php-фреймворком Yii2 мы в короткие сроки разработали основной функционал приложения. А вот задача интеграции функционала по работе с электронными подписями была трудоемкой и нетривиальной.

Для работы с электронными подписями мы решили использовать OpenSSL, как открытый стандарт де-факто по работе с электронными подписями.

Как и ожидалось библиотека очень мощная, но из коробки не поддерживает отечественные алгоритмы шифрования. Какое-то время ушло на интеграцию и настройку криптографического движка (libengine-gost-openssl 1.1) на алгоритмы ГОСТ, в частности ГОСТ-2012. Затем мы создали и настроили удостоверяющий центр.

Второй чекпоинт: показали первичный вид презентации. Первый провал - ошиблись с формулировкой проблематики кейса, близко, но не то. Вот почему важно презентацию хотя бы раз показать экспертам!

Пилим прототип дальше

PHP содержит функции для работы с openssl по созданию сертификатов и подписи файлов, но после тщательного изучения документации, выяснилось, что переключить openssl engine на ГОСТ невозможно.

Поэтому команда принимает решение перейти к работе с openssl через консоль. Решение выглядит менее изящным, зато предоставляет доступ ко всей функциональности openssl.

Создание сертификата пользователя:

exec("openssl req -nodes -newkey gost2012_512 -keyout $eSignPath/client.key -pkeyopt paramset:A -out $eSignPath/client.csr -subj \"/C=RU/ST=Udm/L=Izhevsk/O=IT/OU=animals/CN=user-{$user->id}\" -config $caPath/openssl.cnf ");

exec("openssl ca -engine gost -keyfile $caPath/ca.key -cert $caPath/ca.crt -in $eSignPath/client.csr -out $eSignPath/client.crt -batch -config $caPath/openssl.cnf 2>&1", $output);

где $eSignPath - путь до папки с ключами пользователей, а $caPath - путь до папки удостоверяющего центра.

Удаление сертификата пользователя:

exec("openssl ca -config $caPath/openssl.cnf -keyfile $caPath/ca.key -cert $caPath/ca.crt -revoke $eSignPath/client.crt 2>&1", $output);

exec("openssl ca -gencrl -config $caPath/openssl.cnf -keyfile $caPath/ca.key -cert $caPath/ca.crt -out $caPath/crl.pem 2>&1", $output);

где $eSignPath - путь до папки с ключами пользователей, а $caPath - путь до папки удостоверяющего центра.

Подписание файла сертификатом пользователя:

exec("openssl smime -engine gost -sign -in $fp -out $fp.sig -nodetach -binary -signer $clientKeysPath/client.crt -inkey $clientKeysPath/client.key -outform SMIME 2>&1", $output);

где $fp - путь до файла, $clientKeysPath - путь до папки с ключами пользователя.

Проверка подписи файла:

$output = exec("openssl cms -engine gost -verify -in $sigPath -inform SMIME -CAfile $pathCA/ca.crt -out $fp -certsout $clientKeysPath/client.crt 2>&1");

где $fp - путь до файла, $clientKeysPath - путь до папки с ключами пользователя, $sigPath - путь до электронной подписи.

Долгие часы настройки openssl и его интеграции в веб-приложение увенчались успехом. К третьему чекпоинту прототип уже мог создавать сертификат пользователя, подписывать сертификатом обращение, а затем проверять подпись. Решение было рабочим, но чутье подсказывало: не хватает какой-то главной фишки.

Появилась идея: Илья вспоминает, что в одной не самой популярной библиотеке tcpdf по формированию pdf файлов была возможность встраивания электронной подписи в pdf файл. А это значит, что можно из обращения создать pdf файл и сразу встроить в него электронную подпись.

Ночь субботы подходит к концу: мы голодные и злые все еще работаем в офисе. Тошнит от доставок, работы вагон, но мы верим в команду и в то, что победа близка. Договариваемся ехать домой, и доделывать уже там.

Начинаем реализовывать и понимаем на сколько в библиотеке tcpdf захардкодена работа с openssl. Вылазят проблемы невозможности смены движка и другие конфликты библиотеки с нашим решением. Создаем потомка библиотеки и заменяем всю генерацию подписи с хардкода openssl на наш костыль (херак-херак, и впродакшн) через локальный метод api:

$fields = [

'r' => 'api/sign',

'filePath' => $tempdoc,

'userId' => $user->id,

];

$query = http_build_query($fields);

$ch = curl_init();

$host = \Yii::$app->params['apiHost'] ?? '';

curl_setopt($ch, CURLOPT_URL, $host . '/index.php?' . $query);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

$signature = curl_exec($ch);

/*if (empty($this->signature_data['extracerts'])) {

openssl_pkcs7_sign($tempdoc, $tempsign, $this->signature_data['signcert'], array($this->signature_data['privkey'], $this->signature_data['password']), array(), PKCS7_BINARY | PKCS7_DETACHED);

} else {

openssl_pkcs7_sign($tempdoc, $tempsign, $this->signature_data['signcert'], array($this->signature_data['privkey'], $this->signature_data['password']), array(), PKCS7_BINARY | PKCS7_DETACHED, $this->signature_data['extracerts']);

}*/

И все же мы успеваем в последний момент и к утру воскресенья прототип полностью работает!

Последний рывок и мы у цели

В середине дня воскресенья Илья подключается по Zoom к защите решения, жюри неумалимы, ну а мы ждем результатов.

Было страшновато: осознание, что ты соревнуешься с лучшими (в финал попали топ 5 команд из отборочных региональных туров) подстегивало выкладываться на полную.

Неожиданно результатов пришлось ждать до вечера, хотя на Северо-Западном хабе объявили победителей чуть ли не через час после защит. Время тянулось как доставка Почты России.

Офтоп: мы победители! 750 тысяч на команду, Карл! 750 за 2 дня, Карл! А значит едем на грандфинал Цифрового прорыва в Москву!

Репозиторий нашего решения

О том, что такое счастье, спорили раньше, спорят и сейчас. Но если взять частный случай, получение удовольствия от работы в компании, то ответ на этот вопрос не так и сложен. Чувствовать себя счастливым можно, если в компании все хорошо, работа интересная, коллектив дружелюбный и сплоченный. Конечно, в спокойное время поддерживать эту сплоченность не так и сложно. А вот в наше непростое время это непростой челлендж. О том, как поддерживать корпоративный дух, рассказывает Екатерина Проньшина, амбассадор Всероссийского конкурса Цифровой прорыв флагманского проекта президентской платформы Россия страна возможностей.

В самом начале статьи попробуем ответить на вопрос, что такое счастье в отношении работы. Счастье для многих это решенные задачи и личный мир, коллеги, которые относятся к человеку с пониманием и уважением. Если этого нет, то сотрудник компании, хоть топ-менеджер, хоть рядовой администратор, будут чувствовать себя не очень уютно. И это касается не одного человека, а большей части коллектива.

Практика показывает, что лишь сплоченный коллектив, все члены которого довольны своей работой, способен догнать и перегнать конкурентов. Другими словами, такой коллектив работает эффективно. Если сплоченности нет эффективность работы компании будет не самой высокой.

Что такое корпоративный дух?

В первую очередь, это сочетание психологического настроя, отношения сотрудников друг к другу и к руководству. Также это способность взаимовыручки и желание достичь цели как личной, так и компании.

Елена Арефьева, заместитель директора ИПМКН ТулГУ: Корпоративный дух это ощущение единения сотрудников с компанией, чувство сопричастности, ответственности за результаты ее деятельности.

Корпоративный дух крайне важен для компаний любого масштаба от самых крупных, до стартапов, где и работает-то всего несколько человек. Если корпоративный дух сформирован, можно достичь сразу трех важнейших целей:

• Стабильность эффективного штата. Работники горды причастностью к делу, доверяют руководству и коллективу в целом. Уходят только при особых обстоятельствах.

• Повышается мотивация, увеличивается продуктивность. Все заинтересованы в развитии фирмы.

• Поддерживается репутация организации, которая будет устойчивее менее объединенных конкурентов даже в кризисных обстоятельствах. Исследования показали, что 84 % сплоченных команд удержали на плаву бизнес во время потрясений пандемии, а в разобщенных коллективах таких осталась лишь треть. Респонденты фирмы со штатом до 100 человек.

Согласно совместному исследованию ученых из университетов Италии, Финляндии и Германии, продуктивность специалиста, который доволен своим окружением, повышается в среднем на 58%.

Сильнее всего довольны условиями работы сотрудники компаний, где стараются замечать успехи коллектива, а ценность труда специалистов осознаваемы как руководством, так и членами коллектива. В этом случае у пирамиды взаимоотношений крепкий фундамент. А кирпичики его это четкое понимание цели (краткосрочной и долговременной), наглядность результативности своего вклада, прозрачность работы, понимание действий руководства плюс социальная направленность, оплата по заслугам. В других случаях никакие тимбилдинги не помогут создать сплоченную команду.

Игорь Кожелин, директор по работе с партнерами и инвесторами частной космической компании Success Rockets: Мы бежали с коллегами Гонку героев. До этого мы были хорошие друзья и работали над одними проектами, но после долгого и сложного забега мы стали по-настоящему единой командой, которую объединяли общие ценности и прошедшие трудности.

Постоянно поддерживать корпоративный дух на высоком уровне непросто, особенно в условиях пандемии. Так, когда фирмы перешли на смешанный режим работы, многие подразделения оказались на удаленке и поддерживать сплоченность коллектива стало сложнее.

Олеся Савельева, маркетолог ГКБ им С.П.Боткина: Внимательность к коллегам, своеобразные игры участие в квизах и хакатонах сближают людей и открывают их с разной стороны, что помогает поддерживать корпоративный дух.

Что делать, чтобы все было хорошо?

Как показала практика, отлично работает взаимодействие сотрудников друг с другом через соцсети, общие группы мессенджеров. Вот несколько советов о том, как это может и должно работать. Основная задача по объединению сотрудников в единое целое лежит на лидере команды, поэтому и советы даны именно для него:

• Несколько раз в неделю необходимо организовывать созвон с каждым сотрудником (для маленьких учреждений) или с подгруппами, выполняющими часть задачи.

• Организация общих чатов для живого общения не по делу и по работе. Эдакий микс неформального общения в перерыв, за чашкой кофе.

• Обсуждение графика контроля, показ командных проектов, указание заслуг каждого и выделение креативных, лучших идей. Посыл с внутренним смыслом Ты в команде.

Что касается сотрудников, то и для них есть дельные советы:

• Четко формулировать свои цели. Это важно потому, что понимание, какого результата нужно достичь, позволяет поддерживать рабочий ритм. Неоценимая помощь в этом рабочего чата и активного проявления руководителей в онлайне.

• Активности в созвонах/переписке с коллегами. Не стоит игнорировать сложности в работе. Если показалось, что смысла нет, нужно срочно стучаться в чат и сверять компас.

• Важна техническая поддержка с облачными хранилищами. Одновременное информирование и просмотр документов в режиме реального времени. Фиксация важных новостей или предложений в общем чате сопричастность и возможность быть в курсе событий по всем направлениям.

• Лучший контакт на расстоянии это не почта, а видеочат. Это способ общаться эмоционально, шутить в режиме реального времени, быстро реагировать на отличные находки или указывать на ошибки.

Как для руководства, так и для сотрудников важно искать поле для общих встреч с профессионалами. Как его найти? Достаточно просто сейчас агентства предоставляют разнообразные онлайн платформы, кабинеты для общения со всем коллективом. Вебинары, курсы все это точки соприкосновения, не дающие потеряться, так что человек себя по-прежнему ощущает внутри команды.

Кое-что еще

Кроме обычного делового общения, совместного решения задач, нельзя забывать и о досуге. О нем забывать нельзя. Конкурсы, челленджи, онлайн-концерты подойдет все, что угодно, лишь бы это было весело и продуктивно.

Еще вариант с социально значимой пользой, например благотворительный виртуальный марафон. На продажу выставляются памятные вещи, креативные идеи, а собранные средства направляются на счет фонда или поступают конкретному нуждающемуся.

А йога-онлайн? Это ощущение полного присутствия и домашний комфорт одновременно. Или можно собраться на вечеринку. Интересно сделать ее тематической, учредить приз, а победителя выбрать голосованием. Например, конкурс фото Мой питомец или Я в выходной. Так каждый работник будет мысленно с командой, получит обратную связь, не потеряет сигнальные моменты командного духа и не закроется в себе, отрываясь от коллектива.

Игорь Буслов, заместитель начальника отдела ТФОМС Красноярского края: Мы совместно ходим в спортзал частью коллектива. Практикуем выходы на шашлыки, иногда играем отделом в пейнтбол. Участвуем частью отдела в хакатонах. Ходим на отраслевые спортивные мероприятия. У нас в отделе стоит шахматная доска, где сотрудники могут сыграть между собой в шахматы. Также есть стол для настольного тенниса. Поздравляем отделом друг друга с днями рождения и другими важными для человека событиями, устраиваем совместные pizza day, иногда ходим отделом в боулинг.

Если все организовать правильно, то сотрудники останутся партнерами даже в сложных обстоятельствах. А значит корпоративный дух будет поддерживаться на том самом уровне, который нужен для эффективной работы компании.

Привет, Хабр! Компьютерное зрение и искусственный интеллект одни из самых востребованных направлений в современном IT. Поэтому мы выбрали именно их для учебного"Межгалактического Хакатона 2021"который организовали НИТУ МИСиС и Zavtra.Online (подразделение SkillFactory по работе с университетами).

В хакатоне были представлены 5 кейсов от разных компаний, и одним из них был кейс от компании IntelliVision кластеризация изображений транспортных средств. Его и выбрала команда финалистов, описав реализацию подобного проекта от А до Я.

Начало работы

Целью любого кластерного анализа является поиск существующих структур. Так и в нашей задаче были даны изображения, которые нужно разбить на кластеры и интерпретировать каждый из них. В качестве исходных данных нам предоставили изображения транспортных средств разных типов, цветов, ракурсов и деталей. Исходные изображения были загружены в нейронную сеть, которая определила паттерны и построила модель, и эта модель отображается в виде вектора (дескриптора), полученного на промежуточном (скрытом) слое нейронной сети. Варианты дескрипторов, полученные с помощью глубокого обучения, были исходными данными для дальнейшей кластеризации: color_model, osnet, efficientnet-b7, type_model.

Для всех вариантов дескрипторов нужно было применить несколько алгоритмов кластеризации и сравнить полученные результаты. Сравнивать можно по метрикам и по тому, насколько хорошо кластеры интерпретируются.

Дополнительным плюсом было то, что среди изображений могли быть выделены выбросы (изображения плохого качества, изображения, на которых нет транспортных средств, и т. д).

Особенности выполнения задания

Не сразу удалось оценить всю сложность этого кейса. Казалось бы, набор данных есть, дополнительные фичи делать не нужно, вызываем всевозможные алгоритмы, и решение готово. Одними из главных вызовов этого задания были обработка больших массивов данных и проведение большого количества экспериментов в ограниченный срок.

Сначала проводилась работа по понижению размерности данных для увеличения скорости обучения моделей, но PCA давал малоинформативные результаты, а t-SNE из библиотеки scikit-learn имел низкую производительность. И тут на помощь пришёлRapids бесплатный open-source фреймворк для ускорения обработки данных от NVIDIA, в котором есть библиотека машинного обучения cuML. Задача была решена в Jupyter Notebook в Google Colab, так как в эту среду легко установитьRapids, а также использовать его совместно с GPU Tesla K80 с 13 Гб видеопамяти на борту.

Исследование набора данных color_model

Этот набор данных в виде csv файла из 416314 строк и 128 столбцов был получен при помощи модели регрессии для определения цвета транспортных средств в формате RGB. Это единственный набор, который было возможно использовать для проведения экспериментов без понижения размерности.

Кандидатами в лучшее число кластеров на основе метода локтя оказались 3 и 4.

По визуализации результатов кластеризации (кандидаты в лучшие кластеры) для стандартизированных и нормированных данных видно, что предобработка данных повлияла на результат кластеризации. Разделение на 2 и 3 кластера почти одинаковое вне зависимости от способа обработки данных, но есть разница в разбиении на 4 кластера.

Это увеличенные результаты кластеризации на данных, размерность которых была понижена при помощи t-SNE. Видно, что алгоритм пытается выделять кластеры и один из них синий отделил успешно, но в целом чёткой границы нет.

По итогам экспериментов мы визуализировали случайные картинки для каждого из результатов разбиения на 2, 3, 4 кластера.

Видно, что в зависимости от потребностей при 2-х, 3-х и 4-х кластерах вне зависимости от типа обработки можно получить кластеры:

[Светлый-Тёмный],

[Светлый-Тёмный-Цветной],

[Светлый-Серый-Тёмный-Цветной]

А что же другие алгоритмы? Мы попробовали также DBSCAN, и у него получилось выделить отдельно выбросы фото низкого качества. Это фото с включёнными фарами, вблизи и сзади. Интересный эффект кластер жёлтых автомобилей.

Видно, что, комбинируя K-means и DBSCAN, можно в зависимости от потребностей получить разбивку на цветовые кластеры с различной детализацией, а также выделить выбросы.

Исследование набора данных osnet

Следующим набором дескрипторов, на котором мы провели исследования, сталosnet.

Из условий задачи нам было известно, что для построения дескрипторов osnet использовалась нейронная сеть, обученная для повторной идентификации людей, животных и машин (reID). В отличие от type_model и color_model эта модель не обучалась на исходном датасете veriwild.

В связи с этим мы предположили, что модель, обученная на наборе дескрипторов osnet, должна объединять в кластеры объекты не только по цвету и типу транспортных средств, но и по другим признакам (например, ракурсу съёмки).

В связи большим размером данныхosnet(csv файл из 416314 строк и 512 столбцов) и ограниченности имеющихся вычислительных мощностей и сроков все эксперименты проводились на предобработанных данных с пониженной при помощи t-SNE размерностью.

Помимо простого алгоритма k-Means мы решили проверить Mini-Banch k-Means. Как и ожидалось, Mini-Banch k-Means справился быстрее, но качество кластеризации, показанное простым k-Means, оказалось лучше.

Как и на других наборах данных, оптимальное число кластеров определяли с помощьюметода локтя.Оптимальными кандидатами являются 3-й и 4-й кластеры.

После стандартизации данных на диаграмме визуально определялось более чёткое разбиение на кластеры, но друг от друга кластеры не были изолированы.

В завершение эксперимента мы пытались визуально оценить и интерпретировать результаты разбиения с помощью случайной выборки из 9 фотографий для каждого кластера.

В результате мы увидели, что при увеличении количества кластеров модель старается разделить выборку одновременно по цвету автомобиля и ракурсу съёмки.

Также мы увидели, что модель не разделила транспортные средства на отдельные кластеры в зависимости от типа: седан/джип/грузовик/автобус. Можно предположить, что другие параметры кластеризации позволят улучшить качество такого разбиения.

Особый интерес представляет способность модели выделять нестандартные кластеры. К примеру, нам показалось, что в одном из экспериментов модель выделила в отдельный кластер объекты с бликами и пятнами:

Исследование набора данных efficientnet-b7

Следующим этапом исследования было исследование работы модели на дескрипторе Efficientnet-b7. Этот дескриптор был самым большим по размеру (416314, 2560), данная модель классификации изображений обучена на Imagenet и до этой работы данных из veriwild не видела.

Было решено уменьшить размерность модели, чтобы была возможность в разумные сроки сделать кластеризацию на доступных компьютерах. Для этого применён метод t-SNE, как показавший ранее большую точность итоговых сжатых данных.

Далее модель быластандартизированаинормализована. Построенная после этого двухмерная визуализация, не разделённая на кластеры, выявила небольшие различия:

Затем кластеризовали данные на 2, 3, 4, 20 кластеров методом k-Means, как показавшим лучшие результаты на предыдущих моделях, описанных выше.

Аналогично описанию выше было определено исследуемое количество кластеров с помощью Elbow method clistering (метод локтя):

В силу схожей природы индекса Дэвиса Болдуина (ДБ) и метода локтя в данном исследовании взят индекс ДБ с его локтями в точках 9 и 20. Для того чтобы компенсировать недостаток данного индекса, заключающийся во влиянии масштаба данных на значение индекса, применена нормализация данных перед исследованием (craftappmobile.com).

Визуализация для нормализованной модели:

Результаты кластеризации (в виду большого числа картинок, все под спойлерами):

Кластер 0 светлые машины, задом.Кластер 1 тёмные машины.Кластер 2 светлые машины, передом.

Кластер 0 светлые машины, передом.Кластер 1 тёмные машины, передом.Кластер 2 светлые машины, задом много выбросов.Кластер 3 тёмные машины, задом много выбросов.

Кластер 0 светлые машины, передом, ракурс направо, внедорожник (вэн) много выбросов.Кластер 1 тёмные машины, задом, ракурс влево много выбросов. Кластер 2 светлые машины, задом, ракурс влево.Кластер 3 светлые машины, задом, ракурс вправо, внедорожник (вэн) много выбросов.Кластер 4 синие машины, передом, ракурс вправо.Кластер 5 белые машины, передом, ракурс вправо, внедорожник (вэн).Кластер 6 белые машины, задом, ракурс вправо, седан много выбросов.Кластер 7 белые машины, передом, ракурс вправо, седан много выбросов.Кластер 8 тёмные машины, передом, ракурс вправо много выбросов.

Кластер 0 красный, передом, влево много выбросов из-за сливающегося цвета фар.Кластер 1 т.-серый, перед, вправо, кроссовер.Кластер 2 синий, зад, вправо много выбросов.Кластер 3 белый, перед, вправо нет ошибок, кузов определён неточно: хэтчбек/кроссовер.Кластер 4 св.-серый, зад, вправо, седан.Кластер 5 т.-серый/чёрный, перед, влево, кроссовер.Кластер 6 белый, зад, вправо, кроссовер.Кластер 7 белые, перед, вправо, седан.Кластер 8 белый, зад, влево, кроссовер.Кластер 9 т.-серый, перед, вправо, седан.Кластер 10 т.-серый, зад, вправо, седан.Кластер 11 св.-серый, перед, влево, вэн. Кластер 12 св.-серый, перед, вправо, вэн.Кластер 13 белый, перед, вправо, седан.Кластер 14 т.-серый/чёрный, перед, влево, седан смешан с кластером 5.Кластер 15 белый, перед, влево, седан.Кластер 16 т.-серый, зад, влево, седан.Кластер 17 св.-серый, перед, вправо, кроссовер.Кластер 18 чёрный, перед, вправо, кроссовер много выбросов.Кластер 19 чёрный, перед, вправо, седан.

Выводы:

1. Модель кластеризации с 20 кластерами, определёнными методом локтя с помощью индекса Дэвиса Болдуина показала себя лучше, чем модели с меньшим количеством кластеров, и в целом достаточно информативно.

2. После кластеризации стало заметно, что стандартизированная модель кластеризует заметно с большим количеством ошибок, чем нормализованная.

3. Ошибок в кластере не более 33 % (3 из 9), но чаще 22 % (2 из 9), при этом всего кластеров с ошибками 40 % (8 из 20).

4. Следует отметить, что модель плохо различает данные (фотографии), когда фары и машина одного цвета: происходит больше ошибок.

5. Для упрощения работы с моделью можно применять методы уменьшения размерности, в частности, t_SNE показал лучший результат уменьшив размерность с (416314, 2560) до (416314, 2), что позволило использовать значительно меньшие мощности вычисления и получить вполне интерпретируемый результат.

6. Более подробного анализа выбросов в данном разделе не производилось.

Исследование набора данных type_model

Набор данных в виде csv файла, имеющего 416314 и 512 столбцов, был получен при помощи модели определения типа, и в целом работа с ним была аналогична работе с набором color.

Кандидатами в лучшее число кластеров на основе метода локтя оказался случай с 6 кластерами. При этом расчёты и визуализации также осуществлялись для большего и меньшего числа кластеров

Кластеризация проводилась как на стандартных, так и на нормированных данных.

Как и в случае с набором данных color, результаты кластеризации на данных, размерность которых была понижена при помощи t-SNE, целом не дают чёткого деления на кластеры.

По итогам экспериментов мы визуализировали случайные картинки для каждого из результатов разбиения на 37 кластеров.

В случае с 3 кластерами, несмотря на относительно чёткое разделение, значимой кластеризации добиться не удалось. Нормированные данные дают некоторое разделение по размеру автомобилей.

Кластер 0 седаны (небольшие авто),
Кластер 1 кроссоверы (джипы),
Кластер 2 микроавтобусы, автобусы (крупные авто).

В случае с 6 кластерами их условно можно идентифицировать следующим образом:

Кластер 0 седаны (вид спереди).
Кластер 1 джипы, хэтчбеки.
Кластер 2 мини-вэны.
Кластер 3 седаны (вид сзади).
Кластер 4 грузовики.
Кластер 5 хэтчбеки.

Ожидаемая кластеризация по типу кузова транспортного средства на основе подхода K-MEANS не была достаточно уверенной, однако подход для всех кластеров стабильно показывает кластеризацию по виду (спереди, сзади), например, седаны по виду спереди и сзади. Существует кластер для пикапов и мини-вэнов (кластеризация по размерам), хэтчбеки и джипы в остальных кластерах выделяются плохо. Автобусы появляются в 7 кластерах в группе с мини-вэнами с шумом от предыдущей кластеризации. Возможным решением является разделение отдельных кластеров на подкластеры.

Заключение

Несмотря на крайне сжатые сроки, поставленная задача была выполнена, и были получены интерпретируемые результаты, которые можно использовать в дальнейшей работе. У кого будут добавления смело делитесь ими в комментариях. Прилагаем ссылку на репозиторий вGitHub, а итоговый файл с разметкой кластеров расположен в репозитории и доступен поссылке.

Участники командыCloud_9:

• Екатерина Лушпина Team Leader / презентация / коммуникация / статья;

• Анастасия Сухоносенко Product Manager / план исследования / код-фреймворк / презентация / статья;

• Александр Кудрявцев Speaker, Team Member / исследование / презентация / спикер / статья;

• Наталья Авдеева Team Member / исследование / презентация / статья;

• Павел Озернов Team Member / исследование / техническая поддержка / презентация / статья.

Мы хотели бы выразить благодарность кураторам, преподавателям и экспертам за организацию Хакатона. Это был отличный опыт и возможность проявить себя в решении практических задач, а также получить оценку от профессионалов в своей сфере.

Примечание редактора

Если в вашей компании есть кейcы по Data Science, которые вы бы хотели решить в рамках хакатона или стать ментором пишите в личные сообщенияskillfactory_school. Также мы будем рады индустриальным партнёрам для наших программ и можем предложить им разные виды сотрудничества: членство в наблюдательном совете, экспертиза для создания курсов, стажировки в ваших компаниях для студентов и другие виды партнёрства. Давайте развивать Data Science вместе!

Узнать больше про нашу магистратуру можно на сайтеdata.misis.ruи вTelegram-канале.

Ну, и, конечно, не магистратурой единой!.. Хотите узнать больше проData Science,машинное и глубокое обучение заглядывайте к нам на соответствующие курсы; будет непросто, но увлекательно.

Узнайте, как прокачаться в других специальностях или освоить их с нуля:

• Профессия Data Scientist

• Профессия Data Analyst

• Курс по Data Engineering