Русский
Русский
English
Статистика
Реклама

PhysicalTechnologyи розовыйхакатонистория нашего проекта

Всем привет! Меня зовут АлександрБобко, я работаю менеджером проектов в инновационной лаборатории EPAM MadeRealLab. Это подразделение, которое занимается созданием быстрых прототипов иконцептовдля клиентов компании из самых разных отраслей. А еще команды лаборатории часто работают над разными социальными инициативами и проектами.

В своем первом посте наHabrя решил рассказать, как мы с коллегами приняли участие ввиртуальном хакатоне "Hack for Pink"и поделиться решением, за которое взялиГран-при. Речь о зеркале-домашнем помощнике при диагностикерака груди.

Но обо всем по порядку.С начала 90-хпроизводитель косметики и парфюмерииEsteLauderпроводит кампании по борьбе с раком груди и финансирует исследования в области заболеваний молочной железы. А ещепоследние пару леторганизовываетхакатоны, на которых предлагает всем желающим вместе искать способы победить онкологию и повышать осведомленность людейпри помощи современных технологий.

Идея сделать что-то в рамках "HackforPink" сразу запала нам в душу по нескольким причинам. Во-первых, это классная возможность применить свои знания и опыт, чтобы принести реальную пользу конкретным людям. Поэтому мы и раньше участвовали во многих волонтерских и социальных активностях. Например, в начале пандемии коронавируса мои коллеги изMadeRealLabпо своей инициативе разрабатывали и собирали прототип аппарата вентиляции легких, локтевые ручки, защитные маски и щитки для медиков и людей, чтобы передать технологии во всеобщее пользование.

Во-вторых, организаторыхакатонаразрешали использовать любые языки программирования, библиотеки и фреймворки, открытый исходный код дляпроектов. Это полная свобода творчества, что не может не привлечь. Спойлерпо итогу нашему решению на момент разработкиконцептане понадобилась ни одна строчка кода.

Команда

Основу составили ребята изPhysicalTechnology практики, которая занимается разработкой физических продуктов и устройств. Нетипичная для IT-компании гибридная командав Минскепоявилась около полутора лет назад и объединила инженеров и консультантов в областях электроники, медицинских, космических и других технологийиз6стран. А еще к нам присоединились коллеги из подразделенияInnovationconsulting,

С учетом экспертизы всех членов команды изначально планировалось сделать что-то осязаемое физическое устройство или прибор. В прошлом году коллеги изPhysicalTechnologyпрактики получили ISO сертификат на разработку медицинских продуктов, поэтому мы приступили к работе над идеей,со стартапонимая, как можно будет дальше перейтиот прототипа к полноценному продукту, когда это потребуется.

Творческий процесс

ХакатонEsteeLauderдлился 2 недели, над решением мы работали в свободное время.Как все проходило:сперва собрали командуэнтузиастов,дальше я организовал совместный воркшоп,чтобы подумать о существующих проблемах,побрейшнтормитьи прийти к нескольким звонким идеям на стыке инженерии и креатива. Обмен творческими флюидами проходил онлайн.Кто-то из участников не знал друг друга, таким составом мы раньше не креативили, анужно было найти общий язык, настроиться на одну волну и обдуматьважные моменты. В общем,челленджнепростой, но мы справились в течение нескольких часов.Такие сжатые сроки намне в новинку:частонасхожиепервичныесессиис клиентом у тебябывает меньше60 минут.

Прежде всего определили, на кого ориентируемся и какие проблемы есть у аудитории. У нас получились 4 группы потенциальных пользователей:

Потомврамкаххакатонадля участников бала организованасессиясдокторамикомандам рассказали о существующих технологиях для диагностики рака груди и отслеживания изменений по стадиям заболевания.Послемыдетализировалисвои идеи,отобрали несколько,проработали их и выбрали ту, с которой будем дальше работать.

C-Truemirror

Наша команда отталкивалась от распространенного среди целевой аудитории продукта страха посещения врача. Причиныдля бесконечного откладывания визита к специалисту могут быть разные:какдискомфорт во время процедуры,тревогапо поводувозможного диагнозаибоязнь неизвестного, так и классическиепредрассудки по отношению к посещению врача. Такой барьерво многих случаяхмешает получить консультацию и помощь на ранних этапах развития заболевания, если оно есть. Мы решили, что было быполезноиметь устройство, которое помогает обратить внимание на визуальные изменения в своем теле и учит самодиагностике, рассказывает о профилактике рака груди и регулярно напоминает о необходимости обследования. Все это без титанических усилий над собой и в комфортных условиях.

Развили мысль дальше и пришли к выводу, что в качестве основы для нашего решения идеально подойдет зеркало, потому что оно естьпочтиу каждого человека в спальне или ванной и с ним привычно взаимодействовать. Скомбинируем салгоритмамикомпьютерного зренияи машинного обучения, которые помогут определить места для диагностикии аномалии,технологиюmixedreality, чтобы проецировать наотражение человекаграфикуи интерфейс, добавим тепловизионные модули, датчики, камеруи получим удобное домашнее устройство C-Truemirror.

Мы задумали решение с вариативным набором технологий в разных комбинациях, где каждый из элементов выполняет свою роль:

  • Зеркалоосноваможет быть любой формы. Но с увеличением площади усложняется технологическая реализация. Потомучтокомпьютерному зрению нужнобудет распознавать, отличать и анализировать больше частей тела человека.В функциональном прототипе мы используем аналог умного зеркала со связкой монитор-зеркалоГезеллатаким образом,пользователь видит свое реальное отражение, а компьютерное зрение анализирует данные с камеры. Маркеры отображаются на мониторе и просвечиваются через настоящее зеркало.

  • Осветительная панель, закрепленнаяпо периметрузеркала,снижает погрешность диагностики, так как с ним уходит зависимости картинки от естественного света, который постоянно меняется. То есть условия для сканирования буду всегда практически одинаковы.

  • LIDAR, которыйактивно используется в геодезии и картографии для съемки объектов в высоком качестве исупердетализации. Такой модульможно также встретитьхоть вновомiPad, хотьв роботах-пылесосах. В нашемконцептетехнология поможет определить поверхностные изменения в текстуре кожи (например, появление углублений и припухлостей) и проанализировать их форму.

  • Инфракрасная камера будет измерять точечную температуру поверхностей тела (онаможетотличаться).Решение уже существуети,более того, есть публичныйдатасетдля обучения модели по распознаванию таких симптомов заболевания.

  • Контроллер(например,NvidiaJetson)запуститлокальную обработку визуальных данных для машинного обучения. Например, если камера найдет определенные шелушения, покраснения кожи или какие-то другие отклонения, то устройство сможет обработать эту информацию, сравнить с предыдущими данными и сделать выводы.Тут важно проводить обработку данных локальнодляприватности данных.

Были дебаты о вариантах реализации идеи. Мы обсуждали, что, возможно, лучше было бы сделать мобильное приложение, которое проводило бы диагностику по фотографиям, либо какую-топримочку к смартфону, которая бы помогала проводить нужный осмотр. Но тутдомашнеезеркало выигрывает, потому что оно реальное, стоит перед тобой, общается, предлагает и помогает с самообследованием. Пользователь видит себя в режиме реального времени, получает индивидуальные подсказки, взаимодействует с собой не по общей инструкции. А зеркало определит границы, параметры и показатели тела человека и потом сможет сравнивать их с предыдущими значениями.

ВперспективеC-TrueMirrorмог бы распознаватькаждого члена семьи (по аналогии стехнологией распознавания лиц в смартфонах) и запоминать данные по отдельности.Да и при помощи такого зеркала можно было бы проводить онлайн-тренировки или использовать для телемедицины.

В результате всенашипредположения подтвердились и получилихороший отклик от фокус-групп.

Воплощение идеи и презентация

Так как все члены команды уже работали с элементами и технологиями планируемого устройства, не было сомнений в том, возможно ли будет егоразработать исобрать.Еще мыпредварительно проконсультировались с коллегами изDataпрактики по поводу определения визуальных или температурных отклоненийспомощьюмашинного обученияв проекте не осталось чего-то непонятного или недоступного.В случае с машинным обучением многое зависит от наличия данных для обучения модели, но, в случае коллаборации с медицинскими институтами, этот вопрос также может быть решен.

Поэтому мы с уверенностью сосредоточилисьна демонстрации жизнеспособности идеи ивзаимодействияпользователяс C-TrueMirrorв реальности. За 1,5 дня нашли нужные детали,камеру,датчики,обрезали зеркало и собрали прототип. Потом сняли видеоролик, в которомвоссоздали интерфейс устройстваи показали его использование. Элементы дополненной реальности и часть задуманного функционала рисовали фломастерами, проекцию на зеркало делали прямо с манекена.

А еще инженеры из нашей команды описали архитектуру решения и сконструировали3D-модель, чтобы максимально точно показать судьям и коллегам, из чего будет состоит устройство, и иметь возможность обсудить все подробно. На основе модели мы составили полный список элементов, необходимых для сборки уже функционирующего прототипа.

Подготовке итоговой презентации тоже уделили большое внимание. Важно было донести суть нашего проекта и раскрыть потенциал прототипа. Мы тщательно проработали сценарий, спич и "перевели инженерную идеюна понятный язык.Вот, что получилось в итоге:

Перспективы и новые направления развития

Важно отметить, чтоC-TrueMirrorзадумывался какумный домашний помощник,а не инструмент для полноценной медицинской диагностики.Послехакатонамы много общались с онкологами и собирали от них обратную связь. Врачи подтвердили, что наше решение будет действительно полезным для пользователей в качестве инструмента популяризации регулярной самодиагностики. Да и компьютер может быстрее обратить внимание пользователя на неочевидные внешние изменения. А дальше уже идет территория медиков, потому что онкологию в принципе сложно диагностировать (тем более в домашних условиях): нужно проводить спектральный анализ, УЗИ, обследования, измерять температуру на глубине 3-4 сантиметров, использовать специальную технику и руками доктора делать пальпации.

Нанынешнемэтапемы сфокусировались на определении визуальных отклонений иmixedrealityкомпонентах, чтобы человек получал от зеркала обратную связь, проецированную на свое же тело. Сейчас командаиз инженеров по механике и электронике, разработчиков интерфейса иdata-scientistработает над функциональным прототипом. Апосле проведем тесты: для начала будем создавать искусственные визуальные изменения на теле и предлагать устройству их найти.

Мы планируем, что в будущем C-TrueMirrorможно будет использовать не только для диагностики груди, но и лица, определять проблемы и заболевания кожи, в том числе и онкологические.

БлагодарюколлегМихаилаИргера, Марину Дайнеко, РоманаАлиевича,АрамаМанукяна, Яна Федорова, Максима Цвика, Ольгу Полещук и Артема Панасенко заидеи, классную работу и вклад в создание этого проекта!

Источник: habr.com
К списку статей
Опубликовано: 01.04.2021 10:10:31
0

Сейчас читают

Комментариев (0)
Имя
Электронная почта

Блог компании epam

Хакатоны

Прототипирование

Physical technologies

User experience

Телемедицина

Категории

Последние комментарии

  • Имя: Макс
    24.08.2022 | 11:28
    Я разраб в IT компании, работаю на арбитражную команду. Мы работаем с приламы и сайтами, при работе замечаются постоянные баны и лаги. Пацаны посоветовали сервис по анализу исходного кода,https://app Подробнее..
  • Имя: 9055410337
    20.08.2022 | 17:41
    поможем пишите в телеграм Подробнее..
  • Имя: sabbat
    17.08.2022 | 20:42
    Охренеть.. это просто шикарная статья, феноменально круто. Большое спасибо за разбор! Надеюсь как-нибудь с тобой связаться для обсуждений чего-либо) Подробнее..
  • Имя: Мария
    09.08.2022 | 14:44
    Добрый день. Если обладаете такой информацией, то подскажите, пожалуйста, где можно найти много-много материала по Yggdrasil и его уязвимостях для написания диплома? Благодарю. Подробнее..
© 2006-2024, personeltest.ru