Обыденное представление о Deep Learning состоит в том, что для достижения успеха нужно хорошо знать математику и уметь программировать на Python. Но все становится немного сложнее, как только мы начинаем говорить о реализации нейросетевых решений в железе, где критична производительность. Мы пообщались с руководителем направления российского Исследовательского центра Samsung Вячеславом Гарбузовым, чтобы понять, как ускоряют работу нейросетей на аппаратном уровне, при чем тут компиляторы и какие знания требуются в этой редкой профессии. И самое интересное - какие вакансии в его подразделении открыты в настоящий момент.

Слава, привет! Расскажи о себе, чем занимается твоя команда сейчас.

Привет! Я руковожу управлением разработки ПО для систем на кристалле Исследовательского центра Samsung. Мы занимаемся разработкой SDK для ускорения исполнения моделей глубинного обучения (Deep Learning)на процессорах Exynos.

Кто твои непосредственные заказчики?

Наша работа связана с компонентным бизнесом и нашим заказчиком является Samsung Semiconductor. Мы ближе к земле.

Правильно ли я понимаю, чтомобильныйпроцессор Exynosв основном используется в телефонах Samsung и больше нигде?

Вовсе нет. Exynos используется в смартфонах других производителей. Кроме того, Exynos - это не только мобильные системы на кристалле (SoC). Есть микроконтроллеры, компоненты Интернета вещей. Крупные игроки на автомобильном рынке тоже заинтересованы в наших продуктах.

Расскажи про новый Exynos и AI-ускоритель в нем

Разработкой Exynos SoCи SDK к нему занимается подразделение Samsung System LSI (large-scale integration - высокоинтегрированные чипы). Узнать подробнее про новый Exynos 2100 можно извидеопрезентации. В разделе AI and Camera кратко рассказывается, что такое AI-ускоритель. Это железо для ускорения работы нейросетей. Обучение сети производится заранее, а исполнением (inference) как раз занимается это железо.

Что такое inference, что значит выполнить сеть на устройстве? Есть нейросеть, она уже натренирована. На вход готовой нейросети мы подаем картинку с собачкой или кошечкой, а на выходе это устройство дает 0 или 1. То есть наш сопроцессор не занимается обучением нейросети самостоятельно, его задача просто отработать готовую сеть.

Для работы нейросетевого сопроцессора нужен программный инструментарий. Такой инструмент есть, он называется Samsung Neural SDK.

Для каких задач это всё используется?

Применения в телефоне в основном связаны с камерой: живой фокус, ночная съемка, Bixby Vision, обнаружение лиц, улучшающее картинку.

Здесь забавно, что в этом году в S21 добавили фичу для детектирования домашних животных. Раньше алгоритмы не узнавали собак и кошек и не могли их обработать красиво. И вот эта проблема теперь решена.

Расскажи, как устроен этот AI-ускоритель.

Он состоит из двух частей:

1. NPU (Neural Processing Unit - обработчик нейросетей). Фактически это ускоритель операций с тензорами. Он умеет быстро делать свертки (convolution), пулинги (pooling) - набор операций, популярных в глубинном обучении.

2. DSP (digital signal processor - цифровой обработчик сигналов).Это процессор, специализированный под выполнение определенных задач. Его разрабатывают изначально под конкретные алгоритмы. Ребята проектируют этот DSP под распознавание лиц или под более широкий круг задач.

Это единый кластер в составе одной системы на кристалле. Для него мы и разрабатываемSDK. У нас две команды, одна работает над NPU, другая, соответственно, над DSP.

Какие компиляторные задачи у вас с NPU?

Компилятор для NPU - это та штука, которая превращает граф на выходе Deep Learning-фреймворка в последовательность процессорных команд. Отличие от обычного компилятора в том, что мы генерируем код не для CPU, а для нейросетевого ускорителя. Это другой процессор со своим языком. И чтобы вся система работала быстрее, мы оптимизируем ее на уровне компилятора.

В чем суть оптимизации? По большей части это memory allocation (оптимизация работы с памятью) и instruction scheduling (параллелизм на уровне инструкций). Наш процессор может несколько инструкций выполнять одновременно, например, считать ту же самую свертку и загружать данные для свертки. Мы должны сгенерировать код для этого процессора так, чтобы оптимизировать работу с памятью и максимизировать параллелизм.

А что с DSP? Какие задачи там?

Это уже более-менее похоже на традиционный процессор. Если свертку наш NPU умеет делать на уровне железа, то здесь мы должны эту свертку описать на языке C++ и исполнить на DSP. Зачем нужен отдельный сопроцессор, чтобы выполнять ту же самую свертку? Например, NPU занят в какой-то момент, и мы хотим параллельно решать другую задачу. Некоторые операции мы в принципе на NPU выполнить не можем.

У нас достаточно простой DSP, основанный на VLIW-архитектуре (very long instruction word очень длинная машинная команда). Особенность нашего DSP в том, что он аппаратно достаточно простой, и от компилятора требуется серьезная оптимизация.Мы делаем на базе LLVM компилятор для этого DSP.

Поговорим о других вещах. Где ты работал до Samsung?

Непосредственно до Samsung я работал в Topcon Positioning Systems и в Lynx Software Technologies. Занимался разработкой RTOS и инструментов.

Где и на кого ты учился?

Учился в МГУ на физика. Занимался ускорителями элементарных частиц, электронов в частности. Занимался автоматизацией физического эксперимента, системой управления для промышленного ускорителя.

Как помогает образование физика в твоей профессии?

В профессии руководителя это очень сильно помогает, позволяет смотреть на вещи широко.

Работая в твоем отделе, насколько важно хорошо разбираться в железе?

Достаточно важно. Иметь базовые представления нужно. Те, кто хорошо разбираются, хорошо справляются со своими непосредственными задачами, по моим наблюдениям.

А в глубинном обучении?

Базовое представление надо иметь. Я полагаю, что современные выпускники вузов это всё уже знают на определенном уровне. Это всегда хорошо иметь в бэкграунде. Например, курс Нейронные сети и компьютерное зрение Samsung Research Russia на Stepik я добавил в закладки, но пока не прошел. И кстати, вчера в рамках этого курса былалекцияна YouTube про Embedded Inference как раз на эту тему - "Мобильные архитектуры нейросетей и фреймворки для их запуска".

Когда мы начинали этот проект в 2018 году, мне сказали: нужен компилятор для Deep Learning. Нам потребовалось найти людей, которые одновременно умеют и в Deep Learning, и в железо, и в компиляторы. И это сложно, потому что таких людей очень мало. Потом мы поняли, что требование знания Deep Learning не столь критично, всё-таки заказчики от нас просили только компилятор.

С выпускниками каких вузов тебе интересно работать?

Мне приятно работать с выпускниками МФТИ, особенно с теми, которые прошли через базовые кафедры ИСП РАН или Intel. У нас в отделе достаточно много ребят из Intel. По факультетам - ФУПМ, ФРКТ. Если говорить о других вузах, то это и МГУ - забавно, что много моих знакомых компиляторщиков заканчивали физфак. Также это ВШЭ, где есть МИЭМ, там учат проектировать железо, FPGA. А компиляторы можно условно рассматривать как часть железа в принципе.

В нашем Исследовательском центре мы проводили вечернюю школуSamsung Compiler Bootcamp, и , в основном, в ней учились студенты из Бауманки, МГУ и Вышки.

На тему FPGA - полезно ли это изучать?

Как бэкграунд - да, это правильно.

А вообще, много ли таких центров в Москве, где занимаются компиляторами?

Intel, JetBrains, Positive Technologies, Huawei. Из российских - МЦСТ, которые Эльбрус, они тоже компиляторы делают. Например, Роман Русяев, наш коллега из Исследовательского центра Samsung и разработчик компиляторов, как раз оттуда пришел (см. егостатьюна Хабре о Concept-Based Polymorphism), он часто выступает на конференциях и пишет статьи.Он активный участник C++ Community. Например, вот пара его выступлений где затрагивается тема оптимизации при помощи компилятора :"Исключения C++ через призму компиляторных оптимизаций","Настоящее и будущее copy elision".

Но нужно отметить, что разработчики компиляторов - люди очень редкой профессии, на которых сейчас просто колоссальный спрос.

О каких мировых трендах в компиляторов можно сейчас говорить?

Можно выделить такие тренды:

1. Доминирование проекта LLVM

2. Обобщение компилятора для различных предметных областей посредством универсального промежуточного представления (MLIR)

3. Объединение различных инструментов для анализа и преобразования кода (компиляторов, анализаторов, performance estimators, линтеров и пр.) в рамках одного проекта

4. Активные попытки использования высокой науки в промышленных компиляторах (formal verification, polyhedral optimizations, более подробно встатье)

Какие требования к соискателям, будущим разработчикам компиляторов, ты бы озвучил?

Обязательные требования: знание С/С++ на хорошем уровне. Понимание того, как устроены компиляторы, опыт их разработки. Понимание устройства операционной системы. Умение разбираться в больших объемах чужого кода. Навыки отладки embedded-устройств. Знание практик программной инженерии - непрерывная интеграция, ревизия кода, отслеживание задач. Владение скриптовыми языками - Bash или Python.

Помимо технических требований, важно умение работы в команде, быть адекватным человеком. Нужно иметь широкий кругозор, быть профессионалом. Уметь быстро адаптироваться - мы работаем на крайне конкурентном рынке, требования заказчиков меняютсячасто и неожиданно. Хорошо знать английский язык. Уметьвежливо общаться. Понимать, что мы предоставляем сервис. Кому-то это не нравится, а кому-то вполне нормально. Не нужно быть токсичным.

Работая в международной компании, как складывается коммуникация с иностранными коллегами? Как вы решаете вопросы взаимодействия с коллегами в пандемию?

Мы активно взаимодействуем с командами из других стран Корея, Китай, Индия, Израиль, США. До карантина они частенько приезжали к нам в гости, а мы к ним.

Даже сейчас очень много коммуникации. Каждый день видео-планерки, чтобы люди не теряли фокус. У нас уже давно существует виртуальная лаборатория с удаленным доступом к образцам "железа". В этом смысле мы были готовы к работе извне. Мы уже привыкли работать в распределенной команде, поэтому для нас это стрессом не было.

Какие книжки о компиляторах ты бы посоветовал?

Коллеги рекомендуют начинать с "Modern Compiler Implementation in ML", автор Andrew W. Appel.

Какие твои любимые книги о программировании вообще?

Керниган и Ричи Язык программирования С. Они классные. Еще Керниган и Пайк, Практика программирования. Там настолько все четко сделано.

Что скажешь об онлайн-курсах?

Если говорить о курсах по смежным темам, то по глубинному обучению это курс Samsung о нейронных сетях в компьютерном зрении, и известный курс Эндрю на (Andrew Ng). Полезенкурс по С++от Яндекса.

LLVM или GCC - что полезнее изучать?

LLVM. Он более распространенный, и порог вхождения считается ниже.Кроме того, в этом проекте активно используются последние нововведения языка C++ и современные практики программирования. Мы, кстати, сейчас ищем разработчика, который знает LLVM.

Какие инструменты командной работы используете?

Используемgit, точнее корпоративный github. Важно сказать, что мы делаем Code Review, и это неотъемлемая часть работы наших инженеров. Здорово, что все друг другу помогают и делятся знаниями. Также мы делимся знаниями с помощью Confluence, у нас есть вики-портал с внутренней документацией по нашим разработкам. Есть Jira для отслеживания задач. И есть свой чат на основе Mattermost, то есть практически Slack - без него на удаленке мы бы вообще не выжили. Исповедуем ContinuousIntegration, а также автоматизируем все, что можно автоматизировать.

А что насчет методов Agile?

Мы не привязаны к какой-то конкретной методологии. Берем полезные практики, которые подходят нашему проекту, из разных методологий. Например, из скрама мы берем Daily Scrum - ежедневные собрания. У нас есть итеративное планирование. И так далее.

Не могу не спросить. А вот во время пандемии, когда все по видео общались, вы все равно Daily Scrum стоя проводили?

Ну нет, всё-таки все сидели.

Сколько у вас длится Daily Scrum?

От 15 минут до часа, потому что иногда он перетекает в технические дискуссии.

Что еще интересного бывает?

Регулярно проходят онлайн-семинары. Коллеги из разных центров компании рассказывают о своих задачах, обсуждаются технические решения. Мы тоже участвуем, конечно. Также проводим внутренние семинары для сотрудников московской команды. Обмениваемся знаниями, изучаем опыт других. Например, в настоящий момент у нас в Исследовательском центре проходит серия семинаров про алгоритмы аллокации памяти.

----

А сейчас самое интересное: ВАКАНСИИ!

У нас открыты две вакансии, соответственно поNPUи поDSP. Если вас заинтересовало, откликайтесь на вакансию прямо на HeadHunter, и возможно, мы с вами встретимся на собеседовании.

Вопросы задавала: Татьяна Волкова, куратор трека по Интернету вещей социально-образовательной программы для вузов IT Академия Samsung

Отвечал: Вячеслав Гарбузов, руководитель направления, российский Исследовательский центр Samsung

Предлагаем вашему вниманию текстовую версию видео лекции Станислава Полонского, посвященная сенсорике в Интернете вещей. Станислав - физик, кандидат физико-математических наук, начальник управления перспективных исследований и разработок в Исследовательском центре Samsung. Много лет жил и работал в США.

Это лекция вводного уровня, рекомендуется студентам и начинающим инженерам и программистам. В ней будет обзор существующих сенсоров и технологий Интернета вещей в приложениях Умного дома и персонального здоровья, а также размышления автора о том, что интересует лично его в этой сфере, и советы на будущее тем, кто еще только задумывается о создании своего устройства. Будем обсуждать, как измерять пульс, вариабельность сердечных сокращений, насыщенность крови кислородом - и можно ли превратить собственную квартиру в измеряющую среду.

Добрый день, меня зовут Стас Полонский, я представляю российское подразделение Samsung, управление перспективных исследований и разработок (Samsung Advanced Institute of Technology).

Сперва я хотел бы обратить внимание, что прежде чем говорить о сенсорах, науке, технологиях, необходимо найти потребность. Нужна ли ваша идея, нужно ли ваше приложение? Как выйти на потребителя, на людей, которым потенциально ваша идея нужна, и с чем выйти? Есть термин минимальный жизнеспособный продукт (MVP). Какие минимальные движения вы должны предпринять, чтобы проверить на практике, нужна ли ваша идея?

Моя лекция из четырех частей:

1. Потребности. Я расскажу, как мы представляем эти потребности без проверки рынков, исключительно исходя из того, что описывается в прессе. Посмотрим, как так называемая кривая шумихи Гартнера видит использование Интернета вещей. Поговорим о том, чего москвичи ожидают от Интернета вещей, более точно - от Умного города как его части. Оказывается, что людей очень сильно волнует Интернет вещей в применении к здоровью

2. Сенсоры в медицине. Я приведу примеры сенсоров, которые могут быть полезны для Интернета вещей в области персонального здоровья: как измерить пульс, как измерить электрическое сопротивление нашего организма - называется импеданс - и для чего это нужно, и, наконец, как при помощи носимых сенсоров измерить электрокардиограмму, электроэнцефалограмму.

3. Сенсоры для Умного дома. Мы поговорим о газах, о запахах, которые бывают в доме, бывают неприятными и опасными. Еще одна интересная тема - мы постоянно теряем вещи, и мне кажется, было бы абсолютно классно, если бы мы могли эти вещи находить при помощи Интернета вещей.

4. Пожелания. Мое личное мнение, какие проекты было бы классно сделать. Может быть, у них есть шанс найти своего потребителя.

Потребности

Итак, начинаем. Что такое кривая шумихи Гартнера? По оси X время слева направо, и по оси Y - ожидания.

В самом начале кривой возникают новые красивые идеи. Они плохо разработаны и пока плохо понятны. Вначале мы всегда встречаем их с энтузиазмом, и наши ожидания от технологии быстро возрастают, соответственно финансирование этих идей улучшается. Мы лучше понимаем эти идеи, и через какое-то время становится ясно, что не все из них сработают, не все из них нужны. Что начинается после достижения максимума ожиданий? Мы видим так называемую Долину смерти. Многие технологии здесь погибнут и никогда не выживут. Только часть, пройдя Долину смерти - здесь это даже не показано, потому что их так мало - в какой-то момент очень маленькая часть технологий доходит до промышленности.

Почему я показываю эту кривую? Здесь достаточно много технологий, связанных с Интернетом вещей. Я выделил их красным:

• Паспорт здоровья: здесь, мы ожидаем, Интернет вещей может помочь нам.

• Цифровой двойник человека. Очень похожая вещь. Компьютерная программа, структура данных, которая более-менее описывает, что происходит с человеком, но на каком-то примитивном уровне, скорее всего, на уровне физиологии. Необязательно таскать человека к врачам, вдруг наши алгоритмы помогут нам. Я надеюсь без врачей понять, что же происходит сейчас с человеком.

• Технология социального дистанцирования. Очень модная, и может быть, она окажется полезной. Есть очевидный запрос и очевидно простая реализация.

Ключевые идеи, которые хотелось бы здесь донести:

1. Интернет вещей пока еще не взлетел, пока что это много надежд, небольшие приложения, но повсеместного использования нет.

2. Мы говорим о сенсорике Интернета вещей. Сенсорика - эта физика, и за двести-триста лет развития физики мы изобрели массу сенсоров. По всей видимости, особой нужды изобретать новые сенсоры у нас нет. Но важно посмотреть, как существующие сенсоры могут быть вписаны в новые модели, сценарии использования, которые позволят продавать. Я напоминаю: как инженеры, мы хотим не только делать вещи, но и продавать их. Этим занимается не только отдел продаж, инженеры тоже должны об этом беспокоиться.

Итак, давайте двигаться дальше. Что думает Москва? Это слайд из стратегии Москва - Умный город 2030, и здесь показаны проценты по опросам, какие технологии больше всего нас волнуют. Это на 64% персональная медицина, и на втором месте всего на два процента меньше, это Умный дом. Другие технологии в принципе не так сильно отстают по процентам.

Понятно, москвичам хочется всего и сразу, но тем не менее на первом месте это персональная медицина и умный дом. Поэтому мы и сосредоточимся на этих двух темах. Москвичи, и скорее всего все россияне и весь мир, возможно, действительно хотят иметь Интернет вещей, помогающий персональной медицине или Умному дому, но для меня пока совершенно не очевидно, что люди готовы платить за это.

Сенсоры в медицине

Сенсор пульсовой волны

Какие существующие сенсоры могут быть использованы для персональной медицины? Например, это сенсор пульсовой волны. Научное название - фотоплетизмография, часто используется аббревиатура PPG. Картинка выглядит сложно, но на самом деле это просто сечение пальца.

В зависимости от того, как сокращается сердце, наполняемость кровью в пальце может быть большой или маленькой, и это показано двух смежных картинках слева и справа. Почему это важно: когда мы пропускаем свет через палец, наполненность кровью пальца измеряется оптически, исходя из того, как свет проходит сквозь палец. Это необязательно должен быть палец, это может быть ухо или другие части тела. Мы можем вытащить пульсовую волну, она показана здесь внизу со своими характерными частями.

Да, это не просто синус, это сложная форма, она часто говорит врачам о том, что с нами происходит. Причем анализировать волну могут и умные алгоритмы. Что конкретно мы при помощи этого датчика измеряем? Прежде всего, пульс. Достаточно ли пульса? Не всегда. Например, можно посмотреть, насколько регулярен пульс, как часто меняется скорость сокращений сердца, это называется вариабельность (heart rate variability, HRV). Еще можно измерить насыщенность крови кислородом, эта переменная называется SpO2. Это, пожалуй, основное.

Небольшое лирическое отступление: мечта разработчиков оптических сенсоров - измерить сахар в крови. Это важно для диабетиков, это важно для контроля, как и что мы едим, но, насколько я понимаю, это очень сложная задача, и сейчас она еще не решена. Так что давайте думать больше про то, как часто сокращается наше сердце - это пульс, как меняется частота сердечных сокращений и насколько наша кровь насыщена кислородом.

Это была теория, а теперь перейдем к практике. Что можно сделать на основе сенсоров пульсовой волны? В медицине они широко используются. В поликлинике на палец надевают оптическую прищепку, и она измеряет сокращение сердечной мышцы. Но всё-таки это узкоспециализированные вещи.

Можно ли вытащить эти сенсоры и проникнуть на потребительский рынок? Это делается, к примеру, в носимых устройствах. Например, на корпусе часов Samsung Gear S3 Frontier есть небольшое окошечко, там стоят оптические элементы, которые светят на руку и вытаскивают эти данные.

Я не думаю, что это очень важно абсолютно всем. Может быть, важно для атлетов. Но мы экспериментируем, смотрим, что конкретно можно сделать, какие проекты возможны. Например, в медицине пока что большинство датчиков с проводом - неприятно, неудобно, если вы лежите в кровати и повернулись на другой бок. Все ли можно сделать беспроводным через WiFi и Bluetooth? В принципе, была хорошая идея и даже есть попытки стандартизации - американское министерство здравоохранения говорит на эту тему уже несколько лет.

Что можно сделать для потребительского рынка: любопытно, что стресс и вариабельность сердечных сокращений связаны между собой, и можно оценивать стресс. Более того, существует биологическая обратная связь - знание этих характеристик может оказать влияние на наше поведение. Можем ли мы из этого сделать какую-то увлекательную игру, конечной целью которой будет, естественно, управление нашим стрессом? Мне кажется: почему бы не попытаться встроить все эти датчики в мебель, в окружающую среду, стулья, столы, это было бы интересно.

И еще чуть-чуть о возможных используемых технологиях. Частоту сердечных сокращений не обязательно смотреть измерительным прибором, прикладывая его к руке, пальцам. Видеокамера, наблюдая нас, видит, как микроскопически меняется цвет лица в зависимости от сокращений сердца. Эта информация вытаскивается, и она не такая точная, как носимый сенсор, но тем не менее может оказаться важной для отдельных приложений. Сейчас радары используются не только у военных и на аэродромах. Создаются микросхемы, которые при помощи радара могут измерять частоту сокращений. XETHRU - пример компании, которая занимается такими радарными микросхемами.

Подведу итог: если вас интересует измерение частоты сердечных сокращений, то в этой задаче используется не только оптика, но и видеокамера, и радиодиапазон.

Измеряем сопротивление

Теперь рассмотрим сенсор электросопротивления организма. По-научному это называется биоимпедансометрия. Импеданс - термин из электроники, связывает токи и напряжения. Био, потому что мы не кусок металла, не графитовый стержень - мы сложный объект, и наше сопротивление зависит от ряда факторов: насколько мы полные или тощие, сколько в нас воды; более того, на разных частотах наше сопротивления отличается, не константа.

Посмотрим несколько примеров, как измеряется импеданс. Вот эта большая колонка может находиться в клинике.

Вот пример умных часов, которые измеряют ваш импеданс.

Если не вдаваться в подробные объяснения, то вот эта чашка на картинке ниже - это клетка нашего организма, и на схеме показано, что даже на уровне элементарной биологической клетки в нас есть сопротивление и емкость. Клеточная мембрана - это кожура, это стенки чашки, они фактически непроницаемы для электрического тока. С точки зрения электроники они представляют собой емкость в зависимости от того, в каком состоянии клетка принимает и выпускает ионы. Когда мы измеряем сопротивление, можно сказать многое о том, какие процессы происходят внутри нас.

Эта тема имеет много приложений: можно ли предсказать появление и развитие болезней, и так называемый основной обмен веществ, то есть сколько калорий мы сжигаем. Мы ведь сжигаем их не только, когда упражняемся в тренажерном зале, но и когда сидим, и это тоже важно знать. Как мы потребляем наши калории? Всё это широко используется для спорта, либо врачами-диетологами. Это интересные темы, они есть на рынке. Насколько они удачны или нет, тяжело судить. Но кто сказал, что у вас не будет своих хороших идей, которые бы вы смогли довести до рынка?

Я хотел бы предложить идею. Как правило, мы говорим либо о специализированном оборудовании для импедансометрии, либо про умные часыносимые устройства. А можно ли те же самые измерения проводить в окружающей нас среде? Можно ли сделать умный стол, кресло, кровать, либо даже пол, который бы проводил эти измерения? Я к этому вернусь позже, но сейчас я отмечу одну вещь. Когда мы говорим про Интернет вещей, то самое последнее, что я хотел бы сделать как инженер, это заставлять человека активно использовать датчики, обвешаться ими, надеть на шею, на уши, на руки. Не думаю, что это сработает. Мне ближе идея прозрачности, когда среда, окружающий вас мир не вызывает у вас негативных эффектов, и не заставляет вас думать - как, к чему подключиться. Мне кажется, это одно из требований к технологиям будущего. Они должны быть неинвазивными и прозрачными для нас как пользователей.

Измеряем электроактивность

Давайте перейдем к другим датчикам, связанным с нашим здоровьем: сенсор электроактивности организма. Это может быть электрокардиография: мы смотрим, как сердце ведет себя электрически, либо электроэнцефалография - это про наш мозг. Здесь очень простая теория: подключить электроды к поверхности нашего тела и смотреть, какие токи и напряжения у нас возникают. Можно измерить электрическое расстояние между различными частями тела, и чем больше измерительных точек мы используем, тем точнее будут наши измерения.

Тут я снова призываю помнить о том, что в быту это вряд ли сработает. Если вы в госпитале, либо вы профессиональный атлет, желающий улучшить свои показатели, то может быть, вы этим воспользуетесь. Но для большинства из нас обвешаться датчиками сложно, и вряд ли кто-то будет это делать в повседневности. Лучшее приложение, по всей видимости, будет наименее инвазивным, чтобы не не мучить пользователя бесконечным измерениями.

Давайте посмотрим, какие приложения датчиков электроактивности организма есть. Скорее всего, вы хотя бы раз в поликлинике снимали электрокардиограмму.

При помощи электрических датчиков можно измерить также частоту сердечных сокращений либо вариабельность. Для атлетов очень важен режим, с какой частотой бьется сердце. В принципе, это идея старая - фитнес-трекер. По всей видимости, в будущем будут найдены способы не просто измерить свою частоту сердца, но и сделать какие-то более серьезные рекомендации, которые реально помогут человеку стать более тренированным, сбросить вес. Идея фитнес-трекера не нова, но качество современных фитнес-трекеров не идеально, поэтому я и предлагаю обратить внимание на эту тему.

Умный дом

Итак, мы обсудили три сенсора для персонального здоровья, и сейчас мы переходим к Умному дому.

Газовые сенсоры

Мне бы хотелось выделить для начала газовый сенсор. Какие газы нас волнуют? CO2 - углекислый газ. Мы не хотим находиться в помещении, где много углекислого газа. Если у нас газовая плита, то если в комнате появляется CH4 - метан - это проблема, может быть взрыв. Другие взрывчатые вещества тоже хотелось бы определять. Как это делается? Хорошо известен оптический способ, или, я бы даже сказал, спектроскопический, когда поглощение молекулами газа на определенной длине волны связано с концентрацией этого газа.

Бывают датчики электрохимические: взаимодействие молекул газа с поверхностью нашего электрического прибора может быть зарегистрировано электрическим способом.

Наиболее футуристический, и мне безумно интересен, третий вариант, когда используется система обоняния человека, насекомых, животных - биологический. Тут важно сказать, что в случае первых двух сенсоров мы можем определять только простые вещи типа углекислого газа. Клетка же, в отличие от других сенсоров, чувствительна к запахам, которые важны для людей: запах протухшего мяса, запах духов - это реально важные для нас запахи. Использовать генетически модифицированную обонятельную клетку - очень интересная тема, в ближайшем будущем возможно будут большие прорывы.

Я хотел бы обратить внимание вот на что: посмотрите, компьютеры распознают речь, зрение, это все подвластно анализу инженеров, но с запахами ситуация совсем пока не блестящая. Нам по-прежнему нужны люди-эксперты, если мы говорим про духи, никакой автоматизации распознавания запахов пока что нет. Тема исключительно интересная!

Вот идеи для студенческих проектов: отслеживание качества воздуха,углекислоты и утечки опасных газов. Еще один пример - контроль качества продуктов. У вас в холодильнике прокисло молоко, как об этом сообщить пользователю? Т.е. важно применение сенсора в неком устройстве, а не сенсор сам по себе.

Из примеров устройств. Как насчет рекуперации воздуха в помещении? Если концентрация углекислоты поднялась, не пора ли автоматически проветрить помещение? Если такие продукты на рынке есть, то насколько они идеальные, насколько они встраиваются в существующую инфраструктуру - большой вопрос. Повторюсь, важно не что-то потрясающее и новое, а что-то, что продается.

Поиск предметов

Не знаю, как вы, а я регулярно теряю вещи, поэтому любая автоматизация поиска потерянных вещей - ключей, книжек, компьютеров, собак, кошек - очень интересная тема. Опять же, нельзя сказать, что на рынке этого нет. Мы можем искать что-то вблизи, в масштабах нескольких метров, но если кошка или собака убежала, нам уже нужны километры. Вся эта тема, мне кажется, готова для коммерциализации.

Если начать с самых простых решений, то стоит сказать о пассивных RFID-метках. Это просто небольшая антенна, связанная с микросхемой, наверняка вы видели их на товарах в магазинах.

Другое решение - поставить GPS-сенсор, прикрепить его на машину или на кошку, и узнать, где она, даже во многих километрах от нас.

А если необходимо будет искать потерянные вещи на больших расстояниях? Скорее всего нам понадобятся батарейки. Хорошо, если батарейки хватит на несколько месяцев, но, например, в случае GPS-геолокации, она может служить только пару дней. И это плохая новость для нас, инженеров. Для такого кейса неприемлемо, чтобы пользователь часто менял или заряжал батарейку, и это нерешенная проблема. Если вначале я говорил, что для сенсоров все технологии известны и нужно найти лишь приложение для них, то здесь я бы сказал, что есть место для хорошей физики и радиоэлектроники.

Какие еще идеи для проектов я бы хотел предложить? Может быть, это звучит футуристически, но если будет решена проблема с батарейками и мы можем пометить вещи, то возможно компьютерная система сможет навести порядок, если вы не способны сделать это сами? Может ли система запомнить, что такое порядок, когда вещи находятся на своих местах, и если вдруг вещь окажется не на своем месте, система вежливо нас попросит положить эту вещь на место? Это реально моя любимая идея, мне кажется, здесь очень большие приложения, потому что мы не самый аккуратный биологический вид на этой планете, и мы постоянно боремся с бардаком в доме и на работе. Если мы сможем электронным способом навести порядок, это было бы классно.

Заключение

Итак, давайте посмотрим, о чем мы сегодня говорили. Мы поговорили о том, какие направления Интернета вещей нам интересны: это персональное здоровье, это Умный дом. Мы коротко обсудили, какие сенсоры для этого используются и дали примеры, как эти сенсоры могли бы быть встроены в приложения, которые потенциально могут найти своих потребителей.

Я хотел бы дать вам несколько рекомендаций. Прежде всего - ориентироваться на коммерческий успех. Если вы инженер, я бы не рекомендовал слишком сосредотачиваться на науке, на формулах. Начните с покупателей ваших идей. Инженерия - это не просто создание вещей, она начинается с продаж. По моему мнению, инженер, не думающий о продажах, по всей видимости, не самый лучший инженер.

Далее, при создании ваших решений Интернета вещей, я рекомендую руководствоваться следующими принципами.

1. Прозрачность: ваше решение не должно менять стиль жизни, образ жизни потребителя. У людей уже есть наработанные привычки, и если для использования вашего нового продукта их нужно поменять, вряд ли они будут пользоваться вашим устройством. Поиграться с ним - да, но вашим постоянным потребителем он вряд ли станет.

2. Беспроводность: если у вашего устройства есть провод, скорее всего, вы не сможете это никому продать. И тут возникнет беспроводная передача и мы переходим к третьему принципу.

3. Защита данных. Используйте криптографию с самого начала; что бы вы ни делали, ваши данные должны быть защищены! Тем более, если мы говорим о таких чувствительных вещах, как персональная медицина.

4. Эффективное энергопотребление. Как я уже говорил, если вы хотите использовать батарейки, подумайте, как часто потребитель захочет менять их? Ваш продукт должен быть настолько энергоэффективным, чтобы он работал на батарейке многие годы, либо вы могли использовать методы передачи энергии на расстоянии.

Я хотел бы завершить лекцию, с моей точки зрения, идеальным устройством - Умной розеткой! Реально, когда я думаю про умную розетку, она удовлетворяет всем принципам, о которых я только что говорил: прозрачность и беспроводность. По определению, в розетке всегда есть электричество, вам не нужно думать о батарейках. Вы не добавляете ничего нового, вы не навешиваете ничего на себя. И если в этой розетке сделать модульную систему и добавить разъемы для новых расширений, мне кажется, это могло бы быть удачной идеей для стартапа.

Повторяю, это не новая вещь. Но умные розетки есть пока что не в каждом доме - в ваших руках сделать так, чтобы умные розетки были везде. Какие расширения этой розетки можно предложить? Из примеров по Умного дома: это датчики газов. Можно встроить поиск предметов в розетку. Чтобы найти положение вещей, нужно делать триангуляцию, то есть посмотреть расстояние до разных розеток, и узнать, где находится эта вещь, и мне кажется, в случае розеток это абсолютно возможно.

Если есть вопросы, пишите в комментариях. Я и мои коллеги в Samsung Research Russia всегда рады пообщаться с талантливыми интересующимися людьми.

Видео лекции

Авторы

Станислав Полонский Начальник управления перспективных исследований и разработок Исследовательского центра Samsung

Татьяна Волкова Автор учебной программы трека по Интернету вещей IT Академии Samsung, специалист по программам корпоративной социальной ответственности Исследовательского центра Samsung

Ссылки

Если вам понравился материал, то ознакомьтесь и с другими статьями тех же авторов:

1. Статья Татьяны Волковой График Гартнера 2019: о чём все эти модные слова?

2. Статья Станислава Полонского 5G - где и кому он нужен?

Всем привет!

Некоторое время назад мы с партнерами IT Академии Samsung запустили открытый онлайн-лекторий Samsung Innovation Campus по Интернету вещей. В видеолекциях для студентов и новичков мы решили дать правильное, с нашей точки зрения, представление об этой сфере. И это не про обывательское представление о том, что Интернет вещей - это умные чайники и говорящие холодильники и не про пафос цифровизации и мировых перспектив Индустрии 4.0 (тут без нас много сказано). Это про то, что Интернет вещей - это серьезная промышленная область с по-настоящему сложными, масштабными задачами.

О чем были прошедшие еженедельные лекции (записи доступны в YouTube), и о чем еще хотим рассказать в рамках этого небольшого открытого образовательного проекта, читайте под катом.

Интернет вещей в России - область молодая, и университеты еще не успели создать учебный материал для нее. Чтобы работать в IoT, требуются знания нескольких инженерных дисциплин. Но спустя несколько лет эксплуатации IoT-систем, на растущем рынке появилось понимание, почему важно учить кадры, и как усилия архитектора экономят огромные деньги на масштабах даже в сотни устройств.

Не всё гладко с методическими материалами и в целом взглядом на Интернет вещей. Это неудивительно, ведь тема обширная, и авторы пишут о ней в частном контексте своих компетенций и интересов. Например, популярен подход, при котором Интернет вещей рассматривается исключительно как отрасль телекома.

Нам более близка позиция организаторов конференции InoThings++, которая проходила в течение двух лет в 2018-2019 годах (записи выступлений спикеров здесь в свободном доступе на YouTube): каждый доклад раскрывал бизнес-, либо технологическую сторону Интернета вещей в России, а иногда и то, и другое вместе. Спикеры тщательно отбирались и были с конкретным опытом: сами участвовали в разработке и внедрении решений. Однако эти материалы сложны для новичков. Они рассчитаны на подготовленную аудиторию, которая не просто владеет терминологией, но и имеет представление о затрагиваемых технологиях. А есть ли что-то более простого уровня?

Samsung с 2017 года реализует образовательный проект IT Академия, в котором есть трек по Интернету вещей. Это годовой практико-ориентированный курс для студентов вузов-партнеров проекта, который состоит в основном из учебных кейсов и лабораторных работ. На данный момент среди партнеров - 22 вуза по всей России. Однако нам то и дело задают вопрос: как принять участие в проекте, если я - не студент вуза-партнера?

Концепция лектория

В этом году мы решили двигаться навстречу широкой публике и сделать открытый лекционный курс. Мы открыли онлайн IoT-лекторий и выстроили к нему последовательную программу с движением снизу вверх. К такому решению пришли не сразу, рассматривалось несколько классификаций:

1. По компонентам системы,

2. По навыкам: железо, софт, обработка данных,

3. По проектной работе и сферам, которые must-have, но они надпроектные (например, безопасность, дизайн, стандартизация).

Основной труд по разработке программы лектория взяла на себя Ксения Сизова - менеджер проектов компании RedBees. Именно практический опыт Ксении был для нас очень важен, она прекрасно знакома с этим бизнесом и его спецификой в России. Кроме того, у нее есть и методический опыт: уже второй год она курирует обучающую программу IoT AM - проект для студентов вузов Санкт-Петербурга, нацеленный на подготовку стартапов и бизнес-ориентированных команд.

Мы решили охватить примерно такой круг тем в следующем порядке:

1. Общий обзор систем IoT

2. Оконечные устройства

3. Транспортные сети

4. Программная часть

5. Облачные технологии

6. Жизненный цикл проекта

7. Безопасность

8. Дизайн и UX

9. Data Science

10. Стандартизация

Несложно заметить, что в целом этот список тем повторяет типичное устройство IoT-системы и общий круг вопросов, о которых так или иначе необходимо думать при ее создании.

Далее мы расскажем о реализации этого плана, и что удалось сделать в рамках лектория на настоящий момент.

Курс лекций

Все лекции доступны для просмотра в плейлисте Samsung Innovation Campus IoT Lectorium.

Лекция 1. Архитектура и типология систем IoT. Антон Куропятник (Woodenshark), Ксения Сизова (Red Bees)

Первую лекцию учебного курса вели Антон Куропятник, старший продукт-менеджер в компании Woodenshark (IoT R&D), и Ксения Сизова, руководитель проектов в компании Red Bees (IoT R&D).

В этой лекции Антон и Ксения кратко рассказали о том, где, как, зачем и почему применяется IoT, какие бывают IoT-системы, их компоненты и основные функции. Разобрали систему IoT от простого к сложному, разложили на примерах использования в обычной жизни и индустриальных направлениях.

Лекция 2. Как выбрать технологию IoT, чтобы выжать максимум от достоинств и не страдать от минусов. Антон Куропятник (Woodenshark), Ксения Сизова (Red Bees), Юрий Сизов (RedBees)

Во второй лекции к Антону и Ксении присоединился Юрий Сизов, генеральный директор компании Red Bees.

Наши лекторы остановились на первых двух компонентах сети IoT оконечные устройства и каналы передачи данных до базовой станции/граничного роутера. Кратко произвели обзор технологий и протоколов, применяемых в IoT, рассказали подробнее об их характеристиках, плюсах и минусах, а также основных трендах использования.

Лекция 3. Инфраструктура транспортных сетей. Роман Андреев (СПбГУТ).

Изучив первые два уровня IoT-системы, мы стали двигаться дальше, и одно занятие прицельно уделили телекоммуникациям. На этой лекции у нас был специальный гость: Роман Андреев, начальник Научно-образовательного центра Беспроводные инфотелекоммуникационные сети СПБГуТ им. проф. М.А. Бонч-Бруевича - одного из немногих отраслевых телеком-вузов в стране.

В ходе лекции были рассмотрены топологии 2G/3G/4G-сетей, основные производители оборудования и функциональные блоки сети, прохождение аутентификации и вызовов в сетях связи, ядро сети и радиочасть с учетом распределения частотных ресурсов. Если вы всегда мечтали узнать, как устроена антенна изнутри, то эта лекция для вас.

Лекция 4. Программная часть IoT: о чем нужно знать помимо железа. Дмитрий Чудинов (Red Bees)

Здесь мы провели эксперимент и устроили боевое крещение для студента. А почему бы и нет? Глядишь, других этот пример вдохновит. Свой дебют в нашем лектории совершил Дмитрий Чудинов, студент 4 курса, инженер-стажер в компании Red Bees (IoT R&D), выпускник платформы IoT AM. Дмитрий продемонстрировал широкое знание существующих платформ Интернета вещей и наличие опыта работы с ними.

В своей лекции Дмитрий рассказал об архитектуре программной части IoT, о том, как построить и собрать свою платформу, а также, какой джентльменский набор необходим разработчику софта для IoT решений, и с чего лично он рекомендует начать новичкам.

Лекция 5. Облачные технологии в решениях IoT. Кирилл Святов (УлГТУ)

Развивая тему облачных технологий, в лектории выступил Кирилл Святов, декан Факультета информационных систем и технологий УлГТУ (Ульяновск) - нашего вуза-партнера. На своей лекции Кирилл Валерьевич рассмотрел типовые архитектуры программных решений по работе с данными в IoT, технологии граничных и облачных вычислений на примере IBM Cloud. Вторая часть занятия представляла собой практикум: был реализован вариант построения службы по сбору, анализу и визуализации данных, получаемых от устройств интернета вещей с использованием code-less подхода на основе Node-RED в облачной среде IBM Cloud.

Очень полезное и очень насыщенное занятие с примером устройства - посудомоечной машины, отправляющей данные. Было объяснено многое - основы работы с IBM Cloud на примере сэмпла IBM Quickstart, продемонстрирована NoSQL база данных Cloudant с кратким комментарием о том, а в чем вообще суть этого подхода и в чем отличие от стандартных реляционных БД применительно к задачам IoT, и наконец, показан доступ к системе машинного обучения IBM Watson и работа в Jupyter Notebook. То есть проложен мостик и к другим направлениям Computer Science - у нас в IT Академии Samsung как раз есть учебный трек по AI.

Бонус: лекции о предметных областях

Наш курс мы иногда разбавляли и обзорными лекциями, дающими необходимый контекст. Ведь важно не только получить знания, но и узнать о практике применения этих знаний в той или иной предметной области.

"Интеллектуальные транспортные системы Умного города", Игорь Ежков (Softline)

С концепцией Умного города нас знакомил Игорь Ежков - руководитель направления Интеллектуальных транспортных систем компании Softline. Мы давно знакомы с Игорем Геннадьевичем, однажды вместе проводили с ним хакатон по NB-IoT на радиофаке УрФУ.

Что такое Умный город? Это умные перекрестки, светофоры, видеокамеры наблюдения, но и нечто большее: технологичный подход к урбанистике, который просто невозможно реализовать как набор разрозненных сервисов. Всё это дает эффект только в комплексе, когда данные собираются и визуализируются на единой платформе. Основной тезис, высказанный спикером, как раз в том и состоял - не нужно изобретать велосипед, изучайте зарубежный опыт в этой области, смотрите, какие готовые платформы есть.

Бонус: лекции-практикумы о технологиях

Другой вариант - лекция о конкретной технологии, будь то протокол связи, платформа или аппаратное устройство. Это очень классный формат, особенно если он сопровождается практикумом.

"Взаимодействие устройств по Bluetooth Low Energy", Олег Пехов (ТУСУР)

В Томском государственном университете систем управления и радиоэлектроники (ТУСУР) наша программа реализуется на факультете безопасности. Поэтому и неудивительно, что на лекции про BLE в рамках практикума был рассмотрен сниффер пакетов. Помимо этого, в лекции были рассмотрены принципы и особенности технологии Bluetooth Low Energy, ее отличие от классического Bluetooth, разновидности устройств и способы их подключения. Лекцию вел Олег Пехов, старший преподаватель кафедры комплексной информационной безопасности электронно-вычислительных систем.

"Платформа SmartThings для Умного дома", Татьяна Волкова (Исследовательский центр Samsung)

Автор этого текста тоже приняла участие в лектории. Я решила показать в стриме, как интегрировать ваше собственное устройство в платформу умного дома Samsung SmartThings. Устройство очень простое - умный светильник на базе ESP8266, подключаемый к платформе по WiFi. Звучит несложно, но занимает вся эта работа около 40 минут - нужно зарегистрировать ваше устройство внутри платформы, скомпилировать и загрузить прошивку, настроить схему авторизации устройства, сделать обмен ключами. Тут получился целый триллер. Не всё сработало с первого раза, но всё-таки заработало.

Дальнейшие планы

На данный момент наш лекторий находится примерно посередине. Какие лекции еще мы запланировали:

1. Экономика IoT-системы по состоянию на 2021

2. Жизненный цикл IoT-проекта

3. Кибербезопасность в IoT: примеры эксплоитов

4. Как известно, в аббревиатуре IoT буква S обозначает безопасность

5. Дизайн и UX в IoT-решениях

6. Краш-тест вашего IoT-проекта: оцениваем идею на жизнеспособность

7. Есть ли жизнь после релиза? Обслуживание IoT-системы

8. Data Science в IoT

9. Сертификация в IoT: стандарты, регуляторика и прочее

Вести их будут разные спикеры, в том числе, не побоимся этого слова, один монстр современного IoT-образования, но не будем пока раскрывать интригу: по завершении лектория, напишем еще один пост-апдейт.

Какие еще важные темы мы не затронули? Чего не хватает в этом тематическом плане? Пишите в комментариях ваши предложения - как бы вы составили идеальную программу лектория по Интернету вещей для начинающих?

Смотрите лекции в рамках стримов на YouTube-канале IT Академии Samsung и смотрите архив в плейлисте Samsung Innovation Campus IoT Lectorium. Задавайте вопросы нашим лекторам, пишите свои комментарии. А может быть, вы сами хотели бы выступить с лекцией по своей теме, которая пока не озвучена - мы готовы предоставить вам слово!

Татьяна Волкова, куратор трека по Интернету вещей социально-образовательной программы для вузов IT Академия Samsung

Приветствую всех! Я Беглецов Глеб, учусь в 11 классе, летом прошлого года закончил программу IT Школа Samsung в г. Санкт-Петербург на площадке ФМЛ 239 под руководством Левина Михаила Константиновича. В качестве выпускной работы я разработал приложение, которое назвал Parus. Это мой первый большой проект под Android, и он мне принес ГРАН-ПРИ финала Всероссийского конкурса IT Школы Samsung (ролик). Хочу поделиться историей создания этого проекта.

Идея

Я иногда слышал среди своих одногруппников в IT Школе Samsung подобную фразу: Я не знаю, какое приложение мне написать. У меня не было сомнений. Моё приложение должно помочь людям с особыми потребностями полноценно общаться с миром, потому что данная проблема актуальна и в нашей стране, и в мире. И меня она лично касается. Есть много отдельных приложений: для синтеза речи, для искусственного зрения, для напоминаний и т.д. Мне хотелось объединить всё необходимое в одном приложении.

Начало

Учиться в IT Школе Samsung я начал в сентябре, а в начале ноября уже знал, какой проект буду разрабатывать. Но это же классика, откладывать всё на последний момент! В итоге апрель и май выдались очень напряженными. В тоже время это было очень увлекательное время. Я просыпался, кодил с перерывами на еду, ложился спать, просыпался и снова кодил, если не учился в школе. Вот такой был распорядок дня в течение двух завершающих месяцев обучения. Узнавал каждый день что-то новое. Несколько раз было такое: понимал, что написанное не годится и переписывал половину уже сделанной работы. Тогда, как понимаете, было не очень весело.

К началу апреля я освоил основы Java и Android. А за следующие два месяца добавил синтез речи, распознавание речи, компьютерное зрение, отслеживание пульса, создание ежедневных напоминаний (не todo list), связь аккаунтов человека с особыми потребностями и его помощником, чат и передачу данных между ними. Дальше подробнее про каждую функцию.

Говорить. Синтез речи

Данная функция помогает общаться людям с нарушением речи . Сам синтез речи самая лёгкая задача из всех. Подключил TextToSpeech и готово. Но такой функционал не слишком удобен для пользователя, поэтому я решил сделать систему частых фраз и тематические коллекции. Вот с этим уже начались первые проблемы.

Создавая систему коллекций и частых фраз, я не знал о существовании Snapshotов (обновление данных в реальном времени), поэтому обновление данных у меня было реализовано, как я позже понял, через очень шаткие костыли. Я читал данные из БД каждый раз, когда там, гипотетически, могли измениться какие-либо поля. И такая система была реализована ВЕЗДЕ. Вот это и был один из тех моментов, когда, узнав про что-то новое и полезное, обрадовался, а затем взялся за переписывание всего кода.

Смотреть

Компьютерное зрение должно помогать людям со слабым зрением распознавать текст или объект на фото. Но не всё так идеально, как хотелось бы. Firebase Ml Vision удобен и практичен, но бесплатная версия не распознает русский язык, а результаты распознавания объекта иногда выглядят по меньшей мере странно.

Вообще, при реализации многих задач мне очень помог Firebase, отличный инструмент. Для компьютерного зрения я поначалу попробовал использовать Tesseract, потому что была возможность подключить к нему файл с русским алфавитом для распознавания кириллицы. Оказалось зря. Потратив только на его установку в проект около недели, текст с русскими буквами так и не распознавался. Поэтому я стал искать другие варианты. И тут меня спас Firebase Ml Kit, который я настроил в 5 раз быстрей! Firebase даёт очень много плюшек, и без него я вряд ли бы всё сделал. По неопытности, конечно, не сразу все получалось, но я разобрался. Для текущей задачи пока я использую API от Firebase. Может, в будущем найду что-то более подходящее.

Слушать

Просто распознавание речи с помощью SpeechRecognizer API от Google и вывод результата на экран.

Пульс. Google Fit vs Samsung Health SDK

Отслеживание пульса полезная функция для людей с сердечными заболеваниями. С помощью неё пользователь может следить за своим сердцебиением. При обработке данных, если пульс вне нормального интервала (55 < x < 90), то на устройство приходит уведомление об этом.

Но над этой задачей тоже пришлось попыхтеть. Сначала разобрался, как читать данные из Google Fit. Потом прочитал про Samsung Health SDK и решил перейти на него. У S Health SDK есть очень удобное дополнение Data Viewer. С его помощью можно записывать данные в S Health без каких-либо трекеров. Это очень помогает при тестировании приложения, в этом SDK от Samsung выигрывает у GoogleFit. Также не надо делать привязку к аккаунту и подключать QAuth от Google, тоже плюс.

Но если Google Fit может встроить в свой проект любой желающий, то для использования Samsung Health необходимо, чтобы приложение получило статус партнёрского. Без такого статуса приложение будет полноценно работать только в режиме разработчика. К сожалению, на данный момент приостановлен приём заявок на статус партнёрского приложения в связи с обновлением партнёрской программы. Поэтому я был вынужден вернуться обратно к GoogleFit.

Напоминания

Я знаю, что существует множество приложений по типу todo list, но, как говорится, это другое Во-первых, пользователь может установить несколько часов (12:50, 13:10 и 18:30, например) на одну задачу. Во-вторых, есть возможность установить напоминанию интервал времени и повторение: с 12:00 до 20:00 каждый час, например. Напоминания каждый день перезагружаются и начинают всё по новой, как обычный будильник. Это может быть полезно людям, которым надо каждый день сделать что-то важное. Например, люди с диабетом могут установить время для инсулиновых уколов.

Безусловно, что человек может установить множество будильников, которые будут выполнять ту же задачу. Моя программа просто упрощает это. Для напоминаний с 9:00 до 21:00 с регулярностью в полчаса, необходимо установить либо 24 обычных будильника, либо 1 напоминание с интервалом в Parus. Думаю, что второй вариант легче.

Напоминания не сильно тратят заряд батареи, потому что они реализованы за счёт WorkManagerов. Я долго думал между Alarm и WorkManager, потому что первое слишком сильно нагружает телефон и батарею (+на некоторых телефонах ограничен), а второе имеет один весомый минус из-за сверхоптимизации напоминание может не отобразиться, если телефон долго находился в режиме сна. Я около 100 раз протестил данный случай, и 3-5 раз напоминание не срабатывало до выхода из режима сна. На сайте Android developers читал, что Google работает над этим, так что буду надеяться, что скоро это исправят.

Связь с помощником

Это одна из главных функций моего приложения. У человека с ограниченными возможностями здоровья не всегда получается справляться со всеми жизненными ситуациями самостоятельно, поэтому иногда есть человек, который выполняет роль помощника. С ним происходит много коммуникаций, и поэтому я считаю, что очень важно упростить это взаимодействие.

• Передача данных
  Помощнику будет спокойнее, если он будет иметь информацию о пульсе своего подопечного и его местоположении. Кроме того, помощник может редактировать в приложении напоминания человека с ограниченными возможностями здоровья. А еще всегда можно посмотреть, когда связанный пользователь заходил в последний раз в Parus.

• Кнопка вызова
  При связывании аккаунтов, у человека с особыми потребностями появляется быстрая кнопка Позвать помощника. При нажатии на неё на устройство помощнику отправляется уведомление.

• Чат
  Иногда случается так, что твой помощник это не родной и не близкий человек, а волонтёр или социальный работник. Чтобы не общаться с ним в различных мессенджерах, можно общаться с ним отдельно в чате Parusa.

Samsung Android Bootcamp. Заключение

Выше я описал основные возможности своего приложения на момент участия в конкурсе выпускных проектов IT Школы Samsung. Я совсем не упоминал архитектуру приложения или паттерны, которые я использовал. Знаете почему? Потому что этого не было на момент финала конкурса. Проект состоял из классов, разложенных по пакетам. И всё. Я подозревал, что это ужасно, но не знал, как исправить. И тут нам сказали, что сразу после конкурса пройдет летний Android Bootcamp для выпускников IT Школы Samsung. Я решил, что мне явно туда.

За две недели интенсива я узнал безумно много полезных вещей. Например, зацепился за MVVM + Data Binding + Material Design. Стало понятно, что Parus выпускать в таком виде нельзя. Предстоящая работа: сначала архитектура, потом дизайн, после чего можно и в Google Play. В августе уже не было такого запала, как в конце весны, к середине сентября я почти переделал всё под MVVM архитектуру и все

С октября по январь я ни разу не открыл Android Studio. Мне совсем не хотелось программировать и вообще как-либо доделывать свой проект. Одним словом, пропал весь энтузиазм. Я начал думать, что на самом деле проект ни о чём, что я не способен сделать достойное приложение. Не знаю из-за чего, наверное я устал и понял, что доводить проект до идеального состояния можно бесконечно.

Прошел Новый год. Parusa так и нет в Google Play. Я открыл Android Studio и вдруг почувствовал, что есть силы завершить проект. Я дал себе обещание, что в феврале Parus появится в Play Market. За две недели доделал всё, что планировал, и 4 февраля загрузил проект в Google Play.

Вот такая история моего первого большого проекта. Да, Parus не идеален, но у меня получилось довести его до законченного состояния. Надеюсь, что он окажется полезным кому-нибудь. Буду рад, если вы скачаете приложение и напишете свои предложения. Особенно, если вы моя целевая аудитория - человек с особыми потребностями или заботитесь о таком человеке.

Спасибо, что прочитали статью до конца.

Пока!

Глеб Беглецов

Ученик 11 класса, школа Озерки

г. Санкт-Петербург