Русский
Русский
English
Статистика
Реклама

Университет итмо

Если хочешь разобраться, найдешь возможность говорим о Codeforces с основателем проекта

24.01.2021 18:21:50 | Автор: admin

Михаил Мирзаянов, разработавший платформу Codeforces и участвующий в жизни Университета ИТМО в роли ассистента факультета информационных технологий и программирования, делится историей проекта и рассуждает о некоторых особенностях спортивного программирования.

Послушать беседу:Apple PodcastsЯндекс.МузыкаGoogle PodcastsPodFMYouTube

Михаил Мирзаянов, основатель Codeforces Михаил Мирзаянов, основатель Codeforces

Знакомство со спортивным программированием

Таймкод 00:48

@dmitrykabanov: Хотел бы поговорить с вами о том, как вы пришли к спортивному программированию. Какие увидели для себя перспективы в этой области? Совпали ли ваши ожидания в начале пути с прогрессом в настоящий момент?

@MikeMirzayanov: Если грубо говорить, то да. Все отлично совпало. Я такой человек склонен делать то, что нравится. В школе мне было интересно на уроках математики, информатики и программирования, но олимпиады позволяли еще и себе самому доказать, что ты можешь что-то решать и соревноваться с одноклассниками. Плюс в этом была здоровая любознательность, хотелось больше понимать, как и что устроено. Этот процесс непрерывно продолжался. Постепенно появлялись знакомства с людьми, которые лучше ориентировались. С них можно было брать пример. Такие знакомые были и в школьные годы, и в Cаратовском университете их много есть те, с кем я все еще общаюсь, дружу и сотрудничаю. Это очень интересные люди.

Однако помимо того что мне просто нравилось заниматься этой темой, я увидел практическую пользу. Незаметно для себя научился программировать, потом освоил не только задачки, но и промышленный код, где, безусловно, пригодился и опыт спортивного программирования. Техника, работа без ошибок все это помогает, а понимание специфики и в какой-то степени недооцененности спортивного программирования обществом мотивирует меня и сегодня.

Дмитрий: Какой вы видите потенциал с точки зрения недооцененности этой темы?

Михаил: Просто сама идея competitive programming и автоматизированного обучения с помощью задач еще не так развита, как хотелось бы. Такой подход можно внедрять чаще. Он годится и для классических учебных процессов. Конечно, сейчас и мы в Codeforces знакомим достаточно большое количество людей с этой темой. Однако профессионализм в какой-то степени угас. Раньше соревнования были одним из немногих социальных лифтов: позавчера ты еще был школьником из заводского района непонятного города, а потом начинал заниматься и через несколько лет попадал в топовые компании к лучшим работодателям мира. Сейчас количество таких лифтов увеличилось появились стажировки и хакатоны, но фокус оказался несколько размыт. Но это жизнь, и хорошо, что сейчас у людей есть множество альтернатив.

Зачем понадобился такой проект как Codeforces

Таймкод 05:31

Дмитрий: Как внедрялись в процесс подготовки и проведения соревнований такие системы и ресурсы как Codeforces? Как вы поняли, что нужно делать такой продукт?

Михаил: Понял я это, когда закончил участвовать в ICPC и открыл для себя Topcoder еще в 20032004 году. По мере накопления опыта в ИТ я замечал, что какие-то вещи на подобных площадках можно было бы улучшить. Мое видение процесса часто не совпадало с тем, как все это было реализовано у других. Плюс у Topcoder не было ряда пластов программирования, не было все это развито в формате экосистемы. В 2007-м году я решил заняться таким проектом, когда почувствовал, что мое видение того, что можно сделать, было достаточно целостным.

Дмитрий: Какие возможности она предлагала на старте? Что есть сейчас?

Михаил: Codeforces была запущена с достаточной функциональностью сразу была возможность что-то комментировать, отвечать, ставить плюсы и минусы. Тогда не было соцсети для интересующихся программированием, да и сейчас сильных конкурентов нет.

В первом релизе было заложено разделение на два языка. Причем англичанам даже и попыток не было подмешивать кириллицу. Для них это иероглифы, которые только раздражают. В нашем восприятии ближайший аналог китайская письменность.

Постепенно появлялась поддержка всевозможных форматов соревнований по программированию. Сейчас есть большое количество кружков, проводятся учебные занятия и официальные соревнования. Есть интеграция с системой Polygon, где авторы готовят задачи.

Ход развития сферы спортивного программирования

Таймкод 10:30

Дмитрий: За десять с лишним лет пристального внимания к этой индустрии вы точно можете оценить прогресс по количеству соревнований в России и количеству участников, которые выезжают на зарубежные мероприятия от нашей страны.

Михаил: Все-таки то, что я сейчас скажу, будет моим внутренним ощущением. Оно может сильно отличаться от статистики. За десять лет оффлайновых соревнований стало больше, но рост этого направления уже позади. Был такой период, когда крупнейшие компании вкладывались в поддержку ряда состязаний, проводили свои мероприятия. Сейчас взгляд на этот формат эволюционирует, но количество участников от России остается в общем тренде. В контексте десяти лет с точки зрения их численности произошел заметный рывок. Однако последние пять лет прошли гораздо спокойнее и без качественных изменений.

Дмитрий: Если смотреть с точки зрения сложности входа в эту сферу новичков, которые только-только подступаются к теме, появилось ли больше соревнований начального уровня? Или ступеней, которые позволяют плавнее подтягиваться к уровню топовых состязаний?

Михаил: Да, сейчас на это делают чуть больший акцент. Поэтому и количество людей, которые, так или иначе, знакомятся со спортивным программированием, выросло. В линейке ICPC появились дополнительные квалификационные этапы, рассчитанные на начальный уровень подготовки. Их проводят перед четвертьфиналами, чтобы увеличивать охват аудитории и демонстрировать задачи тем ребятам, которые по разным причинам не принимают участие в дальнейших этапах. На Codeforces мы несколько лет проводим соревнования третьего дивизиона, которые традиционно пользуются большой популярностью. Тут задачи достаточно доступные, и регистрируется существенное количество участников.

Личный опыт и работа с учениками

Таймкод 14:58

Дмитрий: Как вы присоединились к сообществу ICPC? Каким был путь от участника соревнований до роли организатора?

Михаил: Когда я поступил в Саратовский университет, у нас были регулярные тренировки. Присоединился к ним с большим удовольствием на первом курсе и стал вникать. Мне сложно все это давалось динамическое программирование, графы не могу сказать, что сразу получалось и было легко. Но терпение и труд позволили дважды поучаствовать в финалах чемпионата мира. Потом стал помогать проводить соревнования, готовить участников. Еще получилось так, что Наталья Львовна Андреева, которая вложила душу в развитие этого направления в Саратовском университете, ушла из жизни. Не хотелось, чтобы ее усилия пропадали было сделано очень много к тому моменту. Но и мой интерес к этой деятельности не менялся со временем. На первом курсе я участвовал в работе жюри школьных олимпиад, преподавал, вел кружки, потом уже участвовал в подготовке и проведении соревнований.

Сейчас я заинтересован в том, чтобы на платформе Codeforces все двигалось вперед, а в ICPC я вовлечен по двум направлениям. С одной стороны, я являюсь председателем жюри четвертьфинала в Саратовском университете, занимаюсь там организационными вопросами, участвую в жюри полуфинала и четвертьфинала в Санкт-Петербурге. С другой, постепенно обсуждаю возможное сотрудничество Codeforces и ICPC. Кстати, здесь еще есть место для развития сообщества выпускников и участников соревнований.

Дмитрий: Ваш пример прекрасно иллюстрирует то, как сообщество обеспечивает себя инструментами и сервисами для развития.

Михаил: В российском сообществе идея alumni пока не совсем работает. Мне кажется, что помощь и участие в жизни сообщества могли бы быть шире среди тех, кто прошел через это все. Для безусловного большинства речь идет о теплых воспоминаниях и благодарном отношении все очень позитивно оценивают роль ICPC в своей студенческой жизни.

Коротко об устройстве проекта

Таймкод 19:40

Дмитрий: Можете ли вы рассказать о технологическом стеке Codeforces? Хотя бы в двух словах.

Михаил: Больше всего я пишу на Java. Люблю этот язык и экосистему. Но когда я только начинал разработку, я долгое время писал код на PHP быстро видел изменения, а цикл разработки выходил коротким. Так, обладая хорошей техникой программирования, можно было создать объемную функциональность за небольшой промежуток времени. На тот момент в экосистеме Java не было чего-то похожего, что раздражало. Для меня этот факт стал интересным технологическим вызовом, и я начал с того, что разработал свой веб-фреймворк для Java. Его киллер-фичей стала возможность перезагружать классы на лету, чтобы не нужно было редеплоить приложение изменения отображались по нажатию горячей клавиши.

Похожую функциональность предлагает Java HotSwap, но с большим количеством ограничений. Есть и другие технологии не я первый, не я последний кто занимался этим вопросом. Мне было интересно развиться в этом направлении и посмотреть, как все работает. Мы до сих пор используем мою небольшую наработку. Также переиспользуем другие библиотеки.

Мне кажется, что эволюция Codeforces понятный процесс, с которым сталкивались более крупные игроки и системы. Сперва код пишут исходя из наивных предположений о нагрузке, потом пользовательская база увеличивается приходится подумать о кешировании, переписывать отдельные компоненты. В какой-то момент мы написали предметно-ориентированную базу. Она индексирует и хранит в памяти много данных.

За десять лет было написано большое количество кода значительная его часть имеет отношение к экосистеме Java. Но есть и другие вещи, например, песочница, где запускаются пользовательские программы. Для нее важно понимать, как с процессами под Windows правильно работать чтобы все хорошо тестировалось и было довольно безопасно.

Дмитрий: Какие ли у вашего проекта ограничения, которые вы бы хотели снять и доработать?

Михаил: Это сложный вопрос. Понятно, что есть много болезненных моментов с точки зрения организации. Проведение регулярных соревнований это своего рода подвиг. Это и кропотливая работа с авторами, и кропотливая работа координаторов, часто явникаю в эти задачи. Если эти процессы стандартизировать, то станет только лучше. Но не все готовы тратить кучу времени на подготовку раундов. При этом не всегда есть возможность подержать авторов задач материально, поэтому приходится жить и работать с тем, что есть.

С точки зрения технологий тоже не все работает идеально. Когда в соревнованиях принимает участие большое количество человек, наша инфраструктура упирается в потолок. Я смотрю, что подтормаживало, где не хватило мощностей и мы оптимизируем этот вопрос. Это нормальный, рабочий процесс так живёт большое количество систем.

Как часто проходят соревнования

Таймкод 25:10

Дмитрий: Каждое мероприятие требует существенных временных затрат на подготовку. В связи с этим как часто проходят соревнования на вашей площадке?

Михаил: В месяц проходит от восьми до одиннадцати. Сюда входят соревнования, которые мы называем Div.1 + Div.2 раундами открытые двухчасовые эвенты, где состязаются как опытные, так и начинающие участники. Есть соревнования Div.2 Only с задачами средней сложности, а есть образовательные раунды, которые мы организуем совместно с университетом Harbour.Space.

Есть раунды третьего дивизиона для начинающих, но там тоже нужно уметь решать задачи. Суммарно получается примерно десять раундов в месяц и каждые три дня что-то проходит. Подготовку задач третьего дивизиона сложно сравнивать с хардовыми задачами для чемпионов. Но если оценивать грубо, то для проведения раунда нужны десятки человеко-часов.

Дмитрий: Команда, обслуживающая конкретное мероприятие, это люди из комьюнити или сотрудники и участники проекта?

Михаил: Большинство задач предлагают члены сообщества, а координаторы обеспечивают их качество. Я сам довольно часто вникаю и вношу предложения. Некоторые вопросы предлагаю. На это у меня сейчас остается все меньше времени, но я всегда с удовольствием этим занимаюсь.

Дмитрий: Насколько накладны непрофильные задачи вроде маркетингового продвижения, или они решаются силами комьюнити?

Михаил: Какой-то правильный маркетинг у нас отсутствует. Мне кажется, что сарафанное радио и качественный продукт здесь важнее. Разумеется, мы публикуем анонсы в соцсетях и делаем рассылки, но усилий для рекламы мы не прикладываем люди и так приходят.

Дмитрий: Расскажите о планах, которые вы перед собой ставите на ближайшие годы.

Михаил: Платформа достаточно сложна, и сделать так, чтобы все оставалось на прежнем уровне, уже будет достижением. Находить новые задачи всегда сложно. Эта работа всегда была на острие возможностей. В ближайшие пять лет я бы хотел научиться делегировать свои обязанности единомышленникам, которые разделяют видение. Что касается различных идей, то их довольно много. Сейчас Codeforces это площадка для участия в соревнованиях. Но хочется добавить туда образовательный контент уже работаем в этом направлении. Экосистема должна расширяться, становиться богаче и интереснее ищем выходы на новую аудиторию.

Дмитрий: Образовательный контент это контент для подготовки к соревнованиям?

Михаил: Каких-то замечательных учебных курсов по спортивному программированию пока нет. Нет подборок, которые бы являлись частью единой экосистемы с поясняющими текстами, видео и тренировочными задачами. Сделать что-то такое было бы чудесно.

Дмитрий: Можно ли говорить об этом как об одной из главных проблем в сфере спортивного программирования?

Михаил: Какой-то проблемы здесь нет. Есть сильные учебные наработки например, сайт e-maxx.ru, который запустил мой бывший студент. Там собраны лекционные материалы на широкий спектр тем. Если участник хочет разобраться в каком-то вопросе, то он найдет возможность.

Что сейчас интересует компании

Таймкод 32:35

Дмитрий: Как вы можете оценить интерес к спортивному программированию со стороны компаний? Во что они сейчас вкладываются?

Михаил: Много топовых участников соревнований уходят работать в крупные компании вроде Google и Yandex и показывают там хороший карьерный рост. Кандидат с опытом в спортивном программировании имеет приоритет при приеме на работу это правда. Компании хотят, чтобы кандидаты понимали фундаментальные основы как работают программы, как устроены алгоритмы. Конкретный технологический стек в компаниях свой, он динамичный. Редко кто требует от человека разбираться в стеке, который сегодня есть, а завтра изменится.

Разумеется, в индустрии присутствует и скепсис к возможностям спортивных программистов. На мой взгляд, он не очень обоснован, и я довольно часто дискутирую на эту тему. Все мои друзья и знакомые, которые прошли через школы спортивного программирования, стали отличными и востребованными специалистами. Обратных примеров совсем мало.

Кстати, интервью в Google в большей степени (чем в других организациях) напоминают соревнования по программированию. Так, участники и победители олимпиад имеют большие шансы на успех. Если интервью проходят не олимпиадники, то это совсем талантливые и яркие люди. Нормально, что в будущем они показывают лучшие результаты. В то же время не совсем понятно, кого именно следует считать олимпиадниками. Если человек два раза проходил на городские соревнования и полгода ходил в кружок есть ли у него олимпиадный опыт?

Мне кажется, было бы интересно провести качественное социологическое исследование о среднестатистическом портрете участников полуфинала чемпионата мира по программированию десятилетней давности. Я думаю, оно отлично покажет, что у этих ребят все хорошо и с карьерой, и с денежными вопросами, а весь скепсис яйца выеденного не стоит.

Нужно ли строить карьеру в этой области

Таймкод 37:08

Дмитрий: Существует ли тренд среди спортивных программистов на продолжение карьеры исключительно в этой сфере?

Михаил: Скорее нет, люди вовлекаются в это движение в школьные и студенческие годы. На старших курсах интерес по той или иной причине угасает это нормально и естественно. Далее, человек заканчивает университет, перед ним открывается новая рабочая жизнь, и он находит себя в индустрии. Я отношусь к спортивному программированию как к физкультуре. Думаю, никто не будет спорить, что она положительно влияет на здоровье. Участие в соревнованиях по программированию это физкультура для мозга, тренировка в понимании алгоритмов. Людей, которые хотят заниматься исключительно этим мало, и больше их не становится.

Дмитрий: Должны ли они появляться, или в этом нет смысла?

Михаил: Рост числа людей, желающих не просто участвовать в соревнованиях, а привносить что-то свое, безусловно, пойдет на пользу движению. Так, я сфокусировался на разработке платформы Codeforces для сообщества это хорошо. Но таких людей немного, и винить никого в этом нельзя таково естественное развитие жизни. Работать в этой области не только задачи решать, но и уходить в организацию. Реализовывать это готов лишь небольшой процент людей.


Другие выпуски нашего подкаста на Хабре:


Подробнее..

Что послушать какие темы вошли в первый сезон подкаста о науке и технологиях ITMO Research_

24.01.2021 22:23:01 | Автор: admin

Рассказываем о передаче с участием преподавателей, научных сотрудников, специалистов и руководителей различных подразделений Университета ИТМО. Помимо компактных описаний каждого выпуска линкуем текстовые расшифровки на Хабре и YT-версии с таймкодами.

Взять и погрузиться в сферу машинного обучения

45 мин Apple Podcasts YouTube Яндекс.Музыка PodFM Google Podcasts Хабр

Спикер этого выпуска руководит профильной группой в международной научной лаборатории Компьютерные технологии, а еще входит в состав Высокого жюри конкурса ТехноТекст и ведет Новости из мира ML на YouTube-канале лаборатории машинного обучения ИТМО.

В ходе беседы с Андреем Фильченковым мы обсуждаем переквизиты для старта и развития в области МО, процесс подготовки научных публикаций и трансфер различных решений.

Интервью получилось достаточно длительным, но выпуск один из лучших для знакомства с передачей. По удачному стечению обстоятельств он оказался первым в аудиоленте подкаста.


Как поднять AR на стадионе и учиться геймдеву

70 мин Apple Podcasts YouTube (раз, два) Google Podcasts Хабр (раз, два)

Как синхронизировать шоу на арене, телетрансляцию и персонализированный AR-контент рассказывает Андрей Карсаков. Он работает в группе визуализации данных и компьютерной графики, плюс помогает компаниям с проектированием сложных решений и систем.

Нюансы подхода, технологический стэк, боевое использование обсуждаем все это, а во второй половине беседы говорим о поведенческом моделировании и магистратуре по геймдеву.

Текстовый транскрипт на Хабре мы разделили на две тематические части (первая, вторая). Однако эпизод получился динамичным рекомендуем спокойно слушать полностью.


Что такое квантовый хакинг и распределение ключа

43 мин Apple Podcasts YouTube Яндекс.Музыка PodFM Google Podcasts Хабр

Гость выпуска руководит теоретической группой лаборатории квантовых процессов и измерений, регулярно участвует в научпоп подкастах и шоу, где простыми словами рассказывает о физике, системах коммуникации нового типа, шифровании данных и квантовом хакинге.

Его зовут Антон Козубов. Для нашего подкаста он разобрал тему квантового распределения ключа. Еще рассказал о специфике отрасли и поделился своими взглядами на альтернативные научные теории в этой области и вопросы разграничения фундаментальной и прикладной науки.

Суть квантового распределения ключа в том, чтобы при всех атак Евы, мы могли выделить такой объем распределенных бит, который будет известен только Алисе и только Бобу. Ева о нем не будет знать. Это главная цель нашей работы.

Но мне интересно придумывать такие атаки, чтобы Алиса с Бобом были уверены в безопасности, а Ева устраивала бы все так, чтобы обходить защиту.

Антон Козубов, в третьем выпуске ITMO Research_



Как подойти к развитию в области робототехники

29 мин Apple PodcastsЯндекс.МузыкаPodFMGoogle PodcastsYouTube Хабр

Какая инфраструктура есть в Университете ИТМО, что стоит выделить среди проектов студентов и аспирантов, как присоединиться к учебному процессу и определиться с траекторией развития в этой области объясняет Сергей Колюбин. Он руководит лабораторией биомехатроники и энергоэффективной робототехники и занимает управляющие должности в структуре вуза.

В ролике (выше) мы совместили первую часть выпуска с фотоэкскурсиями по лабораториям.


Как мы готовим к олимпиадам по молодежной робототехнике

28 мин Apple PodcastsЯндекс.МузыкаPodFMGoogle Podcasts YouTube Хабр

Игорь Лосицкий заведует нашей молодежной лабораторией и помогает ребятам за один-два года добираться до презентации собственных робототехнических проектов на крупнейших российских и международных соревнованиях. В ходе нашей беседы мы вспомнили проекты-призеры и разобрались с тем, как родителям выбирать робототехнические кружки для детей.

Мы стремится к оправданной сложности и оригинальности, чтобы наши разработки находили отклик в душе человека и вызывали эмоции. Помимо технической составляющей нам важен интерес самих разработчиков.

Игорь Лосицкий, в пятом выпуске ITMO Research_


Чем занимаются в центре Инфохимии Университета ИТМО

42 мин Apple PodcastsЯндекс.МузыкаPodFMGoogle Podcasts YouTube Хабр

Спикер этого выпуска работала в институте Макса Планка, а потом в Гарварде, у самого цитируемого химика наших лет. Ее зовут Екатерина Скорб, и сегодня она развивает наш центр инфохимии. Вокруг него мы и построили интервью поговорили о практической значимости и проектировании для потребителя, возможностях для новичков и планах на будущее.

По длительности классический для нашего подкаста выпуск. Однако содержание может показаться немного сложным. Учитывайте это при выборе места и времени для прослушивания.



Как и чему учат технологических предпринимателей

29 мин Apple PodcastsЯндекс.МузыкаPodFMGoogle Podcasts YouTube Хабр

Антон Гопка, декан факультета технологического менеджмента и инноваций, генеральный партнер ATEM Capital, объясняет, кому и зачем нужны hard skills в предпринимательстве. Еще делится примерами успешных стартапов, построенных нашими студентами, и подробно рассказывает о подходе к организации различных образовательных программ #itmotech. Например, специально для работы с магистрами был сформирован экспертный совет для оценки проектов. В него вошли представители ведущих технологических компаний, биотеха и финтеха.


Платформа Codeforces и спортивное программирование

41 мин Apple PodcastsЯндекс.МузыкаGoogle PodcastsPodFMYouTube Хабр

Гость этого выпуска разработал платформу для тех, кто занимается спортивным программированием, и собрал крупное сообщество. Он делится взглядами на то, как развивается эта область, рассказывает о роли выпускников ICPC, комментирует устройство Codeforces и интерес компаний к тем, кто хорошо знаком со спортивным программированием.

Раньше соревнования были одним из немногих социальных лифтов: позавчера ты еще был школьником из заводского района непонятного города, а потом начинал заниматься и через несколько лет попадал в топовые компании к лучшим работодателям мира.

Сейчас количество таких лифтов увеличилось появились стажировки и хакатоны, но фокус оказался несколько размыт. Но это жизнь, и хорошо, что есть альтернативы.


Подробнее..

Как научиться думать три базовых момента

27.02.2021 20:23:19 | Автор: admin

Очевидно, что учат этому далеко не везде. Как минимум, делают акцент не на этом навыке, а на отдельных методах и дисциплинах. Хотя, для занятий последними, да и для принятия решений на работе и в быту, базовая ментальная гигиена точно не повредит. Поговорим о ней в нашем материале и обсудим матчасть, гибкую оптику и вспомогательные инструменты.

Фотография: Roman Bilik. Источник: Unsplash.comФотография: Roman Bilik. Источник: Unsplash.com

Знайте матчасть

Для того, чтобы эффективно размышлять, недостаточно простого желания, упорства и стремления к совершенству. Все эти качества пригодятся, но для основательной прокачки мыслительных способностей, как и в случае с другими навыками, нужен системный подход.

Первое, с чем мы предложили бы познакомиться, это когнитивные искажения. Они представляют собой продукт эволюционно формирующегося поведения и в некоторых случаях даже помогают адаптироваться к различным условиям существования. Но так бывает далеко не всегда результат по большей части зависит от того, какие искажения мы замечаем, как с ними работаем и осознаем ли сам факт их присутствия в ходе мыслительного процесса.

Как говорит Билл Гейтс: чем больше изучаешь тему, тем крепче становится фундамент для новых знаний, плюс повышается связность уже имеющейся информации.

Знать и разбираться в когнитивных искажения [КИ] стоит еще и потому, что в запущенных ситуациях они могут приводить и к неприятным эффектам например, незаметно перестраивать наши воспоминания в угоду той или иной проблеме эмоционального или иного характера и дестабилизировать психику [подобными кейсами занимаются когнитивные психотерапевты].

В общем случае очень важно помнить о том, что за один присест все искажения охватить не получится. Их изучение стоит дозировать, сделать регулярным и по мере знакомства с отдельными типами КИ вспоминать и анализировать собственный жизненный опыт.

Наиболее известными КИ являются эффект Даннинга Крюгера, иллюстрирующий неспособность низкоквалифицированных специалистов осознавать свои ошибки; проклятие знания близкое КИ, объясняющее, почему более информированные люди скорее всего не смогут точно прогнозировать действия менее информированных; и нога в двери, которым часто, но весьма неумело пользуются телефонные спамеры.

Фотография: Phil Desforges. Источник: Unsplash.comФотография: Phil Desforges. Источник: Unsplash.com

Противоположную сторону занимают ментальные модели. Они помогают разбираться в устройстве мира, приоритизировать задачи, взвешивать аргументы в ходе размышлений и противостоять когнитивным искажениям. Изучение существующих и разработка собственных ментальных моделей процесс, фактически продолжающийся на протяжении всей жизни, поэтому важно понимать степень их сбалансированности и уметь подбирать их по ситуации.

Матрица НАСА для оценки рисков в зависимости от возможных последствий и вероятности наступления событий; фреймворки GOFER и DECIDE, описывающие базовые алгоритмы для принятия решений; и реверс-инжиниринг вероятных проблем в формате pre-mortem одни из наиболее заметных примеров ментальных моделей.

Различайте грабли

По мере того, как вы знакомитесь с большим числом когнитивных искажений, у вас остается все меньше предлогов, чтобы не замечать их в повседневной жизни, рабочих и учебных делах. Количество изученных ментальных моделей, в свою очередь, постепенно переходит в качество, а именно гибкость мышления. Аналогичным образом и эмоциональная реакция на происходящее вокруг становится более контролируемой и не отвлекает в ходе раздумий.

В итоге вы легче различаете возможные упущения, уходите от односторонних суждений и можете позволить себе думать о том, как вы думаете, а главное делаете это легче. Такое состояние называют метакогнитивной осведомленностью и связывают ее с использованием вспомогательных инструментов, позволяющих осуществлять сборку самолета на лету, мыть автомобиль, не выходя из него и практиковать так называемое second level thinking.

Пользуйтесь простыми инструментами

Сложные часто ведут в сторону бесконечной настройки, установки обновлений и поиска информации, которой нужно заполнять календарики, борды и to-do-листы. В определенных случаях и в рамках конкретных проектов во всех этих действительно есть смысл, но если от усложнения инструментов для ведения заметок, организации дел и размышлений можно отказаться без потерь с точки зрения результатов, то стоит так и поступить. Иначе они перетянут внимание на себя. Есть даже похожее когнитивное искажение, связанное с поиском информации ради самого поиска, который обычно не дает видимого результата и не влияет на что-либо.

Если не учитывать условный молескин и приложения для ведения заметок, вам могут пригодиться карточки для запоминания или соответствующий софт, позволяющий постепенно изучать матчасть и поддерживать знания о множестве когнитивных искажений и ментальных моделей без заучивания их наизусть. Это возможно за счет интервальных повторений системы Лейтнера, учитывающей кривую Эббингауза, а именно то, как мы забываем информацию.

Фотография: strichpunkt. Источник: Pixabay Фотография: strichpunkt. Источник: Pixabay

Помимо тренажеров для изучения нового и укрепления памяти есть похожие карточные системы для развития творческого аспекта мышления и использования максимально простых ментальных моделей, способствующих креативу. Одна из таких систем называется Oblique Strategies. Ее разработали в начале 70-х художник Питер Шмидт и музыкант Брайан Ино.

Вышло более шести редакций карточек, некоторые в виде небольших партий со специальным оформлением. Но сегодня есть и веб-версии с генераторами случайных карт из этой серии и даже версия для голосового ассистента Alexa, плюс всевозможные аналоги вроде идей для стартапов и рекомендаций для предпринимателей. Что интересно, Oblique Strategies неоднократно упоминали в поп-культуре отсылки к ним есть в творчестве R.E.M., независимых фильмах и комиксах.

Еще один инструмент, на который мы хотели бы обратить ваше внимание, это профессиональные онлайн-сообщества и их интерактивная часть, где пользователи могут делиться мнениями и ходом своих мыслей. С точки зрения прокачки когнитивных навыков, референсы в виде комментариев других участников дискуссии помогут научиться быстрее отслеживать как чужие, так и свои когнитивные искажения, задумываться о том, что вызывает у вас ту или иную реакцию и анализировать свою аргументацию в ответ на замечания.

Среда условного Хабра, где вы можете наблюдать (1) мгновенную реакцию на ваши комментарии, (2) следить за успехами любимых авторов и делать это (3) на регулярной основе, является достаточной для развития не только мышления, но и прокачки интуиции понимания того, что в действительности волнует и беспокоит ваших коллег по профессии, да и по рунету в целом. Именно эти три условия описал Даниел Канеман, известный писатель, психолог и лауреат крупнейших премий по экономике, когда его попросили объяснить природу интуитивного мышления. Надеемся, что наш сегодняшний рассказ вдохновит вас на развитие, друзья!


Англоязычные материалы в нашем блоге на Хабре:

И русскоязычные хабрапосты по теме:


Подробнее..

Где рассказать о своем ИТ-проекте на английском без усилий и затрат гайд по листингу на Product Hunt

28.03.2021 10:07:00 | Автор: admin

Поговорим о том, как подступиться к размещению технологических проектов на Product Hunt: начнем с истории платформы, поделимся мнениями экспертов и списком лайфхаков.

Фотография: Severin Hin. Источник: UnsplashФотография: Severin Hin. Источник: Unsplash

Что это за площадка

Product Hunt в 2013-м запустил Райан Хувер, выпускник Орегонского университета. Первое время проект выглядет как обыкновенная email-рассылка, но как только Райану удалось привлечь аудиторию, она трансформировалась в прототип того, что мы сегодня понимаем под этим сервисом. Тогда стартап приняли в Y-combinator, он сразу притянул внимание и деньги инвесторов. В общей сложности Райан поднял 7,5 млн долларов, а за парой раундов последовала сделка с AngelList. В 2016-м Product Hunt вошел в состав компании, владеющей этой соцсетью для стартапов, специалистов и инвесторов, и продолжил быстро развиваться.

Какие только идеи не выстреливали на этой площадке. Взять хотя бы шуточную задумку с отправкой блесток недоброжелателям или более серьезные вещи вроде сервиса для трейдинга Robinhood и студии по производству подкастов Gimlet Media.

Все они обрели массовую популярность благодаря успешным кампаниям по запуску на Product Hunt. Его аудитория известна конструктивным подходом и открытым отношением к экспериментам по духу она близка сообществу Хабра.

Предложить проект может кто угодно, для этого не нужна чья-либо помощь. При публикации совместного начинания стоит указать коллег, которые внесли вклад в его разработку. Для этого достаточно отметить их в качестве мейкеров. Вероятность выхода на главную страницу и широкую аудиторию будет зависеть от того, как вашу работу оценят пользователи сделают это они могут с помощью апвоутов, напоминающих плюсы к материалам на Хабре.

Помимо этого здесь есть:

Охота с умом

Базовые рекомендации по работе с Product Hunt, как и в случае публикации материалов и комментариев на Хабре, сводятся к уважительному отношению к мнению других участников сообщества и механизмам, призванным регулировать их общение на этой площадке. Начнем с моментов, которые не следует забывать и проявлять с ними максимальную аккуратность.

  • Не стоит просить друзей и знакомых голосовать за проект сразу после его запуска. Так он сразу же попадет на радар алгоритма от накруток [допустим, может быть условие по большому количеству голосов из одного региона], либо привлечет внимание модераторов. Последние без проблем заметят, что десяток-другой апвоутов в рамках первых минут пребывания проекта на площадке выглядит странно, и могут снять публикацию. Покупать апвоуты и использовать какие-либо механизмы для их накрутки тоже не следует.

  • Не перебарщиваете с личными сообщениями. Это относится и к попыткам набрать подписчиков личного профиля, и к кампаниям по запуску на Product Hunt. Как минимум сработает антиспам, как максимум вы утомите этим не только рядовых пользователей, но и топовых хантеровили случайно испортите отношения с администрацией ресурса.

  • Не думайте, что с первого раза получится выстрелить и охватить максимальную аудиторию. Такой ход мыслей обычно приводит к ошибкам, которые мы отметили чуть выше. Даже если ваш проект не набрал большого количества голосов, не перезапускайте его на следующий день или через неделю. Погоды это не сделает, а вот поспешный релистинг точно вызовет подозрения у модераторов и с высокой вероятностью проект снимут.

Фотография: Daria Nepriakhina. Источник: Unsplash.comФотография: Daria Nepriakhina. Источник: Unsplash.com

От предостережений к лайфхакам. Пусть они не проведут вас в обход правил площадки, займут какое-то время на осмысление и проработку, их понимание, значительным образом повысит шансы на удачный запуск, если вы еще не публиковали что-либо на Product Hunt.

Когда публикуете текст о своем проекте, сфокусируйтесь на основных преимуществах продукта и проблеме, которую он решает. Постарайтесь уложиться в несколько предложений, но при этом сформулировать для кого ваш продукт, где именно в работе (учебе, развлечениях) он поможет пользователям и чем он лучше существующих решений проблемы или других продуктов на рынке, советует Игорь Кудинов, зам. декана факультета технологического менеджмента и инноваций Университета ИТМО.

  • Зарегистрируйте профили участников команды [или хотя бы свой личный] за пару месяцев до публикации. За столь короткий промежуток времени вы не успеете подружиться с модераторами и местными лидерами мнений, которые зачастую и вносят решающий вклад в то, какие проекты попадают на главную, но пару десятков подписчиков наберете. Так ваш профиль не будет казаться пустым в момент запуска проекта и вы сможете надеяться хотя бы на какую-то поддержку пользователей им поступит уведомление о публикации.

  • Если вы обнаружили, что кто-то запостил ваш продукт, попросите админов снять его, чтобы вы могли должным образом подготовиться и самостоятельно все опубликовать. Раз вы не почувствовали прилива трафика и не заметили, что проект без высшего ведома попал на Product Hunt, следует именно так и поступить. Хуже от этого точно не будет. Плюс таким образом вы снизите вероятность локального бана за повторное размещение, поэтому обязательно проверяйте, что из ваших работ может давно находиться на площадке.

  • Публикуйте обновления проекта. Разовый запуск на Product Hunt не повод прекращать дальнейшее присутствие на платформе. Если вы переработали интерфейс приложения, существенным образом усовершенствовали алгоритмы или открыли публичный API, это возможность для релистинга. При этом она полностью соответствует правилам.

  • Пользуйтесь знакомствами с опытными хантерами. Если вам удалось заручиться поддержкой человека, который ранее разместил пять-семь популярных проектов, попросите его помочь и вам. Для этого не нужно предлагать деньги или какой-то бартер. Однако определенный трек-рекорд не помешает учитывайте пункты выше [заполните профиль, активничайте на площадке и не увлекайтесь спам-сообщениями]. Если вы далеки от понимания того, к кому обращаться, попросите знакомых порекомендовать вас.Не спорте в ответ на отказ и просто свяжитесь с другими хантерами или экспертами. После нескольких неудачных попыток переформулируйте сообщения и письма вместо намеков на публикацию обратитесь за советом о том, как лучше поступить в вашей ситуации.

  • Если ваш проект уже что-то приносит или вы уверены в его потенциале, попробуйте задействовать конструктор PH-лендингов. Он дает больше возможностей для сбора контактов пользователей и будущих клиентов по сравнению со стандартным интерфейсом. Плюс предоставляет расширенные опции по рассылке сообщений на платформе.

На Product Hunt вы должны быть очень ясны и понятны. Примерный скелет презентации может выглядеть следующим образом:

1. Коротко о сути продукта три предложения. Ясных и эмоциональных.

2. Для кого продукт разработан и как он решает проблему этой аудитории.

3. Почему нужно пользоваться именно им, а не аналогами.

4. Если продукт будет где-то продаваться, стоит пояснить условия.

Если же вы ответили на все эти вопросы, то после работы над сутью нужно заняться формой. Ваш питч может состоять из следующих блоков:

1. У меня есть идея и она повлияет на жизнь/работу существенного числа людей.

2. Яркая история о продукте и о том, как он функционирует.

3. Информация об основателях и их навыках почему им следует доверять.

4. Коротко о тех, кто будет помогать в реализации (советники, партнеры и т.д.)

Константин Хомченко, трекер акселератора Университета ИТМО

Фотография: Slidebean. Источник: Unsplash.comФотография: Slidebean. Источник: Unsplash.com
  • Заранее определитесь с тем, как вы будете продвигать публикацию на Product Hunt. Нет чего-то плохого в том, чтобы разослать ссылку на нее друзьям попросить их поддержать проект. Главное делать это равномерно в рамках дня и не ограничиваться исключительно апвоутами. Дайте знакомым понять, что ждете конструктивной критики, а не безудержного одобрения, и они могут спокойно поделиться мнением о проекте в комментариях.

  • Как вариант, обратитесь к журналистам пары-тройки технологических изданий. Они помогут вам поделиться личным опытом разработки продукта. Попросите их поставить статью на дату вашего выхода на Product Hunt. Так вы получите кумулятивный эффект от публикации в СМИ, анонсов в соцсетях и запуска на англоязычной площадке. Если вы захотите дополнить все это хабрапостом, делайте акцент на процесс проектирования продукта или сервиса, попутные сложности и поиск вариантов их разрешения. Заранее покажите черновик кому-то из хабражителей [хотя бы с парой десятков публикаций].

  • Если будет возможность, сделайте компактное видео с рассказом о проекте. Это может быть анимированный ролик со скриншотами приложения или снимками гаджета. Кстати, какое-то время назад на площадке стали пользоваться популярностью гифки на КДПВ в ленте публикаций выглядят они приметно, но важно не перестараться.

  • Еще мы рекомендуем вычитывать описание проекта с точки зрения корректности высказываний на английском. Привлеките к этому процессу кого-то из знакомых со знанием языка на уровне нейтива анализ и правки двух-трех абзацев у него не займет более десяти минут. Или закиньте текст в один их сервисов по исправлению англоязычных черновиков с этой задачей вы скорее всего сможете уложиться в тысячу рублей.

  • Добавьте в описание теги в зависимости от профиля проекта и определитесь с точным временем публикации. Если вы не совсем уверены в своих силах, попробуйте выходные. Так вы не будете толкаться локтями с кучей других публикаций. Но не забывайте сопоставить постинг с выходом статей о проекте на других платформах желательно уложиться со всеми материалами в рамки суток. Еще важно следить за вопросами и комментариями участников сообщества давать своевременные и развернутые ответы на них.

Наши сотрудники и студенты могут обратиться в пресс-службу, если нужен совет по поводу освещения проекта или исследования в СМИ. Мы всегда на связи, готовы поддержать и порекомендовать варианты подачи истории о вашей работе общественности, Ксения Ослопова, специалист пресс-службы Университета ИТМО.


Наши англоязычные хабрапосты:


P.S. Новый физтех: избранные публикации в западных журналах и русскоязычных СМИ.


Подробнее..

Личный опыт подготовка к магистратуре JetBrains в Университете ИТМО и первые впечатления

16.05.2021 16:07:51 | Автор: admin

Всем привет! На связи Антон Клочков, студент первого курса корпоративной магистратуры JetBrains Разработка программного обеспечения на базе Университета ИТМО. Я хочу рассказать, как выбирал программу, и главное оправдались ли мои ожидания.

Northern Eurasia Regional Contests 2017. Антон в центре снимка [прим. ред.]Northern Eurasia Regional Contests 2017. Антон в центре снимка [прим. ред.]

Пара слов о себе

Я из небольшого города в Хабаровском крае Советской Гавани. В школьные годы участвовал в разных олимпиадах, но занимал только призовые места, и дальше региона мне пройти не удавалось. Пишу код с восьмого класса, разработкой занимаюсь с первого курса вуза.

Школу я закончил весьма успешно: золотая медаль и 276 баллов по ЕГЭ дали возможность поступить в Университет ИТМО, чем я и воспользовался. Выбрал бакалаврскую программу Программирование и интернет-технологии, где познакомился с множеством замечательных людей и расширил свой кругозор в области разработки программного обеспечения.

В конце второго курса я присоединился к 3D4Medical в роли R&D Engineer занимался оптимизациями графического движка, разрабатывал внутренние инструменты и реализовывал фичи для приложения компании Complete Anatomy. К началу четвертого курса я сменил акцент с разработки в сторону машинного обучения и перешел в другую компанию BrainGarden, где развивал проекты, связанные со SLAM (Simultaneous localization and mapping) и computer vision. Меня устраивал уровень зарплаты и был очевиден карьерный путь. Однако пробелы в области алгоритмов и в некоторых разделах математики не давали покоя. Я понимал, что магистратура возможность устранить эти пробелы, и решил выбрать для себя подходящую программу.

Выбор и поступление

На корпоративную программу JetBrains я подал документы после тщательного обдумывания и сравнения с аналогами. Критерии были следующие:

  1. Есть предметы, имеющие отношение и к разработке, и к машинному обучению. У меня был опыт работы с задачами по deep learning, и хотелось развиваться в этом направлении.

  2. Программа базируется в Санкт-Петербурге он мне очень нравится своим спокойствием и доступностью цивилизации.

  3. Большинство преподавателей являются очень хорошими специалистами в отрасли, либо работают в ней прямо сейчас.

  4. Программа актуальна. Мне жалко тратить свое время на учебу, когда полученными знаниями можно воспользоваться, только если работаешь с технологиями времен СССР.

  5. Дисциплины последовательны. Знания должны дополняться от семестра к семестру сперва нужно пройти фундаментальные предметы, а потом те, что базируются и отталкиваются от них.

В итоге в поле зрения оказалась моя нынешняя программа, а также Машинное обучение и анализ данных из петербургского кампуса НИУ ВШЭ. Знакомые студенты обеих программ заверили, что оба варианта очень сложные и интересные. Но Университет ИТМО был мне ближе по духу, поэтому я сделал выбор в его пользу.

В отличие от большинства ребят из моего потока, я поступил без экзаменов. Еще во время учебы в бакалавриате я занимался научной деятельностью, и к концу четвертого курса у меня были статьи, которые я приложил к заявке для конкурса портфолио. Однако этот способ мог и не принести результата, поэтому параллельно с подачей документов я все-таки готовился к вступительным. По большей части это были курсы на платформе Stepik, который рекомендуют абитуриентам организаторы программы в Telegram-чате. С этого года их учитывают в качестве первой части вступительного испытания (см. перезачет онлайн-курсов, а со всеми траекториями поступления можно ознакомиться на сайте магистратуры). К счастью, я прошел по конкурсу портфолио и два месяца ждал начала обучения, один из которых потратил на военные сборы.

Немного про учебу

У каждого потока есть кураторы. Они решают проблемы с расписанием, делают обучение комфортным и независимым от бюрократии. С учетом достаточно интенсивного обучения еще и помогают знакомиться с одногруппниками и устраивают разные внеучебные активности. В целом к ним можно обратиться и по жизненному вопросу, они поддержат и подскажут.

Наша учеба началась с весьма ламповой встречи, на которой мы ели пиццу и познакомились друг с другом. К сожалению, из-за коронавируса таких встреч за весь семестр было две. Даже сейчас, когда многие университеты вернулись к очному обучению, мы продолжаем заниматься дистанционно. Дело в том, что большинство преподавателей программы сотрудники JetBrains, а компания заботится об их здоровье и старается минимизировать личные контакты.

Тем не менее, даже на дистанте преподаватели дают материал на высшем уровне. Например, мне кажется, что Александр Владимирович Смаль (ведет курс Алгоритмы и структуры данных) изобрёл великолепную технику преподавания. Когда требуется большое количество выкладок на доске, он использует планшет и стримит с него экран, на котором пишет. Выглядит это так:

Еще я столкнулся с совершенно новой для себя областью функциональным программированием. На этом курсе мы сначала изучали лямбда-исчисление и программирование на Haskell. Было интересно, сложно, но мы справились благодаря отличным лекциям от Дениса Николаевича Москвина и подробным практическим занятиям.

Опытный комментатор остановит меня здесь и скажет: Что-то у вас там слишком всё сладко. И будет прав. Как и везде, проблемы есть: что-то недопонял, что-то не успел, что-то не понравилось. Но всё это решаемо. Если вам не нравится, как проходит курс, можно обсудить это с кураторами и повлиять на изменения в нем. Что-то недопонял пишешь преподавателю, и с тобой обсудят волнующую тебя тему. Так обучение становится благоприятным для развития.

Научно-исследовательская работа

Кроме лекций и практик каждый семестр студенты выполняют научно-исследовательскую работу (НИР). Стоит сказать, что это один из самых интересных аспектов нашей магистратуры. Студенты получают темы от компаний: JetBrains, Яндекс, ВКонтакте и других, выбирают себе приглянувшиеся и под контролем сотрудников компании работают над ними. В частности, в первом семестре я взял тему Generative adversarial audio denoiser в компании MynaLabs.

В рамках этого НИРа мне нужно было погрузиться в то, как устроен аудиосигнал, какие методы его обработки существуют, а также изучить природу шумов в аудиосигнале и обучить глубокую нейронную сеть, которая очищала аудио от шумов. Мой научный руководитель предложил обучить HiFi-GAN использовать один из последних подходов для подавления шумов в аудио. Если вы не знаете, что такое GAN, то общую информацию можно найти здесь.

Для обучения мне выделили отдельную видеокарту на корпоративных серверах и обеспечили необходимыми данными. В течение всего семестра я созванивался с научным руководителем: мы обсуждали проблемы, пути их решения, я описывал текущие результаты. В общем, мой НИР ничем не отличался от реальной работы в компании. В результате мне частично удалось обучить HiFi-GAN. Кажется, что за более длительное время я смог бы добиться и лучших результатов, но в целом я доволен проделанной работой.

Что в итоге

Программа, на которой я учусь, оказалась действительно сложной. Под этим словом каждому стоит понимать свое. Людям не из ИТ-сферы скорее всего будет сложно и с точки зрения материала, и с точки зрения нагрузки. Если у вас есть опыт в разработке и знание базового курса алгоритмов не переживайте, вам тоже будет нелегко. Объем заданий очень большой. Стоит быть готовым к тому, что первый семестр пройдет в режиме постоянной кропотливой работы. С крепким математическим бэкграундом, алгоритмическими знаниями и многолетним опытом тоже можно поступать, но проще от этого вам, скорее всего, не будет: порой задачки, с которыми нужно разбираться, имеют весьма нетривиальное решение.

Для меня самым ценным в магистратуре является отношение между преподавателями и студентами. Первые заинтересованы в том, чтобы мы чему-то научились, и стараются давать годный материал под уровень студентов например, подстраивают темп чтения, чтобы было комфортно слушать лекции и практики. Вторые активно изучают и обсуждают материал, плюс поддерживают дружную атмосферу даже на удаленке. Если попытаться уложить мой опыт в рамки чеклиста, получатся следующие рекомендации для тех, кто думает о поступлении:

Оцените свою мотивацию. Эта программа реально сложная. Поэтому подумайте дважды, а то и трижды, зачем она вам. Я не пытаюсь отговорить, просто на одном желании долго не протянуть.

Начните готовиться уже сейчас. Если вы прошли онлайн-тест, стоит готовиться к устному вступительному экзамену. Не надо зубрить, надо понимать. Проверяют не столько на знания, сколько на понимание сути. Само собой, формулу биномиальных коэффициентов нужно и знать, и понимать,как вывести.

Приготовьтесь уйти с работы. Да, как бы грустно это ни звучало, но работу очень сложно совмещать с первым курсом магистратуры. Есть уникумы, которым удавалось работать на полставки со второго семестра, но о тех, кто делал это на первом, я не слышал. В нашем наборе все либо брали долгосрочный отпуск, либо увольнялись.

В целом мои ожидания от магистратуры оправдались. Изначально я скептически относился к уровню сложности программы. Мне казалось, что ракету построить сложно, а учиться вряд ли. Но здесь я просчитался. С другой стороны, я получаю актуальные знания, которые мне обязательно пригодятся. Уверен потому, что проецируя знания на мой предыдущий опыт работы, я нахожу более элегантные решения для разных задач. Сейчас я понимаю, что делал не так, и как следовало бы. А потраченное время окупится в будущем.


Что еще есть у нас в блоге на Хабре:


Подробнее..

Что там в Университете ИТМО визуализация данных, цифровое искусство и научное кино

14.03.2021 18:20:23 | Автор: admin

Новая подборка мероприятий для студентов и специалистов. Здесь вы найдете ближайшие конференции, онлайн-трансляции, семинары и хакатоны, которые проведут при участии Университета ИТМО, организаций-партнеров, преподавателей и выпускников.

Фотография: Jonas Leupe. Источник: Unsplash.comФотография: Jonas Leupe. Источник: Unsplash.com

Техноэкскурсия Город, в котором ИТМО

22 марта пройдет в онлайн-формате

Университету ИТМО исполняется 121 год. В качестве одного из многочисленных тематических мероприятий мы планируем организовать онлайн-экскурсию по местам силы первого неклассического. Прогуляться по историческому центру Петербурга и познакомиться с ключевыми локациями Университета ИТМО помогут наши выпускники из WeGoTrip.

Ссылка на экскурсию появится в Vk-группе ITMO.Family. Пара других мероприятий сообщества пройдет 23-го и 25-го марта это будет open talk о спортивном развитии в университете будущего и онлайн-трансляция о еде будущего Foodtech с ИТМО из Международного научного центра SCAMT. В последнем случае ссылку на стрим тоже опубликуют в группе.


Хакатон Audithon 2021 от Счетной палаты

25-28 марта [подать заявку] пройдет в онлайн-формате

Счетная палата Российской Федерации и корпоративный акселератор GenerationS собираются предложить участникам онлайн-хакатона ряд задач по аналитике и визуализации данных. Заняться их решением можно в команде или самостоятельно организаторы приглашают подать заявку дата-сайентистов, журналистов, аналитиков, дизайнеров и программистов.

В качестве примеров практических вопросов, на которые участникам предстоит представить свои варианты ответов, стоит выделить: анализ бюджетного финансирования дорожной отрасли, подготовку диаграммы движения бюджетных средств в рамках федерального проекта, разработку калькулятора Что купили на ваши налоги и визуализацию данных об инновационном развитии страны. Описание задач и программа есть на сайте хакатона.



IV международная конференция English for Specific Purposes

8-9 апреля [зарегистрироваться] в онлайн-формате

Мероприятие пройдет под лозунгом more than ESP: from the classroom to the workplace. Организаторы вместе с участниками займутся теорией и практикой обучения студентов различных специальностей английскому для особых целей: обсудят тренды в этой области и новые методы преподавания. Подать заявку можно по следующим направлениям:

  • English for Specific Purposes;

  • English as a Medium of Instruction;

  • English for Academic Purposes;

  • Teacher Development;

  • Digital Learning.

Участвовать рекомендуют не только преподавателям, но и управленцам в сфере образования тем, кто интересуется edtech, работает в частном секторе или в государственных структурах.


Научное кино для наших студентов и сотрудников

19 марта 10 апреля Кронверкский пр., д.49 плюс онлайн-часть

Целых семнадцать пар от программного директора фестиваля актуального научного кино ФАНК и Центра научной коммуникации Университета ИТМО. Здесь будет теория и практика: от знакомства с историей кино с точки зрения научной коммуникации до разбора действующей индустрии жанров, направлений и примеров научного кино. Расскажем о наиболее примечательных кейсах, поможем разобраться с основами продакшена и дистрибуции. Помимо этого предложим поработать над собственным проектом научпоп-фильма в команде.

Программа и расписание курса есть тут. Контакты куратора для регистрации здесь.



Фестиваль цифрового искусства AR+T

27-28 апреля детали объявят ближе к мероприятию

Совместный эвент нашего факультета программной инженерии и компьютерной техники, АНО Центр современных технологий в искусстве Арт-паркИНГ и генерального партнера Санкт-Петербургского государственного музея театрального и музыкального искусства.

Здесь выступят компании и рабочие группы, занимающихся медиаконтентом и интерактивом в сфере культуры. Студентам и специалистам будут доступны лекции и воркшопы по подготовке мультимедийного контента. Плюс они смогут подать творческие работы на конкурс.


Что еще стоит знать их предстоящих событий:


Подробнее..

Как мы готовим победителей олимпиад по молодежной робототехнике в Университете ИТМО

01.11.2020 18:17:43 | Автор: admin

Ранее мы рассказывали, как работает наша международная лаборатория робототехники. Продолжаем тему и обсуждаем проекты-призеры всероссийских и международных соревнований вместе с Игорем Лосицким, заведующим молодежной лабораторией.

P.S. Вчера показали наши робототехнические лабы и обсудили победы молодежных команд.

Послушать беседу:Apple PodcastsЯндекс.МузыкаPodfmАудиоверсия на YouTube.

Знакомство с лабораторией молодежной робототехники

Таймкод 00:14

Дмитрий: Сколько команд вы поддерживаете и тренируете?

Игорь: У нас всегда занимается около двадцати человек. Из них мы ежегодно формируем три команды от трех до пяти участников, которые делают по одному проекту. Но у нас есть и деятельность, не требующая формирования коллективов. Это общие проекты.

Дмитрий: Расскажите, пожалуйста, подробнее о вашей лаборатории.

Игорь: Она небольшая и в какой-то степени берет начало в лицее 239. Тогда это была творческая лаборатория робототехники, где мы делали с ребятами проекты из конструкторов Lego, постепенно добавляли к ним что-то еще для разнообразия. В определенный момент нас пригласили в Университет ИТМО. Теперь мы работаем и со студентами, которые зачастую формируются из тех, кто пришел к нам заниматься еще во время обучения в школе.

Дмитрий: Они осуществляют и преподавательскую функцию в лаборатории?

Игорь: Да. У нас все учатся друг у друга. Часто бывает так, что ребята знают гораздо больше преподавателей. Такие возможности нельзя упускать. Они очень быстро схватывают и передают знания, если преуспели в какой-то дисциплине: механике, программировании, 3D-моделировании. Иногда мы собираем младших участников, а старшие делятся опытом.

В зависимости от сложности темы и количества учеников мы устраиваем еженедельные семинары например, на протяжении полугода или пары месяцев (если базовые знания уже есть и нужно изучить условное устройство простейших нейросетей). Но даже самые короткие образовательные программы, мы предварительно анализируем и утверждаем.

Путь от школы до международных соревнований

Таймкод 04:09

Дмитрий: Можем ли мы проследить путь участников вашей лаборатории от школы до конкурсных проектов? Как они попадают к вам и развиваются уже внутри коллектива?

Игорь: Есть различные варианты. Обычно мы проводим набор в сентябре. Он включает в себя собеседование и тестирование. Все-таки важно понять, что ребенок обладает базовыми знаниями. К сожалению, времени для обучения с нуля у нас нет мы готовим ребят к крупнейшим состязаниям, какие только могут быть в этой сфере для начинающих робототехников. В них мы стараемся занимать призовые места.

Дмитрий: Сколько времени уходит на подготовку к таким соревнованиям?

Игорь: Если это дети из школ, где все в порядке с математикой и программированием, и сами они заинтересованы, тогда для выхода на соревновательный уровень достаточно шести месяцев.

Дмитрий: Для детей какого возраста доступны такие варианты развития?

Игорь: Есть разные возможности. Все зависит от индивидуальных особенностей человека. Мы обычно постепенно усложняем задания, чтобы посмотреть на прогресс учеников.

Дмитрий: Как может выглядеть такая траектория развития?

Игорь: Есть типы траекторий для конкретных соревнований. Если мы говорим о Всемирной олимпиаде роботов (World Robot Olympiad), то мы отталкиваемся от темы. Это происходит осенью, а в январе организаторы дают утончения, которые могут легко перевернуть наши представления о том, что ждут от участников олимпиады. В одном из таких подготовительных циклов первоначальной темой были умные города. Мы стали разрабатывать идеи вокруг соответствующих решений и направления умных домов, но уточненный вариант выглядел уже как умное управление городом, умное образование и умное рабочее место.

Дмитрий: Времени на внесение изменений у вас уже было меньше года?

Игорь: Менее шести месяцев. Готовый проект нужно продемонстрировать в конце мая, а потом через месяц выступить на всероссийской олимпиаде, где желательно победить. Хотя есть и экспертный отбор, там нужна более детализированная версия разработки. Но если человек толко пришел к нам в лабораторию, он не обязан сразу участвовать в соревновательном цикле.

Можно заниматься со всеми, помогать другим, делать свои небольшие проекты, изучать какую-то тему, но в рамках первого года быть вне каких-либо конкурсов. Это нормально.

Дмитрий: Все это зависит еще и от времени, которым располагает человек.

Игорь: Многие в итоге добираются до серьезных проектов. И до соревнований.

Дмитрий: Могли бы вы рассказать о наиболее заметных проектах последних лет?

Игорь: Самые заметные чемпионские проекты. Каждый год у нас есть либо чемпионы, либо призеры соревнований. С начала работы вместе с Университетом ИТМО мы сделали два проекта для Всемирной олимпиады в Индии. Это была рука-манипулятор, контролируемая с помощью сенсора Leap Motion. Управление может быть дистанционным, а сама роборука например, находиться в опасном для человека окружении. Мы заняли с этим проектом второе место.

Еще была разработка по теме Арктики модель системы по уборке бочек из горюче-смазочных материалов. С ней мы заняли четвертое место, но потом все усовершенствовали и через два года с большим отрывом от всех победили на международных соревнованиях RobotChallenge в Китае.

После этого мы делали робота-лесника для олимпиады в Коста-Рике, но уже с другими ребятами.

Как правило, состав команд не повторяется. Один человек может присоединяться к разным командам, но общий их состав всегда уникальный.

Как родители могут оценить кружки для начинающих

Таймкод 12:05

Дмитрий: Как родители могут распознать интерес ребенка к этой теме и помочь ему разобраться сделать первые шаги и совместить все это со школьной программой?

Игорь: Я начинал эту историю именно как родитель купил набор по робототехнике, мы постепенно собирали небольшие проекты, а потом меня пригласили в лицей 239, и успехи пошли один за другим. Как могут к этому подойти другие родители, сказать сложно.

Если не хватает времени на учебу в школе, то не всегда есть смысл что-то добавлять сверху. Но если ребенок все успевает и тянется к технике, а родители думают, куда его можно отдать часто выбирают робототехнические кружки. Другой вопрос, как понять, куда отдавать.

Дмитрий: Сейчас такие кружки начали появляться с огромной скоростью. Есть ли какие-то простые способы разобраться в этой области и предварительно оценить возможности кружка?

Игорь: Нужно смотреть на результаты. Как правило, это позволяет увидеть уровень. Например, всероссийские конкурсы требуют прохождения отборочных этапов в регионах. Международные еще больших усилий и понимания того, что ожидают увидеть на таких мероприятиях. Если у кружков есть результаты, то да там учат и скорее всего делают это хорошо.

Примеры проектов-участников соревнований

Таймкод 15:57

Игорь: У нас есть то, что отличает лабораторию молодежной робототехники от других. Это возможность себя проявить в творческой атмосфере. Мы с Евгением Завариным и другими преподавателями даем возможность свободного конструирования. Очень важно готовить креативщиков так, чтобы в них сохранялось желание изобретать и придумывать.

Часто даже на крупных соревнованиях люди останавливаются на скучных реализациях. Например, была тема еда имеет значение. Нужно было найти новые способы земледелия или чего-то подобного, и многие просто взяли идеи, связанные с гидропоникой.

Мы выращивали клубнику, но придумали неожиданное решение.

Дмитрий: Расскажите, пожалуйста, об этом проекте.

Игорь: Это был стенд-грядка с разбросанной игрушечной клубникой трех видов: недозревшей, перезревшей и спелой. По рейке двигался манипулятор с камерой. Так мы обнаруживали, где находится клубника. Делали это с помощью технического зрения, вычисляли координаты, а при помощи нейросети определяли свойства клубники. Управлять системой можно с помощью приложения: выбирать грядки, видеть клубнику, заказывать доставку определенных ягод. Сбор осуществлялся при помощи специального мягкого захвата, который мы реализовали вместе с нашими химиками, а базовая технология работы манипулятора была придумана в Гарварде.

После сбора клубника попадала на квадрокоптер, осуществляющий доставку. Такая грядка может находиться на условной крыше офисного центра, а сотрудники делать заказы в приложении.

Дмитрий: Серьезный проект. Даже если взять команду инженеров с высшим образованием, им придется потратить существенное время, чтобы все реализовать что-то подобное.

Игорь: Если делать это не в формате стенда, а для настоящей грядки, конечно, задача будет очень и очень трудоемкая. У нас были некоторые допущения, но в проект входил ряд сложных робототехнических задач, на которые мы потратили год подготовки.

Дмитрий: Когда вы формулируете такие идеи, вы основываетесь по большей части на существующих разработках, или ребята стараются сделать основные компоненты с нуля?

Игорь: Что-то мы заимствуем и интегрируем, но концепция всегда оригинальная. Это не какие-то изобретения, а больше решения для практических задач.

Дмитрий: В этом проекте была какая-то специализация внутри команды?

Игорь: Да. Как правило, у нас это есть. Но иногда ребята комбинируют несколько направлений.

Есть и другие примеры. Так, у нас был робот-флейтистка по имени Эльза. Его делал наш ученик, который уже является студентом бакалавриата. Он смоделировал руки робота по примеру своих.

Дмитрий: Расскажите, пожалуйста, про проект по теме умного рабочего места.

Игорь: В нем мы связали две темы эту и умное образование. Получился робот-лампа. Он мог действовать в качестве осветительного прибора, а после завершения тематического урока, собрать со стола детали конструктора. Нейросеть определяла, какие детали разбросаны по столу, а пневматический захват подбирал их и раскладывал по ячейкам контейнера.

Компактные выводы

Таймкод 24:05

Дмитрий: Что вы хотели бы улучшить в своей работе?

Игорь: У нас много идей, а времени хватает не всегда, но мне интересно заниматься этим. Мы можем позволить себе ставить любые задачи робототехника не имеет узкого формата, она включает в себя, например, и применение систем ИИ. Но мы стремится к оправданной сложности, к оригинальности, чтобы наши разработки находили отклик в душе человека, вызывали эмоции. Помимо технической составляющей нам важен интерес самих разработчиков. Здесь мы подходим к понятию Art&Science, где наука и искусство соседствуют.


Что еще у нас есть на Хабре:


Подробнее..

Что там в Университете ИТМО антистресс от разработчика, аксионы, кристаллы времени и хакатоны

18.04.2021 14:12:21 | Автор: admin

Наша подборка ближайших мероприятий для студентов и специалистов. На этот раз она получилась весьма необычной. Здесь вы найдете и лекции по психотерапии, и технологические хакатоны для начинающих и продвинутых разработчиков. Плюс неплохую возможность обсудить проблемы темной материи с одним из ведущих экспертов в этой области.

Фотография: Kevin Ku. Источник: Unsplash.comФотография: Kevin Ku. Источник: Unsplash.com

Андрей Бреслав о психотерапии для всех

21 апреля в коворкинге на ул.Ломоносова, д.9 [в Санкт-Петербурге]

Уже на следующей неделе Андрей Бреслав, известный по своему участию в работе команд Kotlin и JetBrains, расскажет о новом продукте сервисе для подбора психологов и психотерапевтов Alter. Он интересен тем, что задействует алгоритм, разработанный вместе с представителями Психологического институтаРАО. На мероприятии Андрей поделится личным опытом, который сподвигнул его к запуску сервиса и поговорит о том, как действовать в ситуациях, когда научное пространство переполнено методиками и подходами для оказания подобной помощи.

Зарегистрироваться можно здесь.

Эта лекция пройдет в рамках Mental Health Month, который мы решили организовать вместе с профильными экспертами в Университете ИТМО. Сразу на следующий день после мероприятия Андрея Бреслава на этой же площадке выступит Дмитрий Жуков, доктор биологических наук и профессор Института физиологии им.И.П.ПавловаРоссийской академии наук. Он объяснит, как работают механизмы, запускающие стресс, расскажет о его пользе и вреде для организма. Помимо этого поможет разработаться в производной стресса состоянии депрессии.


Новый физтех: семинар Фрэнка Вильчека

21 апреля в онлайн-формате в 17:00

Новый физтех Университета ИТМО, регулярно выпускает материалы в нашем блоге на Хабре [раз, два, три] и на этот раз организует выступление по теме Аксионы и проблема темной материи. Его проведет всемирно известный эксперт, обладатель Нобелевской премии по физике 2004 года, писатель и энтузиаст в области human enhancement Фрэнк Вильчек. Он расскажет о теоретических моделях, необычных свойствах аксионов и затронет тему кристаллов времени. Кстати, к вводу в научное поле некоторых из этих понятий Фрэнк имеет непосредственное отношение, поэтому рекомендуем получить информацию прямо из первых рук.

Регистрация на семинар открыта тут.



Хакатон при поддержке проекта CroBoDDIT

23-25 апреля в онлайн-формате

Речь о кроссбордер-инициативе в сфере ИТ и программе сотрудничества Юго-Восточная Финляндия Россия, функционирующей с 2014 года. На хакатоне ждут тех, кто знаком с разработкой в области больших данных, IoT- и блокчейн-технологий. Участникам предложат заняться решением вопросов управления природными ресурсами и их защиты.

Включиться в работу можно лично и действовать полностью самостоятельно, либо присоединиться к одной из команд. Проекты будет оценивать экспертное жюри, состоящее из представителей международных организаций. Победителям предложат онлайн-стажировки у компаний-партнеров проекта с опциями для последующего трудоустройства, плюс другие возможности по развитию их начинаний и идей, реализованных на этом хакатоне.

Зарегистрироваться можно до 20 апреля.


Хакатон вместе с Deutsche Telekom IT Solutions

23-25 апреля в онлайн-формате

Это студенческое мероприятие для тех, кто еще учится, и недавних выпускников. Пройдет в режиме работы над несколькими темами: от умного офиса до рекомендательных систем и бизнес-аналитики. Участники смогут выбрать подходящее направление и предложить собственный проект. Организует мероприятие наш факультет программной инженерии и компьютерной техники в партнерстве с подразделением Deutsche Telekom IT Solutions.

Что интересно, финалисты хакатона откроют себе беспрепятственный путь в магистратуру Технологии интернета вещей и Системное и прикладное программное обеспечение, если в задействуют в конкурсных проектах генеративно-состязательные сети, решения для визуализации данных и системы искусственного интеллекта.

Этот вариант возможен благодаря нашей программе Hack For Your Success.

Для тех, кто решит принять участие, мы рекомендуем общий Telegram-чат хакатона, где можно найти единомышленников и обсудить с ними потенциальные идеи для развития.



Demo Days магистратуры Нового физтеха

14-15 мая Ломоносова д.9 [Санкт-Петербург] начало в 10:00

Очередная инициатива Нового физтеха [у нас на Хабре раз, два, три]. На этот раз для абитуриентов магистратуры, завершающих обучение в бакалавриате и интересующихся перспективами дальнейшего развития и обучения на программах Университета ИТМО.

Речь пойдет о возможностях не только для учебы, но и практики в рамках рабочих стражировок и научно-исследовательской карьеры. Обо всем расскажут преподаватели, сотрудники и студенты Нового физтеха. Еще в рамках Demo Days пройдет конкурс на стипендию магистранта.

Подробнее о мероприятии здесь.


Что еще у нас есть на Хабре рассказы о стартапах наших резидентов:


Подробнее..

Что там в Университете ИТМО дайджест мероприятий для студентов, ученых и специалистов разного уровня

13.02.2021 22:06:51 | Автор: admin

Делимся подборкой для специалистов, ученых и студентов технических специальностей, плюс их младших коллег. Рассказываем о ближайших тематических мероприятиях и конференциях.

Фотография: Mati Flo. Источник: Unsplash.comФотография: Mati Flo. Источник: Unsplash.com

Третий семинар Лаборатории машинного обучения

16 февраля 18:00 [регистрация] пройдет в онлайн-формате

Очередной неклассической митап нашей ML-лаборатории. Его проведут Андрей Фильченков и Никита Пильненский. Первый расскажет о событиях в мире машинного обучения, а второй объяснит, за счет чего отбор признаков может стать мощнейшим инструментом в этой нише. Далее состоится компактное обсуждение перспектив нейронных сетей и отбора признаков.

Первые два семинара доступны на YT-канале лаборатории. Вступительную сессию открыл Андрей Фильченков [кстати, в нашем блоге есть его рассказ о том, что ждет начинающих ученых в сфере машинного обучения] и Валерия Ефимова, которая показала процесс генерации искусственных изображений на различных примерах, в том числе с использованием текста, и обсудила с коллегой будущее процедурального искусства.

На втором семинаре помимо новостей из ML-мира Игорь Бужинский объяснил, легко ли заставить нейросеть ошибиться, на примере задач классификации картинок и нейросетевой маршрутизации. Вместе с Арипом Асадулаевым он обсудил, что в теории перспективнее для недоброжелателей обмануть ИИ или естественный интеллект.


Тематический воркшоп Антенны будущего

17 февраля 15:00 [регистрация] пройдет в онлайн-формате

Этот воркшоп организует Новый физтех. Его специалисты поддерживают специальную рубрику и часто публикуются в нашем блоге на Хабре [раз, два, три]. Мероприятие заинтересует тех, кто связывает свое будущее с областью радиофизики: на встрече с рассказом о деятельности ведущих R&D-отделов выступят представители компаний-партнёров Университета ИТМО Huawei, Corning и Topcon, плюс состоится лекция Станислава Глыбовского, руководителя специализации Физика радиочастотных технологий в магистратуре Нового физтеха.



Научный митап с проректором в онлайн-формате

24 февраля 16:00 [регистрация]

Университет ИТМО открывает серию тематических семинаров о наиболее острых научных вопросах. На первой встрече выступит руководитель нашей лаборатории Эволюционные вычисленияМаксим Буздалов. Он объяснит, как настраивать параметры эволюционных алгоритмов непосредственно в ходе их работы. Пока публикаций по этой теме крайне немного, поэтому с темой Максима под названием Параметры в эволюционных алгоритмах: настройка, контроль, сюрпризы будет полезно познакомиться всем, кто интересуется направлением.

К участию приглашаем всех, кто готов поддерживать дискуссию по теме. Модерировать семинар будет проректор Университета ИТМО по научной деятельностиВладимир Никифоров.


Юбилейный X Конгресс молодых ученых

14-17 апреля в онлайне [сайт конгресса]

До первого марта мы принимаем заявки от аспирантов и начинающих ученых, которые хотели бы принять участие в секциях, круглых столах и тематических семинарах по шести направлениям: биотех, компьютерные технологии, интердисциплинарные исследования, социальные и гуманитарные науки, трансляционные ИТ и фотоника. По итогам мероприятия эксперты выберут лучшие доклады, а редакция подготовит и выпустит сборник трудов спикеров конгресса.

В качестве ознакомления вы можете изучить сборники IX и VIII конгресса в онлайн-формате. Кстати, конкурсы на этом мероприятии могут дать школьникам дополнительные баллы к ЕГЭ при поступлении в Университет ИТМО. Еще мы приглашаем научных руководителей. Общая информация и правила участия есть на сайте, а новости организаторы публикуют в Vk.


Фотография: Dylan Ferreira. Источник: Unsplash.comФотография: Dylan Ferreira. Источник: Unsplash.com

III Международная научная конференция SEWAN-2021

19-24 апреля очно-дистанционный формат [сайт конференции]

На этом мероприятии будут рассмотрены такие направления, как энергоэффективность, проблемы экологической безопасности и чистых технологий, устойчивые холодильные цепи и пищевые биотехнологии. Материалы войдут в сборники научных статей и журналы из перечня ВАК. Внимание регистрация участников и прием тезисов идет до 21 февраля 2021 года.

В качестве дополнения в рамках конференции состоится интенсив Школы молодых ученых.


Конференция Интернет и современное общество IMS-2021

Прием заявок с 16 января по 10 марта [сайт конференции]

Мероприятие пройдет в рамках Недели технологий информационного общества в Санкт-Петербурге с 23 по 26 июня 2021 года и будет включать в себя секции: интернет и современное общество, ИТ и лингвистика, киберпсихология и электронное управление. Спикеры получат возможность публикации полных материалов и тезисов в сборниках научных статей.

Приглашаются все желающие. Правила регистрации есть на сайте конференции.


Дополнительное чтение у нас на Хабре:


Подробнее..

Новый физтех дайджест наших исследований

08.05.2021 20:10:07 | Автор: admin

Представляем новую [первая] подборку избранных публикаций о научных работах и достижениях представителей Нового физтеха ИТМО. Обсуждаем, что к чему, и делимся информацией о проектах, которыми занимаются наши специалисты и научные сотрудники.

Фотография: Dyu - Ha. Источник: Unsplash.comФотография: Dyu - Ha. Источник: Unsplash.com

Как квазичастицы помогут в разработке квантовой памяти

Новый физтех Indicator

Делимся рассказом о том, каким образом можно корректировать свойства вещества с помощью светового воздействия. Речь идет о процессах, приводящих к формированию поляритона частицы, энергия которой зависит от силы взаимодействия света с веществом. В низкоэнергетическом состоянии она обладает как качествами материи, так и света, а магнитными свойствами и проводимостью вещества можно управлять.

Этим проектом занимается Иван Иорш, профессор Нового физтеха ИТМО. Ранее он вместе с коллегами показал, как можно работать с неклассическими состояниями света: получать одиночные и парные фотоны, добиваться эффекта квантованного движения атомов фактически условий для записи информации в формате квантовой памяти.


За счет чего квазикристалл сумел задержать свет

Новый физтех N+1 Advanced Optical Materials

Михаил Рыбин, доктор науки доцент Нового физтеха ИТМО, простыми словами объясняет суть проделанной работы. Она сконцентрирована в области полупроводников и направлена на расширение знаний о природе, свойствах и законах распространения частиц в их кристаллических структурах. Речь идет о разработке так называемых ловушек для света, которые могли бы открыть новые возможности для проектирования лазеров и сенсоров.

Михаил объясняет, почему для этой задачи квазикристаллы подходят в наибольшей степени. Одна из его научных работ по этой теме была опубликована еще в 2017-м, а в прошлом году ему и его коллегам удалось синтезировать образец сложноструктурированного квазикристалла и подтвердить его оптические свойства способность к локализации света.


Зачем управлять цветом лазера с помощью наночастиц

Новый физтех Коммерсантъ Applied Physics Letters

Продолжение истории с разработанными ранее нанобампами массивами наноструктур, генерируемыми с помощью импульсного лазерного излучения. На этот раз ученые из Дальневосточного федерального университета и Университета ИТМО оптимизировали форм-фактор таких наночастиц для того, чтобы длиной волны отраженного света можно было управлять и проектировать новые сенсоры и высокоточные газоанализаторы.

Артем Черепахин, являющийся инженером ДВФУ и выпускником Университета ИТМО, вместе с Сергеем Макаровым, возглавляющим нашу лабораторию гибридной нанофотоники и оптоэлектроники, делятся результатами и объясняют перспективы научной работы.



Как пролить свет под правильным углом

Новый физтех Коммерсантъ ACS Photonics

Олег Ермаков и Андрей Богданов, представляющие Новый физтех, вместе с коллегами из Германии и Австралии предложили новый подход к захвату света оптоволокном. Их решение позволяет работать без существенных потерь даже при углах падения, превышающих семьдесят градусов. Этих результатов они добились за счет использования диэлектрической наноструктуры на торце оптоволокна. Она выступает и в роли кольцевой дифракционной решетки, направляющей свет вдоль оси оптики вне зависимости от исходного угла падения.

Разработка еще требует оптимизации. Этим команда уже занимается, плюс тестирует производство с помощью технологии нанопечатной литографии. Дальнейшее развитие может включать применение технологии в аппаратуре для эндоскопии и лапароскопии, квантовых коммуникациях и, конечно же, при проектировании датчиков для оптоволокна.


Как добиться максимальной добротности

Новый физтех Коммерсантъ

Наши специалисты вместе с коллегами из Санкт-Петербургского государственного электротехнического университета и Австралийского национального университета предложили решение проблемы компактизации резонаторов устройств, которые применяют, чтобы ловить и усиливать падающую волну. Процесс уменьшения размеров таких систем связан с затуханием добротности, однако команде ученых удалось разрешить этот момент с помощью связанных состоянийв континууме безызлучательных состояний с подавляющими друг друга резонансами. В материале [и еще одной заметке по теме на нашем новостном портале] есть некоторые подробности на этот счет от непосредственных участников проекта и обсуждение перспектив технологии в нише оптических компьютеров и микроволновой техники.


Другие материалы Нового физтеха на Хабре:


Подробнее..

Подкаст ITMO Research обсуждаем ключевые тренды и практику по теме UXUI-тестирования

25.04.2021 18:04:25 | Автор: admin

В этом выпуске Андрей Балканский, руководитель лаборатории в центре юзабилити и смешанной реальности Университета ИТМО. Обсуждаем основные тренды, практику по теме юзабилити-тестирования. Плюс пререквизиты для начинающих в этой области.

Выпуск доступен здесь:


Таймкоды по основным темам:

00:18 как понимать тренды: от флэт-дизайна к голосовым интерфейсам

09:35 с какими задачами в лабораторию центра юзабилити приходят компании

11:20 как продвигается работа над внутренними проектами Университета ИТМО

15:57 что есть внутри юзабилити-лаборатории, как она устроена

20:16 что находится на переднем крае этой дисциплины

23:42 пара слов о профильной магистерской программе

27:21 какие пререквизиты стоит освоить тем, кто интересуется этим направлением

Подкаст готовит и ведет@dmitrykabanov



Дополнительные материалы о подкасте:


Подробнее..

Мы делаем ставку на открытость как и чему учат предпринимателей в Университете ИТМО

22.11.2020 16:21:01 | Автор: admin

В этом выпуске ITMO Research Антон Гопка, декан факультета технологического менеджмента и инноваций. Обсуждаем поход к образовательной деятельности и развитию стартапов.

Выпуск доступен здесь:


Таймкоды по основным темам:

  • 00:27 hard и soft skills в предпринимательстве

  • 04:06 зачем предприниматели идут в вуз

  • 07:10 индустрия 4.0 и deep tech проекты

  • 09:50 что делает Университет ИТМО

  • 11:11 примеры успешных стартапов

  • 14:00 как оценивают учебные проекты

  • 20:00 гибкое обучение на практике

  • 22:53 инвестиции для студентов

  • 25:20 управленческие компетенции

  • 27:50 открытая система поддержки

Подкаст готовит и ведет@dmitrykabanov


В первых выпусках:


Подробнее..

Какие образовательные возможности предлагает новый центр Инфохимии в Университете ИТМО

07.12.2020 00:13:08 | Автор: admin

Ранее на Хабре мы обсудили тему молодежной робототехники и междисциплинарный подход к развитию в этой области. Сегодня сфокусируемся на несколько ином направлении и поделимся нашей беседой с Екатериной Скорб, директором центра инфохимии Университета ИТМО, приглашенным профессором в Гарварде и групп-лидером в институте Макса Планка.

На фото: профессор Екатерина Скорб. Источник: news.itmo.ru На фото: профессор Екатерина Скорб. Источник: news.itmo.ru

Послушать беседу:Apple PodcastsЯндекс.МузыкаPodfmАудиоверсия на YouTube.

Какими могут быть разработки в этой области

Таймкод 00:24

Екатерина: Мы занимаемся новым направлением междисциплинарной инфохимией. Эта область затрагивает все, что связано с кодированием, хранением и обработкой информации на молекулярном уровне. Когда в таком контексте звучит слово информация, вы понимаете, что химик должен находится там, где понимают, что такое теория информации, поэтому я работаю в Университете ИТМО. Здесь в какой-то момент проявили интерес к естественно-научному направлению, а потом интегрировали его с инженерной и математической базой.

В нашем центре химики предлагают новые подходы к решению сложных проблем занимаются информацией в самоорганизующихся системах, изучают их синтетические аналоги и проводят фундаментальные исследования в этой области. Одно из направлений осциллирующие реакции и электрохимические системы. С ними удобно работать. Мы смотрим, как их запускать синхронно и настраивать систему так, чтобы получить порядок из хаоса.

Дмитрий: Как я понимаю, такие исследования пригодятся в целом спектре отраслей от хранения данных до разработки новых вычислительных систем и медицинских гаджетов?

Екатерина: Если мы перейдем к управлению на молекулярном уровне, применение будет очень широким. Мы надеемся, что сможем продвинуться в этом направлении. Пока работаем с биологическими системами ищем те, на основе которых можем предложить предсказательные модели и новые подходы например, занимаемся разными типами биопленок.

Когда возникла проблема бактерий, устойчивых к антибиотикам, ученые начали разбираться, как они живут и коммуницируют. Выяснилось, что они делают это с помощью небольших молекул передают друг другу сигналы, запускающие процесс размножения, как только попадают в благоприятные условия. Мы можем взять подобную систему в качестве модели допустим, запускать автокаталитическое размножение схожим образом, потом выделять такие молекулы [либо ингибиторы] периодически.

Так можно найти различные подходы для отправки сигналов биологическим системам. Но хорошо бы вообще делать большую часть всего этого математически. Тут можно вспомнить Алана Тьюринга и его работу похимическимосновамморфогенеза, которую любят биологи.

Поэтому сейчас мы разбираемся с этой темой с точки зрения теории информации, чтобы понять, сможем ли мы управлять и использовать такие системы для вычислений. Подобные исследования возможны только в связке с людьми, которые специализируются на данных областях знаний.

Проектирование для потребителя

Таймкод 05:31

Дмитрий: Вы работаете с темой на фундаментальном уровне, чтобы объяснить, как добиться такого эффекта и воспроизводить его?

Екатерина: Я иногда говорю, что мы собираем биологические и химические системы, которые работают так же хорошо, как системы транзисторов. Например, мы делаем локальные градиенты и посылаем локальные сигналы, а потом смотрим, как происходит синхронизация в нашей химической и биологической системе, описываем математические зависимости. Какие-то процессы запускаем не на одном электроде, а одновременно на 25-30 электродах. Находим состояния и режимы, когда несинхронные процессы приводят к синхронизации в системе.

Если говорить простыми словами, то настраиваем все так, чтобы можно было использовать такую химико-биологическую систему в потребительском сегменте. Допустим, в диагностике.

Дмитрий: Наклейка на кожу, которая будет показывать результат определенных измерений?

Екатерина: Или будет мониторить концентрацию натрия и калия, которая связана с обменом веществ, а вы будете понимать, все ли в порядке. Пока мы пытаемся выявить некие корреляции. Один из последних примеров показал, что у людей в арабских странах содержание меди ниже среднего. Возможно, это связано с рационом. Но если вы измеряете не только медь, но и цинк, кальций, магний, натрий и делаете это постоянно в формате носимого устройства, анализ с помощью систем ИИ позволит выявить закономерности и специфику целевых групп. Например, признаки определенных заболеваний или спортивных тренировок. От этих выводов можно отталкиваться для разработки тренировочных программ и стратегий лечения пациентов.

Дмитрий: Такой подход упростит и сам процесс сбора данных.

Екатерина: Да, мы работаем над этим. С коллегами мы занялись не только проектированием химических сенсоров, но и функциональных приборов сделали прототип портативного потенциостата. Далее его можно миниатюризировать, переводить в гибкие форматы.

Кто еще занимается такими задачами

Таймкод 12:33

Дмитрий: Получается, у вас в комплексе теоретические и практические разработки?

Екатерина: Да. Как раз для этого и поддержали наш центр инфохимии. Теперь это не только моя группа, которая занимается фундаментальными проблемами. Есть весьма прикладные цифровизация пищевых технологий, разработка и внедрение портативных устройств и другие.

Дмитрий: Уже идет работа над продуктом.

Екатерина: Да. Тут еще важно, что все это очень понятно для магистров и аспирантов. Они сами проявляют инициативу и подают заявки на гранты. Основное финансирование РНФ и РФФИ, но я надеюсь, что в какой-то момент будет поддержка и от меценатов, которых заинтересуют амбициозные задачи, и они начнут инвестировать в исследовательскую деятельность.

На фото: профессор Екатерина Скорб. Источник: news.itmo.ru На фото: профессор Екатерина Скорб. Источник: news.itmo.ru

Здесь я чуть больше двух лет. До этого долго работала в институте Макса Планка, где у меня была научная группа. Еще в Гарварде, у самого цитируемого химика современности Джорджа Уайтсайдса. Занималась фундаментальным направлением, таким как возникновение жизни на Земле. Эту работу поддерживал фонд Саймонса.

Будет отлично, если у нас появятся похожие примеры. Допустим, инвесторы заинтересуются разработкой искусственной клетки и самовоспроизводящихся систем.

Такие задачи можно решать только с помощью усилий междисциплинарных групп. Как только нам вместе удается выявить зависимости и построить предсказательные модели для сложных систем, мы их подтверждаем и запускаем дальнейшие разработки.

Дмитрий: Расскажите, пожалуйста, подробнее о центре, различиях специалистов по профилю и о том, как вы вовлекаете младших коллег в свою деятельность.

Екатерина: Наша группа выросла из химико-биологического кластера там есть две образовательные программы. Мы пропагандируем подход, который условно можно назвать образованием через науку. У ребят есть серьезные исследования, каждый ведет свой проект и отвечает за него. Магистры это основа, но есть и аспиранты, и постдоки.

Тем, кто хотел бы присоединиться к одной из групп

Таймкод 15:36

Я готова работать с любым человеком, кому интересна инфохимия. Задачи найдем. Мы ждем хороших химиков и математиков, если у них есть интерес к междисциплинарной работе. На текущий момент коллектив вырос до нескольких независимых групп. Два моих постдока получили свои РНФ-гранты на запуск научных групп. Потом выделилась еще пара групп химометрики и биомиметики. Сейчас все они оформились в научных центр инфохимии.

Еще у нас появилась группа вычислительной химии. Она помогает транслировать студентам многие вопросы, которые невозможно решить с моделями. Все, что в водных растворах; выпадение осадка; изменения системы в процессе адаптации. Можно говорить и о разработке самозалечивающихся материалов и о том, как собрать имплантаты внутри живых организмов.

Взаимодействие с медиками привело к тому, что мы запустили группу биоэлементологии, занялись функциональным питанием. Все это у нас происходит достаточно органично.

Все-таки альтернативы текущим разработкам всегда нужны, и я решила, что мне было бы интересно что-то предложить и сделать в направлении инфохимии. В мире мало кто этим занимается, потому как нужен тесный контакт со специалистами разного профиля, но как раз здесь в Университете ИТМО такая возможность есть. Допустим, если вы хотите заняться темой наноструктурирования поверхностей, системами умной доставки, которые можно регулировать светом, током, а они самоадаптируются в целевой среде например, очищаются от бактерий. Ресурсы для этой работы и научные группы у нас есть.

На фото: профессор Екатерина Скорб. Источник: news.itmo.ru На фото: профессор Екатерина Скорб. Источник: news.itmo.ru

Дмитрий: Могли бы вы что-то порекомендовать с точки зрения пререквизитов и бэкграуда для тех, кто хотел бы присоединиться к вам? Каких людей вы ждете в своем новом центре?

Екатерина: Мы ждем тех, кто готов доводить дело до конца публиковаться в высокоимпактных журналах или выводить на рынок и условные прилавки аптек свои сенсоры. Если это хороший химик, у нас есть возможность научить его современным подходам в математике и программировании. В обратной ситуации покажем модельные биологические и химические системы, дадим базис для решения сложных проблем. Нужно быть готовыми учиться.

Дмитрий: Возможны оба исходных направления?

Екатерина: Да. Мы хотим распространить такой подход и на бакалавров, а потом и школьников. Чтобы они знакомились с научными проектами. Так, в школе 239 уже есть химбио-направление. Мы хотим видеть выпускников таких образовательных учреждений у себя в университете.

Дмитрий: Приличный горизонт планирования для подготовки новых специалистов.

Екатерина: Если вы понимаете, что прорывы ожидаются в междисциплинарных областях, то это перспективный подход. Но в Университете ИТМО мы предлагаем не только это, а еще и обширную инфраструктуру для развития софт-скиллз и личностного роста.

Больше возможностей

Таймкод 26:58

Дмитрий: Все-таки междисциплинарный подход во многом подразумевает обучение на лету и передачу знаний из рук в руки. Учебников по последним достижениям, конечно, не бывает.

Екатерина: Поэтому мы и говорим, что это образование через науку. Мы вовлекаем наших учеников в подготовку публикаций для высокоимпактных журналов, еще они могут поехать на практику. Одни уже поработали в Гарварде, другие взаимодействовали с коллегами из института Макса Планка. Это стажировки в топ-10 вузах мира, если необходимо для проекта.

Мы не говорим о научном туризме. Наши подопечные вовлечены в значимые проекты и осознают свою ответственность, а мы показываем им передний край науки.

Дмитрий: Они продолжают заниматься своей научной работой и расширяют базу за счет таких стажировок. Не меняют направление, не переключаются ради какой-то разовой поездки.

Екатерина: Да, но это требует согласования. Например, моя группа сотрудничает с NUS, и мы всегда обсуждаем со студентами, как сделать такое взаимодействие максимально продуктивным. Допустим, с точки зрения научных публикаций. Хотя по большей части многим и не требуется куда-то обязательно ехать. У нас можно сделать все, что связано с электрохимией и аналитической химией лаборатории прекрасно оборудованы. Необходимость стажировок определяется с помощью индивидуального подхода к тому, чем занимается каждый из студентов.

Дмитрий: Пока все это возможно при поддержке государства.

Екатерина: Фонды государственные. Но вообще-то это фактически мы налогоплательщики. Поэтому я считаю, что нужно рассказывать о науке, а проекты, нацеленные на продукт, могут заканчиваться выгодными конкурентными разработками с привлечением соинвесторов.

У нас есть опыт таких переговоров, хотя формальностями больше занимаются юристы, а мы специализируемся на том, что до нас мало кто делал в этой области. Наша группа третья из тех, что занимаются инфохимией, помимо группы Джорджа Уайтсайдса и польских коллег.

Прорывы ожидаются именно в таких естественнонаучных направлениях. В мире понимают, что подобный подход перспективен. Так, в научный совет нашего центра входит Жан-Мари Лен, нобелевский лауреат и основоположник супрамолекулярной химии. Я думаю, что такое взаимодействие необходимо для развития.

Мы работаем над контролируемыми электрохимическими осциллирующими системами и системами доставки веществ, когда есть каскад реакций и периодическое выделение. К прикладным и фундаментальным исследованиям в этих областях в мире есть большой интерес.

Как выглядит рабочий день Екатерины Скорб

Таймкод 37:38

Дмитрий: Если смотреть на ваше взаимодействие с международным сообществом и коллегами здесь, как выглядит ваш рабочий день? Как вам удается найти время, чтобы разобраться, чем занимается каждый из ваших подопечных?

Екатерина: Даже если я что-то не успеваю, я делаю все по максимуму. Зачастую мне хватает и четырех часов сна. В начале дня в лаборатории мы проводим общее совещание или обсуждаем тематические проекты. До этого ребята присылают все свои наработки к текущему моменту мы смотрим, что сделано, планируем развитие. Далее идут индивидуальные встречи. Мы садимся и думаем, что уже можно оформить в научную статью, как она будет выглядеть и так далее.

Какая-то часть времени уходит на написание научных проектов и административные моменты. Иногда бывают интервью. Как то, которое мы записываем сейчас. Я считаю, что это важно.

Еще мы организуем встречи в духе Art&Science со специалистами из других сфер деятельности.

По мере завершения рабочего дня это чтение и подготовка своих статей, какие-то переговоры.

Кроме меня у студентов есть менторы на уровне других групп-лидеров, постдоков и аспирантов. Но мне всегда нужно понимать, что у всех есть задачи, как минимум, на две-три недели. Тогда можно оценивать прогресс и видеть, что человек делает максимум из того, что можно было бы осуществить, исходя из имеющихся ресурсов. Мы действительно много вкладываем в наших учеников. На этот счет моя совесть чиста. Мы делаем общее дело, и я надеюсь, что все, кто идут рядом, делают для этого максимум. Тогда и получаются интересные результаты.


Другие интервью в нашем подкасте:


Подробнее..

У нас нет рекламы, но люди приходят обсуждаем проект Codeforces и ход его развития

13.12.2020 04:16:50 | Автор: admin

В этом выпуске подкаста ITMO Research Михаил Мирзаянов, основатель платформы Codeforces и ассистент факультета информационных технологий и программирования Университета ИТМО.

Выпуск доступен здесь:


Таймкоды по основным темам:

00:48 как Михаил познакомился со спортивным программированием, что его зацепило;

05:31 зачем понадобился такой проект как Codeforces, что подтолкнуло к его разработке;

08:08 что из себя представляла эта платформа в самом начале пути, примеры решений;

10:30 как можно оценить динамику развития сферы спортивного программирования;

14:58 личный опыт в этой области, участие в финалах ICPC и работа с учениками;

19:40 общие моменты относительно технологического стэка Codeforces;

23:13 потенциальные возможности для улучшения по мнению Михаила;

25:10 как часто проходят соревнования, что нужно для подготовки к ним;

32:35 что сейчас можно сказать об интересе к теме со стороны компаний;

37:08 нужно ли строить карьеру в области спортивного программирования.

Подкаст готовит и ведет@dmitrykabanov


Другие выпуски подкаста с таймкодами на YouTube:


Подробнее..

Мы ставим на открытость как и чему учат технологических предпринимателей в Университете ИТМО

10.01.2021 12:14:24 | Автор: admin

Антон Гопка, деканфакультета технологического менеджмента и инноваций, рассказывает о том, как выглядит гибкий поход к образовательной деятельности и развитию студенческих стартапов.

Послушать беседу: Apple Podcasts Яндекс.Музыка Google Podcasts PodFM YouTube

На фото: Антон Гопка. Источник: news.itmo.ruНа фото: Антон Гопка. Источник: news.itmo.ru

Hard skills в предпринимательстве

Таймкод 00:27

@dmitrykabanov: Есть миф о том, что предпринимательство исключительно творческая деятельность, которая не подразумевает обучения. На этом паразитируют инфобизнесмены и авторы мотивирующих курсов. Расскажите, пожалуйста, как много правды в этом мифе, и как сейчас учат предпринимателей там, где требуется понимание инженерных процессов?

Антон: Спасибо за вопрос. Достаточно часто вижу коучей, которые дают надпрофессиональные рекомендации. Конечно, все это полезно. Однако если мы говорим про технологическое предпринимательство, здесь нужны так называемые hard skills, требующие существенного времени для освоения и практики. Мы сделали семь магистерских программ, направленных как раз на это. Среди них я бы выделил маркетинг. Казалось бы, чего-то такого здесь нет, но технологии в этой области стали настолько сложными, что все два года обучения студенты напряженно трудятся, чтобы успеть все охватить. Кстати, на эту программу всегда очень большой конкурс и набор. Еще есть управление интеллектуальной собственностью, отраслевое регулирование, инвестиции и другие направления. Флагманское отведено предпринимателям.

Помимо функциональных знаний и опыта, предприниматель должен разбираться в технологиях. Хорошо знать отрасль, в которой работает: понимать соответствующие бизнес-модели и законодательство. Все это вместе дает возможность бороться с конкурентами и на международном рынке. Надпрофессиональные навыки это только надстройка над базой. Если вы хотите изменить мир, без нее уже не обойтись.

Дмитрий: Фундаментальные знания позволят довести начинание до рынка в адекватные сроки. Кажется, одной только идеи будет мало, чтобы вытащить технологический стартап из гаража.

Антон: Раньше меня задевало, когда известные предприниматели подчеркивали, что бросили учебу и это решение привело их к успеху. В какой-то момент для всего этого даже появился специальный термин dropouts. Хотя здравый смысл подсказывает, что практически любой студент условного Стэнфорда обладает существенной сетью знакомств с людьми, которые могут поддержать и даже выделить средства, так называемой safety net. Мы считаем, что технологическое предпринимательство должно быть доступным для более широкого спектра специалистов, поэтому решили подойти к этому вопросу с фундаментальной точки зрения.

У нас более длительный процесс по сравнению с программами акселерации и короткими курсами, но в рамках двух лет обучения студенты еще и работают с инфраструктурой получают доступ к высокотехнологичному оборудованию. Это инжиниринговый центр для печатной, гибкой электроники и фотовольтаики, где можно напечатать свою солнечную панель, изготовить сенсор и протестировать разработку вместе с индустриальными компаниями. Здесь люди собирают междисциплинарные команды, привлекают финансирование, запускают бизнес и двигаются дальше. Университетская среда позволяет все это совместить.

Индустрия 4.0 и deep tech проекты

Таймкод 07:10

Дмитрий: Если говорить чуть подробнее о так называемых deep tech проектах, могли бы вы раскрыть этот термин? Все-таки технологическое предпринимательство чаще связывают с разработкой программного обеспечения, различных сервисов и приложений.

Антон: Да, это так. Экономика проходит целый ряд этапов трансформации. Социальные сети, маркетплейсы, агрегаторы услуг тоже достаточно сложные проекты, да и потенциал этого рынка еще не исчерпан. Однако сейчас речь идет уже об Индустрии 4.0, где задействуют киберфизические системы. Даже если посмотреть на Facebook или Amazon, они вкладываются в разработку гаджетов и оффлайн. Конечно же, появляется больше автономных систем: как на производствах, так и в секторе услуг и медицине. Еще мы видим развитие сектора сельского хозяйства, модернизацию транспорта, рост альтернативной энергетики и переработки отходов.

Проектирование прототипов по этим направлениям дело затратное и сложное, поэтому ведущие российские университеты пытаются предоставить свою инфраструктуру. Помимо инжинирингового центра у нас есть все необходимое для работы над биосенсорами и специальными материалами для медицины. Мы планируем стать лидерами в этой области предоставлять всю линейку сенсоров для патогенов, оценки состояния пациентов и других задач. Такую инфраструктуру предпринимателям не найти в акселераторах или в бизнес-школах.

Примеры успешных стартапов

Таймкод 11:11

Дмитрий: Получается, что студенты не просто могут использовать базу и изготовить прототипы с минимальными затратами, но и имеют все возможности, чтобы принести пользу обществу.

Антон: Совершенно верно. Мы хотим, чтобы проекты наших учеников доходили до рынка, жили и после их выпуска из университета, а студенты благодарили за то, что полученные знания и опыт изменили их жизнь. У Университета ИТМО есть множество таких примеров.

Наш аспирант и выпускник Никита Шамгунов построил компанию MemSQL, которую оценили в 400 миллионов долларов. Еще у нас есть первые выходы из малых инновационных предприятий, образованных при участии вуза в капитале компании. Один из основателей таких проектов, Артур Глейм некоторое время назад возглавил направление квантовых коммуникаций в РЖД. Есть и другие проекты в области биотеха, когда научная лаборатория предлагает студентам и специалистам возможность подготовки и публикации научных статей и образования собственных компаний.

Мы сотрудничаем и с инвесторами например, с United Investors, где одним из основателей является Александр Горный, бывший глава по стратегии MRG. Он входит в наш экспертный совет и помогает отсматривать проекты. Конечно, мы привлекаем и других известных экспертов.

Как оценивают учебные проекты

Таймкод 14:00

Дмитрий: Вы упомянули совет, расскажите о нем подробнее, пожалуйста. Кто в него в ходит, какой обладает экспертизой, как помогает ребятам с их стартапами?

Антон: Мы сформировали экспертный совет для оценки студенческих проектов. Мы понимаем, что в университете люди больше академического склада, поэтому участие предпринимателей необходимо. Это лидеры в ключевых отраслях: например, Андрей Зюзин, топ-менеджер группы компании ЭФКО, третьего агропромышленного холдинга в России, и Ольга Ускова, основатель Cognitive Technologies и эксперт в области систем ИИ. У нас достаточно многочисленный состав есть и люди, которые отвечают за определенные направления.

Так, по маркетингу мы привлекли Гарретта Джонстона, международного эксперта, поучаствовавшего в развитии крупнейших российских брендов. Наши эксперты могут дать действительно ценные рекомендации и поддержать студентов.

Вообще говоря, запрос на это присутствовал достаточно давно. Сейчас мы сформировали целую систему наставничества, состоящую из более чем двухсот человек. Все они готовы уделять определенное время для консультаций встречаться, созваниваться и отвечать на вопросы.

Это и индустриальные, и функциональные эксперты. Например, с нами сотрудничают люди, которые отвечают за интеллектуальную собственность и регулирование в области инноваций. С ними можно советоваться на тему того, как лучше подойти к различным конкурсам, где принять участие специфическим проектам, чтобы получить нужный грант и поддержку, и так далее.

Совет составляет порядка двадцати человек. Эти люди не собираются вместе на какие-то заседания, но всегда принимают участие в оценке проектов, которые студенты планируют взять в качестве дипломных. Эксперты говорят, можно ли использовать наработки для выпускной диссертации. Обычно это проекты, связанные с data science и киберфизическими системами.

Как выглядит гибкое обучение на практике

Таймкод 20:00

Дмитрий: У человека, который только погружается в эту тему, могут возникнуть сомнения, получится ли у него совместить практическую составляющую и учебу: чтобы проект выстоял в условиях рынка, но и формальная сторона учебного процесса отвечала всем необходимым требованиям экзаменационной комиссии. Как вы это видите, как вы у себя это все организовали?

Антон: Нам важно обеспечить максимальную гибкость для студентов. Конечно, они переживают, что любое изменение проекта может быть воспринято негативным образом, а если он провалится на рынке, то возникают сомнения относительно диплома и потраченного времени. Мы объясняем: есть учебный процесс, а бизнес параллельная история. Нас интересуют компетенции.

Мы благосклонно относимся к тому, что может меняться команда, план работ, целевой рынок продукта. Каждый семестр мы обсуждаем прогресс и вместе планируем, как будет идти развитие проекта и ключевых компетенций студента. Даже если бизнес не получилось построить, человек может выступить и дать оценку предпосылок для такого развития ситуации, рассказать о ходе валидации гипотез, сделать выводы и показать, чему он научился. Это и оценивает комиссия.

Дмитрий: Поддерживаете ли вы концепцию соинвестирования в такие проекты?

Антон: Да. Мы считаем, что возможности для поддержки студенческих инициатив критически важный элемент всей системы. Если студент не может собрать команду и профинансировать разработку прототипа, это существенным образом замедляет его развитие. Поэтому мы внимательно относимся к взаимодействию с партнерами, а наши студенты обладают широким спектром возможностей для участия в конкурсах, где корпорации предоставляют гранты.

Еще мы пытаемся сформировать свой венчурный фонд. Однако пока не можем раскрыть все детали на этот счет. Это направление развивается, как и работа с индустриальными игроками с точки зрения внутрикорпоративного предпринимательства при участии наших студентов. Мы сотрудничаем с телекомами, фармацевтическими компаниями, другими секторами экономики.

Дмитрий: Компаниям это интересно в том числе и с точки зрения привлечения перспективных управленцев, а не толко инвестирования в стартапы?

Антон: Да, конечно. Данная сфера является наиболее высокооплачиваемой. Это проектная деятельность с большими рисками, требующая освоения целого спектра компетенций. Наука только часть целого пласта навыков. Мы готовим предпринимателей, которые могут запускать собственные компании и управлять департаментами по инновационному развитию или цифровой трансформации крупных корпораций. Это могут быть и государственные институты развития.

Круг работодателей максимально широкий. Однако и предпринимательские навыки в таких структурах сейчас ценятся гораздо выше. Это тренд в контексте меняющейся обстановки и условий рынка. Технологические предприниматели могут справиться с кризисом гораздо лучше тех, кто всю жизнь работал в корпорации или госорганах.

Дмитрий: Как я понимаю, принять участие в ваших образовательных программах может практически любой студент? Междисциплинарный подход допускает это.

Антон: Конечно. Важно не делать какое-то гетто для предпринимателей, которых условно два процента в вузе. Не нужно замыкаться и ограничивать их. Наша задача формировать междисциплинарные команды, где есть люди с техническим бэкграундом, эксперты по маркетингу и другие специалисты. Это открытая система. У нас могут жить стартапы, созданные студентами различных вузов, и силами команд, которые работают по большей части вне университета. Вы можете привлечь внешних людей и сформировать собственный проект сами, а потом использовать его для защиты выпускной квалификационной работы. Это максимально открытый подход. Только так и может работать сфера инноваций.


Другие выпуски нашего подкаста на Хабре:


Подробнее..

Кластерный анализ каждому

19.01.2021 20:18:31 | Автор: admin

Если вы полагаете, что фундаментальные исследования всегда скучны и с трудом находят применение на практике, то прочитайте эту статью. Старший научный сотрудник нашей лаборатории Сергей Муравьев, занимающийся автоматизацией решения задач кластеризации, рассказывает о собственном проекте, у которого, кажется, есть всё, что только можно пожелать: научная фундаментальность, хитрые задачи на пути к цели, а также впечатляюще широкие возможности применения.

Источник изображения: commons.wikimedia.orgИсточник изображения: commons.wikimedia.org

Почему это круто

Кластерный анализ неформально можно определить как разбиение множества объектов так, чтобы похожие объекты попали в одно и то же подмножество, а объекты из разных подмножеств существенно различались. От обычной классификации по заданным признакам кластерный анализ отличается тем, что не алгоритм, а человек выявляет критерий кластеризации данных. Эта задача относится к классу обучения без учителя (англ. unsupervised learning), так как размеченного набора данных или какой-то заведомо известной информации о нём не предоставляется.

У задачи кластеризации нет общепризнанного математически корректного определения. Дело в количестве разнообразных применений: в маркетинге для сегментирования целевой аудитории, в медицине для классификации болезней, в рекомендательных системах при организации баз данных для поисковых запросов, при изучении социальной стратификации, для сегментирования изображений и распознавания образов, при обнаружении и сегментации артефактов различных периодов в археологии и много ещё для чего.

Универсальный алгоритм, который подходит для всех задач, построить невозможно (теорема Клейнберга). Принципиально невозможно найти решения задачи кластеризации, ведь существует множество критериев оценки качества разбиения, а число кластеров обычно неизвестно заранее. Поэтому алгоритмы кластеризации нужно подбирать и настраивать почти для каждой задачи отдельно.

Сравнение применения алгоритмов с параметрами по умолчанию и с настроенными гиперпараметрами.Сравнение применения алгоритмов с параметрами по умолчанию и с настроенными гиперпараметрами.

Задача выбора и настройки алгоритма машинного обучения является экспертной, что достаточно затратно по времени, поскольку работа выполняется человеком фактически вручную. Автоматизация подбора и настройки алгоритмов кластеризации экономит множество интеллектуальных, временных и других ресурсов в разных областях применения кластерного анализа. Система, которая могла бы автоматически рекомендовать и настраивать подходящий алгоритм кластеризации для каждой задачи в отдельности, была бы весьма актуальна.

Как определить меру качества

Ключевая сложность, с которой пришлось столкнуться в процессе исследования, состояла в том, чтобы понять, как корректно подобрать меру качества, по которому сравниваются возможные решения. Эту сложность получилось преодолеть с помощью рекомендации меры качества разбиения для каждой задачи на основе принципа мета-обучения.

Основная идея мета-обучения состоит в сведении задачи выбора алгоритма к задаче обучения с учителем: задачи описываются мета-признаками, характеризующими свойства решаемой задачи, при этом агрегированные сведения о работе алгоритмов (лучший алгоритм, ранжирование над алгоритмами и т.д.) выступают целевой функцией в такой постановке. Это может быть как сам алгоритм, так и оценка его работы на конкретной задаче по какой-либо мере.

Таким образом удалось разработать методологию визуальной оценки мер на основе визуальной оценки разбиений и сведении задачи предсказания такой оценки для новых наборов данных к задаче классификации в пространстве мета-признаков, описывающих поставленную задачу кластеризации. Далее расскажу об этом подробнее.

Сравниваем разбиения

Берём алгоритмы кластеризации и применяем их к набору данных. Полученные разбиения можно оценивать как адекватные или неадекватные, а ещё можно проводить сравнения разбиений друг с другом, чтобы определить лучшие. На рисунке ниже приведён пример сравнения различных разбиений примитивного набора данных с точки зрения адекватности, а также с точки зрения сравнения разбиений друг с другом. Чем выше на рисунке расположено разбиение, тем оно лучше с точки зрения попарного сравнения с другими разбиениями.

Пример возможного сравнения разбиений с точки зрения визуального восприятия.Пример возможного сравнения разбиений с точки зрения визуального восприятия.

Сравниваем меры качества

Основываясь на критериях оценки качества кластеризации с точки зрения визуального восприятия, я ввёл два критерия мер качества критерий адекватности и критерий ранжирования.

Критерий адекватности меры Adq оценка адекватности лучшего разбиения заданного набора данных с точки зрения визуального восприятия.

Критерий ранжирования R нормированная функция расстояния между ранжированием разбиений, задаваемым мерой качества, и агрегированным ранжированием разбиений, задаваемым оценками на основе визуального восприятия. Область значения данной функции: [0, 1]; чем значение функции ближе к 0 , тем рассматриваемая мера качества лучше.

Для наглядности давайте рассмотрим пример с собранным мною набором данных из двухсот двумерных наборов данных 2D-200. Для каждого набора данных из 2D-200 были сформированы 14 разбиений. Эти разбиения были оценены пятью асессорами и девятнадцатью мерами качества. В итоге на наборе данных 2D-200 выявлены лучшие меры качества с точки зрения критериев Adq иR.Затем для каждой меры по всем элементам из 2D-200 были вычислены следующие величины:

BestCVI_{Adq} соотношение числа раз, когда мера отвечала критерию адекватности Adq к общему числу экспериментов;

BestCVI_R соотношение числа раз, когда мера была лучшей с точки зрения критерия ранжирования R к общему числу экспериментов.

Значения BestCVI_{Adq} и BestCVI_R для всех мер качества на наборе данных наборов данных 2D-200 представлены в таблице ниже.

Мера

BestCVI_{Adq}

BestCVI_R

Мера

BestCVI_{Adq}

BestCVI_R

DB

0,630

0,000

Sym

0,565

0,123

Dunn

0,665

0,038

CI

0,385

0,006

Silhouette

0,665

0,058

DB*

0,695

0,000

CH

0,675

0,058

gD31

0,730

0,064

S_Dbw

0,640

0,000

gD41

0,735

0,155

SymDB

0,675

0,045

gD51

0,650

0,012

CS

0,475

0,006

gD33

0,715

0,129

COP

0,035

0,000

gD43

0,695

0,168

SV

0,450

0,071

gD53

0,585

0,003

OS

0,035

0,253

Из таблицы видно, что ни одна рассмотренная мера не претендует на универсальность по введенным критериям, а значит, меру качества нужно рекомендовать для каждого набора данных отдельно.

Однако эффективная рекомендация из девятнадцати мер качества требует значительно большего числа наборов данных, чем представлено в 2D-200. Поэтому я построил множество из четырех самых лучших мер с точки зрения AvgCVI_R среднего значения, вычисляемого на основе критерия ранжирования мер: мера Silhouette, мера Calinski-Harabasz, мера gD41 и мера OS. В таблице приведены значения AvgCVI_R для всех исследованных мной внутренних мер качества.

Мера

AvgCVI_R

Мера

AvgCVI_R

gD41

\mathbf{0,312}

gD53

0,442

gD43

0,314

S_Dbw

0,501

gD33

0,317

Dunn

0,517

OS

\mathbf{0,342}

gD51

0,614

CH

\mathbf{0,369}

CI

0,647

Silhouette

\mathbf{0,370}

CS

0,763

SV

0,370

DB

0,800

Sym

0,380

COP

0,808

gD31

0,380

DB*

0,819

SymDB

0,410

Классификатор, который рекомендует меру качества

Всякий раз производить данные вычисления довольно ресурсозатратно. Можно упростить задачу рекомендации меры качества, если свести её к задаче классификации. И я решил построить классификатор, который для нового набора данных предсказывает, какая из рассматриваемых мер качества будет лучше с точки зрения агрегированных оценок асессоров, если бы они действительно проходили описанный выше тест для этого набора данных. В качестве классификатора я использовал алгоритм случайного леса, который выбрал экспериментально, и который показывает качество классификации F_1 = 0,855. Интересно, что разработанный мета-классификатор сам по себе выступает новой мерой качества, назовём её Meta-CVI.

Как подобрать алгоритм

После того как мера качества известна, я определил два способа получения конечного разбиения, а именно построение эвристического или эволюционного алгоритмов кластеризации. В эвристических алгоритмах содержится неизменяемый критерий качества выстраиваемого разбиения, в эволюционных же критерий качества является гиперпараметром алгоритма. Гиперпараметры это параметры, значения которых задаются до начала обучения, не изменяются в процессе обучения и не зависят от заданного набора данных. Примерами эвристических алгоритмов служат такие алгоритмы, как k-Means, иерархический алгоритм и DBSCAN. Эволюционные алгоритмы осуществляют непосредственный поиск в пространстве возможных разбиений с целью найти оптимальное по задаваемой в качестве параметра мере качества.

Эвристические алгоритмы

Проблема в том, что заранее невозможно предсказать, насколько качественное разбиение построит тот или иной алгоритм. Если уделять равное время настройке всех возможных для данной задачи алгоритмов, то получится, что большая часть времени при такой схеме будет потрачена на настройку заведомо неэффективных алгоритмов. Но если сосредоточиться лишь на одном алгоритме, то часть из тех, что могли бы обеспечить лучшее качество кластеризации, не будут рассматриваться.

Чтобы решить эту проблему, я разработал метод выбора и настройки алгоритмов на базе обучения с подкреплением MASSCAH. Этот метод сводится к задаче о многоруком бандите. Предлагается осуществлять поиск компромисса между исследованием и эксплуатацией процессов настройки параметров для различных алгоритмов кластеризации.

В задаче о многоруком бандите рассматривается агент, тянущий за ручки тотализатора, с каждой из которых связано некоторое неизвестное распределение награды. Каждый ход агент выбирает ручку и получает случайную награду из связанного с ней распределения. Цель агента максимизировать полученную за несколько итераций награду.

Давайте формализуем задачу. Пусть задан некоторый временной бюджет T на поиск лучшего алгоритма A. Требуется разбить его на интервалы T = t_1 + t_2 + . . . + t_m таким образом, что при запуске процессов \pi_j с ограничением по времени t_i получается значение меры качества Q такое, что:

Q(A_{\lambda_j}^{j}) \xrightarrow{(t_1, t_2, \ldots, t_m)} \min_j,

гдеA^j \in A, \lambda = \pi(t_i, A^j, \emptyset),и t_1 + \ldots + t_m = T, t_i \geq 0 \: \forall i.

В этом случае каждой ручке бандита соответствует определённая модель алгоритма кластеризации из конечного множества A вызову ручки i на итерации k процесс оптимизации гиперпараметров этой модели в течение времени t_k. В результате будет достигнуто качество кластеризацииQ(A_{\lambda_i}^{i}, D).

Качество кластеризации определяется с помощью меры, оно и задает награду, получаемую по завершении итерации.

Иллюстрация работы метода выбора и настройки эвристического алгоритма MASSCAH представлена на рисунке ниже:

Эволюционные алгоритмы

Одним из ключевых аспектов работы эволюционных алгоритмов является вычисление функции приспособленности. В нашем случае это внутренняя мера оценки разбиения. Важно научиться быстро её перерасчитывать, если структура кластеров изменилась. Переформулировать задачу можно так: пусть точка x_{id} переместилась из кластера C_a в кластер C_b.

Каким образом можно инкрементально (то есть соответственно каждой новой конфигурации кластеров) перечитывать значение меры вместо того, чтобы вычислять его заново? Поскольку не для всех мер возможен точный инкрементальный перерасчёт за время, меньшее чем полный пересчет, я пересчитывал значение меры приблизительно, когда это невозможно сделать точно.

Основная идея состоит в том, чтобы сохранить большинство подсчитанных расстояний между элементами набора данных или расстояний между центроидами кластеров и элементами набора данных. Большинство внутренних мер качества разбиений используют расстояния между элементами, а также расстояния между элементами и центроидами кластеров. Объекты обычно описываются некоторым n -мерным векторным пространством. Соответственно, центроидом кластера будет являться центр масс объектов в векторном пространстве, входящих в кластер. В таблице приведены сложностные оценки для полного и инкрементального подсчёта девятнадцати используемых в исследовании внутренних мер. Из таблицы видно, что асимптотическая сложность инкрементального пересчёта всех внутренних мер лучше, чем полный их пересчёт.

Мера

Полный пересчёт

Инкрементальный пересчёт

Точность пересчёта

Dunn

\mathcal{O}(n^2)

\mathcal{O}(n)

точный пересчёт

CH

\mathcal{O}(n^2 \log(n))

\mathcal{O}(n)

аппроксимация

CI

\mathcal{O}(n \log(n))

\mathcal{O}(n)

аппроксимация

DB

\mathcal{O}(n \log(n))

\mathcal{O}(n)

аппроксимация

Sil

\mathcal{O}(n^2)

\mathcal{O}(n)

точный пересчёт

gD31

\mathcal{O}(n^2)

\mathcal{O}(n)

точный пересчёт

gD33

\mathcal{O}(n^2)

\mathcal{O}(n)

аппроксимация

gD41

\mathcal{O}(n^2)

\mathcal{O}(n)

аппроксимация

gD43

\mathcal{O}(n^2)

\mathcal{O}(n)

аппроксимация

gD51

\mathcal{O}(n^2)

\mathcal{O}(n)

аппроксимация

gD53

\mathcal{O}(n \log(n))

\mathcal{O}(n)

аппроксимация

CS

\mathcal{O}(n^2)

\mathcal{O}(n)

аппроксимация

DB*

\mathcal{O}(n \log(n))

\mathcal{O}(n)

аппроксимация

Sym

\mathcal{O}(n^2)

\mathcal{O}(n)

аппроксимация

SymDB

\mathcal{O}(n^2)

\mathcal{O}(n)

аппроксимация

COP

\mathcal{O}(n^2)

\mathcal{O}(n)

аппроксимация

SV

\mathcal{O}(n^2)

\mathcal{O}(n)

аппроксимация

OS

\mathcal{O}(n^2 \log(n))

\mathcal{O}(n)

аппроксимация

S_Dbw

\mathcal{O}(n \log(n))

\mathcal{O}(n)

аппроксимация

Для эволюционных алгоритмов важен выбор стратегии, операций кроссовера и мутаций на каждой итерации. Анализируя работы различных эволюционных алгоритмов, я выяснил, что качество получаемого разбиения зависит в основном от выбираемых мутаций. Поэтому из нескольких тестируемых решил использовать самую эффективную по времени (1 + 1)стратегию, в которой на каждой итерации равновероятно выбирается одна из мутаций. Таким образом, нужно проводить лишь настройку (1 + 1) стратегии, а именно выбор используемых мутаций для решаемой задачи кластеризации.

Эволюционный алгоритм кластеризации (1+1).Эволюционный алгоритм кластеризации (1+1).

Принимая во внимание эту особенность, я придумал мета-классификатор, рекомендующий список мутаций для решаемой задачи кластеризации. По всем запускам алгоритма с равновероятно выбираемыми мутациями для каждого из используемых набора данных я посчитал степень полезности каждой мутации. Для каждого запуска алгоритма построил распределение, которое показывало, какое число раз та или иная мутация давала прирост с точки зрения функции приспособленности на каждой итерации. Потом я взял пять лучших мутаций и построил бинарный вектор, где лучшим мутациям соответствовала 1, а остальным 0 . Мета-признаковое описание каждого набора данных аналогично тому, которое использовалось мной для построения классификатора, предсказывающего меру качества. Таким образом был построен мета-классификатор, позволяющий для каждого набора данных рекомендовать набор мутаций, который нужно использовать в(1 + 1)алгоритме.

Ниже представлена таблица числа запусков алгоритма (1+1) с автоматизацией и без неё, сгруппированная по оптимизируемым мерам качества. Хуже и не хуже означает, что автоматизированный алгоритм, соответственно, отстаёт либо не отстаёт от алгоритма без автоматической настройки параметров по качеству разбиений; t_a, t_p среднее время работы алгоритма с автоматизацией и без неё соответственно.

Calinski-Harabasz

OS

gD41

Silhouette

хуже

не хуже

хуже

не хуже

хуже

не хуже

хуже

не хуже

t_p>t_a

1

6

2

46

2

32

4

15

t_p<t_a

18

72

5

44

16

47

20

58

Сравнение алгоритмов

Интересно сравнить алгоритм на основе выбора и настройки эвристических алгоритмов кластеризации MASSCAH с алгоритмом настройки эволюционного (1+1) алгоритма кластеризации.

Я предположил, что два алгоритма получают одинаковые значения меры качества, если интервалы этих значений [ - , + ] пересекаются. То есть была использована квантиль уровня 84,13\% для нормального распределения. Временной бюджет алгоритма, запускаемого на определённых мере и наборе данных, задавался равным среднему времени работы автоматизированного эволюционного алгоритма на этих мере и наборе данных. Я запустил алгоритмы со всеми отобранными ранее четырьмя мерами качества: Silhouette, Calinski-Harabasz, gD41 и OS. Для каждой пары мера набор данных производилось 10 запусков алгоритма. Полученные количества удачных и неудачных запусков приведены в таблице ниже.

Число положительных и отрицательных результатов сравнений алгоритмов на базе метода выбора и настройки эвристического алгоритма кластеризации на основе обучения с подкреплением, сгруппированные по мере качества разбиений. Столбец MASSCAH > Evo соответствует случаям, когда качество эволюционного алгоритма оказалось хуже, чем алгоритма на базе обучения с подкрепление, MASSCAH Evo что качества сравнимы, MASSCAH < Evo разработанный алгоритм опережает существующий результат.

MASSCAH > Evo

MASSCAH \approx Evo

MASSCAH < Evo

Мера CH

11

50

36

Мера OS

9

65

23

Мера Silhouette

12

72

13

Мера gD41

4

76

17

Все меры

36

263

89

Мера Meta-CVI

13

68

16

Можно заметить, что успешность эволюционного алгоритма зависит от используемой меры, но по общему числу запусков он сравним с предложенным методом выбора и настройки гиперпараметров эвристического алгоритма кластеризации. Отдельно стоит заметить, что эволюционный алгоритм кластеризации с автоматически настраиваемыми параметрами опережает таковой без автоматической настройки параметров по измеренным характеристикам независимо от меры, однако при этом его производительность по сравнению с разработанным методом на основе обучения с подкреплением зависит от выбора меры оценки качества разбиения. Кроме того, расчёт числа удачных и неудачных запусков производился для предложенной мной меры Meta-CVI.

Как применить всё это на практике

После того как была определена мера качества, построены и оценены алгоритмы кластеризации, я решил объединить всё это в систему и разработать такой программный комплекс, который бы реализовал данные алгоритмы и позволял осуществлять оптимальное разбиение для данной задачи по выбранной мере качества.

Схема описания работы программного комплекса.Схема описания работы программного комплекса.

Этот программный комплекс состоит из нескольких пакетов. Пакет CVI_Predictor реализует алгоритм предсказания меры для конкретной задачи кластеризации на основе мета-обучения. Пакет RL_Clustering реализует различные алгоритмы на базе представленного в работе метода выбора и настройки эвристического алгоритма кластеризации. Пакет Evo_Clustering реализует эволюционный алгоритм кластеризации с параметрами, настраиваемыми при помощи мета-обучения. Пакет Incremental_CVI реализует инкрементальное вычисление мер качества разбиений. Весь комплекс можно скачать на GitHub.

Разработанную система автоматического выбора и оценки алгоритмов кластеризации и их параметров я защитил в рамках своей кандидатской диссертации в декабре 2019 года. Автореферат и диссертацию можно почитать здесь.

На сегодняшний день система автоматического выбора и оценки алгоритмов кластеризации и их параметров была успешно использована в рамках государственного задания 2.8866.2017/8.9 Технология разработки программного обеспечения систем управления ответственными объектами на основе глубокого обучения и конечных автоматов. В рамках этого задания решалась задача нахождения формальной грамматики по некоторому конечному списку слов, которые принадлежат некоторому неизвестному формальному языку. В частности, была решена важная подзадача разметки слов-примеров, по которым строится грамматика при помощи рекуррентных нейронных сетей.

Также система использовалась в рамках проекта компании Statanly для разработки алгоритма поиска документов ограниченного размера. В частности, решалась задача оценки кластеризации векторных представлений слов. Для этого использовался корпус русских слов Тайга.

Помимо этого, программный комплекс был применён для разработки рекомендательной системы выбора научного руководителя и темы исследования для абитуриентов Университета ИТМО.

В планах разработка полноценной библиотеки, реализующей алгоритмы выбора и оценки алгоритмов кластеризации и их параметров. Кроме того, в будущем планируется дальнейшее исследование задачи кластеризации, а именно вопросов кластеризуемости наборов данных, описывающих каждую задачу. И я был бы рад пополнению в наших рядах сильных в техническом плане и амбициозных студентов.

Подробнее..

Личный опыт как мы готовили курс по компьютерному моделированию в бакалавриате Нового физтеха

31.01.2021 14:19:04 | Автор: admin

Это специальная рубрика Нового физтеха ИТМО. Здесь учёные, преподаватели и студенты физико-технического факультета размышляют о науке и трудовых буднях. Михаил Петров, Иван Тофтул, Ксения Барышникова и Игорь Рожанский рассказывают, как команда физтеха подошла к запуску курса по компьютерному моделированию для студентов бакалавриата.

Было/стало

Физику исторически делили на экспериментальную и теоретическую, но с развитием вычислительных мощностей и упрощением вычислений в целом, появилось направление на стыке численное моделирование. По сути это компьютерный эксперимент, который позволяет разрабатывать сложные физические системы, проверять их жизнеспособность и эффективность еще до трудоемких испытаний на сложном дорогостоящем оборудовании.

К началу третьего курса наши студенты неплохо знают линейную алгебру, дифференциальные исчисления и базовые приёмы численных методов. Далее они подходят ближе к научной работе. Однако реальные задачи в фундаментальной и прикладной науке бывают весьма громоздкие и трудоемкие. Научить видеть те, к которым можно подступиться аналитически, а тем более решать их, чрезвычайно сложно, да и таких задач мало (автор упоминает исследование фундаментального предела скорости звука, где ответ удалось уложить в абстракт(!) статьи).

В своем курсе мы сфокусировались на умении решать физические задачи численно. Мы делали упор на использование готовых библиотек и численных пакетов (например, SciPy и COMSOL), которые позволяют быстро получить ответ и приступить к анализу. При таком подходе компьютер берет на себя вычисления, а студент фокусируется на понимании закономерностей.

Введение численных расчетов позволяет фильтровать ошибки аналитической теорииВведение численных расчетов позволяет фильтровать ошибки аналитической теории

На первом этапе подготовки курса мы сформулировали следующие задачи:

  1. Научить студентов готовить математическую модель на основе физической (явно записать уравнения, которые будут решаться), а потом и реализовывать ее на компьютере.

  2. Познакомить их с пакетами физического моделирования на примере COMSOL Multiphysics.

  3. Показать, как численные ошибки приводят к ошибкам в физических величинах или даже к неверным физическим результатам.

Лабораторные работы

Они должны быть максимально иллюстративны как с точки зрения численных методов, так и с точки зрения актуальности физической модели. Мы реализовалидесять лабораторных работ.


Эпидемия зомби

  • Инструмент Python, MATLAB.

  • Математика составление и решение систем ДУ, анализ результатов.

  • Физика стандартные эпид. модель распространения заболевания вроде SIR и др. (когда мы готовили этот курс, даже не могли предположить, что тема будет столь актуальной).

  • Значимость понимание типичных тенденций эпидемий помогает эффективно и ответственно действовать в ситуациях схожими с глобальной пандемией. Аналогичное описание динамики системы ещё встречается, например, в экономике.


Оптический пинцет и темпловой шум

  • Инструмент Python, MATLAB.

  • Математика решение стохастических динамических уравнений.

  • Физика моделирование движения микро- и наночастицы в оптическом пинцете с учетом тепловых шумов.

  • Значимость добавление стохастики в систему является распространенным приемом для приближении модельной системы к реалистичной.


Квантовая яма

  • Инструмент Python, MATLAB.

  • Математика решение задач на собственные значения.

  • Физика решение уравнения Шредингера, определение состоянийэлектрона в произвольной квантовой яме.

  • Значимость фундаментальная задача квантовой механики с точки зрения численного моделирования.


Сетка сопротивлений Миллера-Абрамса

  • Инструмент Python, MATLAB.

  • Математика решение систем линейных уравнений.

  • Физика элементы теории перколяции, определение проводимости случайной сетки.

  • Значимость методы перколяции сейчас используются в биологии, экологии, городском движении, а также для создания высокоемкостных аккумуляторов [раз, два, три].


Определение уровня Ферми

  • Инструмент Python, MATLAB.

  • Математика решение алгебраических уравнений,метод Ньютона.

  • Физика определение уровня Ферми в полупроводнике с произвольным уровнем легирования.

  • Значимость модель расчета одного из ключевых параметров из мира полупроводников. Эта задача актуальна, пока фотонный компьютер не стал настольным.


Планарный волновод

  • Инструмент Python, MATLAB.

  • Математика решение алгебраических уравнений и задачи на собственные значения.

  • Физика определение дисперсионных соотношений мод планарного волновода.

  • Значимость изучение волноводных мод на простом примере. Волноводы сейчас встречаются повсеместно.



Точечный заряд над проводящей плоскостью

  • Инструмент COMSOL Multiphysics.

  • Математика первое знакомство с COMSOL.

  • Физика простейшая электростатика.

  • Значимость знакомство с одним из стандартов численных проверок теор. моделей.


Нормальное падение на границу раздела двух сред

  • Инструмент COMSOL Multiphysics.

  • Математика моделирование граничных условий.

  • Физика прохождение света через границу раздела двух сред.

  • Значимость знакомство с одним из стандартов численных проверок теор. моделей.


Распределение тепла у провода с током

  • Инструмент COMSOL Multiphysics.

  • Математика одновременное использование нескольких пакетов физики.

  • Физика джоулев нагрев и уравнение теплопроводности.

  • Значимость бытовые явления с помощью численного моделирования.


Финальный проект где лучше поставить WiFi роутер / колонки

  • Инструмент COMSOL Multiphysics.

  • Значимость дать задачу с открытым ответом, проверить полученные знания и навыки.


Каждому своё решение

У нас не было жестких ограничений на выбор языка программирования, IDE и методов решения. Остановились на трёх вариантах:

  • Python и MATLAB. Языки высокого уровня со множеством готовых библиотек очевидный выбор. Разумеется, есть альтернативы, которые выигрывают при определенных сценариях. Например, неплохо зарекомендовала себя Julia, но популярность вариантов выше и возможность нагуглить почти любую проблему, перевесила чашу весов.

  • COMSOL Multiphysics один из стандартов численных расчётов в научном сообществе и настоящий комбайн по решению комплексных задач методом конечных элементов (FEM). Позволяет совмещать несколько расчётных модулей в одной симуляции например, электромагнетизм и теплопроводность. Проверка аналитических формул может сравниваться с численной моделью в COMSOL, что является одной из первых стадий перед сравнением с реальным экспериментом. В Новом физтехе ИТМО это один из наиболее часто используемых инструментов. Для обмена опытом проводятся даже COMSOL Days.

Презентация это важно

Для карьеры в науке или индустрии необходимо умение внятно представлять результаты своей работы. Поэтому мы сфокусировались на использовании системы вёрстки, которую давно приняли в научном сообществе. Для оформления предложили следующие рекомендации:

  1. Документ должен быть оформлен в LaTeX.

  2. Содержать аннотацию, теоретическое введение, результаты и выводы, как в научной статье.

  3. Картинки должны отображать суть работы быть понятными для коллег из смежных областей (для этого необходимы подписи осей, параметров и так далее).

Пример одной из иллюстраций для ЛР 1 многоступенчатая схема противодействия зомби-апокалипсису (работу выполнил Денис Сахно). Здесь можно увидеть историю эпидемии. Студент не стал описывать области в подписях к рисунку, а явно указал их на самом графике.

Дисперсии электрона в периодическом потенциале (ЛР 3, выполнил Денис Седов). График публикационного качества. Есть понятное описание, ссылки на формулы и основные методы.

Исследование собственных мод плоского волновода (ЛР 6, выполнил Глеб Федорович):

Расчет поля роутера Wi-Fi. Один из финальных проектов (выполнили Руслан Гладков, Никита Устименко, Антон Шубник и Денис Седов). В данной работе студенты представили карты распределения. В процессе группа столкнулась с проблемой расчет для реальных размеров получался слишком тяжелым, поэтому задачу решали для комнаты сантиметровых размеров.

Заключение

Мы коротко рассказали о курсе по компьютерному моделированию. К его окончанию студенты учатся больше смотреть на физику решаемых задач, а не закапываться в численные методы, если в этом нетнеобходимости. На выходе они получают ряд работ публикационного качества. В данном виде программу слушали бакалавры третьего курса в осеннем семестре 2019 года.


Другие материалы у нас на Хабре:


Подробнее..

Одежда с нагревательными элементами ее делает стартап WARMR из Университета ИТМО

02.03.2021 00:19:35 | Автор: admin

Делимся рассказом о развитии технологического проекта WARMR, которым продолжает заниматься один из студентов Университета ИТМО. Вместе с ним обсуждаем идею, первые эксперименты, новый подход к изготовлению умной одежды и планы на будущее.

Идея и прототип

Как рассказывает Олави Сийкки, студент магистратуры факультета технологического менеджмента и инноваций, идея проекта появилась давно: Я жил и учился в небольшом финском городке, где практически не было общественного транспорта, поэтому все по большей части пользовались велосипедами или автомобилями. К сожалению, когда я проходил бакалавриат, у меня украли машину, и пришлось пересесть на велик и самокаты. Последние виды транспорта в Финляндии используют в любую погоду и даже зимой, когда дискомфорт от холода, казалось бы, должен перевешивать удобство передвижения таким способом. Получилось так, что у меня был технический бэкграунд и я подумал, почему бы не помочь любителям городской мобильности с подогревом одежды и отдельных элементов их транспортных средств.

Однако на тот момент опыта изготовления чего-то подобного у основателя проекта и его коллег не было. Эту область пришлось освоить с нуля. Основная сложность состояла в том, чтобы точно передать все необходимые нюансы в техническом задании, по которому подрядчик изготовит прототип, а потом протестировать образец, оценить недостатки и принять решение о дальнейшем развитии начинания. Нам не повезло с поставщиками. Отправили ТЗ, а получили ужасный продукт батарейка была приделана в кармашек, пристегнутый самым обыкновенным степлером на скрепки. Как только я решил протестировать прототип и включил его, он загорелся. Хорошо, что не в момент использования, делится впечатлениями Олави Сийкки.

После этого эксперимента мы занялись элементами сами. Сидения пошили в ателье недалеко от корпуса Университета ИТМО на Кронверкском проспекте. Они получились намного лучше, хотя на тот момент там и не было каких-то интересных технологий.

Университет и переход на одежду

В магистратуре Олави Сийкки продолжил развивать решения для микромобильного транспорта по его словам, во время весеннего карантина этот рынок заметно вырос. Однако в итоге он переключился на производство одежды, как только понял, что может заручиться поддержкой партнера по производству Red Fox. Инициативу поддержал и Антон Гопка, декан факультета #itmotech. Он оценил прототипы и помог перейти к изготовлению новых версий с использованием печатной электроники. В свою очередь, Олави Сийкки, он старался использовать все возможности, которые дает Университет ИТМО, и часто тестировал образцы в лабораториях.

Печатная электроника начинается с паст. В лаборатории мы их производим, берем ткань, вырезаем трафарет, выкладываем на ткань, запекаем и следим за характеристиками. Уже потом, когда мы все изучили [как лучше наносить, комбинировать слоями и так далее], идем на более автоматизированные принтеры.

После лабораторного исследования мы передаем образцы на производство печатной электроники, после этого впаиваем микроконтроллеры в ткань, соединяем, части ткани везем на производство, где из них делают одежду. Процесс длинный, все начинается с исследования, потом печатная электроника, после микроэлектроника и затем только одежда. Наша команда занимается абсолютно всем помимо последнего пункта в этом списке, объясняет основатель WARMR.

По его словам, существенное число конкурентов продолжали, да и сейчас выпускают одежду на основе достаточно старых технологий: не все модели с подогревом можно отдавать в химчистку или стирать дома, другие неудобно носить из-за тяжелых элементов и их расположения.

Отойти от подобных сложностей и выделиться в своей нише Олави Сийкки решил за счет функциональных полимеров токопроводящих чернил, которые закрепляются в структуре ткани: У нас применяется суперлегкая краска (полимеры). Печатные элементы супергибкие и энергоэффективные. Они не требуют батареек и громоздких аккумуляторов хватает одного пауэрбанка. Получается, что в нашей одежде нет огромного количества проводов, соединенных с разрозненными элементами, поэтому с курткой можно делать все что угодно стирать, гладить, не бояться внешнего воздействия. Плюс мы можем предложить равномерный нагрев. У конкурентов есть места перегрева например, на сгибах, где есть опасность возгорания.

Что дальше

Основатели проекта считают, что сегодня сложно кого-либо удивить комбинацией гаджетов и одежды. Умные куртки, которыми занимается WARMR, становятся нормой. Однако в этой области еще есть, куда стремиться с точки зрения развития технологий и пользовательского опыта.

Сейчас мы разрабатываем приложение для управления одеждой температурный режим можно будет быстро поменять при спуске в метро и в других ситуациях.

Плюс мы хотим оснастить одежду целым спектром функций. Например, предусмотреть опцию вызова экстренных служб при падении и возможность климат-контроля в зависимости от окружающей среды (стоим на склоне, дует ветер, можем включить обогрев передней части куртки и так далее), объясняет Олави Сийкки.

Проект пока не привлекает внешние средства, но задумывается о долгосрочных инвестициях. Основная бизнес-модель WARMR это B2B-контракты. В качестве примера команда говорит о сотрудничестве с Red Fox и интересе со стороны Газпромнефти. С точки зрения производственных возможностей, в месяц команда может готовить около двух тысяч комплектов электроники, в том числе и разборных эта задача проще интеграции в одежду.


Другие стартапы из Университета ИТМО:


Англоязычные материалы в нашем блоге на Хабре:


Подробнее..

Новый физтех избранные исследования

27.03.2021 20:12:03 | Автор: admin

Это подборка из пяти научных работ представителей Нового физтеха ИТМО, опубликованных в западных журналах и русскоязычных СМИ. Делимся опытом и обсуждаем результаты.

Изображение: Umberto. Источник: Unsplash.comИзображение: Umberto. Источник: Unsplash.com

Удержать свет в нанорезонаторе на рекордно долгое время

Новый физтех Science N+1 SpaceDaily

Группа физиковНового физтеха вместе с коллегами из Австралийского национального университета в Канберре и Университета Корё в Сеуле около года назад представила первый в мире нанометровый резонатор, удерживающий свет на две с лишним сотни периодов колебаний световой волны. Ранее такие результаты на небольшом масштабе были недостижимы на практике, но около трех лет назад получили теоретическое обоснование силами ученых из Университета ИТМО, физико-технического института им. А.Ф. Иоффеи Австралийского национального университета. В прошлом году дело дошло до реализации, а потом и разработки устройства, эффективным образом повышающего длину волны входного света в два раза.

Технология с высокой вероятностью станет основой для новых средств связи, оптических приборов и сенсоров. В нашем блоге ученые, принявшие участие в проекте, делятся инсайтами о выборе форм-фактора и соотношения диаметра к высоте резонатора. Плюс обсуждают возможности для развития теоретических и практических ответвлений этой работы.


Cинтез частиц карбоната кальция для доставки лекарств

Новый физтех ACS Sustainable Chemistry and Engineering Коммерсантъ

Это совместная работа экспертов Нового физтеха, специалистов Первого мед. университета в Санкт-Петербурге и Тель-Авивского университета. Ученые проанализировали условия роста частиц карбоната кальция, провели тесты на биосовместимость и изучили способность их захвата опухолевой клеткой в зависимости от формы и морфологии таких частиц.

Подобные средства доставки биоактивных веществ считают перспективными. Они не требуют существенных затрат на производство и деградируют во внутриклеточном пространстве.



Комплектующие для фотонных компьютеров из перовскита

Новый физтех Small Коммерсантъ

Вместе с коллегами из Дальневосточного федерального университета нашим ученым удалось провести серию весьма успешных экспериментов по работе с перовскитом. Подготовка материала была на стороне Нового физтеха, а его обработку осуществляли с помощью фемтосекундного лазера. За счет экспертизы специалистов ДВФУ в области наноструктурирования получилось прорезать перовскит и избежать перегрева. Плюс нанести канавки в несколько нанометров и сохранить оптические свойства материала.

Эти результаты говорят о перспективе развития новых типов записи данных с расширенными возможностями для считывания и защиты например, в виде микроскопических QR-кодов, доступных для чтения при подсветке с нужного угла.

Дополнительные опции появляются в области производства солнечных батарей и изготовления фотоэлементов различных цветов. Технология годится и для массового выпуска нанолазеров их печати на интегральных схемах оптических чипов.


Как перемешивать жидкости с помощью света

Новый физтех Advanced Science РИА Новости

Речь об инфраструктуре для разработки новых лекарств, экспресс-диагностики заболеваний и биологических исследований. В ситуациях, когда эти задачи решают с помощью лабораторий на чипе, требуются особые методы контроля диффузии молекул. Причем не только ее общей скорости, но и хода определенной части емкости микрореактора. Этой темой занялись наши ученые и специалисты Академии наук Чехии. Вместе они представили решение, состоящее из наноантенны в виде кубика кремния размером в пару сотен нанометров и наночастиц золота. Первый отвечает за управление световой волной и генерирует оптический вихрь, а золото перемешивает реактивы, позволяя усилить диффузию в десятки раз в нужной локации.


Фотография: Phil Hearing. Источник: Unsplash.comФотография: Phil Hearing. Источник: Unsplash.com

Прозрачный или отражающий в ИК-спектре материал

Новый физтех Optica Naked Science

Метаповерхности, состоящие из элементов сложной формы, позволяют управлять светом не хуже, чем объемные материалы. Однако их свойства можно установить исключительно в момент производства. Обойти это ограничение смог коллектив из ИТМО и Эксетерского университета. Ученые предложили метаматериал, изготовленный при помощи электронной литографии из основы в виде бутерброда, состоящего из кремниевой подложки, материала с фразой памятью (GeSbTe) и еще одного слоя с напылением кремния. Итоговый продукт меняет уровень прозрачности без механических воздействий для этого используют импульсный лазер.

Подобные разработки позволят приступить к проектированию оптических устройств нового типа вроде специальных ИК-лидаров и сверхтонких линз для объективов мобильных гаджетов.


Другие материалы Нового физтеха на Хабре:


Подробнее..

Как AutoML помогает создавать модели композитного ИИ говорим о структурном обучении и фреймворке FEDOT

23.05.2021 18:15:00 | Автор: admin

image


В лаборатории моделирования природных систем НЦКР ИТМО мы занимаемся разработкой и продвижением решений в области AutoML. Наши научные сотрудники Николай Никитин, Анна Калюжная, Павел Вычужанин и Илья Ревин рассказывают о трендах и задачах AutoML, плюс о собственных open-source разработках в этой области.


Минутка теории и пара слов об AutoML фреймворках


Для того, чтобы решить какую-либо задачу с помощью методов машинного обучения (МО), требуется пройти множество шагов: от очистки данных и подготовки датасета, выбора наиболее информативных признаков и преобразования признакового пространства до подбора модели МО и настройки ее гиперпараметров. Такую последовательность часто представляют в виде пайплайна. Однако даже на работу с линейными пайплайнами (А, на схеме выше), подбор их структуры и параметров могут требоваться дни, а иногда и недели. В процессе решения сложных задач пайплайны приобретают иную структуру. Для повышения качества моделирования часто используют ансамблевые методы (стекинг), объединяющие несколько моделей (на схеме B), либо делают пайплайн разветвленным. В последнем случае задействуют различные методы предобработки для вариативных моделей МО, обучаемых на разных частях датасета (С).


Автоматизированная подготовка пайплайна это преимущественно задача комбинаторной оптимизации или поиска наилучшего сочетания возможных факторов множества вычислительных блоков. В этом случае пайплайн описывают в виде направленного ациклического графа (directed acyclic graph, DAG), который может быть транслирован в граф вычислений, а эффективность определяют с помощью целевых функций, численно оценивающих качество, сложность, устойчивость и другие свойства получившейся модели.


Модели со структурой типа В и С фактически становятся композитными, т.е. включают в себя различные алгоритмы МО. Например, можно объединить байесовскую сеть и свёрточную для предсказания на мультимодальных данных. А с композитными моделями и пайплайнами МО можно работать с помощью методов и технологий AutoML.

Самый примитивный метод решения этой задачи случайный поиск (random search) с оценкой сочетаний блоков. Более совершенный подход мета-эвристические алгоритмы оптимизации: роевые и эволюционные (последние можно реализовать с помощью фреймворков TPOT и FEDOT). Такие алгоритмы должны иметь специализированные операторы кроссовера, мутации и селекции для применения к особям, описываемым графом (обычно деревом), работать с многокритериальной целевой функцией, включать дополнительные процедуры для создания устойчивых и не склонных к переобучению пайплайнов (например, регуляризацию).

Операторы кроссовера и мутации могут быть реализованы классическим способом в виде кроссовера поддеревьев (subtree crossover), когда выбираются две родительские особи, которые обмениваются случайными частями своих графов. Но это не единственная возможная реализация, есть и более семантически сложные варианты (например, one-point crossover). Мутация на деревьях также предполагает реализации, включающие случайное изменение модели (или вычислительного блока) в случайном узле графа на подходящий вариант из пула моделей, удаление случайного узла, а также случайное добавление поддерева.

image

В идеальном случае, AutoML позволяет исключить эксперта-аналитика из процесса разработки, эксплуатации и внедрения модели. Однако пока добиться этого в полной мере сложно большая часть AutoML фреймворков поддерживает решение отдельных задач автоматического МО (настройка гиперпараметров, выбор признаков и тому подобных) в рамках фиксированных пайплайнов и только для некоторых типов данных (в таблице далее).
Название Тип
пайплайна
Метод
оптимизации
Входные
данные
Масшта-
бирование
Дополнительные
особенности
Источник
TPOT Variable GP Tabular Multiprocessing, Rapids Code generation github
H2O Fixed Grid Search Tabular, Texts Hybrid - githib
AutoSklearn Fixed SMAC Tabular - - github
ATM Fixed BTB Tabular Hybrid - github
FEDOT Variable GP + GridSearch Tabular, Timeseries,
Images, Texts
- Composite
pipelines
github
AutoGluon Fixed Fixed Defaults Tabular, Images, Texts - NAS, AWS integration github
LAMA Fixed Optuna Tabular - Profiling github
NNI Fixed Bayes Tabular, Images Hybrid,
Kubernetes
NAS, WebUI github

Фреймворк TPOT, например, позволяет автоматизировать создание моделей для задач классификации (в том числе многоклассовой) и регрессии только на табличных данных. При этом в отличие от большинства других фреймворков он строит гибкие пайплайны.


Чего не хватает, и что предложили мы


Типовой сценарий применения AutoML выглядит следующим образом. На основе доступных данных (обучающей выборки) осуществляют оптимизация структуры пайплайна моделирования и гиперпараметров блоков, входящих в его состав. Однако на практике реализации, неплохо работающие на тестовых задачах, оказываются не так хороши на боевых сводах данных. Поэтому появляются всё новые и новые AutoML-решения: H2O, AutoGluon, LAMA, NNI и другие. Они отличаются по возможностям, но часто не подходят для широкого класса задач. Хотя большинство фреймворков позволяют решать задачи классификации и регрессии, прогнозирование временных рядов они практически не поддерживают.


image

ML-пайплайн может включать модели для разных задач. Например, генерировать на основе регрессии новый полезный признак, а потом использовать его в классификации. На данный момент AutoML фреймворки не позволяют решать такую задачу удобным способом. Нередко ML-инженеры сталкиваются с мультимодальными и разнородными данными, которые приходится интегрировать для дальнейшего моделирования вручную.


До недавнего времени готовых к использованию инструментов такого рода не было, но мы решили попробовать разработать свой и обойти описанные проблемы. Мы назвали его FEDOT. Это open-source фреймворк автоматического машинного обучения, автоматизирующий создание и оптимизацию цепочек задач (пайплайнов) МО и их элементов. FEDOT позволяет компактно и эффективно решать различные задачи моделирования.


image

Вот пример его использования для решения задачи классификации:


# new instance to be used as AutoML tool with time limit equal to 10 minutes auto_model = Fedot(problem='classification', learning_time=10) #run of the AutoML-based model generation pipeline = auto_model.fit(features=train_data_path, target='target') prediction = auto_model.predict(features=test_data_path) auto_metrics = auto_model.get_metrics() 

Основной акцент в работе фреймворка управление взаимодействием между вычислительными блоками пайплайнов. В первую очередь, это касается этапа формирования модели машинного обучения. FEDOT не просто помогает подобрать лучший вариант модели и обучить ее, но и создать композитную модель совместно использовать несколько моделей различной сложности и за счет этого добиваться лучших результатов. В рамках фреймворка мы описываем композитные модели в виде графа, определяющего связи между блоками предобработки данных и блоками моделей.


Однако фреймворк не ограничивается отдельными AutoML-задачами, а позволяет заниматься структурным обучением, когда для заданного набора данных строится решение в виде ациклического графа (DAG), узлы которого представлены моделями МО, процедурами предобработки и трансформации данных. Структуру этого графа, а также параметры каждого узла и подвергают обучению.


Формируют подходящую для конкретной задачи структуру автоматически. Для этого мы задействовали эволюционный алгоритм оптимизации GPComp, который создает популяцию из множества ML-пайплайнов и последовательно ищет лучшее решение, применяя методы эволюции мутацию и кроссовер. Плюс избегает нежелательного усложнения структуры модели за счет применения процедур регуляризации и многокритериальных подходов.



Как и ряд ранее отмеченных фреймворков, FEDOT реализован на Python и доступен под открытой лицензией BSD-3. Но есть и отличия с точки зрения преимуществ:


  • Архитектура FEDOT обладает высокой гибкостью, фреймворк можно использовать для автоматизации создания МО для различных задач, типов данных и моделей;
  • FEDOT поддерживает популярные ML-библиотеки (scikit-learn, keras, statsmodels и др.), но при необходимости допускает интеграцию и других инструментов;
  • Алгоритмы оптимизации пайплайнов не привязаны к типам данных или задачам, но можно использовать специальные шаблоны под определенный класс задач или тип данных (прогнозирование временных рядов, NLP, табличные данные и др.);
  • Фреймворк не ограничен машинным обучением, в пайплайны можно встроить модели, специфичные для конкретных областей (например, модели в ОДУ или ДУЧП);
  • Дополнительные методы настройки гиперпараметров различных моделей также могут быть бесшовно добавлены в FEDOT в дополнение к уже поддерживаемым;
  • FEDOT поддерживает any-time режим работы (в любой момент времени можно остановить алгоритм и получить результат);
  • Итоговые пайплайны могут быть экспортированы в json-формате без привязки к фреймворку, что позволяет добиться воспроизводимости эксперимента.

Таким образом, по сравнению с другими фреймворками, FEDOT не ограничен одним классом задач, а претендует на универсальность и расширяемость. Он позволяет строить модели, использующие входные данные различной природы.


Применение AutoML для реальных задач на примере FEDOT


Для проверки корректности и эффективности алгоритмов, лежащих в основе FEDOT, мы протестировали его на известных бенчмарках (например, наборе задач Penn ML). Помимо этого мы подготовили пример из области нефтехимии разберем его далее.


На объектах для хранения нефтепродуктов зачастую их смешивают. Однако, если совместимость у нефтепродуктов слабая, происходят качественные потери, а именно образование общего осадка. Он ведет к ухудшению работы производственной цепочки. Определение состава топлива и наличия в нем осадка весьма дорогой процесс. Наиболее часто используется метод хроматографии, стоимостью порядка одного миллиона рублей за пробу. Однако с помощью исторических данных, содержащих информацию о параметрах топлива и различных смесей, плюс функциональность FEDOT, можно моделировать варианты с наименьшим содержанием осадка.


Прогнозирование величины осадка, а также классификацию смесей топлив с точки зрения его выпадения, можно одновременно трактовать как задачу регрессии, так и задачу классификации.


image


Входные данные для моделирования имеют следующую структуру: Значение целевой переменной (задача регрессии) Значение целевой переменной (задача классификации) образца Кин.вязкость при 50С Плотность при 15 С Содержание серы Содержание воды TSA Т потери текучести Т вспышки в закрытом тигле Вид топлива
0.17 1 Класс 13 583.6 973.0 2.74 0.3 0.03 20.0 110.0 ТПБ
0.1 2 Класс 37 472.3 965.0 2.48 0.2 0.03 19.0 110.0 М-100
0.03 2 Класс 22 18.80 851.0 0.0015 0.1 0.02 20.0 110.0 ТМУ ЭКО
0.21 1 Класс 98 574.3 970.0 2.74 0.2 0.03 20.0 110.0 ТМУ-180

Результаты применения фреймворка Федот и созданной вручную модели (на основе градиентного бустинга) к сформированном набору данных таковы: для задачи регрессии созданная вручную модель обеспечивает MSE 0.215, R2 0.723, FEDOT 0.168 и 0.761 соответственно; для задачи регрессии базовое решение обеспечивает ROC AUC 0.737, F1 0.714, FEDOT 0.861 и 0.764 соответственно.


Перспективы развития AutoML


Среди AutoML-решений помимо перечисленных выше инструментов есть EvalML, TransmogrifAI, Lale и множество других. Все эти они собственные разработки компаний. В некоторых случаях им не хватает технических аспектов вроде поддержки масштабируемости и распределенных вычислений, Kubernetes и интеграции с MLOps инструментами. В других появляются концептуальные вопросы вроде реализации новых алгоритмов оптимизации или их интерпретируемости. Однако есть несколько направлений и перспектив развития AutoML, которым уделяют еще меньше внимания.


Гибкое управление сложностью поиска. В зависимости от требований и допустимого бюджета, ML-инженеру может подойти как модель градиентного бустинга с оптимизированными гиперпараметрами, так и глубокая нейронная сеть или нелинейный пайплайн. Так или иначе, он будет вынужден вникать в возможности доступных AutoML-фреймворков и проводить экспериментальные исследования, выясняя, что работает лучше или хуже. Было бы весьма удобно иметь непрерывный переключатель сложности поиска, при помощи которого можно регулировать размерность пространства поиска от простых решений до сложных, но эффективных пайплайнов (вплоть до созданных с нуля).


Фабрика решений. Помимо допустимых значений метрик качества, в ML-задачах могут возникать и другие критерии для решений. Например, интерпретируемость, необходимый объем вычислительных ресурсов и памяти для поддержания в production-среде, заблаговременность прогнозов и так далее. Здесь был бы полезным удобный интерфейс, где такие критерии можно указать и учитывать, что в ряде случаев невозможно минимизировать все критерии одновременно, так как существует Парето-фронт решений. Например, при повышении сложности архитектуры нейронной сети точность растет, но и требуются более существенные вычислительные ресурсы.


Наша команда проводила экспериментальные исследования, где мы попробовали применить эволюционные многокритериальные алгоритмы оптимизации в рамках FEDOT для оптимизации пайплайнов машинного обучения. В качестве критериев для оптимизации мы выбрали не только точность, но и сложность пайплайнов (число узлов и глубину графа вычислений). В ходе экспериментов мы обнаружили, что такое введение Парето-фронта решений в процесс поиска повышает разнообразие в популяции, а также позволяет находить решения с большей точностью.


Идею о фабрике AutoML-решений, в том числе высказывал и исследователь Yuriy Guts из компании DataRobot в своем докладе Automated Machine Learning. В частности он проводил аналогию с ООП-паттерном Factory, где AutoML мог бы предоставлять разные решения пользователю в зависимости от заданных условий: типы наборов данных, интервалы прогнозов, время жизненного цикла модели и так далее.


Модели могут быть получены для разных наборов данных: случайных выборок, данных в рамках временных диапазонов. Возможно и получение короткоживущих моделей на актуальном срезе данных.


image

В целом автоматическое машинное обучение многообещающее направление. Если вы работаете в области data science, следить за новостями из мира AutoML весьма ценно. Мы подобрали материалы для погружения в эту тему:


Подробнее..

Категории

Последние комментарии

  • Имя: Макс
    24.08.2022 | 11:28
    Я разраб в IT компании, работаю на арбитражную команду. Мы работаем с приламы и сайтами, при работе замечаются постоянные баны и лаги. Пацаны посоветовали сервис по анализу исходного кода,https://app Подробнее..
  • Имя: 9055410337
    20.08.2022 | 17:41
    поможем пишите в телеграм Подробнее..
  • Имя: sabbat
    17.08.2022 | 20:42
    Охренеть.. это просто шикарная статья, феноменально круто. Большое спасибо за разбор! Надеюсь как-нибудь с тобой связаться для обсуждений чего-либо) Подробнее..
  • Имя: Мария
    09.08.2022 | 14:44
    Добрый день. Если обладаете такой информацией, то подскажите, пожалуйста, где можно найти много-много материала по Yggdrasil и его уязвимостях для написания диплома? Благодарю. Подробнее..
© 2006-2024, personeltest.ru