Питерская Вышка и компания JetBrains приглашают учащихся 10 и 11 классов на школу по практическому программированию и анализу данных. Среди лекторов ведущие преподаватели Петербурга и специалисты IT-компаний: Сергей Копелиович, Егор Суворов, Иван Ямщиков, Михаил Дворкин, Алексей Шпильман и другие.

Школа пройдет в два этапа: первый этап состоится с 22 по 28 марта в онлайн-формате. Второй этап будет очным, участники встретятся в Санкт-Петербурге с 5 по 10 мая. Участие в школе бесплатное.

Александр Омельченко, декан факультета Санкт-Петербургская школа физико-математических и компьютерных наук:

Наша школа это первый шаг на пути к самостоятельной работе в IT-компании. Мы не будем заниматься решением олимпиадных задач или подготовкой к ЕГЭ. Наша цель показать, как работать в команде, попробовать свои силы в исследовательском проекте в области машинного обучения, языков программирования, в реальной промышленной разработке. Участники смогут реализовать свой первый проект и понять, готовы ли они заниматься machine learning или software engineering.

Первый этап: с 22 по 28 марта, дистанционно

На этом этапе участников ждет продвинутый курс по алгоритмам от Сергея Копелиовича. Сергей окончил МатМех СПбГУ и учился в Академическом университете. Со школьных лет занимался олимпиадным программированием и математикой. Золотой медалист IOI 2005, 2006 и ACM ICPC 2009. Работал программистом в Яндексе, Вконтакте и ЦРТ. С 2009 года преподает алгоритмы в университетах и образовательных центрах (СПбГУ, СПбАУ, НИУ ВШЭ Петербург, Computer Science Center).Также участникам прочитают обзорные лекции по C++, Python, применению машинного обучения и облачным технологиям. Подробная программа доступна по ссылке.

Второй этап: с 5 по 10 мая, Санкт-Петербург

На втором этапе участники применят полученные знания при разработке собственного проекта. С этим им помогут специалисты из IT-отрасли и студенты бакалаврской программы Прикладная математика и информатика Питерской Вышки. Проекты будут групповыми, по одной из следующих тематик: мобильная разработка, разработка веб-сервисов, машинное обучение, анализ данных, биоинформатика.

Авторы лучших проектов будут награждены и получат возможность продолжить работу над своей идеей вместе с компаниями-партнерами Санкт-Петербургской школы физико-математических и компьютерных наук.

Организаторы берут на себя все затраты на проживание, питание и культурную программу. Самостоятельно участники оплачивают только проезд до Санкт-Петербурга и обратно.

Подробности по ссылке. Регистрация завершится 20-го марта.

Привет Хабр! Раз в неделю я рассказываю о крупнейших событиях в отрасли в России и мире.Оригинальный роликна YouTube, ниже расшифровка.

IPO Озон

Главное что случилось в России Озон подал заявку на IPO. Подробно разбирал числа в блоге. Самое главное классическое IPO, огромные убытки, никакого пути к прибыльности не просматривается. Но зато огромный рост по 70-90 % в разные годы, и он только ускоряется. Озон будет очень большим через несколько лет, и только потом начнет поворачивать к прибыли, по крайней мере, такие планы. IPO, скорее всего, будет успешным.

В документах всплыла интересная подробность. Скорее всего, летом Сбер договорился о том, что купит большой кусок Озона. Озон потом передумал продаваться и сейчас, скорее всего, заплатит за это штраф в 1 млрд. рублей. Сумма не чудовищная для компании, его убыток по году будет почти 20 млрд. рублей - миллиардом больше, миллиардом меньше. Но тем не менее, миллиард за то, что передумали.

Facebook мессенджер

Facebook запустил свой мессенджер как отдельное windows- приложение. Я подумал, что вот оно счастье, можно продолжать работать через мессенджер и при этом не заходить на Facebook, не залипать на ленту, не тратить время на чтение непонятных котиков. Нет. Не получается. Очень много мелких ошибок, мелких неудобств. У меня мессенджер запущен, но практически не пишу в нем. Всегда так получается, что отвечаю либо в телефоне, либо в web обычного Facebook. Ну вот недоделано. Можно перечислять, что я конкретно поправил, чтобы мне стало удобней. Это, наверно, не очень важно, а важно то, что пока этим, как рабочим инструментом, пользоваться нельзя. И не факт, что можно будет. Видно, что не очень много энергии вложено в этот продукт. Жаль.

ВШЭ и налоги

Высшая школа экономики предложила поднять подоходный налог и налог на прибыль. Нет новости в том, что кто-то призывает поднять налоги в России. К счастью, это пока не президент, чьи призывы всегда исполняются. Но есть новость в том, что это именно Высшая Школа Экономики. Раньше она была центром экспертизы про рынок, про снижение доли государства, про все хорошее. Уж если она предлагает поднимать налоги, то я не знаю кто еще из экспертов остался, которые за нас. Но, на всякий случай, в России и так не низкие налоги, не надо их еще сильнее поднимать.

Голосование в Калифорнии

Две недели назад я рассказывал про голосование в Калифорнии о том, можно ли такси и доставкам продолжать оформлять водителей и курьеров как подрядчиков, а не как сотрудников. Идея была в том, чтобы заставить Uber и остальных написать что это сотрудники, дать им положенные страховки, положенные льготы, положенные минимальные деньги в час и т.д.. Референдум показал, что нет, можно оставить все как было, то как есть хорошо и рыночно, это, по прежнему, подрядчики, а не сотрудники.

Все подобные сервисы во всем мире вздохнули с облегчением, потому что Калифорния это законодательница мод в Штатах, а Штаты законодатель мод в мире. Если б Калифорния показала пример, рано или поздно, это докатилось бы до всех. Теперь Калифорния показала пример, что нынешнее регулирование, оно правильное, это подрядчики.

Забавный факт, что 72% водителей были за то, чтобы оставить все как есть. То есть, они тоже думали, что лишняя бюрократия сделает им хуже.

Wildberries против продавцов

Интереснейшая история случилась на Wildberries. Wildberries активно готовится к черной пятнице и всем продавцам, которые продают через маркетплейс, очень настойчиво порекомендовал поучаствовать в скидочной акции, сделать -25% к ценам. Ну кто-то согласился, кто-то отказался. Тем, кто отказался Wildberries сказал: Ребята, тогда в эти дни вы вообще не будите продавать, потому что должно быть какие-то единство платформы. На платформе -25% у всех должно быть -25%. Кто-то все равно не хотел. Нет продаж ок, пусть не будет продаж, но не могу продавать себе в убыток тоже логично.

Так вот, как минимум для некоторых из них Wildberries всё равно насильно включил скидку. Будет продавать им в убыток, а они ничего не могут сделать. Единственный выход не участвовать это вообще расторгнуть все отношение с маркетплейском. Показано, кто в доме главный. Главный это, конечно, маркетплейс. Продавец на нем это такой обслуживающий персонал, которому показывают что и когда нужно делать, а он вообщем и вякнуть не может, потому что ничего не может.

Любопытная история. Не думаю что она как-то отразится в отрицательно на бизнесе Wildberries. Что продавцы разбегуться, перестанут его любить. Я думаю, что они будут продолжать жрать кактусы, но вот понятно где центр прибыли. Чем надо заниматься, а чем не надо заниматься. Кто владеет клиентом, тот владеет всем, а остальные так.

Этой весной Питерская Вышка и JetBrains впервые провели проектную смену для старшеклассников Школу по практическому программированию и анализу данных. В течение пяти дней 50 участников со всей страны работали над групповыми проектами по машинному обучению, NLP, мобильной и web-разработке.

Первое место заняла команда Deep Q-Mario ребята создали нейронную сеть, которая использует reinforcement learning для обучения агента играть в Super Mario Bros. В этом посте они рассказывают, какие алгоритмы использовали и с какими проблемами столкнулись (например, в какой-то момент Марио просто отказался прыгать).

О нас

Мы Владислав и Дмитрий Артюховы, Артём Брежнев, Арсений Хлытчиев и Егор Юхневич учимся в 10-11 классах в разных школах Краснодара. С программированием каждый из нас знаком довольно давно, мы писали олимпиады на С++. Однако почти все члены команды раньше не работали на Python, а для написания проекта в короткий пятидневный срок он был необходим. Поэтому первым испытанием для нас стало преодоление слабой типизации Python и незнакомого синтаксиса. Но обо всем по порядку.

Немного теории

На школе Питерской Вышки нам предстояло создать нейронную сеть, которая использует reinforcement learning для обучения агента играть в Super Mario Bros.

Reinforcement Learning

В основе RL алгоритмов лежит принцип взаимодействия агента и среды. Обучение происходит примерно так: агент совершает в среде действие и получает награду (в нашем случае Марио умеет прыгать и перемещаться вправо); среда переходит в следующее состояние; агент опять совершает действие и получает награду; подобное повторяется, пока агент не попадет в терминальное состояние (например, смерть в игре).

Основная цель агента заключается в максимизации суммы наград за весь эпизод период от старта игры до терминального состояния. Особенностью обучения с подкреплением является отсутствие данных для тренировки, поэтому агент обучается на данных, которые получает, взаимодействуя со средой.

Q-learning

В основу нашей модели лег алгоритм Q-learning. Q-learning это модель, которая обучает некоторую функцию полезности (Q-функцию). Эта функция на основании текущего состояния и конкретного действия агента вычисляет прогнозируемую награду за весь эпизод (Q-value).Агент совершает действия на основании некоторого свода правил политики. Политика нашего агента называется Epsilon-Greedy: с некоторой вероятностью агент совершает случайное действие, иначе он совершает действие, которое соответствует максимальному значению Q-функции.

# implementation of Epsilon-Greedy Policy:def act(state):rand_float = random.random() # returns random float in range: [0, 1)if rand_float <= EPS:action = random_action()else:action = model.get_action(state) # returns action that brings max Q-valuereturn action

В классической реализации алгоритма Q-learning формируется таблица из всех возможных состояний среды и всех возможных действий. Задача заключается в том, чтобы посчитать значения Q-values для каждой пары состояние действие.

Обучение происходит так: мы добавляем к рассматриваемому значению Q-функции разность между оптимальным значением и текущим значением данной функции:

Где Q(s, a) значение Q-функции для состояния и действия;

Q_target(s, a) это оптимальное, по нашему предположению, значение Q-функции, к которому мы пытаемся свести текущее значение Q-функции;

s_t, a_t состояние среды и выбранное действие в момент времени $t$;

r_t(s_t, a_t) награда за текущее состояние среды и совершенное действие;

коэффициент дисконтирования. Он необходим для того, чтобы уменьшать "значимость" награды в последующих моментах времени;

коэффициент обучения. Он определяет насколько сильно мы изменим текущее значение Q-функции.

Deep Q-Learning

Часто среда имеет слишком много состояний и действий, поэтому составить таблицу в явном виде невозможно. Для решения этой проблемы используют нейронные сети, чтобы не хранить значения полезности, а предсказывать их. На вход нейросети поступает текущее состояние среды, а на выход она дает прогнозируемую награду для всех действий.Для изменения Q-value мы обновляем параметры нейронной сети, чтобы предсказывать более точные значения. Обновление весов нейронной сети осуществляется градиентным спуском это метод нахождения минимального значения функции (в этой статье можно почитать подробнее)

Experience Replay Buffer

Как мы уже говорили, особенностью алгоритмов обучения с подкреплением является отсутствие данных для тренировки модели, поэтому агенту необходимо накапливать игровой опыт и учиться на нем. Во время взаимодействия со средой агент накапливает переходы в некоторый буфер. Эти переходы включают в себя текущее состояние, произведенное действие, награду за действие, следующее состояние после действия, а также переменную, которая определяет, является ли текущее состояние терминальным:

# implementation of transition collecting:transition = (state, action, next_state, reward, done)replay_buffer.append(transition)  

Target network

Для того, чтобы весь алгоритм обучения работал, необходимо иметь вторую нейронную сеть target model, которая определяет оптимальное значение Q-функции (Q-target) и является копией модели, взаимодействующей со средой (online model). Единственное отличие этих сетей друг от друга заключается в том, что веса target model обновляются несколько реже, чем у online model у нас это примерно каждый 500-й эпизод. Это нужно для корректного обучения модели: если online model будет производить вычисления Q-target и Q-функций самостоятельно, при изменении весов сети следующие значения Q-target и Q-функций изменятся примерно одинаково, то есть разница между ними останется такой же, и мы не будем сводиться к оптимальному значению.

Существуют два метода обновления весов target model: hard update и soft update. Первый копирует online model в target model каждую n-ую итерацию обучения. Во втором методе веса target model также пересчитываются при обучении, но медленнее, как взвешенное среднее весов двух сетей

Работа над проектом

Стоит отметить, что до школы никто из нашей команды не делал проекты по машинному обучению. За несколько недель нам сообщили тему проекта, и мы заранее, еще в Краснодаре, начали готовиться. Мы читали статьи, смотрели видео по машинному обучению и нейронным сетям, изучали математику, которая нам может пригодиться. Поэтому можно сказать, что на смену приехали уже подготовленными. Конечно, мы не знали нюансов, но во время школы наш куратор Дмитрий Иванов каждый день давал задания, благодаря которым мы смогли разобраться с деталями.Первые дни после начала школы мы занимались тем, что изучали необходимую теорию по нейронным сетям и обучению с подкреплением вместе с Дмитрием. После настало время кодинга: первая наша попытка реализовать DQN (Deep Q-learning Network) алгоритм и научить агента играть в Марио успехом не увенчалась. После девяти часов обучения прогресса не было, и мы не знали, в чем, собственно, дело. После тщетных попыток дебаггинга на питоне, командой было принято единственное разумное решение переписать код с нуля, что принесло свои плоды. Имея рабочую реализацию DQN, мы решили на этом не останавливаться, а написать модификацию Dueling DQN, сравнить ее со стандартным алгоритмом и посмотреть, какой агент лучше покажет себя в игре после обучения.

Dueling DQN

Основная идея Dueling DQN заключается в том, что нейронная сеть предсказывает не значения Q для всех действий, а отдельно средневзвешенное значение Q-функции по всем действиям (так называемое V-value), а также преимущества для каждого действия, которые определяются как разность между Q-функцией и средневзвешенным значением (подробнее можно почитать здесь).

Дополнительный функционал

Помимо алгоритмов обучения, нам необходимо было сделать еще несколько полезных вспомогательных фич: saver, logger, plotting, visualization.

Saver

Для того, чтобы в случае необходимого приостановления расчетов для изменения гиперпараметров нейронки иметь возможность продолжить обучение на сохраненной версии сети, мы реализовали функционал периодического сохранения весов обучаемой нейронки. Данная возможность была особенно полезна, когда мы столкнулись с проблемой в обучении DQN агента (подробнее о ней расскажем ниже).

Logger and Plotting

Также было реализовано логирование: на каждом n-том эпизоде мы сохраняли вычисляемые метрики функцию средней потери (это функция, которую минимизирует нейронная сеть) и функцию средней награды за эпизод в отдельном файле, чтобы иметь возможность строить их графики, не прерывая вычислительный процесс.

Visualization

Благодаря функции сохранения весов модели во время обучения, мы имели возможность восстанавливать версии нейронной сети. Это позволило нам строить визуализацию взаимодействия агента со средой наш игровой процесс на разных стадиях обучения.

Возникшие проблемы

На самом деле проблем во время работы над проектом была масса. Бороться с ними команде помогал куратор. Однако одна проблема заставила нас поломать головы над ее решением на определенном этапе вычислений Марио стал упираться в трубы, не пытаясь их перепрыгнуть.

Мы считаем, что эта особенность поведения связана с тем, что отрицательная награда от исхода времени на прохождение эпизода была меньше, чем отрицательная награда от смерти Марио при ударе с врагом. Другими словами, Марио "считал", что завершить уровень из-за истечения времени для него более предпочтительно, чем смерть.Эта проблема действительно поставила нас в тупик: мы не знали, как заставить агента проходить уровень. Мы бились над решением в течение многих часов, пока Арсений Хлытчиев не придумал модификацию функции награды, названную Punishment-оптимизацией (за что мы всей командой выражаем Арсению благодарность!) Он предложил добавлять отрицательную награду за "простой" Марио, чтобы восстановить значимость передвижения агента вперед по уровню. Это улучшение оказало сильное влияние на поведение агента в среде: Марио больше не застревал перед трубами.

Результаты

К окончанию школы мы получили агента, который неплохо справлялся с частичным прохождением первого уровня игры: Марио сумел пройти около 50%. При этом каждый член команды сумел одолеть Марио, дойдя до второго уровня.

Оба алгоритма DQN и Dueling DQN после обучения проходили примерно равную часть уровня. Но в силу того, что обычный DQN имел больше времени для обучения, его результат был немного лучше.Так как нашей целью было сравнить обычный алгоритм DQN с его модификацией, давайте проанализируем графики, которые мы получили.

Функция потери

На первый взгляд может показаться, что Dueling модификация показывает себя хуже, однако большое значение функции потери объясняется тем, что агент, обучающийся на Dueling DQN, в среднем проходил дальше по уровню, чем агент с обычной моделью обучения. В связи с этим среда для агента становилась неизвестной, и он чаще ошибался.

Функция награды

Функция средней награды постепенно возрастает, это свидетельствует о том, что агенты узнают о среде больше, то есть проходят дальше по уровню. Из графиков видно, что агент с моделью обучения Dueling DQN в среднем получает такую же награду, что агент с DQN, однако модифицированной версии понадобилось практически в два раза меньше итераций, чтобы научиться получать такое среднее количество награды.

Заключение

Наш проект еще можно и нужно дорабатывать. Например, можно продолжить обучать агента, пока он не завершит уровень, подумать над другими оптимизациями алгоритма DQN и т.д. Но сейчас мы заняты другим: кто-то сдает ЕГЭ, кто-то готовится к летним школам по программированию, поэтому добавлять какие-либо изменения пока не планируем.

За время школы мы получили много опыта в командной разработке и базовые знания о машинном обучении, на основе которых можем создавать свои собственные ML-проекты. А еще мы познакомились с большим количеством интересных людей, которые также хотят развиваться в сфере IT. Поэтому хотим выразить безмерную благодарность организаторам смены, нашему куратору и всем, кто принимал участие в школе. Это был незабываемый и очень полезный опыт.