Подкаст

Недавно мы встретились с ребятами из Студии Артемия Лебедева, чтобы подробно расспросить их о дизайнерской нейросети, которую они год выдавали клиентам за настоящего живого дизайнера с именем, фоткой, почтой, портфолио, страницей на ФБ и всеми делами. Вопросы мы задавали вместе с @de_arnst. А ответы на них давали арт-директор СергейКулинкович и технолог РоманКосовичев. Проговорили почти два часа и записали очень длинный подкаст хватит на дорогу в офис и обратно. Но мы же знаем: на Хабре любят почитать, поэтому держите лонгрид-расшифровку. До встречи в комментариях через полчаса.

Еще можно послушать в Эппле, Гугле, Яндексе и Кастбоксе.

Спойлер: в конце материала вариант логотипа от Иронова для нашего подкаста.

Что скажете тем, кто говорит, что это фейк? Как им можно доказать, что Иронов настоящий?

Сергей: Всем, кто не верит, могу передать привет. Но я бы не сказал, что Николай Иронов это только нейросеть, это скорее комплекс систем, среди которых есть нейросеть, алгоритмы и всякие технические штуки, которые позволяют воспроизвести на базовом уровне работу дизайнера. Для меня удивительно, что так много людей поставило под вопрос его существование, потому что фактически сейчас в распоряжении [людей] есть все технологии, чтобы делать подобные вещи.

Проект Иронов не про технологическое достижение, а про прецедент про то, как мы эти технологии упаковали и объединили таким образом, что они смогли создать вот такую историю. Эта история не про то, что О Боже мой, нейросеть создает логотипы. Эта история про то, чтобы явно продемонстрировать, что технологии давно созрели для того, чтобы относительно автономно решать задачи, которые многие люди относят к творческой деятельности.

Роман: Ещё интересно, что мы разбили систему на понятные шаги. Дизайнер работает точно также: отдельно с умением что-то нарисовать, отдельно с умением что-то понять.

Я правильно понимаю, что главная фишка Иронова в том, что он выдает результат быстрее, чем человек?

С: Я бы не сказал, что это единственное преимущество. Скорость понятно, это всё хорошо, но помимо этого мы решаем много других сопутствующих задач и проблем. Дело в том, что в отличии от живого человека, Николай не боится. Мы создали систему, которая фильтрует результаты в границах, которые мы задали. Но в отличие от живого человека, от Николая можно ожидать того, что живой дизайнер побоится допустить.

Живой человек побоится даже нарисовать такое. Он физически может воспроизвести такие формы, но его история, его становление как дизайнера со всем общением на профильных конференциях, с наставниками оно, с одной стороны, его развило, как дизайнера, а с другой стороны, определенным образом форматировало ему мозги. Поэтому Николай генерирует очень много всего, и он генерирует принципиально новое.

Для нас вообще не проблема сделать небольшие сдвиги, научив Николая делать нормальные логотипы, но это неинтересно, мы и так знаем, как рисовать нормальные логотипы. Круто рисовать логотипы, которые не помещаются у людей в голове. Логотипы, которые требуют дополнительного пространства в мозгу, чтобы сложить туда знания про логотипы. Николай нужен в том числе и для этого, как источник новых штук.

Возможна ли вообще такая насмотренность у нейросети, которая есть у дизайнера? Кажется, что Иронов уходит в сильнейший абстракционизм, и непонятно, как это применить и как выбрать из тех вариантов, что он сделал. Может быть, дизайнер не может нарисовать то, что делает Николай, потому что боится, что его за такое уволят. Нейросеть уволить невозможно. Не кажется ли вам, что живые дизайнеры поэтому не рисуют настолько свежо?

С: Дизайн-ремесло выглядит очень сложным до тех пор, пока вы не начинаете разматывать этот клубок по частям. Когда мы начинали делать Иронова, мы не понимали, что мы делаем. У нас в голове была идея, что нужно автоматизировать эту тему. Мы пытались заходить с разных сторон: где-то нашли прикольную технологию визуализации, где-то подключили нейросеть, которая позволяет создавать уникальные образы, которых нигде больше нет, где-то подкрутили систему, которая конвертирует текстовый бриф в набор единиц смыслов. Потом, в какой-то момент щелкнуло и родился Николай. Все рассматривают работу дизайнера, как чёрную коробку, к нему приходишь он творит. Если посмотреть внимательно, то что значит творить? Можно размотать это на маленькие этапы, которые вполне себе автоматизируются. Во многих случаях даже нейросеть не нужна.

Николай Иронов родился именно у нас не потому, что мы такие самые умные, а потому что у нас был опыт потокового производства логотипов. Мы на протяжении многих лет генерировали очень много логотипов с помощью разных дизайнеров для разных клиентов. Мы изнутри увидели паттерны, которые за этим стоят. Соответственно, очень большая часть работы дизайнера тратится, чтобы нанести логотипы на носители, либо распарсить их, сделать паттерны, граф дизайн, либо посмотреть на бриф клиента, достать оттуда единицы смысла. Мы увидели, что во многих местах эти вещи вполне автоматизируемы.

Приходит к вам, допустим, булочная. Фаундер присылает описание компании, говорит, что это семейная компания: производим булочки и круассаны, нам нужен логотип. Живой дизайнер начнет рисовать круассаны, применять разные текстовые варианты. Если мы скормим тот же текст Николаю, он может увидеть в описании слово семейная, а из слова семейная вывести символ сердечка и предложить такой логотип для семейной булочной. В некоторых контекстах он будет более подходящим и контрастным, чем те логотипы, которые нарисовали живые люди. В этом идея. Совершенно нет проблемы нарисовать логотип, есть проблема нарисовать такой логотип, который будет контрастным. Сейчас каждый день рисуется бесконечное количество лого, они все чистенькие, но всем на них наплевать. Наша задача найти точки роста на пересечении технологий и дизайна, чтобы мы получали преимущество не только в ускорении работы, но и преимущество широты творческого диапазона.

Р: Достаточно просто сгенерировать логотип, достаточно просто сгенерировать понятную, чистую форму, но это будет вкусовщина. Там будет виден след автора. Одной и сложных задач было сделать так, чтобы этой кисти автора не было видно в работе. Чтобы каждый раз, когда генерируется новый логотип, ты не понимал, из чего он сделан, как он работает, в принципе, потому что, если посмотреть на простые генераторы форм, то они все работают по понятным, закономерным алгоритмам.

Я считаю, что насмотренность становится немного зашоренностью. Если ты опытный чувак, который хорошо разбирается в том, как рисовать логотипы, ты долго это делаешь, у тебя большая экспертиза, то ты можешь сгенерировать не что-то новое, а будешь упираться в свой опыт и делать красивую вещь. Каждый день генерировать что-то новое ты не можешь. Когда у тебя нет насмотренности, это тоже плюс, потому что ты сможешь сделать новую, выдающуюся вещь, которая будет всех удивлять. Эта задача была одной из самых сложных, мы над ней больше всего работали. Если бы мы сделали обычный генератор логотипов, то это сразу бы считывалось, было бы неинтересно. Это бы не работало так, как работает Коля.

Но вы ведь обучали нейросеть на массиве студийных данных. Получается, нейросеть насмотрелась на работы людей, и это результат, основанный на том, что уже было?

Р: Наша система состоит не только из нейросетей или алгоритмов. Сложность системы в том, что в нее включено очень много знаний, накопленных в Студии, опыта по тому, как нужно строить логотип. Я, как технический специалист, должен был сам пройти через все этапы того, как рисуется логотип.

Сначала дизайнер читает бриф от клиента и понимает, какие темы могут быть связаны с логотипом. Потом ищет неожиданные решения, чтобы они были связаны с контекстом брифа. После этого он смотрит аналоги, смотрит, как он может нарисовать это сам, что нового может предложить. Проходя через все эти этапы, в итоге он получает логотип. Но у нас сложная система правил, которые дизайнер уже знает сам, они, в принципе, поддаются алгоритмам, поэтому, когда они начинают спорить между собой, получается неожиданный результат. Логотип проходит через все эти шаги и системы, на выходе ты уже не понимаешь, как его построил, какую часть логотипа изменил, каким правилам поддался логотип на определенном шаге.

С: Другими словами, есть жанр логотипа. И мы этот жанр описываем кодом: есть знак, есть текстовая часть. Для текстовой части используется такой набор алгоритмов, для знаков другой. Многие люди снаружи думают, что нейросеть это огромный массив данных, все просто мешается и на выходе получается что-то усредненное. Но это не так. Мы используем нейросеть только в тех местах, где это необходимо, в остальном это набор разных правил, где мы тоже учитываем наш опыт построения логотипов. Например, мы понимаем, какие бывают композиционные схемы, понимаем теорию про комплементарные цвета, понимаем в каком диапазоне можно трансформировать шрифтовую часть логотипа, чтобы она не выглядела уродской. Соответственно, это те ограничения, которые мы закладываем в Иронова на основе нашей экспертизы. Они являются, с одной стороны, ограничениями для него, потому что он в этих рамках живет и думает, но с другой стороны, мы стараемся его максимально отпустить для того, чтобы могли существовать совершенно сумасшедшие логотипы.

В случае со шрифтами мы рисовали их очень долгое время и накапливали эти данные. В итоге получили огромный массив разных вариантов, которыми Николай может оперировать, чтобы решать те или иные задачи. На самом деле, то, что мы анонсировали сейчас, это начало. Ничто не мешает, основываясь на этих принципах, строить более сложные системы в других сферах: иллюстрациях, менеджменте. То, что это появилось сейчас у нас, это не какое-то озарение, это просто стечение обстоятельств, в том числе экономических. В том смысле, что в этой точке у нас была возможность использовать тот рынок, на котором мы работаем, ту конфигурацию команды, наших потребностей, идеи, амбиции и так далеедля того, чтобы этот прорыв случился в дизайне.

Но совершенно ничего не мешает такие же вещи делать в других отраслях, даже творческих. Это дело можно раскрутить на конкретные шаги, а эти шаги автоматизировать. Наш проект про это, мы подсветили то, что уже есть. За счёт того, что мы скрывали личность Иронова от реальных клиентов, мы тем самым доказали, что абсолютно синтетический дизайн может не просто существовать в виде эксперимента, а может жить на вывесках, этикетках. И не просто жить, а быть любим конечными потребителями.

А сколько времени нужно Иронову для выполнения задачи? И в каком виде эти задачи поступают?

Р: Сейчас задача поступает в виде текстового описания и названия компании. А генерирует он результат за секунды. Дальше меняется только тот самый набор алгоритмов, результатов нейросетей, о которых мы говорили ранее. Пришел клиент, ввел текст, название, описание. Дальше, система с помощью системы поиска образов и метафор понимает контекст.

Мы приводили пример, где приходит текст описания банальной булочной: мы делаем булочки, пирожки и прочее. Коля может найти неожиданные ассоциации, и когда он их находит, то дальше трансформирует уже в образы. Например, у него придёт ассоциация с солнцем, потому что солнце это рожь. Он нарисует для булочной солнышко и это, скорее всего, может зайти многим владельцам булочных, потому что это необычных ход. Но он в принципе, входит в контекст. Дальше он выбирает несколько разных образов солнца это не одинаковые формы, разные по составу точек. И разные алгоритмы, которые помогают обогатить эти варианты. Например, он может совместить совершенно разные по контексту образы. К солнцу он может добавить неожиданный предмет, например, трубку. И кому-то это может очень понравится, он выберет этот логотип для своей будущей компании.

Дальше, Коля может применить неожиданные цветовые палитры, композиционные решения всё это происходит достаточно быстро, потому что часть изменений происходит с помощью нейросетей, а часть с помощью алгоритмов, которые работают с графикой. Таким образом, он делает выдачу из нескольких логотипов за несколько секунд.

А вы правите тексты, которые поступают на вход? Как-то объясняете, чем занимается компания?

С: По нашему опыту, в этом нет смысла. Если вы посмотрите на самые популярные логотипы, то в редком случае они отражают характер деятельности компании. Спортивные бренды ведь не показывают бегунов. Это вопрос рамок. Ничто не мешает нам потратить много сил, много времени на то, чтобы реализовать эту часть, сделать его [Иронова] более похожим на человека, но это не помогает решении задачи. Наша задача поиск принципиально новых решений в графическом дизайне. И в каких-то контекстах его несовершенство, то, что он не до конца учитывает и понимает контекст, является преимуществом, которое дает ему свободу творчества. Это возможно сделать, если необходимо, но мы туда не идём.

Сейчас мы сосредоточены как раз на поиске новых изобразительных возможностей, которыми мы его наделяем, ускорения его работы в этом смысле. Наша основная идея в том, что нет смысла десятки тысяч часов, чтобы тягать кривые и пытаться получить идеальную форму. Во многих контекстах не имеет смысла этим заниматься, потому что успех лого лежит не здесь. Если вы откроете Pinterest, то увидите, что каждый день тысячи дизайнеров генерируют аккуратно выглядящие логотипы. Всем плевать. Тратить свою жизнь на то, чтобы пополнять этот дизайн-планктон тоже особо интереса нет. Лучше создавать системы, которые позволяют быстро делать рутинные задачи. Стрелять в весь диапазон решений с помощью автоматических алгоритмов, а самому тратить свои мозги, чтобы искать правильные смыслы, чтобы понять конкретно этому клиенту подходит этот логотип или нет, какую историю с этим можно рассказать. В этом работа дизайнерачтобы из огромного количества разных вариантов найти тот вариант, который будет подходить под контекст.

Почему Николай Иронов вызвал так много обсуждений? Потому что многие в глубине души осознали, что они тратят время на то, чтобы оттачивать своё мастерство там, где оно уже может быть автоматизировано. Другими словами, если ты сидишь и рисуешь, тягаешь кривые, пытаешься уговорить клиента полюбить твой стиль, а тут же абсолютно синтетический логотип попадает на вывеску кафе или на этикетку бутылки (то, чего ты за свою карьеру даже не увидишь), это вызывает вопросы. Нужно ли тебе продолжать возиться с кривыми или лучше задуматься о других составляющих логотипа? О том, в какой контекст он будет попадать, как он будет жить, зачем он нужен, в чём твоя роль, как дизайнера.

То есть дизайнер нужен для того, чтобы придумать контекст для логотипа, сгенерированного нейронкой? Выглядит не как дизайн, а как то, что у нас есть картинка, на которую мы должны натянуть контекст, чтобы продать клиенту.

С: Не совсем так. Раз Николай, как в примере с булочной, может предложить более адекватное решение с точки зрения композиции и вообще самого состава лого. Он может найти какие-то образы, которые не придут в голову дизайнеру. А дизайнер увидит большой перечень образов, который сгенерировал Николай, и скажет: Ничего себе! У булочной логотип в виде сердечка, я это буду использовать.

Если бы живой дизайнер сел рисовать, то он столкнулся бы с тем, что есть порог. Тебе всё равно нужно открыть инструмент и начать заниматься визуализацией, используя свои навыки. Ты научился работать с вектором, ты работаешь с ним в том стиле, к которому привык. Ты вынужден тратить время на поиски смыслов, используя те инструменты, которые знаешь. А здесь ты просто перебираешь, причём не рандомные формы, а формы, которые алгоритмом провязаны с контекстом.

Николай это не полная замена дизайнеру со всеми преимуществами и недостатками, это ускоритель, инструмент нового порядка. Это не фотошоп, где ты тратишь часы, чтобы кривые гнуть. Это инструмент, который по щелчку пальцев генерирует новые решения. Ты их можешь в каких-то диапазонах трансформировать, просить предложить другие цвета, композиционные решения или поиграть со шрифтами, что все очень любят. Николай будет всё сам исполнять, вместо того, чтобы ты пытался одновременно думать про смыслы и кое-как визуализировать.

Сколько вариантов генерирует Николай? Как осуществляется выбор того, что отдать клиенту?

С: Он генерирует бесконечное количество вариантов, выбор осуществляется силами дизайнеров и арт-директоров, которые по факту являются операторами Николая. То есть они на основе своего опыта выбирают решения, которые лучше подходят под контекст, являются контрастными по отношению ко всему, что есть в этой области.

То есть арт-директор до этого жал на живых людей и тратил часы в ожидании логотипа, а теперь жмет на Иронова и тратит секунды?

С: В этом-то и прикол. Мы, посмотрев, как происходит процесс создания логотипов, видим, что во многих случаяхэто просто тупой перебор. Друзья, мы [арт-директоры] просто отсматриваем большое количество разных вариантов.

Ждете, пока будет то самое?

С: Совершенно верно. Ты просто сидишь, а сколько-то дизайнеров шлют свои варианты. При этом, если ты слишком долго выбираешь, то у них начинают появляться вопросы по поводу того, сколько им ещё рисовать, я же тебе предложил хороший вариант. Николай не думает, в этом ускорение. Иной раз, можно с живым дизайнером так сильно упороться и это будет настолько трудный процесс, что сам сядешь писать своего Николая Иронова.

Значит ли это, что в будущем в студии Артемия Лебедева не будет дизайнеров, а будут нейросети и арт-директора?

Р: Я думаю, что у дизайнеров просто немного поменяется профиль работы. Будет немного меньше рутины. Дизайнеры пойдут в мою сторону [технолога]. В идеале они должны знать, как заалгоритмировать рутину, потому что у них есть экспертиза о том, как строить логотип, остается только автоматизировать этот процесс. Думаю, что будущий дизайнер это что-то между технологом и творческим человеком, потому что это дает намного больше возможностей, когда ты понимаешь, как это работает с точки зрения дизайна, и как это можно реализовать с точки зрения технологий. Я думаю, что за такими людьми будущее. Думаю, что надо учить Питон и нейросети.

Будете ли вы автоматизировать арт-директорскую составляющую? Насматривать нейронку, чтобы она понимала щелкнуло или нет?

С: У нас уже есть какое-то подобие арт-директора внутри система, которая отсеивает совсем плохие варианты от приемлемых. Но именно контекст и понимание, что может зайти, а что можем не зайти, на мой взгляд это просто вопрос времени. Если внимательно посмотреть на то, как работает арт-директор, какие контекст он учитывает, то вполне можно предположить, что это разматываемая штука. Вопрос, найдётся ли в какой-нибудь компании в ближайшее время такое количество свободных творческих и финансовых ресурсов, чтобы реализовать подобную штуку. Здесь спрос должен сформировать событие, которое произойдёт в будущем. Если за этим ничего не стоит, то какой смысл этим заниматься?

Создав Николая, мы решили много разных задач. Задачу быть первыми в этой теме, задачу поиска новых решений в области графического дизайна и так далее. Это задачи, которые вполне укладываются в бизнес, которым мы занимаемся, поэтому у нас есть энергия для того, чтобы их решать. Но вполне вероятно останутся сферы, в которых такого стечения обстоятельств не произойдет. Просто нам повезло.

Сколько человеко-часов понадобилось на разработку Иронова?

С: Это очень долго делалось, очень сложно посчитать. Во-первых, сам проект, во-вторых, мы использовали те системы и идеи, которые были заложены очень давно. В частности в Студии работала матрица идей этот продукт был реализован очень и очень давно. Можно сказать, что идеи, которые возникли в этом продукте, с течением времени появились в Иронове. Это очень долгий процесс, растянутый на годы. Боюсь, мы не сможем посчитать.

Р: Всё началось ещё с исследования, я тратил много времени, чтобы понять, возможно ли это в принципе. На первоначальном этапе мы не знали, куда идем и зачем. То есть это была исследовательская работа: мы пробовали разные технологии, это происходило чаще в свободное время, поэтому невозможно посчитать. Но много времени [потратили].

Очень бытовой вопрос. Часто админки выглядят, как полное говно. Витрина у всех классная, но заходишь в админку, а там просто ад. Вы сделали Иронову кайфовую админку или нет?

С: Разумеется, мы ее сделали, потому что понимали, что время идёт, люди меняются. Если бы мы оставили эту технологию в руках одного держателя знаний о том, как пользоваться этим инструментом, был бы велик риск, что все наши усилия просто пропадут. У Иронова есть пользовательский интерфейс мы сделали всё возможное, чтобы он был максимально понятен человеку, который приходит туда с улицы в первый раз и не знает, как это работает. Всё построено на чате.

Это бот такой?

С: Не то, чтобы бот. Мы так или иначе симулируем реальное общение арт-директора с дизайнером. Очень часто в нашей речи проскакивает Коля, потому что общение происходит, как с реальным человеком. Мы говорим try again он выдает еще больше вариантов. У него очень много черт, которые характерны человеку. И самое интересное, что это не просто маркетинговая оболочка, это тоже часть продукта, потому что через реализацию такого характера взаимоотношений с Николаем, мы понимаем, как Николай должен работать. В этом большая проблема многих экспериментов в области нейронных сетей они все заканчиваются экспериментами. Появилась какая-то технология, мы умеем генерировать картинки сделай еще один шаг, придумай правильный контекст, упакуй это в ясный сценарий, сделай так, чтобы это решение заменяло какую-то часть [работы]. В нашем случае это полная противоположность. Есть хороший интерфейс, к которому можно подключать любого дизайнера у нас внутри, чем мы сейчас и занимаемся. Мы просто выдаем такой ускоритель.

Р: Больше того, этот интерфейс помог обогатить Колю, потому что, когда мы подключили дизайнера, который мог тыкать в этот интерфейс, он сразу же начал понимать, как Коля работает, что он умеет, что можно улучшить. В голове дизайнера тоже происходит щелчок, что можно его научить более правильной композиции. Вот я там выставлю такие настройки, посмотрю, что он с такими настройками сделает.Ага, здесь он не очень хорош могу ещё попушить этого Колю. Благодаря классному интерфейсу (тут важно слово классному) дизайнеры очень сильно помогли в процессе доработки. Мы бы не смогли генерировать всё это в командной строке с помощью каких-то чисел, непонятных дизайнеру. Это было бы невозможно.

С: Мы создали эту систему, дальше для нас не представляет сложности научить его новым способам визуализации. Дальше всё упирается просто в то, что мы будем накидывать новые стили и подходы, расширять границы или сужать их, тем самым открывая ещё одно большое преимущество, по сравнению с живым человеком. Если вы попытаетесь сказать дизайнеру, что хотите, чтобы он вдруг начал рисовать вот так, то, во-первых, очень много нервов потратите,а во-вторых, это трудно. Мозги у людей реально дубовые, особенно, если ты научился рисовать в каком-то стиле, поверил в себя, как в дизайнера, собрал кучу лайков и так далее, то знаешь, что это та лошадка, на которую надо ставить. Потом к тебе приходит арт-директор и говорит: нарисуй-ка мне что-нибудь принципиально другое. Всё, ты парализован! Поэтому в этом контексте лучше пойти к технологу и сказать: а давай-ка ты плагин для Коли напишешь?

По факту, для арт-директора не имеет значение, кем выполняется работа. Неважно, нарисует это человек или система. Главное, чтобы работа была выполнена, чтобы новое решение было найдено. Соответственно, отвечая на вопрос про будущее, про то, как меняется роль дизайнера, я смею предположить, что она будет меняться в сторону создания систем, которые позволяют быстро, интересно и эффективно решать рутинные задачи. И главное находить новые штуки.

А на чем всё это написано?

Р: Поскольку это система, то сюда входит очень много всего. Я начну с истории исследования. Когда мы находились на старте проекта, пришлось испытать много разных технологий. В то время, когда я только начал делать первые шаги, были очень популярны такие нейронные сети, как, например, Pix to pix, когда картинка генерируется на основе другой картинки. Я бросился пробовать такого рода системы, например, GAN-системы и их родственные сети.

Первое время мы генерировали обычные геометрические формы. Это был своего рода тест, что нейронная сеть может сгенерировать, как она может разнообразить простые фигуры. Первая версия Коли это зашарпленные, пиксельные картинки, которые, как я тогда думал, можно трансформировать в SVG-формат и дальше работать с этой формой. Это то, что было на первом этапе. Было интересно, потому что для такого рода трансформаций из зашарпленной непонятной картинки в SVG я использовал различные инструменты. Уже тогда получались кляксы очень прикольной и необычной формы. Это было то, что дизайнер не сгенерирует просто так, за щелчок.

Дальше я понял, что нам нужно переходить на упаковку всех входных данных не в пиксельные картинки, а в SVG-точки. Я стал использовать рекуррентные сети их используют для распознавания и генерации рукописного текста, например. Это оказалось правильным решением, потому что мы смогли научить генерировать разнообразные формы, и дошли до полноценных образов, которые можно было в дальнейшем использовать для логотипа.

Сначала мы использовали Питон и тестировали разные нейросети. Потом пришли к нескольких определенным нейросетям. Одну из них мы называем дизайнер она генерирует образ. Есть сеть, которая классифицирует изображения, это алгоритм, который понимает: хорошие формы сгенерированы или не очень, а плохие формы отсекает. Дальше используются различные библиотеки, которые обогащают сгенерированные нейросетью образы. Примерно так это работает.

А как вы вывели параметры хреновости?

Р: Это был визуальный процесс. Сначала мы отобрали неудачные формы, которые генерирует первая нейросеть, обучили арт-директора, что эти формы не очень, давай ты не будешь их пропускать. А вот эти формыокей. На этом этапе арт-директор уже мог отсекать хорошие от плохих результатов. Он работает не на уровне попадания в контекст, а в принципе распознавания образов, насколько читается то, что распознала первая нейросеть. Арт-директор не проверяет контекст, не проверяет, насколько это похоже на бриф клиента, насколько это можно применить в текущей ситуации, но это тоже вопрос времени и ресурсов. Я считаю, что этому тоже можно обучить нейросеть понимать, насколько яблоко попадает в контекст логотипа для Майкрософта.

С: Многие смотрят на логотипы, которые Николай сгенерил, и задаются вопросом, как? Не то, как их нарисовали, а как их приняли. Забавно, что у людей, через которых не прошли сотни логотипов разных ровных, неровных, красных, белых, цветных, у них очень закостенелое понимание, каким должен быть логотип. Часть людей считает, что логотип должен обязательно отображать деятельность компании. Часть считает до сих пор, что логотип должен быть легким, чтобы напечатать его на визитке. У людей очень много стереотипов на этот счёт, но по факту это групповая галлюцинация. Ничто не может запретить нам использовать в логотипах любые вещи, совершенно сумасшедшие, даже сгенерированные синтетически.

Почему мы можем позволить кофейне в компьютерной игре иметь совершенно футуристический логотип, который светится, крутится, испускает частицы? Но когда мы выходим из квартиры и видим нечто подобное, то у нас появляются вопросы? На самом деле, границы нет, граница внутри головы. Наша задача раскачать этот диапазон, чтобы люди не дрожали над тем, к чему они привыкли, вокруг чего они выросли, что их окружало. Реально нет объективных причин требовать от логотипа, либо другой визуальной коммуникации выглядеть именно так. Если вам удалось договориться с клиентом, потребителем, ваши продажи осуществляются, у вас новый крутой логотип, которого нет у других, то вам никто ничего не скажет. В этом главная идея разрушать стереотипы правдами и неправдами, синтетическими дизайнерами и живыми. Мы видим, что с живыми дизайнерами эти стереотипы сложно разрушать, даже в формате, когда клиент не может вам ничего сказать. Даже в этом формате очень трудно заставить людей рисовать что-то принципиально новое, что-то отлетевшее, что-то сумасшедшее, но в этом интерес. Разве вы хотите, чтобы вас запомнили, как дизайнера, который нарисовал пару аккуратных логотипов? Это же скукота!

Вы же очеловечили Иронова не просто так, а чтобы снять некоторый напряг от того, что это нейросетка сделала за две секунды, а не человек трудился целыми днями? Как отреагировали клиенты после того, как вы зарелизили его?

С: Сейчас сложно отделить эффект, который произошёл в медиа, от эффекта самих логотипов. Но, конечно, бренды и клиенты испытывают большой охват, в связи с этим многие довольны. Более того, часть ребят написали, что сейчас они видят в этих логотипах еще больше ценности. Они стали участниками этой точки в истории, когда первые, абсолютно синтетические логотипы решают реальные коммерческие задачи, появился новый контекст.

Вся та история, которая связана с Ироновым, является неотъемлемой частью логотипов, которые он нарисовал. Важно понимать, что просто так набор длин и форм смысла имеет не больше, чем любой другой набор линий и форм. Огромное значение играет контекст. Нет абсолютно универсальной фигуры. Может, есть круг, но без контекста он не имеет никакого значения. Круг может нарисовать любой дизайнер, но не любой дизайнер может сделать так, чтобы это стало исторической темой. В этом роль дизайнера так упаковывать свои идеи, чтобы они обретали новые смыслы, чтобы про них можно было рассказать. Логотипы, которые есть в их [клиентов] распоряжении, их ценность и та история, которая за ними стоит, уже гораздо дороже, чем им может нарисовать любой фрилансер или студия. В этом главная идея.

Конечно, после того, как мы раскрыли Иронова, клиенты были рады. Но самое интересное, что были клиенты, которые были рады до того, как они узнали, что Николай это не человек.

Кажется, если бы люди были устроены таким образом, чтобы идти разбирать детали и врубаться в суть, вы бы такого эффекта не получили.

С: Это тоже прекрасно, потому что наш анонс это заявление о том, что так можно делать. Всё есть, все инструменты есть. Прекрасно, если увидят и начнут делать что-то для себя. Для меня это будет отличным результатом.

Люди очень часто не понимают, что есть дизайн. Они смотрят на конечную картинку на белом фоне: мне не нравится или мне нравится. А дизайн это другой жанр. Понятно, что есть рутинные задачи, но мы играем совершенно в другую игру, нам неинтересно визуализировать какие-то аккуратные штуки. Тот анонс, который был вокруг Николая, то, как мы его подали, это и есть дизайн по факту. То заявление, которое мы опубликовали это дизайн.

Не форма логотипа Хованского является конечным ответом на то, что есть Николай Иронов. Мы не просто умудрились генерировать какие-то новые, красивые, интересные, оригинальные формы, а отдавали их живым клиентам, и клиенты это произвели и нанесли на свою продукцию. Тем самым мы доказали, что абсолютно синтетический дизайн может стоять на одной ступеньке с рукотворным.

Прецедент случился пока только на логотипах, а ведь дизайн шире. Может ли Николай, скажем, задизайнить вертолет?

С: Почему нет? Может конечно.

Кажется, что есть сферы, помимо визуальных образов, где там важен не только бесконечный поток образов. В архитектуре важно знать сопромат, чтобы все не рухнуло. Все это можно учитывать и тоже загрузить в Иронова?

Р: Сопромат в основном состоит на очень жестких требованиях и правилах, которые подвергаются той же самой автоматизации. Понятно, что существует очень много разных ситуаций: где может стоять дом, где он может быть построен. Но это тоже вопрос времени с помощью простых алгоритмов и тех же не очень сложных по начинке нейросетей можно научить систему строить долма.

Архитектура очень большая наука, которая включает в себя очень много шагов: проектирование здания, какой должен быть котлован, какие нужны материалы, какой должен быть фасад всё это шаги. То же самое, что мы описывали сейчас, всё состоит из шагов.

С: Нам повезло, что логотипы рисовать легко в плане трудоемкости. Нужно написать не так много систем, которые заставят попадать в жанр результаты работ. Есть и более сложные области, где жанровость требует учета большего количества контекстов: тот же сопромат, материалы, стоимость и так далее.

Сейчас, получив опыт построения Николая, я не вижу объективных причин утверждать, что сложные творческие профессии не могут быть заменены или дополнены искусственными системами, которые построены на алгоритмах и нейронных сетях. Понятно, что у конкретной технологии есть ограничения, но для этого люди и нужны чтобы использовать технологию не просто в лоб, а использовать там, где она уместна.

В случае с Ироновым мы её используем, чтобы получать оригинальные изображения. Нет шаблона заранее нарисованных логотипов, потому что в таком случае это был бы скучный конструктор. Мы используем нейронную сеть для того, чтобы логотипы были авторскими. Возможно, в автоматизации работы архитектора нейронная сеть вообще не нужна, а необходима какая-то другая технология. Сейчас нет причин тратить такое огромное количество денег, времени и сил, чтобы попытаться эту штуку как-то воспроизвести [в архитектуре]. Вопрос времени.

Вы оба сказали, что будущий дизайнер это технолог/арт-директор, но ведь не каждый человек может стать арт-директором, иначе их было бы больше.

Р: Когда я советовал всем учить Питон и нейросети, я не упомянул, что намного важнее фантазия человека без неё ты не сможешь придумать красивую картинку. Сухой программист не разбирается в чувстве прекрасного. На мой взгляд, нужно иметь богатую фантазию, обучаться всему вокруг, накапливать образы, читать много книг и прочее. Уже сейчас есть инструменты, которые позволяют на одной фантазии очень многое делать, не умея даже программировать.

С: Дизайнером тоже может быть не каждый. Ты рождаешься, начинаешь ощущать тягу к изобразительной деятельности, начинаешь делать дизайн. После десятков тысяч часов ты становишь дизайнером. Ты научил свою голову решать дизайнерские задачи с предсказуемым результатом. Раньше тебе приходилось, чтобы это ремесло впитать, рисовать руками большое количество каких-то примитивных форм чтобы видеть те паттерны, которые лежат за успешными либо неуспешными формами, что заходит клиенту, а что не заходит. Сейчас это постепенно меняется: когда машины могут сами генерировать контент, тебе нужно учить свою внутреннюю нейронку на других вещах. Если ты хочешь быть дизайнером или арт-директором, тебе нужно учить не способы воспроизведения чего-либо, а прокачивать понимание того, в каких контекстах, какие инструменты лучше работают. В этом всё отличие.

Я считаю, что все дизайнеры. Просто кто-то себя так называет, а кто-то нет. Так или иначе мы дизайним наши отношения в семье, в работе, свой сайт, инстаграм и так далее. Просто инструменты разные. Соответственно, у классического среднего дизайнера грядут интересные трансформационные времена. Это не значит, что люди не нужны, хорошие мозги всегда нужны. Это значит, что рутинные навыки обесцениваются, потому что на их территорию заходят более быстрые, яркие, иногда более талантливые машины.

Если воспринимать дизайн как способ решения задач, где можно будет применить Иронова в дальнейшем? Сможет ли он стать менеджером?

С: Мы большие фанаты автоматизации всего. Мне сложно представить такую должность, которая не может быть автоматизирована, начиная от офис-менеджера, заканчивая программистом. Если реально разложить работу человека на шаги, можно увидеть много точек роста. Но с экономической точки зрения все эти технологии это очень дорого. Чтобы сделать НиколаяИронова, большое количество квалифицированных людей долгое время работали, это дорого. Все остальное тоже можно автоматизировать даже сейчас, но нет экономических обстоятельств. Иной раз, дешевле нанять человека, потому что автоматизация его труда не даст большое количество новых точек роста.

Иронов это не про то, что мы умеем делать логотипы автоматически. У него есть много последствий другого порядка, в том числе отношения Студии с общественностью, расширения границ возможного в головах у нас самих. Это тоже та вещь, которую Иронов решает. Возможно, в других сферах нет совокупности преимуществ, которые автоматизация может принести, поэтому эти процессы не происходят.

На самом деле ничто не мешает нам заходить на территорию 3D. Ничто не мешает заходить на территорию промышленного дизайна и говорить о реальных объектах. Это вопрос того, какие потоки данных мы подключим, и в какие бизнесовые контексты мы это встроим.

Нейронная сеть и другие алгоритмы заходят на территорию вещей, которые раньше было сложно автоматизировать, и люди с этой территории убегают повыше в горы, где они используют преимущество сложности устройства своих мозгов. Они там какое-то время будут обитать, а потом нейросети усложнятся, и они заберутся на высоту повыше. Люди будут использовать свои несовершенства, чтобы создавать что-то, что эта машина не может симулировать. Такая вот гонка.

Р: Автоматизация открывает новые профессии, это неизбежно. Если откатиться назад в историю, посмотреть, как происходил промышленный переворот, то были те же самые проблемы. Не уверен, что уместно сравнивать с текущими процессами, потому что сейчас всё по-другому, но тем не менее. Раньше все считали, что заводы заменят людей. Этот процесс затянулся очень надолго. И сейчас происходит то же самое неизбежно появятся новые профессии. Это очень круто в том смысле, что рутинные задачи не придётся делать людям, у которых появится больше возможностей привнести что-то новое человечеству. Бухгалтеру не придется сидеть и считать что-то у него появятся инструменты, которые смогут раскрывать его скрытые возможности и идеи. Он может оказаться очень крутым арт-директором, который кликает на кнопку и выбирает очень попадающие в контекст вещи.

Как вы нейронку звали внутри команды? Как появилось название Николай Иронов?

С: За его именем скрывается несколько смыслов.

1. Иронов это iron, железо, отсылка к железным мозгам.

2. Если коротко записать Н. Иронов и сказать быстро, то получится н[е]иронов. Разгадка всё время была очень близко, прямо перед носом.

3. Ещё смешно, что Иронов созвучен со словом ирония, и это также попадает в контекст. Это как раз пример работы с контекстами. Мы могли назвать его Петя, но было бы не то.

Иронов выдавал когда-нибудь пугающие или, наоборот, забавные результаты?

Р: Первые результаты нейросети не то чтобы пугали, они вселяли безнадежность. Это были первые эксперименты, тогда я чувствовал, что невозможно сгенерировать понятный образ.

С: Впервые я ощутил движение волос на спине, когда увидел, что Николай нарисовал кактус. Он прислал зелёный четырёхугольник, на входе была необходимость нарисовать кактус, я смотрел и думал: надо поискать живого дизайнера, который нарисует кактус настолько лаконично. Очень часто из-за того, что у дизайнера в голове много контекста, каких-то умений, понимания того, как устроены инструменты, от него трудно добиться чистого сигнала. В дизайне логотипов это большая проблема как показать образ максимально лаконично.

Однажды Николай прислал фламинго из четырех розовых прямоугольников, разной степени насыщенности цвета. Но они были наставлены таким образом, что я бы очень попотел, чтобы получить такой же узнаваемый образ. После этого я начал называть его Николай. После того, как он прислал кактус, я понял, что мы заходим на территорию чего-то нового.

Однажды мы делали демонстрацию Николая. Мы взяли у человека описание [компании], передали Николаю, и в первой выдаче он нарисовал неприличный символ. Причем это была не случайность каким-то образом он проанализировал текст и нашел в этом описании такие сигналы. Живой дизайнер никогда бы так не сделал, он бы побоялся. Никто бы никогда живому клиенту не стал визуализировать бизнес таким образом, которым Николай может. В этом сила Николаяему все равно. Арт-директор иной раз может посмотреть и подумать: может и смело, но почему бы нет...

Это большая точка роста в том смысле, что ты отделяешь этап выбора от этапа создания логотипа. Очень часто сознание диктует образ, который ты предложишь. Если ты научился рисовать что-то хорошо, то с большой долей вероятности ты будешь предлагать то, что умеешь. Это тоже очень сильное ускорение творческого процесса, поиска новых образов, потому что генерация смыслов отделена от выбора того, какие смыслы использовать.

После такой истории сразу хочется посмотреть, что выдаст Иронов на бриф о нашем подкасте.

С: Можем.

Бриф был такой:

Хабр Спешал это подкаст, в котором разработчики, дизайнеры, ученые, бизнесмены и другие умные ребята рассказывают о сложных вещах простым языком.

А вот какой результат мы получили:

И последний главный вопрос: когда-нибудь, хоть в каком-нибудь виде откроете Иронова для других?

С: Вероятно.

Р: Мы сделали заявление [зарелизив Иронова]. Думаю, что да, будет какой-то фундамент, экзоскелет для разработчиков, чтобы дальше развивать индустрию.

Ранее мы рассказывали, как работает наша международная лаборатория робототехники. Продолжаем тему и обсуждаем проекты-призеры всероссийских и международных соревнований вместе с Игорем Лосицким, заведующим молодежной лабораторией.

P.S. Вчера показали наши робототехнические лабы и обсудили победы молодежных команд.

Послушать беседу:Apple PodcastsЯндекс.МузыкаPodfmАудиоверсия на YouTube.

Знакомство с лабораторией молодежной робототехники

Таймкод 00:14

Дмитрий: Сколько команд вы поддерживаете и тренируете?

Игорь: У нас всегда занимается около двадцати человек. Из них мы ежегодно формируем три команды от трех до пяти участников, которые делают по одному проекту. Но у нас есть и деятельность, не требующая формирования коллективов. Это общие проекты.

Дмитрий: Расскажите, пожалуйста, подробнее о вашей лаборатории.

Игорь: Она небольшая и в какой-то степени берет начало в лицее 239. Тогда это была творческая лаборатория робототехники, где мы делали с ребятами проекты из конструкторов Lego, постепенно добавляли к ним что-то еще для разнообразия. В определенный момент нас пригласили в Университет ИТМО. Теперь мы работаем и со студентами, которые зачастую формируются из тех, кто пришел к нам заниматься еще во время обучения в школе.

Дмитрий: Они осуществляют и преподавательскую функцию в лаборатории?

Игорь: Да. У нас все учатся друг у друга. Часто бывает так, что ребята знают гораздо больше преподавателей. Такие возможности нельзя упускать. Они очень быстро схватывают и передают знания, если преуспели в какой-то дисциплине: механике, программировании, 3D-моделировании. Иногда мы собираем младших участников, а старшие делятся опытом.

В зависимости от сложности темы и количества учеников мы устраиваем еженедельные семинары например, на протяжении полугода или пары месяцев (если базовые знания уже есть и нужно изучить условное устройство простейших нейросетей). Но даже самые короткие образовательные программы, мы предварительно анализируем и утверждаем.

Путь от школы до международных соревнований

Таймкод 04:09

Дмитрий: Можем ли мы проследить путь участников вашей лаборатории от школы до конкурсных проектов? Как они попадают к вам и развиваются уже внутри коллектива?

Игорь: Есть различные варианты. Обычно мы проводим набор в сентябре. Он включает в себя собеседование и тестирование. Все-таки важно понять, что ребенок обладает базовыми знаниями. К сожалению, времени для обучения с нуля у нас нет мы готовим ребят к крупнейшим состязаниям, какие только могут быть в этой сфере для начинающих робототехников. В них мы стараемся занимать призовые места.

Дмитрий: Сколько времени уходит на подготовку к таким соревнованиям?

Игорь: Если это дети из школ, где все в порядке с математикой и программированием, и сами они заинтересованы, тогда для выхода на соревновательный уровень достаточно шести месяцев.

Дмитрий: Для детей какого возраста доступны такие варианты развития?

Игорь: Есть разные возможности. Все зависит от индивидуальных особенностей человека. Мы обычно постепенно усложняем задания, чтобы посмотреть на прогресс учеников.

Дмитрий: Как может выглядеть такая траектория развития?

Игорь: Есть типы траекторий для конкретных соревнований. Если мы говорим о Всемирной олимпиаде роботов (World Robot Olympiad), то мы отталкиваемся от темы. Это происходит осенью, а в январе организаторы дают утончения, которые могут легко перевернуть наши представления о том, что ждут от участников олимпиады. В одном из таких подготовительных циклов первоначальной темой были умные города. Мы стали разрабатывать идеи вокруг соответствующих решений и направления умных домов, но уточненный вариант выглядел уже как умное управление городом, умное образование и умное рабочее место.

Дмитрий: Времени на внесение изменений у вас уже было меньше года?

Игорь: Менее шести месяцев. Готовый проект нужно продемонстрировать в конце мая, а потом через месяц выступить на всероссийской олимпиаде, где желательно победить. Хотя есть и экспертный отбор, там нужна более детализированная версия разработки. Но если человек толко пришел к нам в лабораторию, он не обязан сразу участвовать в соревновательном цикле.

Можно заниматься со всеми, помогать другим, делать свои небольшие проекты, изучать какую-то тему, но в рамках первого года быть вне каких-либо конкурсов. Это нормально.

Дмитрий: Все это зависит еще и от времени, которым располагает человек.

Игорь: Многие в итоге добираются до серьезных проектов. И до соревнований.

Дмитрий: Могли бы вы рассказать о наиболее заметных проектах последних лет?

Игорь: Самые заметные чемпионские проекты. Каждый год у нас есть либо чемпионы, либо призеры соревнований. С начала работы вместе с Университетом ИТМО мы сделали два проекта для Всемирной олимпиады в Индии. Это была рука-манипулятор, контролируемая с помощью сенсора Leap Motion. Управление может быть дистанционным, а сама роборука например, находиться в опасном для человека окружении. Мы заняли с этим проектом второе место.

Еще была разработка по теме Арктики модель системы по уборке бочек из горюче-смазочных материалов. С ней мы заняли четвертое место, но потом все усовершенствовали и через два года с большим отрывом от всех победили на международных соревнованиях RobotChallenge в Китае.

После этого мы делали робота-лесника для олимпиады в Коста-Рике, но уже с другими ребятами.

Как правило, состав команд не повторяется. Один человек может присоединяться к разным командам, но общий их состав всегда уникальный.

Как родители могут оценить кружки для начинающих

Таймкод 12:05

Дмитрий: Как родители могут распознать интерес ребенка к этой теме и помочь ему разобраться сделать первые шаги и совместить все это со школьной программой?

Игорь: Я начинал эту историю именно как родитель купил набор по робототехнике, мы постепенно собирали небольшие проекты, а потом меня пригласили в лицей 239, и успехи пошли один за другим. Как могут к этому подойти другие родители, сказать сложно.

Если не хватает времени на учебу в школе, то не всегда есть смысл что-то добавлять сверху. Но если ребенок все успевает и тянется к технике, а родители думают, куда его можно отдать часто выбирают робототехнические кружки. Другой вопрос, как понять, куда отдавать.

Дмитрий: Сейчас такие кружки начали появляться с огромной скоростью. Есть ли какие-то простые способы разобраться в этой области и предварительно оценить возможности кружка?

Игорь: Нужно смотреть на результаты. Как правило, это позволяет увидеть уровень. Например, всероссийские конкурсы требуют прохождения отборочных этапов в регионах. Международные еще больших усилий и понимания того, что ожидают увидеть на таких мероприятиях. Если у кружков есть результаты, то да там учат и скорее всего делают это хорошо.

Примеры проектов-участников соревнований

Таймкод 15:57

Игорь: У нас есть то, что отличает лабораторию молодежной робототехники от других. Это возможность себя проявить в творческой атмосфере. Мы с Евгением Завариным и другими преподавателями даем возможность свободного конструирования. Очень важно готовить креативщиков так, чтобы в них сохранялось желание изобретать и придумывать.

Часто даже на крупных соревнованиях люди останавливаются на скучных реализациях. Например, была тема еда имеет значение. Нужно было найти новые способы земледелия или чего-то подобного, и многие просто взяли идеи, связанные с гидропоникой.

Мы выращивали клубнику, но придумали неожиданное решение.

Дмитрий: Расскажите, пожалуйста, об этом проекте.

Игорь: Это был стенд-грядка с разбросанной игрушечной клубникой трех видов: недозревшей, перезревшей и спелой. По рейке двигался манипулятор с камерой. Так мы обнаруживали, где находится клубника. Делали это с помощью технического зрения, вычисляли координаты, а при помощи нейросети определяли свойства клубники. Управлять системой можно с помощью приложения: выбирать грядки, видеть клубнику, заказывать доставку определенных ягод. Сбор осуществлялся при помощи специального мягкого захвата, который мы реализовали вместе с нашими химиками, а базовая технология работы манипулятора была придумана в Гарварде.

После сбора клубника попадала на квадрокоптер, осуществляющий доставку. Такая грядка может находиться на условной крыше офисного центра, а сотрудники делать заказы в приложении.

Дмитрий: Серьезный проект. Даже если взять команду инженеров с высшим образованием, им придется потратить существенное время, чтобы все реализовать что-то подобное.

Игорь: Если делать это не в формате стенда, а для настоящей грядки, конечно, задача будет очень и очень трудоемкая. У нас были некоторые допущения, но в проект входил ряд сложных робототехнических задач, на которые мы потратили год подготовки.

Дмитрий: Когда вы формулируете такие идеи, вы основываетесь по большей части на существующих разработках, или ребята стараются сделать основные компоненты с нуля?

Игорь: Что-то мы заимствуем и интегрируем, но концепция всегда оригинальная. Это не какие-то изобретения, а больше решения для практических задач.

Дмитрий: В этом проекте была какая-то специализация внутри команды?

Игорь: Да. Как правило, у нас это есть. Но иногда ребята комбинируют несколько направлений.

Есть и другие примеры. Так, у нас был робот-флейтистка по имени Эльза. Его делал наш ученик, который уже является студентом бакалавриата. Он смоделировал руки робота по примеру своих.

Дмитрий: Расскажите, пожалуйста, про проект по теме умного рабочего места.

Игорь: В нем мы связали две темы эту и умное образование. Получился робот-лампа. Он мог действовать в качестве осветительного прибора, а после завершения тематического урока, собрать со стола детали конструктора. Нейросеть определяла, какие детали разбросаны по столу, а пневматический захват подбирал их и раскладывал по ячейкам контейнера.

Компактные выводы

Таймкод 24:05

Дмитрий: Что вы хотели бы улучшить в своей работе?

Игорь: У нас много идей, а времени хватает не всегда, но мне интересно заниматься этим. Мы можем позволить себе ставить любые задачи робототехника не имеет узкого формата, она включает в себя, например, и применение систем ИИ. Но мы стремится к оправданной сложности, к оригинальности, чтобы наши разработки находили отклик в душе человека, вызывали эмоции. Помимо технической составляющей нам важен интерес самих разработчиков. Здесь мы подходим к понятию Art&Science, где наука и искусство соседствуют.

Что еще у нас есть на Хабре:

• Робототехнические лаборатории, фаблаб и победы команд на профильных олимпиадах

• Мы делаем то, что до нас мало кто делал: говорим об инфохимии в ITMO Research