Привет! Я Валентин Хрульков исследователь из команды Yandex Research. Мы регулярно посещаем отраслевые конференции, а после делимся на Хабре впечатлениями: кто из докладчиков запомнился, какие стенды невозможно было обойти стороной, чьи постеры привлекли больше всего внимания. 2020 год внёс существенные коррективы в привычное расписание: многие события были отменены и перенесены, однако организаторы некоторых из них рискнули попробовать новые форматы.
CVPR 2020 это 7600 участников, 5025 работ, событий и взаимодействий, 1,497,800 минут дискуссий и всё онлайн. Больше подробностей под катом.
Как это было: планы VS реальность
Conference on Computer Vision and Pattern Recognition одно из самых крупных мероприятий такого рода в сфере технологий компьютерного зрения и распознавания образов вы наверняка и сами оценили цифры выше. Добавим букв: рейтингов конференций существует довольно много, критериев их составления ещё больше, но верхушка списка почти всегда маркируется А. CPRV A, A1 и A* топовая, наряду с ICCV и ECCV. Заявки проходят строгий отбор: к участию допускают примерно 20% всех поданных на рецензию статей. По умолчанию с постерными докладами: плакаты вывешивают в свободном доступе, презентация материалов авторами обычно не предусмотрена. Лучшим предлагают выступить с устными докладами около 25% приглашённых. В этом году было подано 6656 заявок, одобрено 1470, устных докладов 335. Также в программе встречи с представителями индустрии, стенды компаний, нетворкинг. Три из пяти дней отведены под воркшопы и мастер-классы.
В этом году всё переехало в онлайн: постеры на сайт конференции, стенды на лендинги, а доклады, обсуждения и образовательные мероприятия в Zoom. Без накладок, конечно, не обошлось, но вряд ли кого-то ещё можно удивить историями про неловкие ситуации во время онлайн-трансляций. Ощущалось отсутствие живого общения, когда к любому, даже самому крутому специалисту можно подойти поговорить в неформальной обстановке. Обсуждая впечатления внутри команды, мы пришли к следующим выводам:
Минусы
- Очень большой оргвзнос за онлайн-участие: 350500$. Например, смежная по тематике и не слишком уступающая по популярности конференция ICLR, которая также прошла полностью виртуально, снизила оргвзнос до 100$.
- Мало живого общения. Не стоит недооценивать этот пункт: всё-таки иногда вопросы коллег из других команд и компаний заставляют по-новому взглянуть на свой продукт.
- Не всё может переехать в онлайн: выставки, демонстрации свежих устройств и прототипов, к сожалению, не состоялись.
- Часовые пояса: конференция проходила по времени Сиэттла. Заседания каждой секции проводились по два раза, с интервалом в 12 часов: можно было выбрать, когда удобнее послушать интересные доклады. А вот воркшопы и туториалы не дублировались. Особенно непросто приходилось организаторам и участникам мероприятий, длившихся целый день.
Плюсы
- Удалённое участие всё же дешевле: нет издержек на транспорт и проживание.
- Легко переключаться между событиями: достаточно перейти по ссылке.
- Опыт подготовки материалов на серьёзное мероприятие во всё более популярном виртуальном формате.
- Авторам постерных докладов дали слово: на сайте конференции можно было разместить минутный видеокомментарий к плакату.
- Домашняя еда и никаких очередей.
Ту самую очередь увековечили на cvpr20.com:
Туториалы: онлайн VS офлайн
С дистанционными докладами всё сравнительно легко: устные
транслировать или записывать, постерные размещать на сайте. А как
адаптировать мероприятия требующие постоянного взаимодействия между
участниками и организаторами: воркшопы, конкурсы, туториалы?
Мы знаем, что коллеги из Толоки и команды беспилотников Яндекса
волновались, удастся ли их совместный мастер-класс: хотя для них
это уже четвёртый туториал, онлайн его проводили впервые. В офлайне
как-то проще: есть вопрос? Поднимите руку организаторы поспешат вам
на помощь. А вот как не упустить аудиторию в целом и отслеживать
сложности каждого участника в групповой конференции в Zoom, было не
слишком очевидно.
Туториал Efficient Data Annotation for Self-Driving Cars via Crowdsourcing on a Large-Scale был рассчитан на целый день, в нём приняли участие около 70 человек кто-то из науки, кто-то из индустрии. Начали со знакомства с Толокой и её возможностями (как работает и что умеет платформа, рассказывали, например, здесь). После участникам предложили две задачи: сложную демонстрационную и посильную практическую. Обе, кстати, настоящие: с подобными задачами сталкивается команда, которая учит наши беспилотные автомобили распознавать объекты.
В какой-то момент процесс развития любой технологии спотыкается о необходимость тестов на специфическом наборе данных, отличном от классических и тех, что в открытом доступе либо что-то ломается и требует ремонта, либо где-то можно улучшить, но стоит предварительно проверить. Впрочем, какой бы ни была причина, нестандартные данные придётся собрать и разметить самостоятельно.
Безопасно ездить беспилотные автомобили уже умеют, но разработчики компьютерного зрения постоянно улучшают используемые алгоритмы и модели. Для этого регулярно требуется расширять датасеты как в количественном смысле, так и с точки зрения типов распознаваемых объектов. На автомобили устанавливают камеры и лидары, в поездках одновременно записываются два типа данных: 2D-изображения (фотографии) и 3D-облака (поточечное представление поверхностей вокруг автомобиля, зафиксированое лидаром). На демонстрационной задаче показали, как устроены настоящие SDС проекты в Толоке, внутри которых эти данные сопоставляют и превращают в тренировочные датасеты. Постарались охватить весь процесс: в каком виде приходят изображения извне, как оформить их в задания и верифицировать результаты.
Второй, посильной задачей было собрать датасет с выделенными дорожными знаками, пригодный для обучения систем компьютерного зрения беспилотного автомобиля. Стартовый набор каждого участника инструкция, тестовый аккаунт Толоки и 100 сырых фотографий (дорожные знаки были не на всех, их предстояло отсортировать). Разметка такого количества изображений происходит за пару минут каждый день Толоку посещает около 30 000 исполнителей, задания разбирают быстро. Но до этого следовало продумать план: декомпозировать исходную задачу, продумать флоу процесса связи между этапами, решить как организовать контроль качества выполнения. Окончательный пайплайн выглядел так:
Что запомнилось
Не только переезд в онлайн! Интересных материалов было очень много, ограничиться несколькими из них для этой статьи оказалось действительно сложной задачей. Участники конференции из Kitware, IBM и Cornell, кстати, свои предпочтения визуализировали.
Cross-Batch Memory for Embedding Learning: как выиграть в качестве и не сильно потерять в остальном
В существующих пайплайнах обучения эмбеддингов для поиска похожих изображений тренировочные пары или триплеты формируются внутри каждого батча: и чем он крупнее, тем выше качество выходных результатов. Но из-за ограничений по GPU памяти батчи не могут быть очень большими: эффективное количество обучающего сигнала от любого из них будет мало.
Авторы статьи предлагают простой способ существенно увеличить число обучающих пар на каждой итерации обучения: поскольку на поздних этапах обучения эмбеддинги, спродуцированные моделью, меняются незначительно, эмбеддинги, вычисленные на предыдущих итерациях, можно просто запомнить и использовать при составлении пар/триплетов на последующих. Эта простая модификация приводит к существенному увеличению качества (проверено на трёх академических датасетах) ценой нескольких строчек кода и незначительного роста потребления памяти.
CNN-generated images are surprisingly easy to spot for now: как распознать фейк
Вероятностные модели (в первую очередь GANы) генерируют всё более реалистичные изображения и видео, которые легко использовать недобросовестно: заподозрить подвох на глаз практически невозможно. На большом датасете картинок, порождённых state-of-the-art GANами, авторы обучили классификатор, отличающий настоящие фото от несуществующих.
Результаты обнадёживают: какими бы правдоподобными не казались нам фейки, классификатор отлично справился с задачей. Более того, даже если обучать его на картинках, сгенерированных только одной GAN, он распознает обманки, созданные другими нейросетями.
Learning Better Lossless Compression Using Lossy Compression: использовать потери, чтобы избавиться от них
Предлагается новый способ сжатия изображений без потерь (lossless). Идея проста: применить state-of-the-art необучаемый метод с потерями (lossy), а затем в lossless режиме закодировать лишь остаток от сжатия с потерями.
Интуиция в том, что остатки обычно распределены проще и для их lossless кодирования необходимо небольшое число бит. Метод нетривиальный, на момент проведения CVPR код, воспроизводящий эксперименты, ещё не был выложен, но в результатах авторы заявили о преимуществах метода перед известными lossless-JPEG2000 и WebP.
Image Processing Using Multi-Code GAN Prior: восстановить всё
А что, если инвертировать GAN не полностью, а локально, по частям? Найти несколько латентных кодов, финальную картинку синтезировать из их перевзвешенных промежуточных фичей?
Инверсии получаются очень приличными, технику можно приспособить под разные задачи: денойзинг, морфинг, инпейнтинг за счёт Prior GAN испорченная картинка восстанавливается, её инверсия оказывается тем, что и было надо.
Effectively Unbiased FID and Inception Score and where to find them: измеряем качество GANs правильно
FID сегодня одна из самых популярных метрик качества генеративных моделей. Она измеряет разницу между распределениями эмбеддингов настоящих и сгенерированных данных, вписывая в них гауссианы.
В статье подробно рассматривается смещённость по числу семплов, приводится способ её избежать. На практике это, скорее всего, осмысленно для очень близких моделей, например, для сравнения разных сидов.
FDA: Fourier Domain Adaptation for Semantic Segmentation: преобразований Фурье достаточно
Очень простой и дешёвый с точки зрения вычислений способ domain adaptation: подмена части Фурье-спектра одного домена Фурье-спектром другого. Обмен идет низкими частотами, которые мало влияют на объекты/текстуры. Показывает хорошие результаты на задаче сегментации.
Single-Image HDR Reconstruction by Learning to Reverse the Camera Pipeline: новый подход к восстановлению изображений
Процесс преобразования HDR (High Dynamic Range) в LDR (Low Dynamic Range) разбивают на части: клип сигнала, нелинейное преобразование, квантизация. Для обратного преобразования LDR-HDR пытаются приблизить каждый из этих шагов нейросетями в инвертированном порядке. Спойлер: в части сетапов получат state-of-the-art, показывают, что их метод лучше количественными и качественными экспериментами.
A Multigrid Method for Efficiently Training Video Models: tradeoff найден
Анализируют как эффективнее всего обучать модели, работающие с видео, ищут компромисс: способ сохранить оптимальное разрешение видео, размер минибатча и качество модели одновременно. Большие батчи не подходят в случае высокого разрешения кадров, а при маленьком разрешении модели становится плохо.
Авторы вдохновились идеей многосеточных методов численной оптимизации, и попробовали динамически менять разрешение видео в процессе обучения: например, начинали с большого батча и маленького разрешения, и постепенно понижали размер батча, повышая разрешение. Исследовали и другие схемы (или циклы, как их называют в численных методах). В результате удалось сильно ускорить обучение: классическими методами аналогичное качество достигается в 4,5 раза медленнее.
Towards Robust Image Classification Using Sequential Attention Models: визуализировать и отразить адверсальные атаки
DeepMind рассказывают про новый вид моделей (смесь CNN, LSTM и аттеншна) более устойчивый (по построению) к адверсальным (злонамеренным) атакам. Базируется на двух идеях:
- Feedforward архитектура не полностью соответствуют восприятию картинки человеком: мы не ограничиваемся одним взглядом, много раз смотрим на разные кусочки картинки.
- Для адверсальных атак характерна глобальная структура: то есть целятся во все пространственные координаты одновременно. То есть чтобы сделать модель более робастной, надо научить её рассматривать картинку по частям и агрегировать информацию.
Идея реализована с помощью LSTM, которая последовательно обрабатывает выход механизма внимания с последнего свёрточного слоя ResNet'а: разделяет его пополам вдоль каналов, одна часть ключи, другая значения.
После нескольких суток обучения на 150 TPU всё это показывает хорошую робастность, адверсальные атаки теперь выглядят не как шум, а имеют наглядный смысл. Например, если устроить таргетированную на класс змея атаку, на картинке-мишени появятся контуры змеи.
Adversarial Vertex Mixup: Toward Better Adversarially Robust Generalization: и ещё об адверсальных атаках
Ещё один новый подход для тренировки более устойчивых к адверсальным атакам сеток. Робастность достигается за счёт уменьшения generalization gap при adversarial training (разница качества на трейне и тесте может достигать 40%). И также скомбинированы два подхода:
- Mixup в качестве обучающего примера выбирается линейная комбинация двух семплов и их лейблов.
- Label smoothing кросс-энтропия обучается не с one-hot target, а сглаженным показателем u: вероятность правильного класса u, а (1 u) равномерно распределяется по остальным классам.
Алгоритм получается такой. По инпуту x генерится адверсальная картинка x* (например PGD атакой), строится так называемый adversarial vertex kx*, того же класса, что и x. Сглаживаем метки обоих с разными коэффициентами, и для обучения делаем mixup этих двух точек (x и kx*).
Бонус теоретический анализ через робастные (полезные для классификации) и неробастные фичи (ненужные, по сути, для классификации).
Результаты впечатляют, особенно когда техника применяется к предыдущему SOTA подходу, и на выходе получается практически полностью робастная к PGD атаке сеть.
High-Resolution Daytime Translation Without Domain Labels: как сделанную днём фотографию превратить в ночную
Можно ли, не используя метки на датасете, обучить модель которая визуально изменяет время суток на картинках высокого разрешения? Например, по мотивам сделанной днём фотографии сгенерировать реалистично выглядящую ночную. Собрать и подготовить к работе датасет для такой задачи достаточно сложно, поэтому хотелось бы выучить модель именно в unsupervised режиме.
Авторы предлагают объединить две идеи: использовать AdaIN слои, популярные в сетях для переноса стиля (style transfer) и skip-connections, помогающие сохранить мелкие детали на картинках. Также показывают как добиться, чтобы сеть хорошо работала на изображениях высокого (1024 x 1024) разрешения: скомбинировать результаты применения сети к нескольким версиям обрабатываемой картинки в более низком разрешении.
Hyperbolic Image Embeddings: вкладываем картинки в шар Пуанкаре
В NLP с 2017 года интересуются методами преобразования слов в вектора таким образом, чтобы пространственные расстояния характеризовали порядковые связи между словами. Например, кошка млекопитающее, но не любое млекопитающее кошка: в каком пространстве можно закодировать взаиморасположением этих двух слов иерархию общее-частное? Ответ давно известен: гиперболические пространства плоскость Лобачевского, шар Пуанкаре пространства такого вида с небольшим количеством измерений заменяют многомерные Евклидовы, что сказывается на удобстве работы с данными.
Yandex Research в коллаборации со Сколтехом решили проверить, сработает ли такой подход на картинках: получится ли формально задать иерархию? Получилось: пришлось искать способы перехода от Евклидовых алгоритмов к гиперболическим. Замены несложные, легко встраиваются в привычные методы, но на удивление сильно повышают качество простых моделей: точность возрастает примерно на 10%. Проверить в коде здесь.
В заключение
На фоне множества перенесённых и отменённых мероприятий очень приятно, что CVPR 2020 всё-таки состоялась. Хотя это был интересный опыт, надеемся, следующие конференции состоятся офлайн.
Поиск по всем материалам, кажется, доступен только участникам, но программа есть в открытом доступе, а вот здесь записи всех докладов, туториалов и воркшопов. Спасибо, что дочитали до конца. До встречи в комментариях!
