Сверточные нейронные сети

Анализ колоса пшеницы методами компьютерного зрения. Определение плоидности

19.08.2020 12:13:25 |

Автор: admin

14-ого августа завершился первый воркшоп Математического центра в Академгородке. Я выступал в роли куратора проекта по анализу колоса пшеницы методами компьютерного зрения. В этой заметке хочу рассказать, что из этого вышло.

Для генетики пшеницы важной задачей является определение плоидности (число одинаковых наборов хромосом, находящихся в ядре клетки). Классический подход решения этой задачи основан на использовании молекулярно-генетических методов, которые дороги и трудозатратны. Определение типов растений возможно только в лабораторных условиях. Поэтому в данной работе мы проверяем гипотезу: возможно ли определить плоидность пшеницы, используя методы компьютерного зрения, только лишь на основании изображения колоса.

Описание данных

Для решения задачи еще до начала воркшопа был подготовлен набор данных, в котором для каждого вида растения была известна плоидность. Всего в нашем распоряжении оказалось 2344 фотографии гексаплоидов и 1259 тетрапроидов.

Большинство растений фотографировалось по двум протоколам. Первый случай на столе в одной проекции, второй на прищепке в 4-х проекциях. На фотографиях всегда присутствовала цветовая палитра колорчекера, она нужна для нормализации цветов и определения масштаба.

Всего 3603 фото с 644 уникальными посевными номерами. В наборе данных представлено 20 видов пшениц: 10 гексаплоидных, 10 тетраплоидных; 496 уникальных генотипов; 10 уникальных вегетаций. Растения были выращены в период с 2015 по 2018 годы в теплицах ИЦиГ СО РАН. Биологический материал предоставлен академиком Николаем Петровичем Гончаровым.

Валидация

Одному растению в нашем наборе данных может соответствовать до 5 фотографий, снятых по разным протоколам и в разных проекциях. Мы разделили данные на 3 стратифицированные подборки: train (обучающая выборка), valid (валидационная выборка) и hold out (отложенная выборка), в соотношениях 60%, 20% и 20% соответственно. При разбиение мы учитывали, что бы все фотографии определенного генотипа всегда оказывались в одной подвыборке. Данная схема валидации использовалась для всех обучаемых моделей.

Пробуем классический CV и ML методы

Первый подход, который мы использовали для решения поставленной задачи основан на существующем алгоритме разработанным нами ранее. Алгоритм из каждого изображения позволяет извлечь фиксированный набор различных количественных признаков. Например, длина колоса, площадь остей и т.д. Подробное описание алгоритма есть в статье Genaev et al., Morphometry of the Wheat Spike by Analyzing 2D Images, 2019. Используя данный алгоритм и методы машинного обучения, нами были обучены несколько моделей для предсказания типов плоидности.

Мы использовали методы логистической регрессии, случайный лес и градиентный бустинг. Данные были предварительно нормированы. В качестве меры точности мы выбрали AUC.

Метод	Train	Valid	Holdout
Logistic Regression	0.77	0.70	0.72
Random Forest	1.00	0.83	0.82
Boosting	0.99	0.83	0.85

Лучшую точность на отложенной выборке показал метод градиентного бустинга, мы использовали реализацию СatBoost.

Интерпретируем результаты

Для каждой модели мы получали оценку важности каждого признака. В результате получили список всех наши признаков, ранжированный по значимости и отобрали топ 10 признаков: Awns area, Circularity index, Roundness, Perimeter, Stem length, xu2, L, xb2, yu2, ybm. (описание каждого признака можно посмотреть тут).
Примером важных признаков являются длина колоса и его периметр. Их визуализация показана на гистограммах. Видно, что гексаплоидные растения по характеристикам размера больше,
чем тетраплоидные.

Мы выполнили кластеризацию топ 10 признаков методом t-SNE

В целом большая плоидность, дает большее разнообразие признаков, так как число копий генов больше и поэтому увеличивается число вариантов работы этих генов.

Для подтверждения нашей гипотезы о большей фенотипической изменчивости у гексаплоидов мы применили F статистку. F статистика дает значимость различий дисперсий двух распределений. Опровержением нулевой гипотезы о том, что не существует различий между двумя распределениями мы считали случаи, когда значение p-value меньше 0.05. Мы провели этот тест независимо для каждого признака. Условия проверки: должна быть выборка независимых наблюдений (в случае нескольких изображений это не так) и нормальность распределений. Для выполнения этих условий мы проводили тест по одному изображению каждого колоса. Брали, фотографии только в одной проекции по протоколу table. Результаты показаны в таблице. Видно, что дисперсия для гексоплоидов и тетраплоидов имеет значимые различия для 7 признаков. Причем во всех случаях значение дисперсии выше у гексоплоидов. БОльшую фенотипическую вариабельность у гексаплоидов можно объяснить большим числом копий одного гена.

Name	F-statistic	p-value	Disp Hexaploid	Disp Tetraploid
Awns area	0.376	1.000	1.415	3.763
Circularity index	1.188	0.065	0.959	0.807
Roundness	1.828	0.000	1.312	0.718
Perimeter	1.570	0.000	1.080	0.688
Stem length	3.500	0.000	1.320	0.377
xu2	3.928	0.000	1.336	0.340
L	3.500	0.000	1.320	0.377
xb2	4.437	0.000	1.331	0.300
yu2	4.275	0.000	2.491	0.583
ybm	1.081	0.248	0.695	0.643

В наших данных представлены растения 20 видов. 10 гексоплоидных пшениц и 10 тераплоидных.
Мы разукрасили результаты кластеризации так, что бы цвет+форма каждой точки соответствует определенному виду.

Большинство видов занимает достаточно компактные области на графике. Хотя эти области могут сильно перекрываться с другими. С другой стороны, внутри одного вида могут быть четко выраженные кластеры, например как для T compactum, T petropavlovskyi.

Мы усредняли значения для каждого вида по 10 признакам, получив таблицу 20 на 10. Где каждому из 20 видов соответствует вектор из 10-ти признаков. Для этих данных построили матрицу корреляции и провели иерархический кластерный анализ. Синие квадраты на графике соответствуют тетраплоидам.

На построенном дереве, в общем, виды пшениц разделись на тетраплоидные и гексаплоидные. Гексаплоидные виды четко разделисись на два кластера среднеколосые T. macha, T.aestivum, T. yunnanense и длинноколосые T. vavilovii, T. petropavlovskyi, T. spelta. Исключение к гексаплоидным попал единственный дикий полиплоидный (тетраплоидный) вид T. dicoccoides.
В то время как в тетраплоидные виды попали гексаплоидные пшеницы с компактным типом колоса T. compactum, T. antiquorum и T. sphaerococcum и рукотворная изогенная линия АНК-23 мягкой пшеницы.

Пробуем CNN

Для решения задачи определения плоидности пшеницы по изображению колоса мы обучили сверточную нейронную сеть архитектуры EfficientNet B0 с предобученными на ImageNet весами. В качестве loss функции использовали CrossEntropyLoss; оптимизатор Adam; размер одного батча 16; изображения ресайзили до разрешения 224x224; скорость обучения меняли, согласно стратегии fit_one_cycle с начальным lr=1e-4. Обучали сеть в течении 10 эпох, накладывая случайным образом следующие аугментации: повороты на -20 +20 градусов, изменение яркости, контрастности, насыщенности, зеркальное отображение. Лучшею модель выбирали по метрике AUC, значение которой считалось в конце каждой эпохи.

В результате точность на отложенной выборке AUC=0.995, что соответствует accuracy_score=0.987 и ошибки равной 1.3%. Что является очень не плохим результатом.

Заключение

Эта работа является удачным примером того, как силами коллектива из 5 студентов и 2-ух кураторов в течении нескольких недель можно решить актуальную биологическую задачу и получить новые научные результаты.
Я хотел бы выразить благодарность всем участникам нашего проекта: Никита Прохошин, Алексей Приходько, Андреевич Евгений, Артем Пронозин, Анна Паулиш, Евгений Комышев, Михаил Генаев.
Николаю Петровичу Гончарову и Афонникову Дмитрию Аркадьевичу за предоставленный биологический материал и помощь в интерпретации результатов.
Математическому центру Новосибирского Государственного Университета и Институту Цитологии и Генетики СО РАН за организацию мероприятия и вычислительные мощности.

З Мы планируем подготовить вторую часть статьи, где расскажем про сегментацию колоса и выделении отдельных колосков.

Подробнее..

Исследование устойчивости сверточных нейросетей. Часть 1 Теория

12.08.2020 18:08:51 |

Автор: admin

Если Вам интересно разобраться, насколько современные (прежде всего, сверточные) нейросети устойчивы, насколько легко можно менять их выход небольшим искажением входных данных, а также возможно ли это делать на уровне реальных (физических) атрибутов объектов перед их съемкой на (фото)видеокамеру милости просим под кат!

Введение в сверточные нейронные сети

Начиная с 1943 года, когда впервые была предложена математическая формализация МакКалоком и Питтсом понятия искусственного нейрона, нейросети становились:

Объемнее (содержали больше параметров),
Глубже (содержали больше блоков вычислений),
Лучше! (более правильно решали поставленные перед ними задачи)

Image credit

arxiv.org/abs/1409.4842

На данный момент ни для кого уже не секрет, что для работы с фотографиями и видео лучше всего подходят сверточные нейронные сети (СНС), которые, например, позволяют выделять объекты и определять их класс, да и, наконец, отвечают на недавний главный вопрос компьютерного зрения кошка или собака (серьезная ссылка и несерьезная ссылка по теме)?

И все же, так ли уж хороши сверточные нейросети, действительно ли оправдано все то внимание, которое им уделяют? Попробуем разбить на два подвопроса:

Как сейчас соотносится качество распознавания человеком и СНС для известных баз данных?
Насколько устойчивы СНС по отношению к входным данным? Легко ли их сломать?

Прогресс в сверточных нейронных сетях

Для ответа на первый вопрос обратимся к двум популярным базам данных изображений ImageNet (1000-классовая база данных изображений) и Labeled Faces in the Wild (LFW) (база данных лиц).

Примеры изображений

ImageNet:

LFW:

Итак, классификация на ImageNet:

Top-5 ошибка (вероятность того, что правильный класс не будет в 5 наиболее вероятных) для человека: 5.1% (пруф в блоге Karpathy)
Top-5 ошибка для СНС: 2.0% (по крайней мере, по состоянию на конец прошлого года; сейчас, наверняка, уже ближе к проценту подбираются или даже меньше. В любом случае, можно сослаться для порядка на статью "Fixing the train-test resolution discrepancy")

А вот верификация (проверка, что пара фотографий принадлежат одному человеку) на LFW:

Ошибка верификации для человека: 2.47% (см. пруф в статье "Attribute and simile classifiers for face verification")
Ошибка верификации для СНС: 0.17% (классическая работа по распознаванию лиц "Arcface: Additive angular margin loss for deep face recognition")

Можно было бы после такого сделать такой вывод:

Image credit

spectrum.ieee.org

(Не)устойчивость сверточных нейронных сетей

Но не будем спешить. Для ответа на второй вопрос обратимся к работам исследователей, которые стояли в истоках проверки СНС на устойчивость. Оказывается, можно внести практически незаметные для глаза человека возмущения во входные данные, которые, тем не менее, полностью поменяют выход нейронной сети.

Например, результат классификации с "панды" меняется на "гиббона" при внесении крайне незаметных возмущений:

Image credit

arxiv.org/pdf/1412.6572.pdf

Так вот, такие почти не заметные возмущения, которые меняют выход нейросети, называют состязательными примерами (или, зачастую, атаками на эту самую нейросеть); по-английски устойчивое выражение adversarial examples / attack.

Может показаться, ну, возможно, такие состязательные примеры существуют только для классификационных сетей (ну класс там перекинуть с правильного на неправильный). Однако быстро выяснили, что подобные проблемы наблюдаются и у сетей, которые детектируют объекты (обводят прямоугольником), и даже у сегментационных сетей (которые каждому пикселю изображения сопоставлют класс): для примера можно посмотреть работу "Adversarial examples for semantic segmentation and object detection".

Ну и напоследок, предвидя возражения в виде ну это все картинки, в нашем замечательном NLP такого не бывает! [NLP = Natural Language Processing], можно привести замечательный пример из статьи "Adversarial examples for evaluating reading comprehension systems", который относится прежде всего к так называемым вопросно-ответным системам, в которых исследуемой системе дают небольшой кусочек текста (несколько предложений), а затем задают простой вопрос на понимание этого куска.

Вот исходный текст:

Peyton Manning became the first quarterback ever to lead two different teams to multiple Super Bowls. He is also the oldest quarterback ever to play in a Super Bowl at age 39. The past record was held by John Elway, who led the Broncos to victory in Super Bowl XXXIII at age 38 and is currently Denvers Executive Vice President of Football Operations and General Manager.

Вопрос:

What is the name of the quarterback who was 38 in Super Bowl XXXIII?

Правильный (а в данном примере он совпадает и с выходом исследуемой модели) ответ: John Elway.

Если же последним предложением к тексту добавить вот этот кусок, совершенно не относящийся к вопросу:

Quarterback Jeff Dean had jersey number 37 in Champ Bowl XXXIV.

То ответ поменяется (станет неправильным внимание нейросети сбилось): Jeff Dean.

Откуда берется неустойчивость и способы борьбы с ней

Причин, по которым возможно такое существование состязательных примеров, не так чтобы одна (и не хочется здесь разводить холивар на эту тему исследователи до сих не пришли к единому мнению). Остановимся на одной (и, возможно, наиболее просто интерпретируемой) а именно, недостаточной обобщающей способности нейросетей. В силу этого границы классификации, которые строятся при обучении нейросети, зачастую проходят очень близко к обучающим данным, и порой легко заступить с помощью минимального возмущения из области, соотвествующей одному классу, в область, соответствующую другому классу:

Image credit

arxiv.org/pdf/1608.08967.pdf

Замечание на полях: по сути, техника аугментации входных данных при обучении (добавление к исходным данным их немного преобразованных вариантов: например, с помощью поворота, затемнения/засветления, масштаба и пр.) и пытается в какой-то степени решить эту проблему отдалить границу, правда, только в некоторых направлениях (которые соответствуют выбранным аугментациям). При этом направления с очень близкими границами все равно остаются :(

Итак, мы знаем, что можно обмануть СНС путем небольшого пиксельного возмущения. Почему бы во время обучения для каждого обучающего примера не добавлять и всю его попиксельную окрестность (по некоторой норме, например, $\ell_{\infty}$ [про нормы чуть позже]). Ниже замечательная иллюстрация из статьи "Towards deep learning models resistant to adversarial attacks", где звездочками помечены пиксельные окрестности обучающих примеров, которые попали при изначальной разделяющей прямой в область соседнего класса поэтому нужно разделяющую кривую преобразовать так, чтобы эти звездочки попали в область своего класса:

Ну что ж, сказано сделано. Давайте произведем на коленке необходимые расчеты. Если предположить, что:

исходная картинка размера $100\times 100$ пикселей, 3 цвета RGB,
наш глаз не сильно различает колебания цвета пикселей в 2 градации (из 256): в каждой точке для каждого цвета можем позволить $\pm 1$ значение,

то для каждого обучающего примера нужно добавить следующее количество его пиксельных соседей:

$2^{3\times 100\times 100} = 2^{30000} = (2^{10})^{3000} \approx (10^{3})^{3000} = 10^{9000}.$

Хочется заметить, что это значение гораздо больше числа атомов в видимой части Вселенной $(\approx 10^{80})$ , что разбивает на корню идею поправить дело с устойчивостью СНС простым методом в лоб.

Как видим, простой перебор пиксельной окрестности дело трудоемкое. Но ведь нам не нужна та окрестность обущающего примера, которая и так находится в правильной классификационной области! Нужно, наоборот, брать во внимание те точки из окрестности, которые попадают в неправильную область для классификации (по сути, эдакий hard mining обучающих примеров). И вот такой метод обучения с использованием дополнительных, наиболее сложных примеров из окрестности и называется состязательным обучением (adversarial training). В качестве матчасти можно обратиться к первоисточнику по состязательному обучению для СНС.

Отметим плюсы состязательного обучения. Таким образом, уже не нужно перебирать огромные и неподъемные количества точек из окрестности, а достаточно только взять наиболее сложные. Правда, как именно брать эти самые сложные вопрос хороший, и по сути, открытый до сих пор. Обычно используют некий метод генерации состязательных примеров, и таким образом получают после обучения модель, защищенную от этого метода генерации.

Минусы также достаточно очевидны. Во-первых, приобретая защиту от некого метода генерации атак, использующегося в обучении, мы не можем ничего гарантировать относительно какого-нибудь другого метода генерации состязательных примеров. А еще любой метод генерации таких примеров добавляет приличный такой оверхед (обычно куда больше обычного градиентного шага с использованием метода обратного распространения ошибки).

Обозначения: формальная часть

Введем парочку обозначений для более формального дальнейшего изложения:

Пусть $x\in B=[0,1]^{C\times M\times N}$ входная картинка $C\times M\times N$ , где $inline$ количество цветов (1 для черно-белой, 3 для цветной в формате RGB), $M\times N$ пространственные размерности (ширина, высота);
$y_{gt}$ правильный класс для входа $inline$ ;
$\theta$ параметры СНС-классификатора;
$L(\theta, x, y_{gt})$ функция потерь;
$inline$ выход классификатора (распознанный класс); при обучении мы добиваемся равенства $f(x) = y_{gt}$ ;
$r\in B=[0,1]^{C\times M\times N}$ аддитивная добавка ко входу $inline$ ;

Теперь можно формально определить цель состязательной атаки: поменять выход классификатора $inline$ на неправильный путем добавления минимального по некоторой норме (на практике используются $\ell_{0}, \ell_{1}, \ell_{2}\mbox{ и }\ell_{\infty}$ обозначим через $\ell_{p}$ ) возмущения $inline$ , а именно минимизировать $||r||_{p}$ так, чтобы:

$f(x) = y_{gt}$ (изначально правильно определяем класс),
$f(x+r) \neq y_{gt}$ (ломаем СНС с помощью возмущения r),
$x+r\in B$ (остаемся во множестве допустимых значений).

Замечание на полях. Похожим образом можно определить и такое понятие, как устойчивость классификатора найти такой класс возмущения $S(x,f)\subseteq B$ , при котором классификатор не меняет свой выход: $f(x+r) = f(x)\quad \forall r\in S(x, f)$ .

В обозначениях выше обычное обучение СНС на примерах можно сформулировать как минимизацию следующего матожидания:

$\min_{\theta}\mathbb{E}_{(x,y_{gt})}[L(\theta, x, y_{gt})]$

В состязательном обучении мы сначала генерируем (например, каким-нибудь методом атаки) самый сложный пример из некоторой окрестности $\Delta$ входного примера (например, по $\ell_{p}$ -норме), а уже затем минимизируем по параметрам нейросети:

$\min_{\theta}\mathbb{E}_{(x,y_{gt})}[\max_{r\in\Delta}L(\theta, x+r, y_{gt})]$

Нормы l_p: напоминание

Напомним наиболее употребительные нормы $\ell_{p}$ для $x = (x_{1}, \dots, x_{n})\in\mathbb{R}^{n}$ :

$\ell_{2}$ : $||x||_{2} = \sqrt{\sum_{i=1}^{n}x_{i}^{2}}$ (обычная Евклидова норма);
$\ell_{1}$ : $||x||_{1} = \sum_{i=1}^{n}|x_{i}|$ (т.н. метрика городских кварталов);
$\ell_{\infty}$ : $||x||_{\infty} = \max_{i}|x_{i}|$ (максимум модуля; именно на основе данной метрики человеческий глаз воспринимает зрительную информацию);
$\ell_{0}$ : $||x||_{0} = \sum_{i=1}^{n}\mathbf{1}_{x_{i}\neq 0}$ (число ненулевых значений).

Замечание. Для $inline$ норма $\ell_{p}$ , для которой $||x||_{p} = \left(\sum_{i=1}^{n}|x_{i}|^{p}\right)^{1/p}$ , не является нормой.

Состязательные примеры в компьютерном зрении: история вопроса

Fooling images

Допустим, у нас есть классификатор, который выдает вероятности принадлежности входной картинки к 1 из N предобученных классов (например, N=1000 в случае с ImageNet). И, допустим (это не всегда так, но все же), на картинках, принадлежащих этим классам, вероятности выдаются более-менее осмысленно (хоть и бывают ошибки, конечно). Но что будет, если подадим на вход картинку, не принадлежащую этим N классам то есть, выражаясь математически, вне области определения? И хорошо, если на выходе будет равномерный вектор вида (1/N, ..., 1/N) типа сеть не понимает, что происходит.

Гораздо хуже, когда на объекте вне области определения сеть выдает некий очень определенный ответ то есть одна из вероятностей будет сильно больше других. Так вот, изначально устойчивость СНС изучалась с точки зрения адекватной реакции на разные входы. Выяснилось, что существуют примеры (построенные на основе некой структуры, либо являющиеся по сути белым шумом), которые на выходе СНС могут давать с большой вероятностью любой (в том числе и заранее определенный) класс.

Такие примеры назывались "обманными изображениями" (fooling images) и строились с помощью эволюционных алгоритмов:

За деталями любопытный читатель может обратиться к первоисточнику "Deep neural networks are easily fooled: High confidence predictions for unrecognizable images".

FGSM

В самом первом методе атаки СНС использовался квази-Ньютоновский метод минимизации с ограничением на память и на переменные L-BFGS-B но этот метод достаточно медленный, да и требует зачастую внешнего оптимизатора.

Поэтому практически сразу было предложено использовать линейную часть функции потерь в окрестности входной картинки $inline$ и идти по градиенту (см. первоисточник "Explaining and harnessing adversarial examples"):

$r = \epsilon\cdot sign(\nabla_{x}L(\theta, x, y_{t}))$

где $0 < \epsilon < 1$ некоторая константа, отвечающая за скорость движения, а $y_{t}\neq y_{gt}$ неправильный класс, в направлении которого мы подталкиваем (обманываем) смотреть СНС.

Такой метод получил название Fast Gradient Sign Method (по-русски "быстрый метод, основанный на знаке градиента", но звучит все равно не очень), или FGSM.

Напоминание: для оптимизации весов СНС применяется метод обратного распространения ошибок, где берется градиент по весам СНС, т.е. $\nabla_{\theta}L(\theta, x, y_{gt})$ .

Ну и в данной работе исследуется норма возмущения $\ell_{\infty}$ как наиболее близкая к тому, как устроено человеческое зрение (восприятие зрительной информации).

I-FGSM (PGD)

Часто линейная оценка окрестности функции достаточно грубая, и один шаг FGSM порой не приводит к хорошей атаке.

Для преодоления данной проблемы применяют итеративный метод Iterative FGSM, или I-FGSM, который позволяет двигаться в сторону границы классификатора более точно.

Если $\Pi_{B}$ проекция на $inline$ , то

$x^{n+1} = \Pi_{B}(x^{n} + \alpha\cdot sign(\nabla_{x}L(\theta, x, y_{gt}))), \quad x^{0}=x$

При этом если мы хотим, чтобы наше итоговое решение $x_{adv}$ отдалилось от исходного примера $inline$ не более чем на $\epsilon$ по норме $\ell_{\infty}$ , и мы можем сделать не более $inline$ шагов, то можно сразу вывести эмпирическое правило на скорость движения:

$\alpha = \frac{\epsilon}{n}$

Замечание 1. Но в целом метод I-FGSM гораздо более известен как метод спроектированного градиентного спуска Projected Gradient Descent, или PGD, хотя и появилось это название чуть ли не на год позже.

Замечание 2. Вообще, метод I-FGSM / PGD до сих пор является наиболее широкоприменяемым на практике как простой и при этом достаточно устойчивый (хотя и не такой быстрый, как простой FGSM).

MI-FGSM

Как внимательный читатель мог заметить, методы генерации состязательных примеров все больше и больше похожи на шаги оптимизатора, который используется при нахождении оптимальных весов СНС (только в случае обучения СНС мы оптимизируем по весам, а в случае с состязательными примерами по входу).

Поэтому в целом возникает целый тренд перетягивания успешных подкруток градиентного спуска в состязательную область, и самый успешный такой пример использование момента.

Как следствие, работа "Boosting adversarial attacks with momentum" предлагает использовать сглаживание градиента в итеративном методе I-FGSM Momentum I-FGSM, или MI-FGSM.

Схема работы следующая:

$x^{n+1} = \Pi_{B}(x^{n} + \alpha\cdot sign(g^{t+1})), \quad x^{0}=x, g^{0} = 0$

где через g обозначен как раз сглаженный градиент:

$g^{n+1} = \mu\cdot g^{n} + \frac{\nabla_{x}L(\theta, x, y_{gt})}{||\nabla_{x}L(\theta, x, y_{gt})||_{1}}$

Ну и табличка сравнения последних трех методов, из которой видно, что MI-FGSM все-таки предпочтительнее использовать (чем больше циферки, тем выше успешность атаки):

One Pixel

До этого мы рассматривали состязательные атаки в цифровой области, когда можно менять вообще любой пиксель входного изображения. Тем не менее, есть методы (один из первых JSMA, но он не очень практичный и удобный), которые принимают во внимание не максимальную разность по яркости (по норме $\ell_{\infty}$ ), а максимальное количество пикселей, который можно поменять (по норме $\ell_{0}$ ).

Такие методы состязательных примеров являются мостиком между цифровой и практической областью (материал о практических состязательных примерах см. в следующей части), и наиболее экстремальной является однопиксельная атака.

В работе "One pixel attack for fooling deep neural networks" рассматривается предельный случай $\ell_{0}$ -атаки. Для этого авторы применяют эволюционный алгоритм (а именно, алгоритм дифференциальной эволюции) для поиска состязательных примеров:

Популяция состоит из 400 экземпляров, каждый из которых задается пятеркой чисел: две координаты и три канала цвета;
Генерация потомка линейная комбинация трех случайных родителей.

Ниже пример такой атаки на базе CIFAR-10, где исходная картинка собаки при изменении ровно одного пикселя становится поочередно любым из остальных 9 классов (самолет, ..., грузовик):

Краткие выводы по первой части

На данный момент СНС (в целом) работают гораздо лучше человека;
СНС легко обмануть, используя их неустойчивость по входу;
Наиболее распространенный ингредиент для генерации состязательного примера градиент нейросети по входу.

Ссылки

Введение на пальцах в тему состязательных атак, прочитанное в 2019 году на Фестивале науки в МГУ им. М. В. Ломоносова:
Чуть больше математики заключительная лекция курса "Современное компьютерное зрение", читаемого в рамках программы SHARE в МГУ им. М. В. Ломоносова для студентов и аспирантов факультетов механико-математического, физического, космических исследований и ВМиК.

Бонус: программа SHARE

В 2019 году в Huawei стартовала образовательная программа SHARE: Школа опережающего научного образования Хуавэй (School of Huawei Advanced Research Education).

Наша лаборатория Intelligent Systems and Data Science Technology Center проводит занятия в МГУ им. М. В. Ломоносова.

Основные факты по данной программе:

2 года длится обучение;
12 полносеместровых курсов в составе (планируем расширять нужно больше практических занятий, это то, чего просят студенты в своих отзывах на наши курсы);
2 главных направления в составе (на данный момент ведем переговоры о включении третьего про обучение с подкреплением):
Специализация "Компьютерное зрение и машинное обучение'';
Специализация "Большие данные и теория информации''.

В будущем будем наполнять содержимое сайта программы (пока только домен зарегистрировали, но работа идет полным ходом ;)

Трейлер следующей части

В следующий раз разберем:

Что такое физически реализуемая состязательная атака;
Основные методы генерации физических состязательных примеров;
Сбиваем с толку реальный детектор лиц;
Делаем больно лучшему открытому распознавателю лиц;
Рассматриваем методику защиты от физических состязательных атак.

Спасибо за внимание!

Подробнее..

Категории: Искусственный интеллект , Машинное обучение , Обработка изображений , Блог компании huawei , Устойчивость , Сверточные нейронные сети , Состязательные примеры

	Русский
	English

Сверточные нейронные сети

Анализ колоса пшеницы методами компьютерного зрения. Определение плоидности

Описание данных

Валидация

Пробуем классический CV и ML методы

Интерпретируем результаты

Пробуем CNN

Заключение

Исследование устойчивости сверточных нейросетей. Часть 1 Теория

Введение в сверточные нейронные сети

Прогресс в сверточных нейронных сетях

(Не)устойчивость сверточных нейронных сетей

Откуда берется неустойчивость и способы борьбы с ней

Обозначения: формальная часть

Состязательные примеры в компьютерном зрении: история вопроса

Fooling images

FGSM

I-FGSM (PGD)

MI-FGSM

One Pixel

Краткие выводы по первой части

Ссылки

Бонус: программа SHARE

Трейлер следующей части

Спасибо за внимание!

Категории

Последние комментарии