Преобразование

Язык это механизм, который позволяет конструировать все возрастающую сложность из отдельно взятых преобразований. Статья является продолжением идей, которые в свое время высказали кибернетики В. Турчин и Р. Эшби.

Сначала о более фундаментальном. О вещи или явлении как об ограничении разнообразия [1, c 187]

Это ограничение (рис. - консольный вывод программы) таково, что при переходах состояний с учетом операторов оно явно больше, чем без них. В примере: множество состояний {22, 12, 21, 11}, множество операторов {55, 54, 45, 44}. Из состояния 22 следуют состояния 12, 22, 11, 21. Из состояния 12 следуют состояния 22, 11, 12. Из состояния 21 следуют состояния 22, 21. Из состояния 11 следуют состояния 11, 21, 12. Если же известны операторы, неопределенность только в одном месте. Из состояния 11 при операторе 44 следуют как состояние 21, так и состояние 12.

Однозначность, как меру ограничения разнообразия, можно оценить: сумма всех возможных однозначных переходов без учета неизвестного состояния NaN отнесем к всем случившимся переходам. Тогда с учетом знания об операторах коэффициент однозначности примет значение: k=13/(13+1). Если же операторы не учитывать, то k=4/(4+3+2+3). В первом случае коэффициент почти равен 1, что характеризует это преобразование как высоко предсказуемое.

А как оценить предполагаемый выигрыш в битах? Если допустить, что первоначально были неизвестны переходы между состояниями, то из каждого состояния могли бы следовать все четыре состояния. Тогда энтропия была бы равна -log(4/(4+4+4+4)). Для преобразования выше без учета операторов и без NaN уже меньше -log(4/(4+3+2+3)), а с учетом операторов -log(13/(13+1)). Если же первоначально все, включая операторы, рассматривать как состояния, то энтропия значительна -log(8/64). Можно сказать, что последовательность исследования, выраженная в битах, будет: -log(1/8), -log(1/4), -log(1/3), -log(13/14).

Код программы, который сам ищет такое преобразование, понижая неопределенность с -log(1/8) до -log(13/14), в статье не приводится.

Описана только общая логика и она такова, что

1. Рассматривается множество элементов {55, 54, 45, 44, 22, 12, 21, 11}.

2. Выдвигаются гипотезы. Берется множество операторов и множество состояний. Записываются переходы между состояниями. Например, ими могут быть: множество операторов {54, 44, 22, 21}, множество состояний {55, 45, 11}. Или как на рисунке: множество операторов {55, 54, 45, 44}, множество состояний {22, 12, 21, 11}.

3. Цель максимизировать коэффициент однозначности.

В реальном мире все сложней. Мы не знаем заранее какие состояния, и какие операторы рассматривать. Наш внутренний учитель в этом случае то, что сопротивляется энтропии, сопротивляется неопределенности потока данных, обнаруживая преобразования, имеющие предсказательную силу.

Как правило, физические законы имеют коэффициент однозначности единицу. Но выявлять и запоминать только такое значит лишать себя возможности действовать в мире, где эта неопределенность все же присутствует и ее нельзя свести к нулю. Нужен разумный компромисс между 100% предсказуемостью и возможностью действовать, пусть и с ошибками.

Сделав это фундаментальное допущение, посмотрим на мир с точки зрения его имитации. Речь идет о компьютерных играх. Интересны они тем, что число степеней свободы несоизмеримо в них меньше. И тем интересны, что непонятно первоначально как поступать, чтобы добиться цели. Да и сама цель часто не ясна. Что же составляет их сюжетную линию, мозг как всей игры, так и отдельных персонажей? Конечные автоматы [2]. По ссылке на рисунке состояния отмечены кружками, а операторы подписаны стрелками. Это тоже преобразование. Причем с коэффициентом однозначности единица.

Итак, как мы должны поступать, если конечная цель-состояние не известна, а операторы определены? Ответ: Q-learning. Представим комнату, разбитую на множество состояний-квадратов. Где-то находится клад. Сначала мы просто передвигаемся случайно или по принципу иди туда, где меньше всего был [3]. Рано или поздно мы получим вознаграждение в виде найденного клада. В этом случае пометим целевое состояние некоторым положительным числом. В следующий раз при очередных блужданиях по комнате и находясь уже рядом с целью, отметим состояние, ведущее к цели с учетом дисконтирования. Обычно множитель берется немного меньше единицы. Но для наглядности пусть будет вычитание единицы. Так постепенно информация о цели будет распространяться на соседние и все более удаленные состояния. Можно это представить так, что вначале имеем ровную поверхность, а после многочисленного прохождения представляющей точкой по комнате, она создаст в памяти топографическую карту. И на этой карте самой высокой точкой будет сама цель. И правило, по которому оптимально нужно перемещаться к цели двигаться в сторону возрастания числа, то есть выбирать то соседнее состояние, где оно максимально (в сторону градиента).

Допустим, у нас есть преобразование-комната, такая что состояниями ее будут {54, 61, 62, 63}, а возможными операторами {37, 38, 39}.

Пусть представляющая точка перемещается случайно в смысле выбора операторов. Если клад является состоянием 63, то информация об этом в таблице Q-learning будет постепенно распространяться на соседние состояния. Пусть наградой за клад будет число пять. Тогда с учетом дисконтирования соседние с ней состояния будут отмечены как четыре. Таковым здесь только состояние 61, из которого цель непосредственно достижима. Состояние же 62 можно получить из состояния 54.

Если состояние 54 является открытой дверью (начальным состоянием) комнаты, то оптимальный маршрут к кладу, например, может быть таким: 62=39(54) 61=37(62) 63=37(61)

Есть ли возможность разные преобразования соединить? Да. Наш язык этим и занимается. Есть языки, в которых синтаксис предложения строится за счет окончаний. Есть те, где эта роль отводится предлогам. Но это не принципиально. Существенно другое.

Базовые случаи соединения преобразований:

1. Преобразование А изменяет состояния преобразования В. Это возможно, если состояния преобразования А являются операторами преобразования В.

2. Значение переменной (то есть имя преобразования А) является значением представляющей точки этого преобразования А. И оно подставляется в качестве состояния (или оператора) в вышестоящее по иерархии преобразование С.

Что характеризует родительный падеж? Отношение принадлежности. Для примера выше: клад комнаты. Иначе говоря, одним из состояний комнаты является клад. Что соответствует второму типу соединения. В свою очередь клад может быть описан как преобразование. А комната как состояние дома. Вот что пишет Турчин [4]:

Что это значит? Что если раз за разом переходы преобразования (с учетом заданного коэффициента однозначности) именно таковы, то выносится решение (для примера выше): комната. В противном случае ее нельзя считать таковой. Далее эта информация поднимается на более высокую ступень иерархии преобразований.

Классификаторами-преобразователями могут быть что угодно. Например, ими могут быть: классификатор края изображения, классификатор движения. С обычных позиций они фильтры для стоящий выше преобразований.

Эволюция и мышление суть схожи. Разница лишь скорости обработки информации. Цитируем Турчина [4]

Доказав свою полезность для животного, классификаторы первого уровня прочно входят в число его средств борьбы за существование. Тогда начинается следующая серия проб и ошибок: небольшое число классификаторов первого уровня (точнее, их выходных подсистем) связывается между собой в один пробный классификатор второго уровня, пока не получится полезное соединение. Затем оказывается полезным размножение этого соединения. Можно предположить, что на втором уровне иерархии поскольку это касается органов зрения появляются такие понятия, как граница между светом и тенью, средняя освещенность пятна, движение границы между светом и тенью и т. п. Таким же путем возникают и следующие уровни иерархии.

Вернемся к игре. Пусть имеется поток данных. Пусть он будет таким: {15, 32, 53, 41, 36, 44}, {14, 32, 36, 41}, {15, 31, 53, 34, 44} Что можно сказать? Практически ничего. Вот с таким вот хаосом встречается и ребенок, рождаясь на свет. И только потом он начинает видеть предметы. Сначала вблизи, маму. Потом уже все знать о друге, что в соседнем подъезде. Самое сложное это подобрать множество операторов и множество состояний таких, что они дадут преобразование, однозначность которого не ниже заданного.

Пусть первая гипотеза такова, что множество операторов {41, 44, 45} и множество состояний {11, 12, 14, 15}. Записываем переходы. Если однозначность низкая, то гипотеза не верна. Допускаем далее, что операторами будут {11, 12, 14, 15}, а состояниями {41, 44, 45}. Если результат тоже отрицательный, то ищем иные варианты. Пусть приходим к заключению, что операторы {31, 32}, а состояния {11, 12, 14. 15}.

Мысленно усложним. Пусть состояние 11 это преобразование, переходы которого таковы: 45=35(45) 45=35(44) 41=35(41) 44=36(45) 41=36(44) 44=36(41) 45=34(45) 44=34(44) 41=34(41). В этом случае вместо состояния 11 будем наблюдать сменяющиеся состояния {45, 44, 41}. Причем будем иметь аномалию неоднозначности преобразования в переходе из состояния 12 при операторе 32: 45|44|41=32(12). Действуем далее по принципу: где неоднозначность, там и пища (в смысле удовольствия от новизны), если из нее можно получить информацию. В том смысле, что получено преобразование с высокой предсказуемостью и логарифм от коэффициента однозначности стремится, с учетом заданной погрешности, к нулю. Поскольку преобразование 11 теперь однозначно, можно уже подставить его в вышестоящее преобразование.

Если оценить полученную информацию как разницу энтропий всей игры, то получим приблизительно: -log(1/22) - 0. Когда все переходы будут выявлены, то энтропия игры будет иметь значение ноль, а коэффициент однозначности каждого преобразования будет равен единице. Кроме того, будет известно, как соединены преобразования между собой.

Немного очеловечим рассуждения. Пусть преобразование 11 это ключ. А преобразование выше по иерархии лабиринт. Пусть также в лабиринте есть еще одна аномалия неоднозначности дверь. Причем состояния преобразования ключ являются операторами преобразования дверь.

Итак, смысл всего:

1. Выдвигаем гипотезы, то есть берем множество операторов и множество состояний. Проверяем на однозначность.

2. Если преобразование удовлетворяет требуемой точности, то прогоняем ее на Q-learning, составляя топологическую карту цели. Это можно делать даже параллельно.

3. Способы соединения преобразований, задающие структуру предложения это синтаксис языка. Где базовыми случаями, если не считать именительный падеж, являются винительный и родительный.

Конкретно нашей игры, последовательно решаем проблемы: не размеченный поток данных, обнаружение преобразования ключ и преобразования дверь, после этого лабиринт тоже можно считать преобразованием с заданной точностью, ключ отрывает дверь, представляющая точка из лабиринта через открытую дверь перемещается в комнату. Там она находит клад. Далее информация распространяется обратно. Чтобы найти клад комнаты, нужно предварительно открыть дверь. Дверь открывается ключом. Дверь и ключ в лабиринте. Немного упростим сказанное: ключ лабиринта, дверь лабиринта, ключ открывает дверь, открытая дверь лабиринта открытая дверь комнаты, клад комнаты. Ниже сами преобразования и их соединения на примере игры поиска клада

Всегда ли направление исследования должно идти от низших ступеней иерархии к высшим? Нет, конечно. Если имеем неопределенность 45|44|41=32(12), то можно, не описывая 11 как преобразование в однозначных переходах, сделать гомоморфную замену: 11=g11(45|44|41). То есть сказать: если 45, то только 11; если 44, то только 11; если 41, то только 11. Аналогично для двери: 12=g12(52|53|54). Такой подход не позволит, разумеется, однозначно предсказать состояния преобразований ключ и дверь. Но имеет то преимущество, что выразит преобразование лабиринт сразу как однозначное. Задача же определения состояний 11 и 12, как однозначных преобразований, откладывается на потом. Когда количество элементов входящего разнообразия велико, это может быть очень ценно, поскольку немедленно дает возможность ориентироваться хотя бы в части поступающего разнообразия.

Допустим, все преобразования найдены и выявлены их типы соединения. Допустим также, что текущими состояниями являются: состояние 15 лабиринта, состояние 41 ключа, состояние 52 двери.

Тогда маршрут к кладу может быть таким:

1. Двигаемся в лабиринте от состояния 15 к состоянию 11, то есть к ключу: 12=31(15) 11=32(12)

2. Меняем состояние ключа, так чтобы состояние преобразования 12 (дверь) стало 54 (открыта): 44=36(41) 44=34(44) 45=35(44) 45=35(45); при этом сама дверь перейдет от состояния 52 к 54: 52=41(52) 53=44(52) 54=44(53) 54=45(54).

3. В лабиринте из состояния 11 переходим к состоянию 12 (к двери): 12=31(11)

4. Поскольку преобразование 12 (дверь) находится в состоянии открыта, то есть в состоянии 54, то представляющая точка может двигаться из лабиринта в комнату. И уже в комнате от состояния 54 к состоянию 63 (клад).

5. Замечание. Вопросы синхронизации между преобразованиями здесь не оговаривались.

Немного еще гуманитарных свидетельств. Первая колонка из воспоминаний слепоглухонемой [5]. Вторая из наблюдений за внучкой одноклассницы. Третья опыт обучения языку жестов обезьян [6]. Комментарии. Постоянно идет специализация понятий-преобразований (стакан / вода). Что можно считать глаголом? Смену состояний, как смену кадров в кинопленке, ведущую к цели. Аня рукой бабушки гладит кошку Аня управляет рукой бабушки, бабушка гладит кошку. Рука одноклассницы выступает в роли как управляющего, так и управляемого преобразования. Иначе говоря, рука бабушки как преобразование находится в творительном падеже.

Для тех существ, которые только начинают осваивать язык, характерно: выявление преобразования с учетом коэффициента однозначности, получение состояния в нем, включение преобразований в иерархию, обнаружение зависимости преобразований.

Литература

1. Эшби Р. Введение в кибернетику М.: Прогресс, 1968

2. Корчаг А. Конечные автоматы и глубокое обучение в несколько строк URL

3. Булыгина А. В. Способы нахождения цели. Роль случайности URL

4. Турчин В.Ф. Феномен науки. Кибернетический подход к эволюции. URL

5. Келлер Х. История моей жизни URL

6. Смирнова А. Зорина З. О чем рассказали говорящие обезьяны: Способны ли высшие животные оперировать символами? URL

P.S. Пишите bvv2311@mail.ru

Трансформеры за последние несколько лет штурмом захватили мир NLP, а сегодня они с успехом применяются в выходящих за рамки NLP приложениях. Они обладают такими возможностями благодаря модулю внимания, который схватывает отношения между всеми словами последовательностей. Но самый важный вопрос как именно трансформеры делают это? Попытаемся ответить и понять, почему трансформеры способны выполнять такие вычисления. Итак, цель статьи, чуть сокращённым переводом которой мы делимся к старту курса о машинном и глубоком обучении, разобраться не только с тем, как что-то работает, но и почему работает так. Чтобы понять, что движет трансформерами, мы должны сосредоточиться на модуле внимания. Начнём с входных данных и посмотрим, как они обрабатываются.

Как входная последовательность попадает в модуль внимания

Модуль внимания присутствует в каждом энкодере внутри стека каждого энкодера, а также внутри стека каждого декодера. Сначала внимательно посмотрим на энкодер.

Для примера предположим, что мы работаем над задачей перевода с английского на испанский, где исходная последовательность слов The ball is blue, а целевая последовательность La bola es azul.

Исходная последовательность сначала проходит через слой векторного представления и позиционного кодирования, генерирующего векторы векторного представления для каждого слова последовательности. Векторное представление передаётся в энкодер, где вначале попадает в модуль внимания.

Внутри модуля внимания последовательность векторного представления проходит через три линейных слоя, создающих три отдельные матрицы запроса (Query), ключа (Key) и значения (Value). Именно эти три матрицы используются для вычисления оценки внимания [прим. перев. оценка определяет, сколько внимания нужно уделить другим частям входного предложения, когда мы кодируем слово в определённой позиции]. Важно помнить, что каждая "строка" этих матриц соответствует одному слову исходной последовательности.

Каждая входная строка это слово из последовательности

Чтобы понять, что происходит с модулем внимания, мы начнём с отдельных слов исходной последовательности, проследив их путь через трансформер. Если конкретнее, мы хотим сосредоточиться на происходящем внутри модуля внимания. Это поможет нам чётко увидеть, как каждое слово в исходной и целевой последовательностях взаимодействует с другими словами этих последовательностей.

Пока вы разбираетесь с этим объяснением, сосредоточьтесь на том, какие операции выполняются с каждым словом и как каждый вектор отображается на исходное входное слово. Не нужно думать о множестве других деталей, таких как формы матриц, особенности арифметических вычислений, множественное внимание и так далее, если эти детали не относятся напрямую к тому, куда направляется каждое слово. Итак, чтобы упростить объяснение и визуализацию, давайте проигнорируем размерность векторного представления и будем отслеживать только строки для каждого слова.

Каждое слово проходит серию обучаемых преобразований (трансформаций)

Каждая такая строка была сгенерирована из соответствующего исходного слова посредством серии трансформаций векторного представления, позиционного кодирования и линейного слоя. Все эти трансформации возможно обучить; это означает, что используемые в этих операциях веса не определены заранее, а изучаются моделью таким образом, чтобы они давали желаемые выходные прогнозы.

Ключевой вопрос заключается в том, как трансформер определяет, какой набор весов даст ему наилучшие результаты? Держите этот момент в памяти мы вернёмся к нему немного позже.

Оценка внимания это скалярное произведение матрицы ключа и матрицы запроса слов

Модуль внимания выполняет несколько шагов, но здесь мы сосредоточимся только на линейном слое и на оценке внимания.

Как видно из формулы, первый шаг в рамках модуля внимания умножение матрицы, то есть скалярное произведение между матрицей Query (Q) и транспонированием матрицы ключа Key (K). Посмотрите, что происходит с каждым словом. Итог промежуточная матрица (назовём её факторной матрицей [матрицей множителей]), где каждая ячейка это результат матричного умножения двух слов.

Например, каждый столбец в четвёртой строке соответствует скалярному произведению между четвёртым словом запроса и каждым ключевым словом.

Оценка внимания скалярное произведение между запросом-ключом и значением слов

Следующим шагом является матричное умножение между этой промежуточной матрицей множителей и матрицей значений (V), чтобы получить оценку внимания, который выводится модулем внимания. Здесь мы можем видеть, что четвёртая строка соответствует четвёртой матрице слов запроса, умноженной на все остальные ключевые слова и значения.

Получается вектор оценки внимания (Z), который выводится модулем внимания. Выходной результат можно представить следующим образом: для каждого слова это закодированное значение каждого слова из матрицы Значение, взвешенное матрицей множителей. Матрица множителей представляет собой точечное произведение значения запроса для данного конкретного слова и значения ключа для всех слов.

Какова роль слов запроса, ключа и значения?

Слово запроса это слово, для которого мы рассчитываем внимание. В свою очередь слово ключа и значения это слово, на которое мы обращаем внимание, то есть определяем, насколько это слово соответствует слову запроса.

Например, для предложения The ball is blue строка для слова blue будет содержать оценку внимания для слова blue с каждым вторым словом. Здесь blue это слово запроса, а другие слова ключ/значение. Выполняются и другие операции, такие как деление и softmax, но мы можем проигнорировать их в этой статье. Они просто изменяют числовые значения в матрицах, но не влияют на положение каждой строки слов в ней. Они также не предполагают никаких взаимодействий между словами.

Скалярное произведение сообщает нам о сходстве слов

Итак, мы увидели, что оценка внимания отражает некоторое взаимодействие между определённым словом и каждым другим словом в предложении путём скалярного произведения с последующим их сложением. Но как матрица умножения помогает трансформеру определять релевантность между двумя словами?

Чтобы понять это, вспомните, что строки запроса, ключа и значения на самом деле являются векторами с размерностью векторного представления. Давайте посмотрим, как умножаются матрицы между этими векторами.

Для получения скалярного произведения двух векторов мы умножаем пары чисел, а затем суммируем их.

• Если два парных числа (например, a и d выше) оба положительны или оба отрицательны, произведение положительно. Произведение увеличит итоговую сумму.

• Если одно число положительное, а другое отрицательное, произведение будет отрицательным. Произведение уменьшит итоговую сумму.

• Если произведение положительное, то, чем больше два числа, тем больше их вклад в окончательную сумму.

Это означает, что, если знаки соответствующих чисел в двух векторах выровнены, итоговая сумма будет больше.

Как трансформер изучает релевантность между словами?

Скалярное произведение также применимо к оценке внимания. Если векторы для двух слов более выровнены, оценка внимания будет выше. Итак, какого поведения мы хотим от трансформера? Мы хотим, чтобы оценка внимания была высокой для двух релевантных друг другу слов в предложении. И мы хотим, чтобы оценка двух слов, не связанных друг с другом, была низкой.

Например, в предложении The black cat drank the milk слово milk очень релевантно к drank, возможно, немного менее релевантно для cat, и нерелевантно к black. Мы хотим, чтобы milk и drink давали высокую оценку внимания, чтобы milk и cat давали немного более низкую оценку, а для milk и black незначительную. Мы хотим, чтобы модель научилась воспроизводить этот результат. Чтобы достичь воспроизводимости, векторы слов milk и drank должны быть выровнены. Векторы milk и cat несколько разойдутся. А для milk и black они будут совершенно разными.

Давайте вернёмся к вопросу, который мы откладывали: как трансформер определяет, какой набор весов даст ему наилучшие результаты? Векторы слов генерируются на основе векторного представления слов и весов линейных слоёв. Следовательно, трансформер может изучить эти векторные представления, линейные веса и так далее, чтобы создать векторы слов, как требуется выше.

Другими словами, он будет изучать эти векторные представления и веса таким образом, что если два слова в предложении релевантны друг другу, то их векторы слов будут выровнены, следовательно, получат более высокe. оценку внимания. Для слов, которые не имеют отношения друг к другу, их векторы не будут выровнены и оценка внимания будет ниже.

Следовательно, векторные представления слов milk и drank будут очень согласованными и обеспечат высокую оценку внимания. Они будут несколько отличаться для milk и cat, производить немного более низкую оценку и будут совершенно разными в случае milk и black: оценка внимания будет низкой вот лежащий в основе модуля внимания принцип.

Итак, как же работает трансформер?

Скалярное произведение между запросом и ключом вычисляет релевантность между каждой парой слов. Эта релевантность затем используется как множитель для вычисления взвешенной суммы всех значений слов. Эта взвешенная сумма выводится как оценка внимания. Трансформер изучает векторные представления и т. д. таким образом, что релевантные друг другу слова были более согласованы.

В этом кроется одна из причин введения трёх линейных слоёв и создания трёх версий входной последовательности: для запроса, ключа и значения. Такой подход даёт модулю внимания ещё несколько параметров, которые он может изучить, чтобы подстроить процесс создания векторов слов.

Самовнимание энкодера в трансформере

Внимание используется в трансформере в трёх местах:

• Самовнимание в энкодере исходная последовательность обращает внимание на себя.

• Самовнимание в декодере целевая последовательность обращает внимание на себя.

• Энкодер-декодер-внимание в декодере целевая последовательность обращает внимание на исходную последовательность.

В самовнимании энкодера мы вычисляем релевантность каждого слова в исходном предложении каждому другому слову в исходном предложении. Это происходит во всех энкодерах стека.

Декодер самовнимания в трансформере

Большая часть того, что мы только что видели в энкодере самовнимания, применима и к вниманию в декодере, но с некоторыми существенными отличиями.

В декодере самовнимания мы вычисляем релевантность каждого слова в целевом предложении каждому другому слову в целевом предложении.

Энкодер-декодер модуля внимания в трансформере

В энкодере-декодере запрос получается из целевого предложения, а ключ/значение из исходного предложения. Таким образом, он вычисляет релевантность каждого слова в целевом предложении каждому слову в исходном предложении.

Заключение

Надеюсь, статья дала вам хорошее представление об элегантности архитектуры трансформера. Прочтите также другие статьи о трансформере из моей серии, чтобы лучше представлять, почему сегодня трансформер это предпочтительная архитектура многих приложений глубокого обучения.

Здесь мы видим, что за сложными идеями скрываются простые решения. Более того, есть ощутимая вероятность того, что вскоре понимание внутренних механизмов глубокого обучения станет второй грамотностью, как сегодня второй грамотностью стало знание ПК в целом и если вы хотите углубиться в область глубокого и машинного обучения, получить полное представление о современном ИИ, вы можете присмотреться к нашему курсу Machine Learning иDeep Learning, партнёром которого является компания NVIDIA.

Узнайте, как прокачаться и в других специальностях или освоить их с нуля:

• Профессия Data Scientist

• Профессия Data Analyst

• Курс по Data Engineering