Косинусное подобие - Cosine similarity

Косинусное сходство - это мера сходства между двумя ненулевыми векторами внутреннего пространства продукта . Он определяется как равный косинусу угла между ними, который также совпадает с внутренним произведением тех же векторов, нормированных на оба, и имеет длину 1. Из последнего определения следует, что подобие косинуса зависит только от угла между ними. два ненулевых вектора, но не по их величине. Косинусное подобие ограничено интервалом для любого угла${\ displaystyle [-1,1]}$${\ displaystyle \ theta}$. Например, два вектора с одинаковой ориентацией имеют косинусное подобие 1, два вектора, ориентированные под прямым углом друг к другу, имеют подобие 0, а два диаметрально противоположных вектора имеют подобие -1. Косинусное подобие особенно используется в положительном пространстве, где результат аккуратно ограничен . Название происходит от термина «направляющий косинус»: в этом случае единичные векторы максимально «похожи», если они параллельны, и максимально «несхожи», если они ортогональны (перпендикулярны). Это аналогично косинусу, который равен единице (максимальное значение), когда сегменты образуют нулевой угол, и нулю (некоррелирован), когда сегменты перпендикулярны. ${\ displaystyle [0,1]}$

Эти ограничения применимы для любого количества измерений, а косинусное подобие чаще всего используется в многомерных положительных пространствах. Например, при поиске информации и интеллектуальном анализе текста каждому термину условно назначается другое измерение, а документ характеризуется вектором, где значение в каждом измерении соответствует количеству раз, когда термин появляется в документе. Таким образом, косинусное сходство дает полезную меру того, насколько похожими могут быть два документа с точки зрения их предмета.

Этот метод также используется для измерения сплоченности кластеров в области интеллектуального анализа данных .

Одним из преимуществ косинусного подобия является его низкая сложность , особенно для разреженных векторов : нужно учитывать только ненулевые измерения.

Другие названия косинусного подобия - это сходство Оркини и коэффициент конгруэнтности Такера ; Сходство Оцука-Очиай (см. Ниже) - это косинусное сходство, применяемое к двоичным данным.

Определение

Косинус двух ненулевых векторов может быть получен с помощью формулы евклидова скалярного произведения :

${\ Displaystyle \ mathbf {A} \ cdot \ mathbf {B} = \ left \ | \ mathbf {A} \ right \ | \ left \ | \ mathbf {B} \ right \ | \ cos \ theta}$

Для двух векторов атрибутов, A и B , косинусное сходство, cos (θ) , представляется с помощью скалярного произведения и величины как

${\ displaystyle {\ text {косинусное подобие}} = S_ {C} (A, B): = \ cos (\ theta) = {\ mathbf {A} \ cdot \ mathbf {B} \ over \ | \ mathbf { A} \ | \ | \ mathbf {B} \ |} = {\ frac {\ sum \ limits _ {i = 1} ^ {n} {A_ {i} B_ {i}}} {{\ sqrt {\ sum \ limits _ {i = 1} ^ {n} {A_ {i} ^ {2}}}} {\ sqrt {\ sum \ limits _ {i = 1} ^ {n} {B_ {i} ^ { 2}}}}}},}$

где и - компоненты вектора и соответственно. ${\ displaystyle A_ {i}}$${\ displaystyle B_ {i}}$${\ displaystyle A}$${\ displaystyle B}$

Результирующее подобие варьируется от -1, что означает точно противоположное, до 1, означающего точно такое же, с 0, указывающим ортогональность или декорреляцию , а промежуточные значения указывают на промежуточное сходство или несходство.

Для сопоставления текста векторы атрибутов A и B обычно являются векторами частотности терминов документов. Косинусное сходство можно рассматривать как метод нормализации длины документа во время сравнения.

В случае поиска информации косинусное сходство двух документов будет находиться в диапазоне от 0 до 1, поскольку частота терминов не может быть отрицательной. Это остается верным при использовании весов tf – idf . Угол между двумя частотными векторами не может быть больше 90 °.

Если векторы атрибутов нормализованы путем вычитания средних векторов (например, ), мера называется центрированным косинусным подобием и эквивалентна коэффициенту корреляции Пирсона . Для примера центрирования${\ displaystyle A - {\ bar {A}}}$${\ displaystyle {\ text {if}} \, A = [A_ {1}, A_ {2}] ^ {T}, {\ text {then}} {\ bar {A}} = \ left [{\ frac {(A_ {1} + A_ {2})} {2}}, {\ frac {(A_ {1} + A_ {2})} {2}} \ right] ^ {T}, {\ text {so}} A - {\ bar {A}} = \ left [{\ frac {(A_ {1} -A_ {2})} {2}}, {\ frac {(-A_ {1} + A_ {2})} {2}} \ right] ^ {T}.}$

Термин косинусное расстояние используется для дополнения косинусного подобия в положительном пространстве, то есть

${\ displaystyle {\ text {косинусное расстояние}} = D_ {C} (A, B): = 1-S_ {C} (A, B).}$

Однако важно отметить, что косинусное расстояние не является надлежащей метрикой расстояния, поскольку оно не обладает свойством неравенства треугольника - или, более формально, неравенством Шварца - и нарушает аксиому совпадения; чтобы исправить свойство неравенства треугольника при сохранении того же порядка, необходимо преобразовать в угловое расстояние.

Угловое расстояние и подобие

Нормализуется углом, называемый угловым расстоянием между любыми двумя векторами и является формальным показателем расстояния и может быть вычислен из косинуса подобия. Дополнение к метрике углового расстояния затем можно использовать для определения функции углового подобия, ограниченной от 0 до 1 включительно. ${\ displaystyle A}$${\ displaystyle B}$

Когда элементы вектора могут быть положительными или отрицательными:

${\ displaystyle {\ text {угловое расстояние}} = D _ {\ theta}: = {\ frac {\ arccos ({\ text {косинусное подобие}})} {\ pi}} = {\ frac {\ theta} { \Пи }}}$

${\ displaystyle {\ text {угловое подобие}} = S _ {\ theta}: = 1 - {\ text {угловое расстояние}} = 1 - {\ frac {\ theta} {\ pi}}}$

Или, если элементы вектора всегда положительны:

${\ displaystyle {\ text {угловое расстояние}} = D _ {\ theta}: = {\ frac {2 \ cdot \ arccos ({\ text {косинусное подобие}})} {\ pi}} = {\ frac {2 \ theta} {\ pi}}}$

${\ displaystyle {\ text {угловое подобие}} = S _ {\ theta}: = 1 - {\ text {angular distance}} = 1 - {\ frac {2 \ theta} {\ pi}}}$

${\ displaystyle L_ {2}}$-нормированное евклидово расстояние

Другой эффективный прокси для косинусного расстояния может быть получен путем нормализации векторов с последующим применением нормального евклидова расстояния. Используя этот метод, каждый член в каждом векторе сначала делится на величину вектора, в результате чего получается вектор единичной длины. Тогда ясно, что евклидово расстояние по конечным точкам любых двух векторов является правильной метрикой, которая дает тот же порядок, что и косинусное расстояние для любого сравнения векторов, и, кроме того, позволяет избежать потенциально дорогостоящих тригонометрических операций, необходимых для получения правильного метрическая. После нормализации векторное пространство можно использовать с полным набором методов, доступных для любого евклидова пространства, в частности, стандартными методами уменьшения размерности. Это нормализованное расстояние формы, в частности, используется во многих алгоритмах глубокого обучения. ${\ displaystyle L_ {2}}$

Коэффициент Оцука-Очиай

В биологии существует аналогичная концепция, известная как коэффициент Оцука-Очиай, названный в честь Яносуке Оцука (также пишется как Оцука , Оцука или Отука, японский :大 塚 弥 之 助) и Акира Очиай ( яп .合 明), также известного как Очиаи- Коэффициент Баркмана или Очиай, который можно представить в виде:

${\ displaystyle K = {\ frac {| A \ cap B |} {\ sqrt {| A | \ times | B |}}}}$

Здесь и - множества , а - количество элементов в . Если наборы представлены как битовые векторы, можно увидеть, что коэффициент Оцука-Очиаи совпадает с косинусоидальным подобием. ${\ displaystyle A}$${\ displaystyle B}$${\ displaystyle | A |}$${\ displaystyle A}$

В недавней книге коэффициент ошибочно приписывают другому японскому исследователю с фамилией Оцука. Путаница возникает из-за того, что в 1957 году Акира Очиаи приписывает коэффициент только Оцуке (имя не упоминается), цитируя статью Икусо Хамаи ( яп .井 生 三), который, в свою очередь, цитирует оригинальную статью Яносуке Оцука 1936 года.

Характеристики

Наиболее примечательным свойством косинусного сходства является то, что оно отражает относительное, а не абсолютное сравнение отдельных векторных измерений. Для любых констант и вектора векторы и максимально похожи. Таким образом, эта мера наиболее подходит для данных, где частота более важна, чем абсолютные значения; в частности, частота употребления терминов в документах. Однако более современные метрики, основанные на теории информации, такие как Jensen-Shannon , SED и Triangular Divergence, показали улучшенную семантику по крайней мере в некоторых контекстах. ${\ displaystyle a}$${\ displaystyle V}$${\ displaystyle V}$${\ displaystyle aV}$

Косинусное сходство связано с евклидовым расстоянием следующим образом. Обозначим евклидово расстояние обычным образом и заметим, что ${\ Displaystyle \ | AB \ |}$

${\ Displaystyle \ | AB \ | ^ {2} = (AB) ^ {\ mathsf {T}} (AB) = \ | A \ | ^ {2} + \ | B \ | ^ {2} -2A ^ {\ mathsf {T}} B}$

путем расширения . Когда A и B нормализованы к единице длины, это выражение равно ${\ Displaystyle \ | A \ | ^ {2} = \ | B \ | ^ {2} = 1}$

${\ displaystyle 2 (1- \ cos (A, B)).}$

Евклидово расстояние называется хордовым расстоянием (потому что это длина хорды на единичной окружности), и это евклидово расстояние между векторами, которые были нормированы на единичную сумму квадратов значений внутри них.

Нулевое распределение: для данных, которые могут быть как отрицательными, так и положительными, нулевое распределение косинусного сходства является распределением скалярного произведения двух независимых случайных единичных векторов . Это распределение имеет среднее значение , равное нулю , и дисперсия из (где это число измерений), и хотя распределение ограничена между -1 и +1 , как растет большое распределение все более хорошо аппроксимировать нормальным распределением . Другие типы данных, такие как потоки битов , которые принимают только значения 0 или 1, нулевое распределение принимает другую форму и может иметь ненулевое среднее значение. ${\ displaystyle 1 / n}$${\ displaystyle n}$${\ displaystyle n}$

Мягкая косинусная мера

Мягкий косинус или («мягкое» сходство) между двумя векторами учитывает сходство между парами объектов. Традиционное косинусное сходство рассматривает функции модели векторного пространства (VSM) как независимые или совершенно разные, в то время как мягкая косинусная мера предлагает учитывать сходство функций в VSM, что помогает обобщить концепцию косинуса (и мягкого косинуса), а также идею (мягкого) сходства.

Например, в области обработки естественного языка (NLP) сходство между функциями довольно интуитивно. Такие функции, как слова, n -граммы или синтаксические n -граммы, могут быть очень похожими, хотя формально они считаются разными функциями в VSM. Например, слова «играть» и «игра» - это разные слова и, таким образом, сопоставлены с разными точками в VSM; тем не менее они семантически связаны. В случае n -грамм или синтаксических n -грамм может применяться расстояние Левенштейна (фактически, расстояние Левенштейна может применяться и к словам).

Для вычисления мягкого косинуса матрица s используется для обозначения сходства между функциями. Его можно рассчитать с помощью расстояния Левенштейна, сходства WordNet или других мер сходства . Затем мы просто умножаем на эту матрицу.

Для двух N -мерных векторов и мягкое косинусное подобие вычисляется следующим образом: ${\ displaystyle a}$${\ displaystyle b}$

${\ displaystyle {\ begin {align} \ operatorname {soft \ _cosine} _ {1} (a, b) = {\ frac {\ sum \ nolimits _ {i, j} ^ {N} s_ {ij} a_ { i} b_ {j}} {{\ sqrt {\ sum \ nolimits _ {i, j} ^ {N} s_ {ij} a_ {i} a_ {j}}} {\ sqrt {\ sum \ nolimits _ { i, j} ^ {N} s_ {ij} b_ {i} b_ {j}}}}}, \ end {выровнено}}}$

где s _ij = сходство (признак _i , признак _j ) .

Если нет подобия между функциями ( s _ii = 1 , s _ij = 0 для i ≠ j ), данное уравнение эквивалентно традиционной формуле косинусного подобия.

Время сложность этой меры является квадратной, что делает его применимым для реальных задач. Обратите внимание, что сложность может быть снижена до субквадратичной. Эффективная реализация такого мягкого косинусного подобия включена в библиотеку с открытым исходным кодом Gensim .

Смотрите также

• Коэффициент Соренсена – Дайса
• Расстояние Хэмминга
• Корреляция
• Индекс Жаккара
• SimRank
• Поиск информации

использованная литература

внешние ссылки

• Взвешенная косинусная мера
• Учебник по косинусному сходству с использованием Python