Русский
Русский
English
Авторизация
Ip-адрес
Восстановление пароля
Регистрация
Статистика
Реклама

Тест Уилкоксона золотая середина для практиков

В практике обработки результатов наблюдений распределение генеральной совокупности неизвестно либо (для непрерывных случайных величин) отличается от нормального распределения, так что применение классических статистических методов необоснованно и может привести к ошибкам. В этом случае применяют методы, не зависящие (или свободные) от распределения генеральной совокупности непараметрические методы.

В статье с единой точки зрения обсуждаются три часто встречающихся на практике одновыборочных теста: тест знаков, t-тест и тест Уилкоксона (Signed-Rank Wilcoxon test) непараметрической процедуры, мощность которой сравнима с мощностью t-теста в случае нормально распределенной выборки, и превышает мощность t-теста в случае, если распределение выборки имеет более тяжелые хвосты по сравнению с нормальным распределением.

1. Определим модель для параметра положения (location model) следующим образом. Пусть X_1, X_2,\ldots,X_n обозначает случайную выборку, полученную по следующему закону

X_i=\theta+e_i,

где предполагается, что случайные ошибки e_1,e_2,\ldots,e_n это независимые и одинаково распределенные случайные величины с непрерывной плотностью распределенияf(t), симметричной относительно нуля.

2. При условии симметрии любой параметр положения X_i , включая среднее и медиану, равен \theta . Рассмотрим гипотезу

H_0:\theta=0,~~~H_a:\theta>0.

3. Для проверки данной гипотезы рассмотрим три часто используемых на практике теста: тест знаков, t-тест и тест Уилкоксона.

3.1. Классический тест знаков (sign test) основан на статистике

S=\sum_{i=1}^nsign(X_i),

где sign(t)=-1,0,1 для t<0,t=0,t>0 соответственно. Пусть

S^+=\#_i\{X_i>0\}.

Тогда S=2S^+-n . Здесь предполагается, что ни одно из значений X_i не равно нулю (на практике, равные нулю значения из выборки исключают, а объем выборки n корректируют). При условии H_0 , статистика S^+ имеет биномиальное распределение с числом испытаний n и вероятностью успеха 1/2 . Пусть s^+ наблюдаемая величина S^+ тогда p-value для теста знаков равно P_{H_0}(S^+\geq s^+)=1-F_B(s^+-1;n;0.5) , где F_B(t;n;p) функция биномиального распределения с параметрами n и p (R функция pbinom возвращает значения cdf для биномиального распределения).

Заметим, что в тесте знаков распределение статистики S при нулевой гипотезе H_0 не зависит (свободно) от вида распределения f(t) .

3.2. Следующий традиционный t-тест (t-test) основан на сумме наблюдений. По аналогии можно записать

T=\sum_{i=1}^nsign(X_i)\cdot|X_i|.

Заметим, что распределение статистики T зависит от плотности распределения f(t) . Обычно t-тест записывают в форме t-отношения

t=\frac{\bar{X}}{s/\sqrt{n}},

где \bar{X} и s соответственно, выборочное среднее и стандартное отклонение. Если выборка получена из нормального распределения, то статистика t имеет t-распределение Стьюдента с n-1 степенью свободы. Пусть t_0 наблюдаемое по выборке значение t . Тогда p-value для t-теста равно P_{H_0}(t\geq t_0)=1-F_T(t_0;n-1) , где F_T(t;\nu) функция t-распределения Стьюдента c \nu степенью свободы (R функция pt возвращает значения cdf для t-распределения). Это точное значение p-value в случае нормального распределения, в противном случае это аппроксимация.

3.3. Отличие t-теста от теста знаков состоит в том, что статистика t-теста является функцией расстояний элементов выборки относительно нуля в дополнение к их знакам.

Выбранная нами статистика теста Уилкоксона (signed-rank Wilcoxon test) хороша тем, что использует лишь ранги этих расстояний. Обозначим R|X_i| ранг X_i среди всех |X_1|,\ldots,|X_n| , упорядоченных от меньшего значения к большему. Тогда статистика Уилкоксона имеет вид

W=\sum_{i=1}^nsign(X_i)\cdot R|X_i|.

В противоположность статистике t-теста, статистика W , также как и рассмотренная ранее статистика S при условии нулевой гипотезы H_0 не зависит от вида f(t) .

Распределение статистики W не может быть выведено в виде законченной формулы и при ее расчете используется итерационный алгоритм. Обычно, наряду со статистикой W , составляют сумму рангов положительных элементов выборки W^+ , то есть

W^+=\sum_{X_i>0}R|X_i|=\frac{1}{2}W+\frac{n(n+1)}{4}.

Тогда p-value для теста Уилкоксона равно P_{H_0}(W^+\geq w^+)=1-F_{W^+}(w^+-1;n) , где F_{W^+}(x;n) функция распределения статистики Уилкоксона для выборки размера n (R функция psignrank возвращает значения cdf распределения W^+ ).

4. Техника построения доверительных интервалов широко используется при решении практических задач. Каждый из рассмотренных выше тестов: тест знаков, t-тест и тест Уилкоксона имеет соответствующую оценку и доверительный интервал для параметра положения \theta . Рассмотрим далее имеющиеся результаты.

4.1. Оценкой параметра положения \theta , связанной с тестом знаков является выборочная медиана

\hat{\theta}=med\{X_1,X_2,\ldots,X_n\}.

Для 0<\alpha<1 соответствующий доверительный интервал для \theta с доверительной вероятностью (1-\alpha)100\% задается в виде \left(X_{(c_1+1)},X_{(n-c_1)}\right) , где X_{(i)} i -ая порядковая статистика выборки, c_1 \alpha/2квантиль биномиального распределения с параметрами n и p=1/2 . Этот доверительный интервал не зависит от вида распределения ошибок e_i . Отметим, что из-за дискретности биномиального распределения для каждого значения n существует ограниченный набор значений\alpha.

4.2. Оценкой параметра положения \theta , связанной с t-тестом является выборочное среднее \bar{X} . Классический доверительный интервал в этом случае имеет вид \bar{X}\pm t_{\alpha/2,n-1}\cdot[s/\sqrt{n}] , где t_{\alpha/2,n-1} \alpha/2 квантиль t-распределения Стьюдента с n-1 степенью свободы. Данный доверительный интервал зависит от вида распределения ошибок e_i .

4.3. Оценкой параметра положения \theta , связанной с тестом Уилкоксона является оценка Ходжеса-Лемана (Hodges-Lehmann)

\hat{\theta}_W=med_{i\leq j}\left\{\frac{X_i+X_j}{2}\right\}.

Парные средние A_{ij}=(X_i+X_j)/2 , i\leq j называются средними Уолша (Walsh averages) выборки. Пусть A_{(1)}<\cdots<A_{(n(n+1)/2)} упорядоченный набор средних Уолша. Тогда (1-\alpha)100\% доверительный интервал для \theta имеет вид \left(A_{(c_2+1)}, A_{(n(n+1)/2-c2)}\right) , где c_2 \alpha/2 квантиль signed-rank Wilcoxon распределения. Этот доверительный интервал не зависит от вида распределения ошибок e_i при условии их симметрии относительно нуля. Отметим, что размах значений W^+ множество \left\{0,1,,n(n+1)/2\right\} имеет порядок n^2 . Поэтому, для умеренных по размеру выборок, тест Уилкоксона менее зависим от дискретного характера распределения статистики критерия, то есть выбранный уровень значимости \alpha в этом случае ближе к найденному.

5. В качестве практического примера рассмотрим данные об объеме продаж (в штуках) для восьми товарных позиций в двух магазинах A и B за неделю. Ответим на вопрос, в каком магазине спрос на товары выше?

Составим выборку, каждый элемент которой представляет собой разницу в продажах соответствующей товарной позиции в магазинах A и B. Пусть \theta характеризует центральное значение выборки. Следующая R сессия показывает результат применения теста Уилкоксона и t-теста для проверки правосторонней гипотезы H_0:\theta=0,H_a:\theta>0. 

> Store_A <- c(82, 69, 73, 43, 58, 56, 76, 65)> Store_B <- c(63, 42, 74, 37, 51, 43, 80, 62)> response <- Store_A - Store_B> wilcox.test(response, alternative = "greater", conf.int = TRUE)Wilcoxon signed rank exact testdata:  responseV = 32, p-value = 0.02734alternative hypothesis: true location is greater than 095 percent confidence interval:   1 Infsample estimates:(pseudo)median           7.75 > t.test(response, alternative = "greater", conf.int = TRUE)One Sample t-testdata:  responset = 2.3791, df = 7, p-value = 0.02447alternative hypothesis: true mean is greater than 095 percent confidence interval: 1.781971      Infsample estimates:mean of x      8.75

Тест Уилкоксона wilcox.test() возвращает статистику W^+ , p-value теста, оценку Ходжеса-Лемана для \theta и 95\% доверительный интервал для \theta . Т-тест t.test() имеет аналогичный синтаксис и результаты. Как видно, обе процедуры отвергают нулевую гипотезу на уровне 0.05 , то есть можно сказать, что спрос на продукцию в магазине A выше.

Подведем итог, из трёх рассмотренных в статье тестов для практического применения рекомендуется тест Уилкоксона. Он требует минимум предположений о характере распределения генеральной совокупности, сравним по мощности с t-тестом в случае нормального распределения и превышает мощность t-теста в случае симметричного непрерывного распределения с более тяжелыми хвостами по сравнению с нормальным распределением.

Источник: habr.com
К списку статей
admin
Опубликовано: 17.03.2021 12:07:26
0

Сейчас читают

Комментариев (0)
Имя
Электронная почта

Алгоритмы

Математика

R

Sign test

Signed rank wilcoxon test

T.test

Distribution free

Hodges-lehmann estimator

Критерий знаков

Критерий уилкоксона

Непараметрические методы

Категории

Последние комментарии

  • Имя: Макс
    24.08.2022 | 11:28
    Я разраб в IT компании, работаю на арбитражную команду. Мы работаем с приламы и сайтами, при работе замечаются постоянные баны и лаги. Пацаны посоветовали сервис по анализу исходного кода,https://app Подробнее..
  • Имя: 9055410337
    20.08.2022 | 17:41
    поможем пишите в телеграм Подробнее..
  • Имя: sabbat
    17.08.2022 | 20:42
    Охренеть.. это просто шикарная статья, феноменально круто. Большое спасибо за разбор! Надеюсь как-нибудь с тобой связаться для обсуждений чего-либо) Подробнее..
  • Имя: Мария
    09.08.2022 | 14:44
    Добрый день. Если обладаете такой информацией, то подскажите, пожалуйста, где можно найти много-много материала по Yggdrasil и его уязвимостях для написания диплома? Благодарю. Подробнее..
© 2006-2024, personeltest.ru