Русский
Русский
English
Статистика
Реклама

Нормальное распределение

Как я людей на типы делил

27.03.2021 16:18:35 | Автор: admin
Доска ГальтонаДоска Гальтона

Главный принцип - не дурачить самого себя. А себя как раз легче всего одурачить Ричард Фейнман.

В статье про рациональность, я оговорился, что рациональность начинается с критики своих убеждений. Расскажу о том, как я обнаружил, что необоснованно верю в неточные убеждения. И как это поставило меня в крайне неловкую ситуацию.

Делитель

В студенческие годы я активно участвовал в различных молодежных форумах. На одном из таких мероприятий я поучаствовал в тренинге по типологии личностей. Я не буду называть конкретную типологию, для целей статьи это значение не имеет. Механизмы подобных систем очень похожи, так что можете смело подставить любую знакомую вам (про Штирлица, козерогов или оральный вектор).

Эта типология обещала научить лучше понимать других людей, и при этом бонусом разобраться в себе. Она открыла глаза на то, что люди думают по разному и ценят разные вещи в жизни. Я быстро вник, определил свои тип, и начал раздавать типы всем своим знакомым. Попутно я прочитал книгу автора типологии, после чего стал распространять идею среди всех до кого вообще мог дотянуться. Так как общественная деятельность в студенческие годы кипела, дотянуться я успел много до кого.

В моём круге общения почти не осталось людей, которые не вникли в тему. Это породило особый жаргон, который внешне выглядел как что-то сектантское, но мы то знали, идея базируется на науке (так заверял автор технологии). Что самое забавное, этот таинственный жаргон скорее привлекал людей, чем отталкивал.

Люди задавали вопросы, высказывали скепсис и получали очень убедительно выглядящие ответы. Спасибо курсу дебатных технологий (по формату Карла Поппера). На тот момент я обладал весьма неплохими навыками убеждения. Я ведь упоминал, что риторика это обоюдоострое оружие для любой позиции?

Изнутри все выглядело так, как будто технология работает. Сомнений не возникало, все стандартные возражения были отработаны мною лично и пропущены через себя. Данное убеждение стало частью меня и моей жизни. Что могло пойти не так?

Состав

Не стану вдаваться в детали, но в какой то момент в мою голову влетел локомотив с большими красными буквами Критическое мышление. Признаюсь, я далеко не сразу сопоставил содержимое вагонов этого поезда и своей головы. Но на каком-то из вагонов для меня стало очевидно, что с типологиями вообще и с нашей в частности что-то не так. Вагоны далее идут примерно в том же порядке, в котором они проезжались по моей неадекватности конкретно в этой теме.

Вагон 1. Эффект Форера (он же - Эффект Барнума).

Психолог Бертрам Форер в далёком 1948 году попросил своих студентов заполнить тест, и пообещал составить точный психологический портрет каждого. 34 из 39 студентов высоко оценили точность описания. Вот только описание было одно на всех и взято было из газетного гороскопа. Свойство нашего мозга считать убедительными расплывчатые описания нашей личности назвали Эффектом Форера. Усиливает данный эффект два основных фактора: если описание подготовлено индивидуально для нас (после опроса или тестирования) и если описание составляет квалифицированный специалист, то есть авторитет.

Вагон 2. Апофения.

Наш мозг заточен на поиск закономерностей. И это круто, ведь позволяет нам устанавливать причинно-следственные связи. Но есть и побочный эффект, мы вычленяем закономерности даже тогда, когда их нет. Что ещё хуже, корреляции встречаются неизбежно, и тем чаще, чем больше параметров мы анализируем (есть даже сайт с забавными корреляциями). А именно корреляции наш мозг принимает за закономерности и превращает их в предрассудки. Здесь могла бы спасти статистика, но наша интуиция отказывается с ней работать. К тому же и в самой статистике есть сложности с обработкой подобных кейсов. Именно из-за этих сложностей рождаются аргументы вроде эффекта Марса.

Вагон 3. Нормальное распределение

Возьмём экстраверсию и интроверсию. Если оценить 100 случайных людей по шкале от 1 до 10 (где 1 = абсолютный экстраверт, а 10 = абсолютный интроверт), то получим мы... примерно вот такую штуку. Большинство людей будет сосредоточено вокруг средних значений, а абсолютно крайние значения будут самыми редкими. Это действительно для подавляющего числа характеристик которые прогнозируют типологии личности. Люди по любым случайно выбранным критериям будут скорее около средних значений, чем около крайних.

Вагон 4. Искажение подтверждения

Наш мозг устроен таким образом, что мы по умолчанию стремимся увеличить уверенность в уже имеющихся наблюдениях. Такое явление называется рационализацией или мотивированным мышлением (мы к ним ещё неоднократно вернёмся). Яркой демонстрацией этой склонности является эксперимент задача 2-4-8 Питера Уосона. Попытки опровергнуть то, во что мы верим - деятельность неестественная. Более того, хорошое владение формальной логикой, но ее выборочное применение, зачастую приводит к мотивированному скептицизму. Это как раз моя ситуация. После курса по дебатам, я легко находил ошибки в любых аргументах против моих убеждений. Проблема в том, что я даже не пытался искать такие ошибки в самих убеждениях. Зато я неплохо умел искать источники подтверждающие мои убеждения и упаковывать их в убедительно звучащие аргументы. Таким образом я систематически наращивал свою уверенность в убеждениях в отрыве от баланса свидетельств.

Вагон 5. Зависимость от трактовки.

Этот эффект отлично продемонстрирован в художественной книге Апофения Александра Панчина. Там астрологов привлекают в качестве экспертов в суде, но кодекс корпоративной этики запрещает им давать прогноз, если другой астролог уже сделал своё предсказание. Так и я, прежде чем определять тип всегда интересовался, а не определил ли человек сам себя, или не определял ли его кто-то из общих знакомых. Ведь решать задачу гораздо легче, когда знаешь к какому ответу тебе нужно подогнать решение. А вот если ответ не давать, то результаты уже будут отражать силу методики. Например, Джон Макгрю и Ричард Макфол решили проверить шестерых лучших астрологов штата Индиана (США). Они предложили астрологам установить соответствие между анкетами и гороскопами 23 человек. Значимыми были бы хотя бы 4 правильных совпадения для одного астролога. Но число правильных ответов ни разу не превысило 3 (а в среднем составило вообще = 1). При этом астрологов попросили оценить уверенность в правильности каждого сопоставления. Средний уровень уверенности составил 75%.

Вагон 6. Плавающие убеждения.

Коротко напомню суть: если модель способна описать любой исход это значит, что она не даёт никакого прогноза. В таком случае польза от неё почти нулевая, а вред вполне себе ощутим. А вы ведь помните как работают типологии, если их прогноз не удаётся?
Ты целеустремленный человек
Что есть, то есть
И для тебя очень важная работа, ты готов проводить там все свободное время
Ну вообще-то не совсем так
А, точно, иногда у представителей твоего типа есть такая особенность. Это делает тебя ещё более крутым...

P.s.

Перечитав черновик статьи, решил кое-что прояснить. Может возникнуть ощущение, что я знал, что данная типология не работает и намерено вводил людей в заблуждение, используя инструменты убеждения. Однако это не так. Изнутри это ощущалось именно как рабочий инструмент с понятным и прозрачным механизмом. После всех этих вагонов мне пришлось отказаться от использования данной методики. А ещё рассказать людям, многих из которых я лично вербовал и склонял к использованию данной методики, о своих наблюдениях. И конечно же, в этот раз многие из них были куда более критичны по отношению к моим аргументам.


Псс.А ещё у меня естьканал в телеграмме.

Подробнее..

Из песочницы Простые и быстрые приближения к статистическим функциям

16.08.2020 20:19:14 | Автор: admin

Задача. Есть калькулятор, но нет под рукой статистических таблиц. Например, нужны таблицы критических точек распределения Стьюдента для вычисления доверительного интервала. Взять компьютер с Excel? Не спортивно.


Большая точность не нужна, можно воспользоваться приближенными формулами. Идея приведённых ниже формул состоит в том, что преобразованием аргумента все распределения можно так или иначе свести к нормальному. Аппроксимации должны обеспечивать как вычисление кумулятивной функции распределения, так и расчет обратной к ней функции.


Начнём с нормального распределения.


$$display$$\Phi(z)=P=\frac{1}{2}\left[1+\mathrm{erf}\left(\frac{z}{\sqrt{2}}\right)\right]$$display$$


$$display$$z=\Phi^{-1}(P)=\sqrt{2}\cdot\mathrm{erf}^{-1}(2P-1)$$display$$


Для него требуется вычислить функцию $inline$\mathrm{erf}(x)$inline$и обратную к ней. Я воспользовался приближением [1]:


$$display$$\mathrm{erf}(x)=\mathrm{sign}(x)\cdot\sqrt{1-\exp\left(-x^{2}\cdot\frac{\frac{4}{\pi}+ax^{2}}{1+ax^{2}}\right)}$$display$$


$$display$$ \mathrm{erf}^{-1}(x)=\mathrm{sign}(x)\cdot\sqrt{-t_2 + \sqrt{t_2^{2}-\frac{1}{a}\cdot \ln t_1}} $$display$$


где $inline$t_1$inline$ и $inline$t_2$inline$ вспомогательные переменные:


$$display$$t_1=1-x^{2},\:t_2=\frac{2}{\pi a}+\frac{\ln t_1}{2}$$display$$


а константа $inline$a=0.147$inline$. Ниже дан код на языке Octave.


function y = erfa(x)  a  = 0.147;  x2 = x**2; t = x2*(4/pi + a*x2)/(1 + a*x2);  y  = sign(x)*sqrt(1 - exp(-t));endfunctionfunction y = erfinva(x)  a  = 0.147;   t1 = 1 - x**2; t2 = 2/pi/a + log(t1)/2;  y  = sign(x)*sqrt(-t2 + sqrt(t2**2 - log(t1)/a));endfunctionfunction y = normcdfa(x)  y = 1/2*(1 + erfa(x/sqrt(2)));endfunctionfunction y = norminva(x)  y = sqrt(2)*erfinva(2*x - 1);endfunction

Теперь, когда есть функции нормального распределения, приведём аргумент и вычислим t-распределение Стьюдента [2]:


$$display$$F_t(x,n)=\Phi\left(\sqrt{\frac{1}{t_1}\cdot\ln(1+\frac{x^{2}}{n})}\right)$$display$$


$$display$$t=F_t^{-1}(P,n)=\sqrt{n\cdot\exp\left(\Phi^{-1}(P)^{2}\cdot t_1\right)-n}$$display$$


где вспомогательная переменная $inline$t_1$inline$ есть


$$display$$t_1=\frac{n-1.5}{(n-1)^{2}}$$display$$


function y = tcdfa(x,n)  t1 = (n - 1.5)/(n - 1)**2; y = normcdfa(sqrt(1/t1*log(1 + x**2/n)));endfunctionfunction y = tinva(x,n)  t1 = (n - 1.5)/(n - 1)**2;  y  = sqrt(n*exp(t1*norminva(x)**2) - n);endfunction

Идея приближенного вычисления распределения $inline$\chi^{2}$inline$ наглядно представлена формулами [3]:


$$display$$\sigma^{2}=\frac{2}{9n},\:\mu=1-\sigma^{2}$$display$$


$$display$$F_{\chi^{2}}(x,n)=\Phi\left(\frac{\left(\frac{x}{n}\right)^{1/3}-\mu}{\sigma}\right)$$display$$


$$display$$\chi^2=F_{\chi^2}^{-1}(P,n)=n\cdot\left(\Phi^{-1}(P)\cdot\sigma + \mu\right)^3$$display$$


function y = chi2cdfa(x,n)  s2 = 2/9/n; mu = 1 - s2;  y  = normcdfa(((x/n)**(1/3) - mu)/sqrt(s2));endfunctionfunction y = chi2inva(x,n) s2 = 2/9/n; mu = 1 - s2;  y = n*(norminva(x)*sqrt(s2) + mu)**3;endfunction

Распределение Фишера (для $inline$n/k\geq3$inline$ и $inline$n\geq3$inline$) находится в два шага. Сначала аргумент преобразуется к вычислению распределения Фишера через распределение $inline$\chi^2$inline$ [4], а его мы уже знаем, как вычислить.


$$display$$\sigma^2=\frac{2}{9n},\:\mu=1-\sigma^2$$display$$


$$display$$\lambda=\frac{2n+k\cdot x/3+(k-2)}{2n+4k\cdot x/3}$$display$$


$$display$$F_f(x;k,n)=\Phi\left(\frac{\left(\lambda\cdot x\right)^{1/3}-\mu}{\sigma}\right)$$display$$


Найдём обратную функцию, решив квадратное уравнение.


$$display$$q=\left(\Phi^{-1}(P)\cdot\sigma+\mu\right)^3$$display$$


$$display$$b=2n+k-2-4/3\cdot kq$$display$$


$$display$$D=b^2+8/3\cdot knq$$display$$


$$display$$x=F_f^{-1}(P;k,n)=\frac{-b+\sqrt{D}}{2k/3}$$display$$


function y = fcdfa(x,k,n)  mu = 1-2/9/k; s = sqrt(2/9/k);  lambda = (2*n + k*x/3 + k-2)/(2*n + 4*k*x/3);  normcdfa(((lambda*x)**(1/3)-mu)/s)endfunctionfunction y = finva(x,k,n)  mu = 1-2/9/k; s = sqrt(2/9/k);  q = (norminva(x)*s + mu)**3;  b = 2*n + k-2 -4/3*k*q;  d = b**2 + 8/3*k*n*q;  y = (sqrt(d) - b)/(2*k/3);endfunction

Список литературы


  1. Sergei Winitzki. A handy approximation for the error function and its inverse. February 6, 2008.
  2. Gleason J.R. A note on a proposed Student t approximation // Computational statistics & data analysis. 2000. Vol. 34. . 1. Pp. 63-66.
  3. Wilson E.B., Hilferty M.M. The distribution of chi-square // Proceedings of the National Academy of Sciences. 1931. Vol. 17. . 12. Pp. 684-688.
  4. Li B. and Martin E.B. An approximation to the F-distribution using the chi-square distribution. Computational statistics & data analysis. 2002. Vol. 40. . 1. pp. 21-26.
Подробнее..

Категории

Последние комментарии

  • Имя: Макс
    24.08.2022 | 11:28
    Я разраб в IT компании, работаю на арбитражную команду. Мы работаем с приламы и сайтами, при работе замечаются постоянные баны и лаги. Пацаны посоветовали сервис по анализу исходного кода,https://app Подробнее..
  • Имя: 9055410337
    20.08.2022 | 17:41
    поможем пишите в телеграм Подробнее..
  • Имя: sabbat
    17.08.2022 | 20:42
    Охренеть.. это просто шикарная статья, феноменально круто. Большое спасибо за разбор! Надеюсь как-нибудь с тобой связаться для обсуждений чего-либо) Подробнее..
  • Имя: Мария
    09.08.2022 | 14:44
    Добрый день. Если обладаете такой информацией, то подскажите, пожалуйста, где можно найти много-много материала по Yggdrasil и его уязвимостях для написания диплома? Благодарю. Подробнее..
© 2006-2024, personeltest.ru