Исследование

В публикациях в интернете по-разному объясняется, как возникает цвет пламени у костра

Существует две принципиально разные версии. В одной говорится, что излучают раскаленные частицы углерода размером около 100 нм, во второй - что желтый цвет возникает при излучении солей натрия, находящихся в древесине.

В многочисленных публикациях одно или другое из этих объяснений. На форумах обсуждается эта тема, но никто не ссылается на результаты экспериментов.

Вот пример типичных публикаций:

То есть, до настоящего времени нет общепринятого варианта объяснения механизма видимого излучения, возникающего в процессе горения костра!

И все же - почему костер желтый?

Я решил провести эксперименты и найти правильный ответ. Мне нужно было измерить спектр видимого излучения пламени костра и объяснить результаты. Если спектр будет сплошным верна первая версия, если мы будем наблюдать двойную линию натрия вторая.

Замечу, в русскоязычном и англоязычном интернете мне не удалось найти подобных спектров.

Для проведения работы я изготовил и настроил спектрометр.

Самодельный спектрометр

В интернете много публикаций и роликов о том, как сделать спектрометр из DVD диска, однако характеристики этих приборы не позволяют провести нужные измерения. Мне же удалось сделать качественный спектрометр.

Основные характеристики

Спектрометр работает в диапазоне 400-700нм с разрешением 0,3 нм. Применяются сменные оптические щели шириной 50, 100, 200 и 300 микрон. Дифракционная решетка с шагом 740 нм изготовлена из DVD диска. Регистрация спектра выполняется зеркальной фотокамерой Nikon D5100. Прибор выполнен в крепком корпусе, позволяющем сохранять настройки при перемещениях.

Измерение спектра пламени костра

Были проведены классические эксперименты - измерены спектры Солнца, лазеров, пламени газовой горелки и всевозможных ламп. Спектрометр прошел проверку и теперь можно было приступать к исследованию пламени костра.

Измерим спектр линии огня - так я назвал увиденную линию.

На фоне очень слабого непрерывного черно-тельного спектра были зарегистрированы две яркие желтые лини с длинами волн 589,0 нм и 589,6 нм. Согласно базе данных NIST - это линии натрия.

Ниже на фотографии показана часть спектра пламени костра с большим увеличением, чтобы можно было рассмотреть двойную линию натрия 589,0 нм и 589,6 нм на фоне непрерывного спектра раскаленных частиц углерода:

В дальнейших исследованиях была зафиксирована динамика появления линий натрия в спектре. Пока костер разгорается - в спектре линии отсутствуют. По мере появления углей и увеличения мощности излучения, данные линии появляются и их яркость растет.

Обсуждение результатов экспериментов

Почему мы видим желтый цвет, физиология

Чтобы правильно объяснить результаты экспериментов надо понимать, как наши глаза воспринимают излучения разной длины волны и как мозг обрабатывает эту информацию.

Коротко и очень, очень упрощенно напомню хорошо известные факты. Мы воспринимаем цвет желтым по разным причинам: в одном случае, когда в сетчатку глаза попадает излучение узкого спектра с длинной волны в диапазоне 570нм 590нм, и во многих других, когда в глаза попадает излучение разного спектрального состава. Например, красный и зеленый в правильных пропорциях будут восприниматься как желтый. На экране мониторов мы создаем как раз такой желтый цвет.

То есть наши глаза и затем мозг создают иллюзию цвета и поэтому для понимания физических и химических процессов нам и требуется измерение спектра.

Заблуждение, которое встречается во многих публикациях, в которых объясняют желтый цвет костра - Цвет костра вызван излучением натрия

Данный эксперимент показывает - появление двойной линии натрия не оказывает какого-либо заметного изменения цвета.

Небольшие пояснения

Сравним спектры излучения Солнца и пламени костра.

В солнечном спектре максимум приходится на зеленый цвет, а мощность красного и синего меньше. Излучение именно с такой спектральной характеристикой воспринимается как белый цвет.

В пламени костра из атомов углерода образуются частицы сажи размером до 100нм. Эти частицы и дают непрерывный спектр с максимумом излучения в инфракрасной области, а мощность видимого излучения падает от красного к зеленому и еще больше к синему. Излучение с таким спектром воспринимается человеком как оттенки желтого и оранжевого, в зависимости от температуры области пламени. Желтый цвет костра это случайное совпадение.

Влияние солей натрия

В процессе горения появляется зола в которой содержатся соли, в том числе и соли натрия. Золы совсем немного. Она начинает подниматься в пламени вверх, и яркая двойная желтая линия натрия постепенно появляется в спектре. Однако ее появление не сказывается заметно на цвете костра, так как желтый цвет от непрерывного спектра глаза уже воспринимают.

Мощность излучения натрия значительно меньше, чем суммарная мощность непрерывного спектра.

Выводы

То, что мы видим костер желтым, не означает, что идет излучение в узком спектральном диапазоне натрия. Наши глаза и мозг воспринимают непрерывный спектр как желтый цвет.

Появление дополнительно яркой линии натрия мало влияет на восприятие цвета костра, который остается таким же желтым. Для нас не заметно изменение цвета, так как такой цвет уже был. Кстати, если бы за цвет костра отвечал только натрий, оттенков бы не было, так как мы бы видели чистый спектральный цвет.

Почему же популярной остается версия о том, что желтый цвет костру придает линия натрия? Скорее всего, случайное совпадение цвета линии натрия и черно-тельного спектра углерода и привело к путанице.

Цвет пламени костра дают ярко светящиеся частицы углерода. Влияние на цвет излучения натрия минимально.

О том, как сделать качественный спектрометр и как правильно проводить эксперименты читайте в моей статье "Самодельный спектрометр с высоким разрешением"

Полезные ссылки:

1. И. А. Леенсон Химия и жизнь 2, 2011 Химия пламени. В статье рассказывается, в том числе, как в пламени возникают светящиеся наночастицы углерода.

2. Информационная система Электронная структура атомов. Очень удобный русскоязычный ресурс по спектральным данным атомов и ионов. Ссылка для натрия.

3. Максим Бондаренко, Как мы воспринимаем цвет. Доступно и интересно написано о сложном.

Дистанционное игибридное обучение

В период дистанционного и гибридного обучения учителя применяли инновационные методы интеграции технологий в учебный процесс, чтобы заинтересовать учащихся. Большинство (82%) работников сферы образования уверено, что прошлый год ускорил темпы развития инноваций в преподавании и обучении.

Сегодня образование в школах полностью трансформируется. Формируется комплексный подход к обучению, ключевую роль в котором играет несколько элементов: ориентированность на ученика, концентрация на развитии цифровых компетенций, социальное просвещение, защита и безопасность, а также масштабируемость решений. Для поддержания эффективности учебного процесса критически важны следующие технологии: информационно-образовательная среда для совместной работы, аналитические инструменты, средства обеспечения обратной связи, а также инклюзивные иммерсивные возможности, способствующие более глубокому пониманию сложных концепций.

Весь последний год учителям приходилось постоянно искать новые технологические решения для сохранения вовлеченности учеников. Из временного решения, обеспечивающего связь в режиме дистанционного и гибридного обучения, технологии превратились в неотъемлемую часть множества виртуальных и очных классов. В рамках исследования YouGov, недавно проведенного по заказу Microsoft, 71 процент работников системы дошкольного и школьного образования сообщил, что технологии помогают им повышать качество преподавания.

Продолжая поддерживать учителей и учеников, мы сегодня представляем новые инструменты и обновления в ключевых областях, необходимых для создания целостной образовательной среды и развития системы образования: ориентированность на ученика, концентрация на развитии навыков, социальное просвещение, защита и безопасность, масштабируемость.

Представляем новые инструменты для вовлечения учеников в учебный процесс в классе

Мы создаем новые возможности в Teams и другие инструменты, чтобы помогать преподавателям открывать для себя цифровые решения, которые дополняют и обогащают индивидуальный процесс обучения. Эти новые бесплатные предложения будут доступны позднее. Мы разработали их, основываясь на информации от экспертов и руководителей в сфере образования, преподавателей и учащихся.

• Интеграция с календарем:новые возможности интеграции с календарем позволяют ученикам видеть расписание уроков и сроки сдачи заданий в календарях Teams и Outlook. Таким образом ученики могут видеть всю важную информацию сразу:где они должны быть и что им нужно изучать.

• Обновления СУО:чтобы помогать преподавателям экономить время и создавать более целостную среду, Microsoft сотрудничает с ведущими поставщиками систем управления обучением (СУО), такими как Instructure и Blackboard, для углубления и улучшения интеграции СУО и Teams, собраний Teams и OneDrive.

Поддерживаем благополучие учащихся

Эмоциональное благополучие ключевой фактор успеха учеников; исследования показывают, что такой подход является очень востребованным, но ресурсов для его применения пока недостаточно. Сложности, возникшие в прошлом году, показали: преподавателям необходимо понимать, в каком эмоциональном состоянии находятся ученики, оценивать их мотивацию, видеть, с какими трудностями сталкиваются учащиеся, чтобы помочь их преодолеть.

По данным исследования, недавно проведенного для нас компанией YouGov, 81 процент работников сферы образования считает очень важным регулярно общаться с учениками и узнавать об их самочувствии.

Технологии могут помогать учителям общаться с учениками и лучше их понимать, а также способствовать развитию социально-эмоциональных навыков. Наши новые инструменты предназначены именно для этого.

• Reflectэто бесплатное приложение в составе Microsoft Teams, обеспечивающее преподавателям возможность назначать регулярные индивидуальные встречи с учениками или с целым классом, во время которых учащиеся могут поделиться тем, как они себя чувствуют. С помощью Reflect преподаватели школ могут способствовать установлению связей между учащимися, а также оказывать им помощь и приглашать их регулярно выражать свои мысли. Reflect позволяет преподавателям легко проверять как общий эмоциональный фон учащихся, так и их отношение к конкретной теме, например обучению на дому, домашнему заданию, текущим событиям или изменениям в их коллективе.

• Встроенные инструменты вOneNoteиTeams, такие как знаки отличия и стикеры, также могут помочь ученикам и преподавателям чувствовать более глубокую связь и способствовать росту эффективных взаимоотношений. Мы слышали от преподавателей, что приложение Flipgrid в последние годы стало для них неоценимым помощником: оно помогает учащимся обрести уверенность, а преподавателям инициировать полезное обсуждение учебного процесса в классе и за его пределами.

Выводы и идеи учителей ключ к позитивным изменениям в сфере образования

Когда школы в прошлом году перешли в онлайн-режим, учители совершили и продолжают совершать сверхчеловеческие усилия, чтобы помочь всем ученикам оставаться вовлеченными в учебный процесс. Они выявили и заполнили пробелы, нашли способы оставаться на связи с каждым учеником, совместно преодолевали сложности и развивали стратегии трансформации образовательного процесса для новой эпохи.

По данным исследования YouGov, более восьми из десяти преподавателей считают, что прошлый год показал: учебный процесс больше не привязан к определенному времени и месту. А 82 процента заявили, что технологии ускорили темп развития инноваций в преподавании и обучении.

Возможно для кого-то это будет удивительно и даже возмутительно, но в Википедии информация не должна быть правдивой, важно, чтобы она была подтверждена достоверными источниками. Именно проблеме дезинформации и достоверности источников в Википедии был посвящён последний выпуск уходящего 2020 года Wikimedia Research Showcase. Это ежемесячное публичное мероприятие, на котором представляются последние работы исследовательской группы Фонда Викимедиа и приглашенных докладчиков из академического сообщества. Мне была предоставлена возможность рассказать о последних научных работах, проведённых совместно с сотрудниками нашей кафедры. В этой статье на Хабре я постараюсь коротко описать последние исследования нашей кафедры в области оценки качества информации и достоверности источников в многоязычной Википедии. Дополнительно представлены общедоступные инструменты для оценки качества и достоверности, основанные на научных исследованиях.

Видеотрансляция декабрьского выпуска 2020 года Wikimedia Research Showcase доступна на YouTube, а слайды с презентации размещены на SlideShare и figshare.

Многоязычность Википедии

Согласно Ethnologue, в мире люди разговаривают на более чем 7 тыс. языках, из которых почти 3 тыс. под угрозой исчезновения. Для сравнения, статьи Википедии доступны на 314 языках.

Более половины населения Земли разговаривает только на 23 языках. Самым популярным является английский, на нём разговаривает около 1.27 млрд человек. Однако, для более чем 70% из них - английский не является родным.

В своей научной диссертации, которая была защищена в марте 2019 года в польском университете, я описал метод сравнения и обогащения информации в многоязычных сайтов вики, основанный на анализе их качества. В качестве примера рассматривался наиболее популярный сайт вики Википедия. Для проверки предложенного метода рассматривались 5 языковых разделов Википедии английский, белорусский, польский, русский, украинский.

Знание этих языков и результаты исследований позволили мне прийти к выводу, что предложенные в диссертации алгоритмы можно использовать и для других языковых версий этой свободной энциклопедии (а также для других сайтов вики).

Википедию можно редактировать на каждом языке независимо, что приводит к таким проблемам как:

• один и тот же объект (город, персона, событие и т.п.) можно описать по-разному,

• пользователю обычно необходимо понимать эти языки для проверки/сравнения информации.

Дополнительно, сама оценка качества информации субъективна и зависит от языка Википедии:

• каждый языковой раздел определяет свои правила и стандарты,

• стандарты могут меняться со временем.

Одним из важных критериев качества информации в Википедии является наличие достоверных источников. Однако, оценка одного и того же источника зависит от языковой версии Википедии. Дополнительная проблема - надежность одного и того же источника может со временем измениться.

Оценка качества информации в Википедии

Каждое языковое издание Википедии может определять собственную систему оценок качества для статей. Часто каждая языковая версия имеет специальную отметку для статей, которые считаются лучшими - Избранные статьи. Также есть отметка за качественные достойные статьи, не соответствующие критериям Избранных статей - они называются Хорошие статьи.

В некоторых языковых версиях Википедии есть также другие оценки качества, которые могут отражать зрелость статьи. В английской Википедии, помимо наивысших оценок FA и GA, есть ещё A-класс, B-класс, C-класс, Старт и Заглушка. В русской Википедии дополнительно к двум наивысшим оценкам есть ещё Добротная статья, I уровень, II уровень, III уровень и IV уровень. В польской Википедии есть три дополнительных класса: Четверка, Старт и Заглушка.

Несмотря на одинаковые названия, эквивалентные классы между языковыми версиями могут иметь различия в оценке стандартов. Например, в некоторых языковых версиях для высоких оценок существует ограничение на длину статьи. Следовательно, для каждой языковой версии может быть своя собственная модель качества, даже если у этих языков одинаковое количество оценок.

Дополнительная проблема - большое количество статей, не имеющих оценки качества. Некоторые языковые версии содержат более 90% неоцененных статей. Ниже представлена сравнительная таблица для некоторых языковых разделов Википедий (по порядку: белорусский, немецкий, английский, французский, польский, русский, украинский).

Чтобы определить параметры качества в Википедии, следует принять во внимание сходство этого веб-сайта с традиционными энциклопедиями и сайтами на технологии Веб 2.0. С одной стороны, контент в Википедии создан как ориентир в энциклопедическом стиле. С другой стороны, Википедия построена таким образом, чтобы пользователи могли сотрудничать и писать совместно материалы. Поэтому он основан на технологиях Веб 2.0.

На рисунке ниже показано покрытие между критериями качества сайтов Веб 2.0, традиционных энциклопедий и Википедии. Принимая во внимание критерии качества, принятые сообществом Википедии, мы можем выбрать следующие критерия (измерения) качества для статей Википедии: актуальность, достоверность, объективность, полнота, релевантность, стиль, читабельность.

• Актуальность: насколько статья описывает текущее состояние определенной реальности (степень актуальности/своевременности информации).

• Достоверность: можно ли проверить предоставленную информацию из надежных источников.

• Объективность: насколько содержание статьи соответствует критерию нейтральной точки зрения, содержит ли она изображения и другие мультимедийные материалы, относящиеся к этой статье.

• Полнота: насколько исчерпывающим является описание темы в статье.

• Релевантность: насколько статья важна для читателей/пользователей и соответствует его информационным нуждам.

• Стиль: как организовано содержание статьи (наличие и размещение дополнительных комментариев, таблиц, изображений, звуковых файлов и др.).

• Читабельность: насколько текст понятен и свободен от ненужной сложности.

Важные параметры качества

Используя алгоритмы машинного обучения, мы можем определить, какие параметры (характеристики) статей Википедии являются наиболее важными для оценки качества. Пример таких параметров: количество слов в тексте статьи, количество изображений, посещение статьи за определённый период времени, сколько раз статья была редактирована и др.

Шесть лет назад мы опубликовали результаты исследований, в которых показали, что показатели вместе с их значимостью образуют определенный профиль языка, то есть один параметр важен для одного языка, другой лучше характеризует качество информации другого языкового раздела Википедии. Затем можно сравнивать разные языки.

Другой пример - в моей диссертации было использовано более 100 параметров для построения моделей качества для разных языков. Рисунок ниже показывает важность выбранных показателей в моделях прогнозирования качества в английской и русской Википедии.

Синтетический показатель качества

Мы обнаружили, что некоторые из показателей показали высокую важность при оценке качества статей на разных языках. Такие параметры обычно положительно коррелируют с оценками качества: длинна статьи, количество изображений, примечаний (источников), разделов, авторов и др.

Шесть лет назад мы предложили способ оценки качества статей по непрерывной шкале (от 0 до 100), используя синтетический показатель качества, который включает в себя нормализованные значения важных параметров статей. Нормализация выбранных параметров зависит от языкового раздела Википедии, поскольку она использует пороговые значения, которые зависят от лучших статей в рассматриваемой языковой версии. Нормализация каждого параметра проводилась в соответствии со следующим правилом: если значение данного параметра на данном языке превышало пороговое значение медианного значения лучших статей в той же языковой версии, она принималась равной 100 баллам; в противном случае его значение линейно масштабировалось, чтобы отразить отношение значения параметра к среднему значению. Более подробную информацию об алгоритме и результатах его применения синтетического показателя качества на миллионах статей Википедии можно найти в научных публикациях в журналах Informatics и Computers.

Числовое значение качества статьи позволяет сравнивать качество статей даже между разными языковыми версиями Википедии. Это позволяет найти, какие темы (категорий) статей конкретного языкового раздела Википедии имеют информацию лучшего качества.

Оценки качества вместе с показателями популярности, цитируемости, интереса авторов могут использоваться для создания индивидуального профиля для каждой статьи Википедии в каждой языковой версии. Например, на рисунке ниже представлен такой профиль на портале ВикиРанк с информацией о качестве и популярности для статьи Президентские выборы в США (2020) в русскоязычной Википедии.

Источники информации в Википедии

Одним из важнейших факторов, влияющих на качество статей в Википедии, является наличие достоверных источников. Следуя ссылкам в примечаниях (сносках), читатели могут проверить факты или найти более подробную информацию по описанной теме. В одной из наших последних работ мы проанализировали более 40 миллионов статей из 55 наиболее развитых языковых разделов Википедии, чтобы извлечь информацию о более чем 200 миллионах примечаний (источников) и найти самые популярные и достоверные источники.

В вышеупомянутой публикации, мы использовали разные способы нахождения и извлечения информации об источниках статей Википедии. Например, комплексное извлечение основывалось на исходном коде статей (вики-разметка). Наличие некоторых примечаний невозможно определить напрямую на основании исходного (вики) кода статей. Иногда информационные блоки или таблицы в статье Википедии представлены лишь как шаблоны (ссылки в коде, которые позволяют получить содержимое из других страниц Википедии). На рисунке показана такая ситуация на примере таблицы со ссылками в статье Википедии о пандемии коронавируса, которая была добавлена с использованием шаблона. В нашем комплексном подходе мы учитывали содержание таких шаблонов.

Следующий рисунок показывает наиболее часто используемые шаблоны в тегах "<ref>" в английской Википедии. Среди наиболее часто используемых шаблонов в языковых версиях этой Википедии: Cite web, Cite news, Cite book, Cite journal и другие.

Для русскоязычной Википедии среди наиболее популярных шаблонов можно встретить такие как: Статья, Книга, Публикация и др. Следующий рисунок иллюстрирует наиболее часто используемые шаблоны в тегах "<ref>" в русской Википедии.

Для других языковых разделов Википедии подобные рисунки можно найти в дополнительных материалах к научной статье.

Шаблоны с библиографической информацией

Некоторые часто используемые шаблоны в примечаниях подробно описывают источник могут содержать информацию об авторах, издателе, дате публикации и др. Например, для английской Википедии наиболее часто заполняемые параметры таких шаблонов представлены на рисунке:

Для русскоязычной Википедии аналогичные данные выглядят так:

Для других языковых разделов результаты подобных исследований можно найти на странице с дополнительными материалами.

После анализа таких шаблонов с библиографией мы можем найти, например, популярных издателей в английской Википедии. Учитывая более 18 миллионов таких шаблонов, которые имеют значение в параметре publisher (издатель) можно сгенерировать рисунок, который показывает наиболее часто используемых издателей в источниках в английской Википедии.

Некоторые из самых популярных шаблонов позволяют добавлять идентификаторы к источнику, такие как DOI, JSTOR, PMC, PMID, arXiv, ISBN, ISSN, OCLC и другие. Часто такие идентификаторы указывают на научный источник информации. Рисунок ниже показывает, какая часть примечаний в некоторых языковых разделах Википедии содержит информацию об источниках с идентификаторами DOI, ISBN, ISSN, PMID, PMC.

Результаты показывают, что наиболее часто используются идентификаторы ISBN и DOI. Однако в общей массе примечаний встречаются не чаще чем в 10% случаев. Важно отметить, что наблюдается постепенное увеличение доли ссылок на научные публикации.

Модели популярности и надежности источников Википедии

В нашем недавнем исследовании мы предложили десять моделей, связанных с популярностью и надежностью источников. В большинстве случаев источник означает сайт (домен или поддомен) из URL-адреса в примечаниях.

• Модель F - основанная на частоте (F) использования источника.

• Модель P - основана на совокупном количестве просмотров страниц (P) статьи, в которой появляется источник.

• Модель PR - основанная на совокупных просмотрах страниц (P) статьи, в которой появляется источник, разделенный на количество ссылок (R) в этой статье.

• Модель PL - основана на совокупном количестве просмотров страниц (P) статьи, в которой указан источник, разделенный на длину статьи (L).

• Модели Pm, PmR, PmL - это модифицированные версии со средним значением ежедневных просмотров страниц.

• В моделях A, AR, AL используется количество авторов.

Если говорить про математическую состовляющую, то для примера приведу формулу рассчёта для модели PR:

где:

• s - источник,

• n - номер по порядку рассматриваемой статьи Википедии,

• C(i) - общее количество примечаний (сносок) в i-той статье,

• Сs(i) - количество ссылок, использующих источник s (например, домен в URL) в i-той статье,

• V(i) - суммарное количество просмотров i-той статьи.

Более подробное описание моделей (в том числе математическую состовляющую) можно найти в научной публикации в журнале Information.

Рассмотрим модель F, которая показывает частоту использования источника, т.е. сколько ссылок содержит анализируемый домен в URL. Этот метод часто использовался в смежных научных работах. Здесь мы учитываем общее количество появлений такой ссылки, т.е. если один и тот же источник цитируется 3 раза, мы считаем частоту как 3.

Для английской Википедии наиболее часто используемые сайты в примечаниях представлены на рисунке ниже:

Если мы рассмотрим результаты оценки источников на основании модели PR, то лидеры в английской Википедии будут выглядеть немного иначе:

Для русской Википедии аналогичный рисунок с результатами подсчёта на основе модели F выглядит так:

Модель PR вносит свои корректировки лидерства источников для русскоязычной Википедии:

В дополнительных материалах к публикации можно найти более расширенные результаты для различных языковый версий с использованием модели F и модели PR.

Как видим в зависимости от модели оценки популярности и достоверности мы можем получить разные результаты для одного и того же источника. Исследования показали, насколько сильно могут отличатся оценки достоверности также в зависимости от языкового раздела. Ниже представлена сравнительная таблица позиций в рейтинге популярности и достоверности для четырёх источников: nytimes.com, spiegel.de, lemonde.fr, elpais.com. Каждый источник был оценен с точки зрения различных языковых разделов Википедии и разных моделей.

Если мы рассматриваем сайты (домены) как источники, то их количество достигает более миллиона. Часть результатов по оценке каждого источника Википедии размещена в проекте BestRef. Для каждого источника в данном проекте имеется отдельный профиль, где показаны результаты оценки с использованием различных моделей и в рамках каждого языкового раздела Википедии. Ниже приведён пример такого профиля.

Используя разные модели популярности и достоверности, мы можем оценивать не только домены, но и отдельные типы источников. Например, на основании расширенной библиографической информации из шаблонов в примечаниях мы оценили всех издателей в источниках английской Википедии. В таблице ниже представлены самые популярные и достоверные издатели с позициями в рейтинге в зависимости от модели.

Инструменты для оценки качества информации и достоверности источников в Википедии

Результаты некоторых исследований были внедрены в отдельные общедоступные проекты. Более того, существуют даже расширения для браузеров, которые позволяют исследовать качество статей Википедии и их источников на месте. Например, для исследования достоверности источников можно воспользоваться плагином BestRef для Chrome. Видео-презентация этого плагина:

Для оценки и сравнения качества и популярности статей Википедии можно использовать плагин ВикиРанк для Chrome и Firefox. Кратко, о том, как это работает, показано на этом видео.

Отдельно доступно расширение для оценки качества инфобоксов (информационных карточек) в браузере Chrome. На видео-презентации можно узнать, как это работает.

Что дальше?

Рассмотренные модели качества информации, популярности и достоверности источников могут помочь обогатить различные языковые версии Википедии и других баз знаний (таких как DBpedia, Викиданные) информацией более высокого качества. Некоторые из методов планируется интегрировать в проект GlobalFactSync (GFS). Цель проекта GFS - синхронизировать фактические данные во всех языковых разделах Википедии и Викиданных. Здесь фактические данные определяются как определенная порция информации, то есть значения данных, такие как географические координаты, население (города), даты рождения, химические формулы, участие в фильмах или место рождения, прикреплённые к объекту (в статье Википедия или элемент Викиданных) и в идеале со ссылкой на источник (происхождение этой информации).

Дополнительно, информация об оценке достоверности источников может помочь улучшить модели оценки качества статей в Википедии. Это может быть особенно полезно при сравнении несовпадающих фактов между языковыми версиями статей Википедии. Кроме того, одним из многообещающих направлений ближайших исследований является создание общедоступных инструментов, которые позволяли бы рекомендовать лучшие источники для отдельных утверждений и по выбранным темам в разных языковых разделах Википедии.

Предложенные в исследованиях модели не идеальны, и могут быть совершенствованы тут огромное поле для манёвров. Чем больше мы исследуем эту область, тем больше находим проблем и возможных способов их решения.

Если вас интересует эта тема - мы готовы рассмотреть сотрудничество в этом направлении. Вопросы и предложения можно оставлять на Хабре в комментариях или связаться другим способом.

Литература

• Lewoniewski, W., Wcel, K., Abramowicz, W. (2020). Modeling Popularity and Reliability of Sources in Multilingual Wikipedia. Information, 11(5), 263. doi: 10.3390/info11050263

• Lewoniewski, W., Wcel, K., Abramowicz, W. (2019). Multilingual ranking of Wikipedia articles with quality and popularity assessment in different topics. Computers, 8(3), 60. doi: 10.3390/computers8030060

• Lewoniewski, W. (2019). Measures for quality assessment of articles and infoboxes in multilingual Wikipedia. In International Conference on Business Information Systems (pp. 619-633). Springer, Cham. doi: 10.1007/978-3-030-04849-5_53

• Lewoniewski, W. (2018). The method of comparing and enriching information in multilingual wikis based on the analysis of their quality. PhD thesis

• Lewoniewski, W., Wcel, K., Abramowicz, W. (2017). Relative quality and popularity evaluation of multilingual Wikipedia articles. Informatics 2017, 4(4), 43. doi: 10.3390/informatics4040043

• Lewoniewski, W. (2017). Enrichment of information in multilingual Wikipedia based on quality analysis. In International Conference on Business Information Systems (pp. 216-227). Springer, Cham. doi: 10.1007/978-3-319-69023-0_19

• Lewoniewski, W., Wcel, K., Abramowicz, W. (2017). Analysis of references across Wikipedia languages. In International Conference on Information and Software Technologies (pp. 561-573). Springer, Cham. doi: 10.1007/978-3-319-67642-5_47

Хорошее разрешение достижимо

В интернете много публикаций о том, как используя DVD-R диск и смартфон можно собрать спектрометр, однако характеристики таких устройств не позволяют проводить точные измерения. Мне же удалось сделать прибор с разрешением 0,3 нм.

Основные характеристики

Спектрометр работает в диапазоне 400-700нм с разрешением 0,3 нм. Применяются сменные оптические щели шириной 50, 100, 200 и 300 микрон. Дифракционная решетка с шагом 740 нм изготовлена из DVD-R диска. Регистрация спектра выполняется зеркальной фотокамерой Nikon D5100. Прибор выполнен в крепком корпусе, позволяющем сохранять настройки при перемещениях.

Конструкция и изготовление прибора

Дифракционная решетка

Диск был расслоен на две половины и разрезан на части, которые после промывания спиртом были помещены в рамки. Дифракционная решетка готова.

Изготовление сменных оптических щелей

В дюралевой пластине сверлю отверстие диаметром 8 мм. Клеевым пистолетом закрепляю половинку лезвия безопасной бритвы, располагая режущую кромку по центру отверстия. Вставляю в отверстие щуп толщиной 50 мк, плотно прижимаю вторую половину лезвия и приклеиваю ее. Аналогично делаю щели 100 мк, 200 мк и 300 мк. Сменные оптические щели готовы.

Корпус спектрометра

Делаю деревянный корпус. Окрашиваю внутри и снаружи в черный цвет.

Оптика и регистрация спектра - фотоаппарат NIKON D5100

Примерно на 3000 пикселей матрицы приходится около 300 нм видимого спектра. Т.е. 1 пикселю соответствует 0.1 нм. Для надежной регистрации линии нам нужно два-три пикселя. Расчеты показывают, что для такого разрешения размеры оптической щели должны быть порядка 100 микрон. Было сделано несколько щелей для выбора лучшего варианта экспериментальным путем.

Чтобы получить такое разрешение необходим зеркальный фотоаппарат с хорошим объективом. Смартфон и веб-камера не подходят. Требуется большая апертура и ручные настройки. На данный момент на Авито можно приобрести подходящую камеру по цене от 5 до 10 тысяч рублей.

Настройка и калибровка спектрометра

Калибровка прибора проводилась перед каждой серией экспериментов по известному спектру компактной ртуть содержащей люминесцентной лампы.

Определение длины волны линий исследуемого спектра возможно без специального программного обеспечения. Ниже спектр лампы с линиями ртути 435,8 нм, 546,0 нм, 577,0 нм и 579,1 нм. Линия 611 это уже Европий.

Расстояние между линиями 2, 1 нм. Половина ширины линии на кадре не более 0,3 нм, что соответствует примерно 3пикселям матрицы. Делаем вывод разрешение прибора 0,3 нм. Что в дальнейшем подтвердится съемкой двойной линии натрия.

Для построения спектральных кривых можно использовать программу сайта Spectral Workbench

Измерение различных спектров

Были проведены несколько классических экспериментов.

Самый интересный эксперимент, ради которого и был изготовлен спектрометр - измерение спектра пламени костра

На фоне непрерывного спектра была зарегестрированна яркая линия, которую я назвал линией огня.

Обработка результата

Совмещаем спектр калибровочной лампы и исследуемый спектр на одном кадре. Зная расположение известных линий ртути, можно определить искомую длину волны, путем замеров и последующих расчетов.

Что это за линия и как она возникает - читайте в моей статье "Спектральный анализ пламени костра. Что делает огонь желтым наночастицы углерода или соли натрия?"

http://personeltest.ru/aways/habr.com/ru/post/545710/

Полезные ссылки:

1. Сайт Spectral Workbench. Используя программы на сайте можно обрабатывать спектры и получать графики интенсивности в зависимости от длины волны.

https://spectralworkbench.org

2. Информационная система Электронная структура атомов. Очень удобный русскоязычный ресурс по спектральным данным атомов и ионов.

http://grotrian.nsu.ru/ru/periodictable/

Иногда я пишу научные статьи. Но перед Новым годом хочется немного отвлечься от звериной серьёзности науки. Значит, можно написать несерьёзную и не совсем научную! Но основанную на данных и их статистическом анализе, с графиками и воспроизводимыми результатами.

Введение

В конце года Яндекс-музыка подводит итоги: самые популярные песни, альбомы и исполнители. Я открыл итоги за 2020-й и понял, что у меня специфические вкусы: на 100 треков одно совпадение. Впрочем, чему я удивляюсь? И так понятно, что мой любимый жанр A, мои любимые группы B и C, а вот эти все D, E, F, G, H я как-то не очень принимаю. Но хорошо ли я разбираюсь в своих музыкальных вкусах? Не помню даже, что я делал в начале года, а уж какая музыка мне тогда нравилась и подавно К счастью, есть количественные методы, которые помогут пролить свет на загадки моих предпочтений в музыке.

Яндекс-музыка сделала не только общие, но и личные итоги. У меня появился плейлист Мой 2020. В нём 50 треков. Можно проанализировать его статистически и посмотреть, каких исполнителей и жанров там больше всего, когда вышли песни, на каком языке написаны тексты и какие слова в них наиболее часто встречаются.

Данные и методы

Сначала нужно собрать данные. Я перенёс в таблицу порядковые номера в плейлисте, названия треков и исполнителей, потом зашёл на страницу каждого трека и выписал жанр. С годом выхода пришлось повозиться: некоторые старые песни идут в переизданиях, поэтому уточнял по Википедии. С языком, наоборот, всё сразу понятно. Ещё я сделал колонку с текстом: его тоже можно проанализировать. Для трёх песен на финском текста не нашёл оставил поля пустыми. Если бы песен было не 50, а 500, то сбор данных пришлось бы автоматизировать, а так справился вручную. Таблица в итоге выглядит примерно так.

Теперь берём эту таблицу и анализируем. Вот только как лучше всего это сделать?

Самый простой вариант посчитать как есть. Надо сказать, такой способ тоже даёт некоторые результаты. Например, в плейлисте 27 исполнителей в среднем получается 1,9 треков на каждого. Что ж, относительное разнообразие. При этом на исполнителя приходится либо одна песня (таких 15), либо три (таких 11), и только у одной группы в плейлисте две песни. Кроме того, можно сделать вывод, что больше всего песен на английском 32. На немецком 8, на русском 7, и ещё есть 3 песни на финском.

Но есть тонкость. Мы считаем песни так, как будто они равнозначны. А на самом деле у нас плейлист, в котором песни идут в определённом порядке. Я не знаю, почему они расположены именно так. Легче всего предположить, будто это топ-50 самых прослушиваемых треков за год. Но вряд ли: в плейлисте есть песни, которые я включал раз-другой, но нет тех, которые играли каждый день в течение месяца. Похоже, что Яндекс собирал плейлист по хитрому алгоритму, где порядковый номер песни зависит не только от количества прослушиваний. А может быть, количество прослушиваний вовсе не имеет значения. Но так или иначе, я полагаю, что песни в плейлисте идут от самых важных к менее важным, пусть даже эта важность определяется непонятно как. Следовательно, песни не равнозначны, и неравнозначность нужно учитывать.

Как сделать поправку на то, что одни песни важнее других? Добавить веса. Проще говоря, написать рядом с каждой песней число, которое характеризует её важность. Например, если есть две песни с весами 2 и 3 и одна песня с весом 7, то одна песня перевесит две остальные, потому что её вес (7) больше, чем суммарный вес двух других (5).

Подобрать веса можно по-разному. Я перепробовал кучу вариантов.

В итоге остановился на таком.

Это логистическая функция. По-моему, такой график лучше всего характеризует субъективную важность песен: в начале у всех примерно одинаковый и большой вес, потом в какой-то момент важность начинает резко уменьшаться, а в конце плейлиста вес снова примерно одинаковый, но уже небольшой. Вес первой песни почти единица, последней почти ноль, средней ровно 0,5.

Теперь, когда мы расставили веса, переходим к нормальному анализу.

Результаты

Начнём с исполнителей. Если помните, у первых трёх песен в таблице с данными исполнители шли в таком порядке: Lindemann, Lordi, Imagine Dragons. Как думаете, кто три первые исполнителя по суммарному весу песен?

Правильный ответ: Lindemann, Lordi и Imagine Dragons. Ещё Rammstein очень близко, но всё же на четвёртом месте. Sampsa Astala, который на пятом месте, выглядит как мой личный прорыв года, потому что у него всего-то 16 песен вообще, и первую из них я послушал полтора месяца назад а он за эти полтора месяца забрался аж на пятое место.

Переходим к жанрам. Тут Industrial & Rock Hallelujah, а возможно, и Hard Rock Hallelujah.

Я понимаю, что с жанрами, наверное, не всё идеально. Иностранной рок и поп меня смущают не слишком ли общие названия? Но сам я плохо разбираюсь в жанрах, поэтому оставил так, как на Яндекс-музыке.

О языках я уже говорил, но любопытно посмотреть, влияют ли веса. И они влияют!

Английский остался на первом месте, но обратите внимание на двукратный разрыв между немецким и русским: по количеству песен они различаются всего на единицу, но веса изменили это соотношение. Финский почти сравнялся с русским, хотя песен на финском только три, а на русском целых семь.

Наконец, нарисуем график с годами выхода песен.

Я нарисовал две линии: тонкую без сглаживания, жирную со сглаживанием. Без сглаживания слишком много острых пиков со сглаживанием хронологию видно лучше. Мне немного напомнило схему волны цунами: в океане она невысокая, потом к берегу растёт.

Интересно тогда, где там в прошлом лежит эпицентр землетрясения, которое породило эту волну? В 60-х? В джазе? (Я догадываюсь, какой должен быть ответ, но не скажу.)

На первый взгляд, это все результаты, которые можно было выжать из моего небольшого набора данных. Хотя нет, есть ещё тексты. С текстами можно сделать как минимум одну забавную штуку: посмотреть, какие слова встречаются чаще всего.

Я не анализировал тексты на русском и немецком, потому что их мало. Ну ладно, если совсем честно, то я их проанализировал и понял, что результат искажённый. По-русски самое частое слово внутри, потому что Distemper поёт: Ты настоящий лишь внутри, внутри, внутри. В немецких текстах на первом месте Moskau благодаря Чингисхану, а на втором allesfresser из одноимённой песни Lindemann. Песен на английском 32, поэтому результаты должны меньше зависеть от слов, которые повторяются в отдельных песнях.

Отмечу две технические подробности анализа. Во-первых, слова приводятся к начальной форме. Это нужно, чтобы посчитать listen, listens, listened и listening как одно слово listen. Во-вторых, из текстов удаляются стоп-слова те, которые встречаются чаще всего и не несут большого смысла, например: I, he, is, a, the.

Я считал по-разному: сначала просто количество слов, потом tf-idf. Tf-idf значит term frequency / inversed document frequency. Это тоже способ расставить веса, только не песням, а словам. Некоторые слова часто встречаются не только в тексте данной песни они вообще часто используются. А некоторые слова встречаются редко, но и сами по себе редко используются. Tf-idf позволяет придать больший вес тем словам, которые редко используются, но важны для конкретного текста. Ещё, пожалуй, можно было бы использовать веса песен: у слова из песни, которая на втором месте, вес больше, чем у слова из пятнадцатой песни. Однако, по-моему, так слишком легко запутаться. И вообще не факт, что важность слова зависит от важности песни: некоторые ценные фразы есть в песнях из последней десятки.

Словом, в итоге я просто нашёл самые частые слова в текстах песен и нарисовал их в виде облака слов.

Результат анализа текстов оказался несколько неожиданным для меня. Ладно Lindemann, индастриал и английский язык, но я ни за что бы не подумал, что слова heart, take и feel будут самыми частыми. Может, надо было всё-таки с tf-idf считать? Там head и heart окажутся в начале. А потом языковая экзотика в виде слова countdown из The Final Countdown, а ещё zombie из одноимённой песни The Cranberries В общем, лучше без tf-idf.

Выводы

1. Мои представления о собственных музыкальных вкусах несколько отличаются от моих музыкальных вкусов на самом деле. Ну, или как минимум от того, что я слушал в течение 2020 года.

2. Группа года Lindemann, жанр года индастриал, песня года Allesfresser.

3. Чаще всего я слушаю песни на английском, хотя и песнями на других языках не брезгую.

4. Более новые песни для меня в целом важнее, чем вышедшие давно, но и в истории музыки для меня есть несколько значимых периодов.

Вообще же нужно учитывать подводные камни. Об одном я уже говорил: непонятно, как Яндекс-музыка делала мой плейлист 2020. Может быть, там всё намешано непонятно как, потому что составляла Могучая нейросеть по критериям, которые неизвестны даже разработчикам Яндекса. Второй нюанс: нужно смотреть статистику не только по Яндексу, но ещё и по ВКонтакте и чуть-чуть по Ютуб-музыке.

Цифр по ВКонтакте у меня нет, но навскидку там должно быть много Lordi и Sampsa Astala, а Lindemann, наоборот, меньше. Разрыв между Lindemann и Lordi небольшой, и к тому же Lindemann это в некотором смысле продолжение Rammstein, а их я начал слушать в 2019, а Lordi находка исключительно 2020-го, потому что до середины 2020-го я был уверен, что кого-кого, а этих не буду слушать никогда. На второе место Lordi вышли всего-то за полгода, а если экстраполировать на год Словом, выводы нужно скорректировать: группой 2020 года у меня становятся вот эти натуральные чудовища.

Ну ладно не такие уж и чудовища на самом деле.

Будет интересно сравнить, когда Яндекс-музыка пришлёт письмо с итогами 2020 года: они там обычно пишут, какая у тебя любимая группа и песня, а ещё сколько ты всего за год музыки слушал.

Направления дальнейших исследований

1. Использовать больше методов анализа текста. Облако слов неплохо выглядит, но есть куда более продвинутые приёмы: тематическое моделирование и анализ тональности. Первый расскажет, о чём песни, а второй об их настроении. К сожалению, я пока этими методами не владею. А ещё боюсь, что они не справятся с переносным смыслом и отправят Fish On в охоту и рыболовство, а AUSLNDER в туризм и путешествия.

2. Сравнить себя с друзьями.

3. Уговорить ВК и Яндекс сделать общедоступный АПИ, чтобы выкачать всю свою статистику и провести исследование на полном наборе данных. Вряд ли получится, к сожалению.

4. Зарегистрироваться на Last.fm, чтобы не изобретать велосипед.

Напоследок: как и положено количественному воспроизводимому исследованию, все данные и код лежат у меня на Гитхабе. Кроме того, картинка на обложке это тоже график, сделанный с помощью ggplot2.

"Моей вдове"

Дорогая, любимая. Мне непросто писать из-за холода 70 градусов ниже ноля и только палатка защищает Мы оказались в тупике, и я не уверен, что мы справимся. Во время короткого завтрака я пользуюсь небольшой толикой тепла, чтобы написать письма, готовясь к возможной кончине. Если с мной что-то случится, я бы хотел, чтобы ты знала, как много ты значила для меня. Заинтересуй сына естественными науками, если сможешь. О, моя дорогая, моя дорогая, как я мечтал о его будущем. И все же, моя девочка, я знаю, что ты справишься. Ваши портреты найдут у меня на груди. Я мог бы многое рассказать тебе об этом путешествии. Какие истории ты смогла бы поведать нашему мальчику, но, ох, какой ценой. Лишиться возможности увидеть твое милое, милое лицо. Я думаю, что шансов нет. Мы решили не убивать себя, и бороться до конца, чтобы добраться до лагеря. Смерть в борьбе безболезненна, так что не волнуйся за меня.

Это знаменитое письмо написал в Антарктиде замерзающий Роберт Скотт в конце марта 1912 года. 17 января 1912 года, в ходе второй антарктической экспедиции под названием Терра Нова, Скотту и горстке его соратников (Эдгару Эвансу, Лоуренсу Отсу, Эдварду Уилсону и Генри Боуэрсу) удалось достичь Южного Полюса, где они обнаружили норвежский флаг и множество собачьих следов (14 декабря 1911 года к полюсу пришла группа Руаля Амундсена, в которой кроме Амундсена были Оскар Вистинг, Хелмер Хансен, Сверре Хассель, Олаф Бьяланд).

Соперничество Амундсена и Скотта, фамилии которых теперь навечно сцеплены дефисом в названии американской антарктической станции Амундсен-Скотт прямо на Южном Полюсе это редкостной выразительности пример, демонстрирующий сокрушительную победу эффективного менеджера над прекраснодушным героем. Амундсен (которого завистники звали Рекламундсен) продумал свою экспедицию до таких мелочей как закупка варежек. Его палатки не продувались, так как были оснащены ультрасовременными застежками-молниями (которые, кстати, на антарктическом морозе иногда так замерзали, что из палатки было невозможно выбраться без ножа, либо молнию приходилось отогревать снаружи). Расходуя груз и провиант, Амундсен методично расстреливал ездовых собак, оставляя ровно столько, сколько нужно было, чтобы тащить полегчавшие сани, скармливая убитых собак живым. Он называл ледники в честь своих спонсоров и за всю экспедицию не потерял ни одного человека.

Скотт при движении на юг также оставлял базовые лагеря с топливом и провиантом для обратного пути. Были там и запасы керосина в канистрах, запаянных оловом. На свою беду полярники не учли феномена оловянной чумы.

Аллотропия

Для химических элементов характерны так называемые аллотропные изменения (модификации). В зависимости от условий окружающей среды физические свойства элемента, а также его наблюдаемое состояние, могут сильно меняться. Это связано с переупорядочиванием атомов и, следовательно, с изменением силы связей между ними.

Рассмотрим три характерных примера аллотропной модификации:

Озон и кислород

Обе этих молекулы состоят из атомов кислорода, но плотность озона в 1,5 раза больше, чем у кислорода, и химическая активность также выше. Например, возможна прямая реакция озона с серебром, которая между кислородом и серебром происходить не будет:

6Ag+O₃=3Ag₂O

Кислород жизненно необходим для человека, а озон в больших концентрациях вреден, хотя, в малых полезен. Озон обладает сильным приятным запахом, а кислород нет.

Графит и алмаз

Как известно, алмаз имеет максимальную твердость по шкале Мооса (10), а графит минимальную (1). Из иллюстрации понятно, что связи между атомами углерода в горизонтальных слоях графита остаются сильными, а в вертикальном разрезе очень слабые, благодаря чему графит снимается послойно, и им удобно писать.

Белый и красный фосфор

Температура плавления красного фосфора составляет 600 C, тогда как температура плавления белого всего 44 C. При этом красный фосфор не воспламеняется до 250 C, а белый фосфор воспламеняется уже при 45 C, а при трении и при более низких температурах.

Таким образом, поразительные отличия разных аллотропных модификаций у фосфора и углерода связаны с тем, что кристаллическая решетка этих элементов может упорядочиваться принципиально разным образом. Фосфор и углерод находятся в центральной части своих периодов в таблице Менделеева, однако являются полноценными неметаллами, будучи расположены в правом верхнем углу таблицы, где сосредоточены элементы с неметаллическими свойствами:

Здесь желтым цветом обозначены неметаллы, зеленым переходные металлы, розово-желтым полуметаллы. И также есть олово, которое, в отличие от сурьмы и германия, правильнее считать полноценным металлом. Но оно находится на три периода ниже углерода, поэтому тоже проявляет ярко выраженные аллотропные свойства.

Оловянная чума

Белое олово это типичный металл, напоминающий свинец, но легче и тверже. Олово известно с глубокой древности и входит в состав бронзы одного из первых сплавов, изобретенным человеком (олово + медь). Как олово, так и медь достаточно мягкие и легкоплавкие металлы, а бронза гораздо прочнее, благодаря чему отлично подошла для изготовления оружия, посуды и инструментов, дав начало Бронзовому Веку. Тем не менее, белое олово существует в достаточно узком температурном режиме, между 161 и 13,2 C. При более низких температурах олово начинает спонтанно переходить в серую аллотропную форму, напоминающую порошок или даже пыль. Максимальной интенсивности этот процесс достигает примерно при -39 C, и от металлического олова ничего не остается.

Наиболее опасной чертой такой аллотропной модификации олова является заразность. Серое олово при контакте превращает белое олово в серое, если температура остается достаточно низкой. Так, принесенная с мороза оловянная миска, поставленная в шкаф в неотапливаемом помещении, может заразить всю остальную оловянную посуду.

Очень странно, что Роберт Скотт не учел этого обстоятельства ведь оловянная чума известна давно; есть даже предположение, что именно из-за оловянной чумы, поразившей пуговицы наполеоновской армии в ходе отступления из Москвы, французы оказались в особенно незавидном положении.

Оказывается, что оловянная чума характерна только для химически чистого олова, для защиты от нее достаточно правильно подобрать сплав на основе олова. Например, в наше время широко известен сплав пьютер, предметы из которого были найдены даже в раскопках древнеегипетского культурного слоя. Наиболее качественный пьютер состоит из 95% олова, 2% меди и 3% сурьмы. Именно из такого сплава выполнена статуэтка Оскар.

Поразительно, но в недавнем прошлом для оловянной чумы нашлось практическое применение, связанное с очисткой лабораторной и промышленной оптики от капелек олова. Капельки чистейшего олова используются в качестве мишеней для плазмы, которая применяется для получения глубокого ультрафиолета, а глубокий ультрафиолет для вытравливания микросхем. При этом для сборки ультрафиолета в действующий луч используется тончайшая оптика, которая быстро тускнеет, так как на ней конденсируется олово. Оказалось, что именно обработка оптики серым оловом позволяет полностью очистить стекло, не оставив на нем ни малейших царапин. В результате срок службы такого собирающего зеркала значительно увеличивается.

Но оловянная чума лишь наиболее известная аллотропная болезнь металла. Есть и значительно более экзотические и не менее опасные метаморфозы, о которых я также хочу здесь рассказать.

Цинковая чума

Это явление во многом подобно оловянной чуме и изучено гораздо хуже. Впервые описано примерно в 1920-е годы в среде мастеров и коллекционеров, увлекающихся миниатюрными моделями машин. В чистом виде цинк в производстве практически не используется, а в промышленности применяется как основа сплава цамак, содержащего также алюминий, магний и медь. Цамак был разработан в США в 1929 году, в СССР и России более употребительно название ЦАМ (цинк, алюминий, медь). Правильное соотношение металлов в ЦАМ: цинк 95%, алюминий 4%, медь 1%.

Чума, подобная оловянной, поражает такой сплав не просто при изменении физических условий, но и, по-видимому, неизбежно, если доли металлов в ЦАМ отмерены неправильно. Цинковая чума начинается с характерных вздутий на поверхности металла.

Затем микроструктурные изменения проникают в глубину металла, и он крошится.

Прямая аналогия таких повреждений с оловянной чумой не доказана, хотя, по данным частных экспериментов, прочность металлических моделей после замораживания действительно падает в разы. Согласно другой версии (изложенной здесь, где показаны фотографии с последовательной деградацией модели), ЦАМ заболевает чумой, если в его составе оказывается хотя бы минимальное количество олова или свинца. Если бы эта версия подтвердилась, то означала бы, что оловянная чума заразна даже для цинка, являющегося переходным металлом.

Чаще цинковую чуму связывают с технологическим браком при производстве. Например, в сплаве может быть слишком велика доля алюминия, как в китайских моделях, либо в него могут попадать примеси никеля или сурьмы. То есть, такой сплав уже нельзя считать ЦАМ.

До недавнего времени цинковая чума считалась неизлечимой. Действительно, вздутия на моделях практически необратимы, но болезнь можно затормозить, заливая микротрещины эпоксидной смолой. До сих пор неизвестно, является ли цинковая чума физико-химическим заболеванием или просто заводским браком, поэтому мне были бы интересны подробные исследования или новости на эту тему, если Хабр их подскажет.

Пурпурная чума

Такое название получила еще одна болезнь металлов, заражение золота алюминием. Проблема была обнаружена в 1970-е годы в США, когда в радиолокационном оборудовании стали применяться СВЧ-транзисторы с алюминиевыми проводниками. При прохождении сильного тока алюминий разогревался, затем, остывая, сжимался, проводник деформировался, транзистор выходил из строя. Чтобы справиться с этой проблемой, проводники стали делать из золота, но подложка транзистора могла по-прежнему содержать алюминий. Тогда оказалось, что при сильном нагревании на стыке золота и алюминия между ними образуется сразу несколько интерметаллических соединений, одно другого пагубнее.

Основной недостаток таких сплавов хрупкость и низкая прочность. Контакт просто отламывается от транзистора. Наиболее распространенное соединение золота и алюминия AuAl₂, где золото составляет по массе примерно 78,5%, а алюминий 21,5%. Это соединение имеет яркий фиолетовый цвет, почему и получило название пурпурная чума.

Пурпурная чума возникает при температурах свыше 1000 C, то есть, близко к температуре плавления золота (1064 C). Пурпурная чума образуется неравномерно, поэтому конструкция долго сохраняет механическую плотность, пока не станет слишком поздно. Но уже при остывании до 624 C пурпурная чума сменяется коричневой, гораздо более хрупким соединением Au₂Al. А при температурах 100 C и ниже начинается диффузия: слои с содержанием алюминия начинают проникать вглубь золота, и пурпурная чума охватывает весь образец, а не только стык (это явление называется эффект Киркендалла). При этом уменьшается общий объем вещества, и разрушительное воздействие пурпурной чумы становится фатальным.

Опять же, эта болезнь устраняется достаточно легко: проводник нужно легировать, достаточно 1% платины или палладия.

Интересно, что и пурпурная чума нашла своих ценителей. Соединения золота и алюминия эстетично выглядят, а интерметаллид AuAl₂ даже был получен ювелирами в 1930 году и запатентован под названием аметистовое золото. Уже тогда было замечено, что этот сплав очень хрупкий, поэтому его нельзя ковать или вытягивать, но можно осторожно гранить и оправлять как драгоценные камни. Открыв пурпурную чуму, ювелиры продолжили эксперименты, легируя золото, в частности, галлием и индием. Получались сплавы, близкие по свойствам к золоту, но тяготеющие по цвету к синей части спектра, также очень красивые.

Вместо заключения

Процессы, рассмотренные в статье, можно считать специфическими случаями коррозии. Пример истинной коррозии, напоминающий металлическую чуму это образование дикой патины. В отличие от ровной и плотной благородной патины, которая возникает при медленном окислении меди на воздухе, дикая патина является рыхлой, поэтому не только разрушается вместе с поверхностным слоем медного изделия, но и проникает внутрь него, заражая металл ионами хлора. В Санкт-Петербурге, где атмосфера в конце XX века стала гораздо агрессивнее из-за выхлопных газов, усугубивших высокую влажность, дикая патина серьезно поразила скульптуры Укрощение коня на Аничковом Мосту.

Чтобы продлить жизнь этих скульптур, их пришлось искусственно покрывать очень тонким слоем закиси меди, имитирующей благородную патину. Возможно, она позволит продлить жизнь этим красавцам.

Вышеизложенный экскурс при всей пестроте приведенных примеров был подготовлен, чтобы продемонстрировать, насколько больно бывает учиться на ошибках. Я не симпатизирую Скотту, который при всей отваге и силе духа последовательно действовал как карьерист и увел с собой в могилу еще нескольких людей, при этом вдохновив своим примером целое поколение полярников. Но мне кажется очень странной гримасой судьбы, что смерть Скотта, напрасная с точки зрения географического подвижничества, могла настолько подстегнуть развитие металлургии и химии металлов, именно в силу своей нелепости и неизбежности.

Введение

Я только начинаю путешествие в сферу обратного проектирования интегральных схем (ICRE), но меня уже совершенно обуяла страсть к данной отрасли. Кроме компьютерных и электротехнических аспектов ICRE, для работы в этой сфере нужны обширные знания по физике и химии. Поначалу химическая составляющая меня пугала, поскольку химию я почти не знал. Не говоря уже о том, как опасна работа с продуктами, необходимыми для вскрытия (декапсуляции) и послойного препарирования чипов.

Верите ли, я готовился около 2 лет, прежде чем реально инвестировать в лабораторию. Я не хотел переходить к первому эксперименту, пока не приобрету все оборудование, нужное для безопасной работы, и не приму необходимые меры предосторожности. Общеизвестно первое правило химии: во всех ситуациях кроме нештатных на каждом шаге необходимо знать, что делать дальше. Однако, я человек настолько увлекающийся, что, если я вижу цель, ничто не может заставить меня свернуть с пути к ней.

Подготовка

Первым делом мне требовалось разобраться в целой совокупности весьма дорогих вещей и растворителей, которые требовалось купить. Вот список оборудования и расходников, которые я купил.

Почему мне понадобился именно металлургический микроскоп, а не стереомикроскоп или не составной микроскоп? Потому что у большинства микроскопов подсветка снизу, и свет отражается от двухкоординатной пластины, а с ИС так работать нельзя, поскольку они не двусторонние. Рассматриваемые слои кристалла нужно правильно освещать, чтобы свет как следует отражался в направлении сверху вниз. В металлургических микроскопах используется так называемое наблюдение в отраженном свете (EPI illumination), уникальный тип освещения, также именуемого эпифлуоресцентным. Решение позволяет не только освещать объект ИС/образец; более того, объектив микроскопа собирает свет, отражающийся от поверхности образца.

Остальное вполне понятно без объяснения. Чтобы как следует извлечь ИС из ее эпоксидной упаковки, мало обработать упаковку кислотой при комнатной температуре так всю смолу удалить не удастся. Некоторые другие закупленные мной материалы, перечисленные в списке это вполне стандартные лабораторные исходники, которые понадобятся вам для работы с химикатами. Что касается химикатов как таковых, я расскажу обо всех используемых кислотах, основаниях и окислителях, по мере того, как буду описывать ход экспериментов.

Выбор лабораторного образца

Забавно, что когда я впервые вскрыл CH340Gиз платы Arduino Nano v3, я даже не подозревал, что наткнусь на целую секцию ПЗУ, прежде, чем приступлю к послойному препарированию. Как правило, берясь за проект с ПЗУ, нужно весьма хорошо понимать выбранный образец, в частности, познакомиться с его архитектурой и процессором, почитав даташиты. К счастью, у меня все вышло иначе, почему к счастью расскажу дальше, читайте.

Я взялся за распайку интегральных схем с платы Arduino прежде всего потому, что это была первая разработочная плата, которую я освоил в ходе моих упражнений по части безопасности встраиваемых систем. Следовательно, заключил я, можно будет знатно поностальгировать, бросив пару столь любимых мною чипов в жаркую дымящую серную кислоту. Честно говоря, я очень надеялся, что в ATmega328P, с которой я проводил мои первые эксперименты, найдется какое-нибудь ПЗУ, но, после многократных попыток разобрать ее по слоям при помощи плавиковой кислоты, я нашел только ЭСППЗУ, статическую память с произвольным доступом и флэш-память.

Добравшись еще ниже, до поликремниевого слоя этого чипа (SiO/ оксид кремния), действительно начинаешь обнаруживать весьма интересные секции чипа, но ни из одной из них не представлялось возможным извлечь прошивку теми инструментами, что были у меня в распоряжении.

Примечание:если вы хотите посмотреть эту картинку в высоком разрешении, перейдите по следующей ссылке на личную страницу автора: siliconpr0n.

Сравнение флэш-памяти и ПЗУ. Как они выглядят под микроскопом

Возможно, вас интересует, а почему нельзя попросту считывать данные из сегментов флэш-памяти при помощи металлургического микроскопа, как это делалось бы с ПЗУ? Для начала давайте обсудим разницу. Масочное ПЗУ (MROM) содержит код прошивки, записываемый в кремниевую основу чипа на этапе конструирования в процессе производства полупроводника. МПЗУ производится путем расстановки транзисторов еще до начала процесса фотолитографии. Под микроскопом они могут весьма отличаться друг от друга:

Это просто два отдельных примера, позволяющих оценить, как может выглядеть транзистор МПЗУ на уровне подложки. В таких транзисторах может применяться либо материал n-типа с высокой концентрацией электронов, допированный атомом фосфора, либо материал p-типа, допированный атомом бора и отличающийся более низкой концентрацией электронов.

С другой стороны, флэш-память устроена сложнее. 1 транзистор != 1 бит. Причина, по которой сканирующий электронный микроскоп требуется для вытягивания бит из памяти типа ЭСППЗУ в том, что во флэш-памяти используется система карманов, в которых можно запасать остаточные электроны от пропускаемого тока, независимо от того, идет ли ток через схему в настоящий момент. Соответственно, такая память считается энергонезависимой. Во флэш-транзисторе четыре основные части: источник, сток и два затвора, которые называются плавающим и управляющим[1][2], а также изолирующий материал, отделяющий три остальные части друг от друга. По форме вся структура напоминает перевернутую букву Т, причем, в нижней части транзистора располагаются источник и сток, а в верхней части затворы, причем, управляющий затвор находится выше плавающего. Затворы заключены в оксидные слои, через которые ток, как правило, не проникает.

Отрицательно заряженные электроны находятся в состоянии готовности, будучи в источнике (то место, откуда проистекает электрический ток) и стоке (куда сбрасывается электрический ток), это связано с типом кремния, используемого для конструирования этих фрагментов транзисторного материала.

Однако, сток не работает ожидаемым образом, поскольку между источником и стоком в транзисторе присутствует материал-изолятор, в котором мало электронов. При нагнетании положительного напряжения на электрические контакты на стоке и затворах, отрицательно заряженные электроны притягиваются к положительно заряженным электронам и так преодолевают сток. Немногочисленные электроны подтягиваются в плавающий затвор через оксидные слои в ходе процесса, именуемого квантовым туннелированием. Электроны, попавшие в плавающий затвор и застрявшие там, не могут прорваться обратно через оксидные слои и останутся в плавающем затворе неопределенно долго. Флэш-транзисторы с запасенными электронами расположены параллельно транзисторам ОЗУ, через которые идет ток. Для разделения электронов отрицательное напряжение регистрируется на электрическом контакте над плавающим затвором, это приводит к отталкиванию электронов от плавающего затвора.

Примерно так будет выглядеть флэш-транзистор на уровне поликремниевого слоя под металлургическим микроскопом. Вы не увидите никаких зарядов, проходящих через плавающий затвор транзистора, так как такой микроскоп не может просканировать пучок электронов над поверхностью и дать картинку, а вот сканирующий электронный микроскоп (СЭМ) мог бы. Рассматривая изображения, полученные при помощи СЭМ, можно увидеть, как пучок электронов взаимодействует с поверхностью интегральной схемы и производит многочисленные сигналы, при помощи которых можно получать информацию о топографии и составе поверхности.

Как считываются биты

Причина, по которой под металлургическим микроскопом различимы отдельные биты (единицы и нули) в том, что биты физически закодированы в кристалле. Как показано в статье Кена ШириффаExtracting ROM Constants, биты программируются в МПЗУ путем изменения паттерна допирования кремния, создания транзисторов или оставления изолирующих участков. В примере Кена, если в строке присутствует транзистор, то можно предположить, что это транзистор в 1 бит. Как правило, строка в МПЗУ NOR (чтение быстрее, запись медленнее) будет содержать два транзистора, уложенных друг на друга, верхний и нижний, как показано на следующем рисунке.

В ПЗУ обычно используются мультиплексоры для выбора бит по столбцу и по строке. При использовании 16-битного MUX будет 4 линии выбора, которые можно активировать. Для ПЗУ, которое я собираюсь показать, каждая линия выбора может перевести транзисторы в состояние напряжения HIGH, если будет активирована. Если в заданной позиции (столбец и строка) транзистор отсутствует, то выходная линия окажется в состоянии напряжения LOW.

Примечание:В нашем случае с CH340G МПЗУ будет выглядеть совершенно иначе, нежели на картинках, показанных выше.

Подготовка образца

В случае Arduino Nano, CH340G всегда находится снизу печатной платы. Я вооружился тепловым пистолетом для отпайки и под температурой около 200C обработал пины интересовавшего меня чипа микросхемы. Таким образом припой снимается с узлов и расплавляется, что позволяет безопасно снять чип с платы.

Когда образец готов, можно переходить к следующему этапу проекта, вскрытию. На данном этапе полностью удаляется черная эпоксидная оболочка, внутри которой заключен кремниевый кристалл.

Химические реакции при вскрытии

Теперь требуется проявлять исключительную осторожность, поскольку крайне опасно работать с очень едкими кислотами. Возьмем стеклянную пипетку (поскольку стекло не реагирует сHSO) и наберем в нее около 20 мл 98% концентрированной серной кислоты из контейнера и нальем ее в 100-мл химический стакан. Можно бросить наш образец в кислоту, взяв его щипчиками, а потом поставить стакан на нагревательную плитку.

Рекомендую температуру не менее 170C, а не 150C, как показано выше, поскольку плитка никогда не показывает температуру абсолютно точно. Такой сильный жар нужен, поскольку при комнатной температуре HSOокисляет эпоксидную смолу очень медленно. Нагревая образец, можно ускорить эту реакцию. На крайней справа картинке видно, как жидкость начинает приобретать желтоватый цвет, и это просто отлично. Это означает, что реакция пошла, и эпоксидная смола начинает плавиться.

Если вам интересно, зачем стакан прикрыт стеклянной крышкой объясню, на то есть две причины:

1. Так в стакане лучше удерживаются испарения, поднимающиеся из горячей серной кислоты. На данном этапе у вас в вытяжном шкафу уже должен работать экстрактор дыма.

2. Потенциально крышка может поспособствовать частичной рециркуляции паров диоксида серы (SO), что, в свою очередь, будет поддерживать высокую концентрацию кислоты. Если концентрация кислоты чрезмерно снизится, то возрастет вероятность коррозии. Я не вполне в этом уверен, поэтому смело пингуйте меня, если я не прав. Знаю, что такой подход хорош при работе с азотной кислотой (HNO), поскольку пары диоксида азота (NO) при рециркуляции могут превращаться обратно вHNOв присутствии воды.

Большой вопрос как долго это должно продолжаться? Зависит от толщины чипа; в данном конкретном случае, согласно даташиту, мы имеем дело с корпусом кристалла SOP-16, толщина которого составляет около 1,50 мм. При приблизительно такой толщине и температуре весь процесс должен занять около часа.

Еще один верный признак, что стоит остановиться когда весь стакан заполнится таким черным осадком; это должно означать, что вся эпоксидная смола сошла с кристалла. В таком случае нужно снять образец с плитки и дать ему остыть.

Примечание: как только вы снимете крышку со стакана, оттуда сильно попрут парыSO, поэтому убедитесь, что дымовые заслонки как следует закрыты, надежно удалите все эти токсичные пары через вакуумный отсос. Хороший пример, позволяющий оценить, как идет эта реакция повторить подобный опыт с полиэтиленом ((CH)), который обычно входит в состав эпоксидного пластика. По мере того, как серная кислота разогревает эпоксидную смолу, HSOразлагается наSO,CO иHO. Вот химическое уравнение с коэффициентами:6HSO + (CH) 6SO +2CO +8HO. Точка кипения такой кислоты составляет около 337C, именно в таких условиях обычно и получают азеотропную серную кислоту. Если взять серу (S), кислород (O) и воду (HO), а затем сжечь серу для получения диоксида серы (SO);S + O SO, то в дальнейшем диоксид серы можно окислить до триоксида серы (SO), воспользовавшись кислородом и взяв в качестве катализатора оксид ванадия (VO), имеем2SO + O + VO 2SO. Вода служит для гидратации триоксида серы в серную кислоты,SO + HO HSO. Могут использоваться и иные методы, например, с добавлением электролизованных растворов, таких, как раствор сульфата меди (II) (CuSO) или бромводородной кислоты (HBr) для реакции с серой.

С учетом вышесказанного, мы ни в коем случае не хотим доводитьHSOдо точки кипения, поскольку в таком случае кислота быстро разложится и перейдет в полностью газообразное состояние.

На данном этапе я перелью кислоту в другой пустой химический стакан и проверю, не видно ли на дне первого стакана кремниевого кристалла. Иногда приходится на самом деле пристально поискать, ведь эти кристаллы совсем маленькие.

Как только найдем кремниевый кристалл, подхватим его и поместим в стакан поменьше, наполненный ацетоном (CHO). После того, как чип утонет в этой жидкости, поставим стакан в ультразвуковую баню, чтобы очистить кремний от пригоревших частиц эпоксидной смолы, если таковые остались. Почему ацетон? Потому что это сильный промышленный растворитель, которым щадяще обрабатываются металлические поверхности кристалла.

Исследуем первый образец

Теперь, когда на нашем чипе не осталось ни следа пригоревшей эпоксидной смолы, переходим к микроскопии, чтобы как следует рассмотреть, что же находится внутри кристалла.

Впервые взглянув на этот чип, я не нашел ничего, что напоминало бы ПЗУ; учитывая, что я знаю сейчас, я кажусь себе в тот момент довольно глупым. Еще немного разобравшись, я смог предположить, что в левой части содержится какая-то ЭСППЗУ или ОЗУ, либо это просто какая-то емкость для энергозависимой памяти. Область сверху справа, казалось, отведена под МПЗУ. Итак, разбираемся дальше.

Присмотревшись к логическим вентилям через объектив с 50-кратным увеличением, постепенно начинаем понимать, что здесь происходит. Первым делом интересно отметить, что на этом ПЗУ 14 мультиплексоров, то есть, 14 групп столбцов. Каждый мультиплексор имеет разрядность 16:1. Таким образом, он позволяет проложить 16 различных путей данных на месте единственного.

14 групп столбцов значит, мы имеем дело с 14-битной архитектурой, и это странно. Как правило, встречаются микропроцессоры в диапазоне 4 бит, 8 бит, 16 бит или даже 32 бит. Ситуация значительно усложнится позже, после извлечения бит из этих изображений, так как мы, вероятно, имеем дело с нетипичной архитектурой.

Также нужно отметить следующие наблюдения. Во-первых, верхние слои в этом чипе представляют собой адресные строки. В вертикальном столбце видим 10 металлических линий, которые в итоге транслируются в 6 адресных разрядов, а 6 металлических линий по горизонтали транслируются в 4 адресных разряда. Суть этого будет объяснена ниже, когда мы займемся послойным препарированием чипа, 4 адресных разряда дадут нам 2 = 16для мультиплексоров, описанных выше. Теперь 6 адресных строк будут использоваться, чтобы выбрать одну из 64 строк в пространстве ПЗУ, что даст 16 бит x 14 столбцов по горизонтали. Вот почему нам требуется суммарно 10 адресных разрядов по вертикали.

На следующем этапе эксперимента откроем слой подложки, чтобы под микроскопом были видны отдельные биты. Это весьма дикая концепция иметь возможность выделить единицы и нули, жестко закодированные в сам чип, и вскоре вы поймете, почему такое большое сообщество специалистов увлекается извлечением прошивки из кремния.

Реакции послойного препарирования

Существует множество способов послойно препарировать чип, но мы рассмотрим лишь пару из них. Первым делом нам понадобятся тефлоновые химические стаканы, которые я упоминал выше в этой статье. Ни соляная (HCl), ни плавиковая (HF) кислота не реагируют с веществом такого типа, и такой материал можно спокойно разогревать на плитке. Хорошо, если быть точным, для работы с HCl стеклянные стаканы подойдут, но для работы сHF нет.

Примечание:Существует некоторое сходство между двумя этими неорганическими кислотами. ИHCl, иHFявляются ионными соединениями, то есть, они должны полностью диссоциировать в ионном растворе, например, в воде. С HClтак и происходит, и поэтому она считается сильной кислотой, а с HFнет. Дело в том, что фтор и хлор отличаются по силе. У фтора сильная связь с водородом, поэтому диссоциация у фтора выражена не очень ярко. Электроотрицательность у иона фтора настолько велика, что даже мощный ионный эффект воды не позволяет полноценно оторвать его от атома водорода в сущности, именно поэтому HFтак опасна. Она прореагирует со всем, к чему сможет прикрепить свой электрон, в особенности с ионами кальция из ваших костей. Определенный процент молекул HFне диссоциирует, поэтому HFсчитается слабой кислотой. В нашем случае важно отметить, что как соляная, так и плавиковая кислота бурно реагируют с металлами, но их использование при послойном препарировании металлов может весьма отличаться.

Итак, как же определить, какую кислоту использовать? Как правило, в процессе производства полупроводников используется два типа металлов: алюминиевый (Al) сплав 6061 и/или медь (Cu). В чипах, подобным рассматриваемому, обычно встречается Al, но изредка может бытьCu. Дело в том, что у меди ниже сопротивление, и это положительно сказывается на включаемости металлов.

Если работать сCu, то приходится использовать HCl, посколькуHFне вытравливаетCu и, фактически, спровоцирует сильную коррозию, вызываемую атмосферным кислородом. Любой окислительный агент плохо подойдет вам для послойного препарирования Cuс использованиемHF. Помните, чтоHClсама по себе также не будет вытравливатьCu, к ней нужен окислительный агент, например, пероксид водорода (HO), который позволит кислоте съесть всю Cu(восстановительный агент), поднимая pKa (константу диссоциации) кислотного раствора. Значение pkA характеризует силу кислоты. Две эти реакции вместе в соотношении 1:1 позволяют получить хлорноватистую кислоту (HOCl) и воду (HO). Как только в реакцию входит Cuиз кристалла, медь прореагирует сHOCl, и получится хлорид меди (II), который и станет нашим травящим агентом. Таким образом, мы послойно препарируем медную область кристалла при комнатной температуре до получения зеленоватого раствора хлорида меди (CuCl).

HO (aq.) + HCl (aq.) HO + HOCl (aq.)
2HOCl + Cu Cu(HOCl)

Примечание:Будьте крайне осторожны, поскольку при комнатной температуре растворHCl, в отличие от большинства кислот, быстро разогревается и, скорее всего, будет выделять газообразный хлороводород. Это нужно делать[1][2] в вытяжном шкафу.

В нашем случае, при работе с CH340, нам придется протравить лишь очень тонкий слой Al, а диоксида кремния (SiO) там почти нет. Вот почему при послойном препарировании мы будем использовать HF. Влажная HFочень быстро накидывается на алюминиевые связи и контактные площадки при температуре выше 40C, но также можно вытравливать при комнатной температуре и очень низкой концентрации, используя Whink. Этот удалитель ржавчины содержит плавиковую кислоту в концентрации 3%, но не обманывайтесь, поскольку и это может быть более чем фатально. Рекомендую класть чип в тефлоновый химический стакан и держать его там при комнатной температуре с интервалами примерно в 15 минут, в зависимости от того, какой именно чип мы тестируем. Так будет вытравливаться не только Al, но иSiO.

SiO + 4HF SiF + 2HO

Эта реакция достаточно медленно протекает при низких концентрациях и без нагревания, но так безопаснее, если приходится иметь дело с парами. В результате должно получиться нечто подобное:

Итак, мы успешно протравили себе путь до самой подложки или уровня транзисторов в чипе. Изображение в более высоком разрешении предлагается наsiliconpr0n. Присмотревшись к правому верхнему углу, найдем наше драгоценное МПЗУ.

Как видите, возможно, я протравил слегка лишнего, поскольку некоторые транзисторы пропали. Увы, не это будет самой большой проблемой при извлечении битов, но некоторые автоматизированные инструменты могут от этого слегка спятить. То есть, придется поработать, но мы всегда можем вручную переопределить любые ошибки, которые заметим.

Автоматическое извлечение битов ПЗУ

Знакомьтесь сrompar, интерактивным инструментом для извлечения двоичных данных из изображений МПЗУ при помощи методов компьютерного зрения. На первых порах может быть немного страшновато, так как кривая обучения у него крутая, но после нескольких прогонов все будет уже не так плохо. Первым делом давайте подготовим наше изображение, либо в Gimp, либо в вашем любимом редакторе фотографий. Суть в следующем: нам нужно выделить и расширить область с МПЗУ на изображении, обрезать ее и увеличить ее резкость.

Перед запуском инструмента нужно узнать, с каким объемом ПЗУ нам придется работать. Смотрим на картинку и видим 14 групп столбцов, в каждом по 16 бит в строку, то есть, мы имеем дело с 224 бит в каждой строке. Строки следующая важная тема, которую мы обсудим, по-видимому, тут просматривается 64 строки. Таким образом, размер ПЗУ, с которым нам предстоит работать, составляет 1,7 Кб.

При запуске rompar ожидает получить 3 аргумента; файл ищображения, количество столбцов и количество строк.

python3 rompar.py image1-50x-ROM.jpg 16 1
Changing edit mode to GRID
Changing edit mode to GRID
Image is 11694x4318; 3 channels
process_image time 0.18801593780517578
read_data: computing
grid line redraw time: 6.4373016357421875e-06
grid circle redraw time: 1.1920928955078125e-05
render_image time: 0.22574210166931152

А почему тут конфигурация 16x1? могли бы спросить вы. Потому, что, если взглянуть на картинку, заметен большой промежуток между 14 группами столбцов, поэтому мы и делим их на две части. То же касается и строк, по-видимому, между ними есть какой-то разделитель, поэтому мы не можем жестко закодировать строки.

Первый экран графического интерфейса (GUI), который мы рассмотрим, дан в инфракрасном спектре, чтобы по ярким и темным пятнам мы уяснили, чем допированный транзистор отличается от пустого места. Можно скорректировать порог, перейдя в CV Options -> Pixel Threshold. Корректируем, пока у нас не получится нечто подобное:

Нужно, чтобы программа поняла, что первая строка будет возвращать0000001, а второй01110101. Помните, что более яркие области принято обозначать через1, а более темные через0. При постобработке это правило по необходимости может инвертироваться, если нужно получить на выходе готовый двоичный файл. Теперь давайте перейдем к Display -> Base Image -> Original. Далее мы хотим сделать сетку из столбцов и строк, поэтому щелкнем ctrl+clickпо столбцу 1, перейдем к столбцу 16 и сделаем то же самое. Продолжаем, пока не обработаем все столбцы. В конечном итоге у нас должна получиться примерно такая сетка:

Голубые линии немного бледные, но при увеличении видны гораздо лучше. Теперь давайте подсветим отдельные биты. Нажимаем cmd+click в каждой строке, получаем следующее:

Как видите, тут есть несколько ошибок, но мы можем откорректировать отдельные разряды, перейдя в Edit -> Mode -> Data Edit Mode. Далее щелкнемctrl+clickпо каждому отдельному биту, чтобы превратить голубые кружочки в зеленые или наоборот. Программа трактует зеленые маркеры как 1, а голубые как0. К сожалению, с этим изображением ПЗУ мне пришлось многое редактировать вручную, но, как только результат нас устроит, можно экспортировать его в матрицу двоичных разрядов, перейдя в Data -> Export Data as Text. В итоге у вас получится файл со всеми вашими двоичными данными, такой, как выложен у меня на Github.

Декодируем биты

Теперь, когда у нас готовфайл битовой матрицы, время превратить его в удобочитаемый и дизассемблированный файл прошивки. Этого можно добиться при помощи одного из двух инструментов,zorromилиbitviewer. В принципе, если уже знаем архитектуру, то используем zorrom, утилиту, преобразующую данные из физического представления в логическое и обратно при работе с топологией памяти чипа. Как написано в README от Zorrom, например, фотография загрузочного ПЗУ, преобразованная в двумерный битовый массив (.txt) может быть преобразована в машинно-читаемый двоичный формат. Затем этот .bin можно эмулировать, дизассемблировать и т.д., делать с ним все, что вы бы делали с обычным файлом прошивки . У программы есть отличный API, чтобы писать и настраивать, как именно должно считываться ПЗУ; то есть, здесь указывается топология, порядок следования байтов, требуется или нет инвертирование битов, а также порядки битов на выходе.

Причина, по которой мы не можем сразу начать работать с zorrom в том, что мы не знаем тип процессора. Потратив дни и недели на изыскания в головной корпорации, WCH, я не нашел ничего и близко напоминающего 14-битную архитектуру. Размышляя, с чем же мы имеем дело, мы, возможно, найдем ответ только тупо присмотревшись, а для этого нужен такой инструмент как bitviewer. С этим инструментом единственная корректировка, которая нам потребуется подогнать файл двоичной матрицы под 16-битную архитектуру. По-видимому, эта программа не слишком хороша для работы с 14-столбцовыми группами, но это как раз нормально, поскольку, когда мы извлечем bin-файл, эти заполняющие байты не повлияют на информативные байты прошивки.

В принципе, в ситуациях, когда мы не знаем, какой байт соответствует какому коду операции, мы не можем просто дизассемблировать тестовые bin-файлы. Вместо этого ищем в файле жестко закодированные последовательности символов или какие-либо константы, которые описывали бы внутренние конфигурации. Зачастую приходится как следует покорпеть над схемой, чтобы понять, что происходит. Я еще совсем новичок в этом деле, но я всегда начинаю с соединений, которые выходят из самого ПЗУ.

Вот что мы можем узнать из этой картинки. В ПЗУ 64 бит по вертикали и 16 x 14 по горизонтали; как я уже говорил, объем этого ПЗУ почти 2k. Выяснил, что для него нужно всего 10 адресных разрядов. В первом столбце транзисторов в вертикальных адресных разрядов за адресным битом 0 идет неадресный бит 0. В следующем столбце переключение происходит каждые два бита, и так далее. Я считаю, что здесь видно 4 бита по горизонтали и 6 битов по вертикали. У каждой строки должна быть дополнительная, чтобы по возможности упростить декодирование мультиплексорами 16:1. Если сделать очень сильное увеличение, то видно, что, благодаря мультиплексору экономится место, в которое можно добавить 14 инверторов, а не прокладывать дополнительную сигнальную строку по горизонтали.

Теперь можно открыть bitviewer с нашим новоиспеченным файломдвоичной матрицы с заполнением. Ниже показано первое отображение, свидетельствующее, как на взгляд bitviewer биты должны быть распределены по строкам, и какие столбцы должны получиться на выходе.

С битами на строку кажется все верно, но я знаю, что в столбцах не по 32 бита, я же определил, что в каждой группе столбцов содержится 16 бит на столбец, это видно по изображениям. Нам нужно всего лишь откорректировать это число и картинка автоматически изменится.

Далее по списку нам нужно взглянуть на шестнадцатеричный дамп и посмотреть, есть ли там какие-то признаки, что мы правильно задали порядок. Для этого щелкнем по кнопке Byte view (hex). Прокручивая биты, ничего узнаваемого мы не увидим, так как 1) мы не знаем, как должны выглядеть коды операций, поскольку не знаем архитектуру и 2) мы пока не видим ни одной жестко закодированной последовательности символов. Так что мы полагаемся на то, что все-таки увидим здесь некие последовательности символов, по которым сможем судить, правильно ли выполнили декодирование.

Давайте кое-что откорректируем, нажав кнопку Export Options. Как видите, здесь мы можем откорректировать топологию ПЗУ, порядок следования байтов, а также внести еще некоторые изменения, например, инвертировать порядок бит. Большинство опций мы оставим без изменения, в том числе, порядок следования битов, который будет иметь вид:0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15. Иногда приходится немного поэкспериментировать, чтобы получить правильный порядок на выходе, но я после нескольких попыток обнаружил, что полезно расставить галочки вот здесь:Reverse output bit order иAddress run right-to-left. Теперь можем снова прокрутить шестнадцатеричное представление.

05C0: FE 73 FF DB EF ... .s...t...t.b.|.j
05D0: FE 50 C6 5F D6 ... .P._._.Q...P....
05E0: DD 74 DF F8 ED ... .t...&.m...S.p..
05F0: FF 6D ED 00 FF ... .m...y...|.....>
0600: FF 7A FF 6A ED ... .z.j.<.g.Z.X.s..
0610: D9 74 CE 65 ED ... .t.e...W.p...[..
0620: E6 F0 F5 5B F0 ... ...[.W.W.W.W....

По-прежнему никаких подвижек. Есть еще один вариант, который мы не проверили возможно, наши биты нужно инвертировать/перевернуть. То есть, единицы должны стать нулями и наоборот. К счастью, в bitviewer это сделать можно; щелкаем кнопкуSelect all, и программа подсветит все биты во всех строках и столбцах. Когда они будут подсвечены, нажмите Invert Sel.

Все удалось успешно инвертировать, и теперь можно открыть вкладку с просмотрщиком байт, чтобы посмотреть, что у нас получилось.

0770: 10 03 10 09 ... .............U..
0780: 10 53 10 00 ... .S...B...2......
0790: 10 30 10 00 ... .0...-..3...3...
07A0: 33 F3 10 00 ... 3...3...3...3...
07B0: 2F A4 10 00 ... /.....(.....+...
07C0: 10 23 29 08 ... .#)...../.. .'/.
07D0: 10 02 10 03 ... ..../.....+..P.S
07E0: 2F A4 10 72 ... /..r.e/..i.r/..n
07F0: 10 6D 2F A4 ... .i/..t.a+.. .l..

Я этого на первый взгляд не заметил, но теперь же у нас есть полноценный файл прошивки, и мы можем его изучить! Посмотрев на отступы0x0770и0x0780, можно выделить последовательность символов USB 2.0. Что еще? Следующую последовательность заметить не так легко, поскольку между первой и второй большой скачок. Последовательности символовPrintиSerialнаходятся на отступах0x07D00x07F0. Другие интересующие нас подсказки будут в верхней части файла прошивки, например, та или иная таблица переходов и /или таблица векторов исполнения. Из этого сделаем вывод о наличии повторяющихся инструкций или, в нашем случае, байт.

Хотя мы до сих пор не знаем, что это за архитектура, и даже как вообще будет выглядеть ассемблер, в начале здесь просматривается определенная закономерность, именно такая, какую мы рассчитываем увидеть в начале любого действующего файла прошивки. Давайте дампируем эту информацию в bin-файл прошивки, щелкнувSave bin. Начиная отсюда, нам придется изрядно гадать и заниматься обратным проектированием схем, чтобы как следует понять, каким образом можно превратить эти байты в пригодный для чтения ассемблерный код.

Примечание:Возвращаясь к использованию zorrom, теперь мы знаем, какие опции нужны, чтобы получился правильный файл прошивки. Значит, мы можем автоматизировать этот процесс, написав подходящий алгоритм. Воспользовавшись API zorrom, пользователю всего-то останется скормить программе двоичный текстовый файл, а в ответ она выдаст файл прошивки. Здесь можете посмотреть код, который я написал для CH340. Этот инструмент можно запустить вот так:

python3 txt2bin.py --arch ch340t ch340_binary.txt ch340_fw.bin

Также отметим, что при работе сzorrom не приходится заботиться о заполнении разрядов в двоичном текстовом файле, чтобы получилось 16 групп столбцов, нам вполне хватит наших исходных 14. Не забывайте, что иногда можно получить неверную ориентацию, извлекая биты с изображений. Расположение может случайно получиться зеркальным, либо придется определить, как правильно повернуть чип. Если дампировать двоичный текстовый файл, подобный тому, ссылка на который дана выше, то можно воспользоваться инструментом вроде rotate, чтобы просто перевернуть текст в файле вверх тормашками.

Дизассемблирование неизвестного

Самый большой вопрос как дизассемблировать информацию, об архитектуре которой мы не имеем представления? Если бы не было найденных нами жестко закодированных последовательностей символов, откуда бы мы знали, что расставили байты в правильном порядке? Ответ на этот вопрос не так прост и очевиден. Придется воспользоваться IDA Pro в качестве основного инструмента дизассемблирования, но при этом нам придется написать наш собственный специальный плагин.

Имея дело с незнакомой архитектурой, необходимо как следует разобраться с изображениями, чтобы понять, как используется ПЗУ. Ситуация примерно такова, как если бы врач выполнил КТ всего тела пациента, и изучил бы томограмму каждого органа в отдельности, чтобы найти подсказки.

Итак, в данном случае мы рассматриваем весь чип, а не только ПЗУ:

Аннотации важный аспект обратного проектирования интегральных схем, а в нашем случае придется пояснить очень многое. Прочитав даташит, мы знаем, что этот чип поддерживает возможности USB, поскольку служит мостом от USB к USART. Мы также знаем, что этому чипу требуется внешний источник колебаний для отсчета тактов. Некоторые допущения, которые мы можем сделать относительно чипа: здесь должен быть блок статической памяти с произвольным доступом для энергозависимого хранения данных, область регистров, которые будут использоваться для приема, хранения и переноса данных, а также команды, которые будут использоваться непосредственно ПЗУ при работе с ядром процессора. Поскольку, согласно даташиту, на этом чипе отсутствует ЭСППЗУ, мы отметили на большом участке слева, как данные принимаются и передаются USB-портом.

Как упоминалось выше, в IDA нет процессорного плагина для этого (поскольку мы имеем дело с неизвестной архитектурой), и мы с моим коллегой Крисом начали писать собственный плагин для этого, работапока не окончена. Оказавшись в подобной ситуации, нужно выдвинуть пару стартовых гипотез. Например, в нескольких первых байтах прошивки должен прослеживаться повторяющийся паттерн, то есть, здесь должен быть какой-то небольшой переход к таблице адресов.

Как понятно из кода на python, нам также удалось в точности выяснить, как именно передавались жестко закодированные последовательности символов. Подобно кодам операций в таблице переходов, CALL-ы покажутся вам весьма знакомыми, когда будете просматривать шестнадцатеричный дамп прошивки неизвестного типа. Увидите байт инструкции, а за ним еще два байта, выделенных под адрес.

Предстоит сделать еще немало. Даже при допущении, что отношение между инструкцией и регистром в формате начиная со старшего, нам придется перейти на формат начиная с младшего, поскольку по какой-то причине is IDA не преобразует или не дизассемблирует как следует двухбайтовые фрагменты WORD, когда работает в формате начиная со старшего. По-видимому, к этой статье придется написать вторую часть, в которой я наконец смогу объяснить, как все работает в этом чипе. А эту статью я завершу рассказом о том, как прибрать тот беспорядок, который мы учинили в лаборатории, работая со всеми этими неорганическими кислотами.

Убираем за собой. Кислотно-основная нейтрализация

Серную кислоту (HSO) можно нейтрализовать при помощи исключительно сильной щелочи, гидроксида натрия (NaOH). Эта кислота реагирует сNaOH, продуктами реакции являются сульфат натрия (NaSO) и вода. Это реакция кислотно-основной нейтрализации. После расстановки коэффициентов в уравнении видим, что нужное нам соотношение между щелочным раствором и кислотой 2:1.

2NaOH (aq) + HSO (aq) 2HO (l) + NaSO (aq)

В нашем случае мы воспользуемся гораздо более высоким соотношением, поскольку, как помните, мы задействовали всего 20 мл HSOдля декапсуляции чипа.NaOH существует в форме кристаллов, напоминающих соль, и всего 15 граммNaOHна 150 мл воды (раствор 10%) хватит для приготовления раствора. NaOH+HOдадут раствор с катионамиNa+и анионами OH-, дополнительно выделится некоторое количество тепла. Уравнение реакции выглядит так:

NaOH +2HO Na+ + OH- + HO (delta H < 0)

Медленно наливаем кислоту в свежеприготовленный щелочной раствор. При этом вы можете заметить, что смесь немного нагревается. Это происходит потому, что процесс экзотермический, то есть, кислотно-основная реакция происходит с выделением избыточной теплоты. Эта теплота сухой остаток процессов разрыва и образования химических связей. Проще говоря, конечные продукты этой реакции находятся в более низком энергетическом состоянии, чем реагенты. Энергетическая разница между двумя этими состояниями равна той энергии, что выделяется в виде теплоты. Остаток раствора можно разбавить, долив в полученную кислотно-основную смесь еще 150 мл воды. Медленно помешиваем в течение около 2 минут, затем проверяем нейтральность раствора при помощи лакмусовой бумажки.

Примечание:чтобы проверить нейтрализацию, можно воспользоваться бытовой химией, например, бикарбонатом натрия (NaHCO), бросив его в стакан и посмотрев, пойдут ли пузырьки. Если разбавленный кислотно-водный раствор начинает пузыриться, это означает, что кислотность его по-прежнему немного повышена из-за связанного диоксида углерода (CO), который рвется наружу из раствора угольной кислоты. После того, как в растворе все успокоится, складываем все химикаты в специальный контейнер для химических отходов и относим в компанию, которая за нас их как следует утилизирует.

Спасибо, что дочитали! Надеюсь, вам понравилось не меньше, чем мне. Если у вас остались вопросы по этой статье, пишите мне пожалуйста в Instagram:@hackersclubили в Twitter:@ringoware

Доброй охоты :)

Ссылки и благодарности

Ken Shirriffhttp://www.righto.com/2020/05/extracting-rom-constants-from-8087-math.html, за то, что лично уделил время и рассказал мне, как биты считываются из ПЗУ.

John McMasterhttps://siliconpr0n.org/archive/doku.phpза то, что провел со мной многие часы и, в частности, рассказал, как автоматизировать извлечение ПЗУ, как делается декапсуляция и послойное препарирование.

Chris Gerlinsky этот товарищ сильно мне помог, когда понадобилось выяснить, что делать с файлом двоичной матрицы, составленным из данных, извлеченных с изображений кремниевых кристаллов. Никогда не довел бы этот проект так далеко, если бы не его всемерная помощь в понимании архитектуры.

Elijah Hawk Всегда был великодушно готов потратить на меня пару часов, вычитывая грамматику и структуру предложений во всех моих статьях.

О нейтрализации https://chem.libretexts.org/Bookshelves/Physical_and_Theoretical_Chemistry_Textbook_Maps/Supplemental_Modules_(Physical_and_Theoretical_Chemistry)/Acids_and_Bases/Acid_Base_Reactions/Neutralization

Получение серной кислоты https://www.cs.mcgill.ca/~rwest/wikispeedia/wpcd/wp/s/Sulfuric_acid.htm

Конструирование сверхбольших интегральных схем (VLSI) https://www.tutorialspoint.com/vlsi_design/vlsi_design_digital_system.htm

Понятие о NAND Flash https://www.simms.co.uk/nand-flash-basics/understanding-nand

Если хотите вести интернет проекты эффективно, то хотя бы примите это к сведению.

Информация сугубо практическая. В основе знания от бизнес-практиков в купе с Теорией Вероятностей и Математической Статистикой.

Но, пожалуйста, помните я не маркетолог и идеальному способу проведения маркетинговых исследований научить не смогу. Но точно смогу рассказать, как это делается на практике.

Зачем нужны исследования

Вообще, этот вопрос не должен возникать у адекватного предпринимателя. В организациях, которые хоть как-то работают с клиентами там должны быть исследования.

Например,

Михаил решает разработать новый продукт. Чтобы понимать, какие характеристики будут важны покупателям, он проводит исследование опрашивает потенциальных покупателей.

Ирина хочет узнать путь клиента к покупке. Для этого проводит исследование подключает аналитику и вычисляет множество показателей.

Антон запускает рекламную кампанию. Чтобы узнать, где сидит покупатель, он проводит исследование смотрит поисковую выдачу по тематике, статистику, советуется с экспертами и т.п.

И другие примеры, коих 1 000 000+

Как исследовать

Типовое исследование происходит по следующей схеме:

Рис 1. Схема маркетингового исследования.

H это гипотеза (hypothesis, англ.).

Тогда исследование проводится в 2 этапа.

• Сначала мы формулируем гипотезу #1 (Н1, предположение, MVP),

• Потом проверяем ее доказываем или опровергаем -> в результате получаем гипотезу #2 (H2=+Н1 изначальное предположение верно или H2=-Н1 изначальное предположение ошибочно).

Если H1 ошибочна, то нужно вносить корректировки в продукт до тех пор, пока H2 не подтвердит H1.

Как правильно исследовать

Собрать информацию для H1:

• Провести мозговой штурм,

• Изучить потенциальных конкурентов,

• Посмотреть статистику в Интернете.

Затем Н1 нужно проверить ее и получить Н2 подтверждение или опровержение первоначальной гипотезы.

Как получить H2?

• Либо поговорить с потенциальными покупателями (организовать фокус-группу),

• Либо обсудить предмет исследования с экспертом,

• либо поставить эксперимент (протестировать).

В результате получаем ценную информацию, которая ошибочна с минимальной вероятностью.

Например, Олегу нужно выяснить, в каких соц.сетях зависают его покупатели.

Для этого он делает вот что:

1. Находит статистику по посетителям социальных сетей.

2. Выясняет у своих покупателей, сидят ли они в сетях, обозначенных в исследовании.

Так он получает информацию, приближенную к действительности.

Я сказал, что вероятность ошибки минимальна?! Увы и ах, но ошибка может произойти все равно.

Что такое Статистическая ошибка (или ошибка выжившего)

Статистическая ошибка погрешность при проведении исследования.

По правилам статистики избежать ошибки нельзя. Хотя бы в 0,000000000001% случаев ошибка случится, и это нельзя предотвратить.

Но есть и хорошая новость: можно уменьшить вероятность появления ошибки. Собственно, ради этого и затевается история с проверкой гипотез.

Не для того, чтобы быстрее узнать хотя бы что-то, а для того, чтобы реально выяснить наиболее эффективное решение.

Как делать не надо

Исследовать в 2 этапа это правильно, по науке. 1: формулируем предположение (кабинетная часть исследования), 2: проверяем его (полевая часть).

По факту же редко люди проводят именно 2 тура исследования, с постановкой гипотезы и ее проверкой. Обычно Олег просто посмотрит статистику и успокаивается.

Игнорирование второго этапа может привести к проблемам.

• Результаты будут ошибочными,

• Результаты будут не полными.

Но он догадался обсудить информацию с друзьями. Они сказали ему, что сидят во Вконтакте.

Таким образом он понимает, что нужно акцентировать внимание на 2-х сетях Вконтакте и Instagram.

Возвращаясь к примеру выше. Олег увидел по статистике, что интересная ему аудитория сидит в Инсте.

Если бы Олег просто посмотрел статистику по социальным сетям, он бы никогда не узнал про Вк и потерял половину прибыли.

Кстати, я думаю, что именно поэтому сдуваются 92% стартапов из-за недоисследований. Типа мы запустились, добились определенных успехов и мы лучше знаем, что понравится покупателям. Но нет, увы. И мечты о дальнейшем успехе разбиваются об скалы реальности.

Теперь несколько практических рекомендаций по проведению исследований.

Где искать статистику

Статистика по РФ

• Сайт Федеральной службы государственной статистики rosstat.gov.ru

• Сайт Министерства Экономического Развития old.economy.gov.ru

• Сайт ВЦИОМ wciom.ru

• Фонд Общественного Мнения fom.ru

• НАФИ, аналитический центр nafi.ru

• Wordstat Яндекса - wordstat.yandex.ru

• Огромное количество региональных сайтов, форумов и др.

Международная статистика

• Информация по мировой торговле www.wto.org

• Статистика мирового монетарного фонда www.imf.org

• Базы данных из Европы ec.europa.eu/eurostat

• Hi Tech аналитика json.tv/ict_telecom_analytics

• Сайт американского института изучения общественного мнения www.gallup.com

• Сайт исследовательской компании Nielsen www.nielsen.com

• Dataset Search от Гугла - datasetsearch.research.google.com

• Google.Trends.

Теперь поговорим про подтверждение гипотезы.

Как проверить гипотезу онлайн

Полевую часть исследования лучше проводить оффлайн (нужно объяснить, почему?), но ведь не всегда есть возможность сделать это. Именно для таких случаев существуют следующие онлайн-инструменты.

• Google Forms удобный сервис для опросов, доступный бесплатно. Гибкие и интуитивно-понятные настройки.

• Яндекс.Взгляд Конкурент Google. Но платный, потому что к анкете прилагается база из 15 миллионов подписчиков Яндекса.

• Tiburon-research это Специализированный сервис для маркетологов. Им пользуются около 80% российских исследовательских компаний.

• Anketolog еще один сервис для опросов онлайн. Простой в использовании, с возможностью удобными отчетами и, ВНИМАНИЕ поддержкой живого маркетолога.

Как проходят исследования на практике? Я попросил рассказать реального специалиста.

История предпринимателя, который проводит маркетинговые исследования

Попросил рассказать кейс о его работе. Вот что узнал.

Структура и содержание исследования обычно согласовываю в процессе уточнения задания. Тем не менее в процессе могут возникнуть некоторые трудности. Сложность в том, что требуемые данные разбросаны по разным источникам. И на старте не всегда понятно сколько и какие данные в наличии. Их приходится проверять, сопоставлять, пересчитывать, приводить к одному знаменателю.

Как я работаю:

1. Сначала определяю задачу получил заказ, осознал, сформулировал задачу и определил фронт работ (цели, план и пр).

2. Далее я собираю информацию, которая так или иначе может помочь в решении поставленной задачи.

3. Затем обрабатываю информацию структурирую, архивирую, анализирую.

4. В итоге презентую результаты работы и распределяю информацию среди заинтересованных лиц.

Результаты исследований обычно разные. В зависимости от задач проекта.

Например, я работал с одним заказчиком и сэкономил ему 3 млн .У заказчика - глубинная экспертиза => он предполагал развитие там-то - разрабатывал сайт и планировал потратить на развитие 3 млн рублей.

Как все проходило это исследование:

1. Мы изучили рынок. Тренды, аналогичные проекты и их развитие, потенциальных конкурентов.

2. Я нашел нескольких отраслевых экспертов и взял несколько экспертных интервью.

3. На выходе получилось множество цифр и графиков, выводы и предложения, которые мы разбирали с заказчиком в течение 2 недель.

В итоге заказчик решил отказаться от развития проекта. Понял, что на развитие понадобится больше ресурсов, чем он предполагал. Советовался со знакомыми и пришел к выводу, что не сможет побить конкурентов.

Так он сэкономил 3 млн руб, которые планировал потратить на развитие проекта.

Денис Загребиль

Маркетолог, специалист по маркетинговым исследованиям

Резюме

• Маркетинговые исследования это сила,

• Маркетинговые исследования проводятся в 2 этапа,

• Существует куча сайтов с информацией и несколько крутых сервисов для проведения маркетинговых исследований.

А вы уже исследуете или только планируете исследовать? Расскажите об этом в комментариях.

Если понравилась статья, ставьте +.

Не согласны с чем-то? Го в комментарии!

Спасибо за внимание!

Но ученые научились определять, где система дает сбой.

В далекое прошлое ушли уютные форумы, где люди-модераторы заставляли участников следовать правилам и цивилизованно общаться. Эпоха массовых соцсетей требует иных решений. Сегодня искусственный интеллект учат отделять одну ругань от другой в соответствии с современными представлениями о справедливости. В рамках этой темы хотим поделиться переводом июньской публикации MIT Technology Review о датасете HateCheck.

Несмотря на все достижения в области языковой технологии искусственного интеллекта, он все еще не справляется с одной из самых базовых задач. В новом исследовании ученые протестировали четыре лучшие системы искусственного интеллекта для обнаружения ненавистнических высказываний. Выяснилось, что у всех алгоритмов не получилось отличить токсичные предложения от безобидных. И у всех по-разному.

Неудивительно. Тяжело создать ИИ, который понимает нюансы естественного языка. Но важно то, как исследователи диагностировали проблему. Они разработали 29 различных тестов, нацеленных на разные аспекты ненавистнических высказываний, чтобы точнее определить, где именно сбоит каждый алгоритм. Так проще понять, как преодолеть слабые места. Подход уже помогает одному сервису улучшить свою систему.

18 категорий ненависти

Исследование вели ученые из Оксфордского университета и Института Алана Тьюринга. Авторы опросили сотрудников некоммерческих организаций, занимающихся проблемами ненависти в сети. Команда использовала эти интервью для создания таксономии 18 различных типов ненавистнических высказываний, сосредоточив внимание только на письменном английском. В список включили уничижительную речь, оскорбления и угрозы.

Исследователи также определили 11 сценариев, не несущих ненавистнического посыла, которые обычно сбивают с толку автомодераторов. Сюда вошли в том числе:

• использование ненормативной лексики в безобидных заявлениях;

• оскорбления, которые адресаты высказываний сами стали использовать в отношении себя (прим. пер. т.н. реклейминг);

• осуждающие ненависть высказывания с цитатами и отсылками на исходные сообщения (противодействие ненависти).

Для каждой из 29 различных категорий исследователи написали десятки примеров и использовали шаблонные предложения, такие как Я ненавижу [ИДЕНТИЧНОСТЬ] или Вы для меня просто [РУГАТЕЛЬСТВО].

Одинаковые наборы примеров были созданы для семи групп, защищенных законодательством США от дискриминации. Команда открыла исходный код окончательного набора данных под названием HateCheck. Набор содержит почти 4000 примеров.

Сервисы по борьбе с токсичностью

Исследователи протестировали два популярных сервиса: Perspective API разработки Google Jigsaw и SiftNinja от Two Hat. Оба позволяют клиентам отмечать нарушающий контент в сообщениях или комментариях. В частности, Perspective используется для фильтрации контента на Reddit, а также новостными организациями, включая The New York Times и Wall Street Journal. Алгоритм отмечает и приоритезирует токсичные сообщения, чтобы их потом проверяли люди.

Из двух сервисов SiftNinja относится к разжиганию ненависти слишком снисходительно, не замечая почти все ее вариации. В то же время Perspective модерирует слишком жестко. Он успешно определяет большинство из 18 категорий ненависти, но видит ее также в цитатах и контраргументах. Исследователи нашли те же закономерности, протестировав две научные модели от Google. Эти модели вершина доступных языковых ИИ-технологий и, скорее всего, служат основой для других коммерческих систем модерации контента.

Результаты указывают на один из наиболее сложных аспектов ИИ-обнаружения ненавистнических высказываний. Если модерировать недостаточно, вы не решаете проблему. А если перестараться, то можете подвергнуть цензуре тот язык, который маргинализированные группы используют для самозащиты. Внезапно вы наказываете те самые сообщества, которые чаще всего и становятся объектами ненависти, отмечает Пол Реттгер, кандидат наук в Оксфордском институте Интернета и соавтор статьи.

Люси Вассерман, ведущий инженер-программист Jigsaw, говорит, что Perspective преодолевает ограничения, но полагается на людей-модераторов для принятия окончательного решения. Процесс не масштабируется для более крупных платформ. Сейчас Jigsaw работает над функционалом, который изменяет приоритеты публикаций и комментариев в зависимости от неопределенности. Система автоматически удаляет контент, который, как она считает, является ненавистническим, а сомнительные случаи показывает людям.

По словам Вассерман, новое исследование позволяет детально оценить состояние дел. Многие отмеченные в нем вещи, включая реклейминг, являются проблемой для этих моделей. Это известно в отрасли, но с трудом поддается количественной оценке, говорит она. HateCheck позволит улучшить ситуацию.

Ученые тоже воодушевлены исследованием. Это дает нам хороший чистый ресурс для оценки работы систем, говорит Маартен Сап, исследователь языкового ИИ из Вашингтонского университета. Новый подход позволяет компаниям и пользователям ожидать улучшений.

Томас Дэвидсон, доцент социологии университета Рутгерса, согласен. По его словам, из-за ограничения языковых моделей и сложности языка всегда будет существовать компромисс между недооценкой и чрезмерной идентификацией ненавистнических высказываний. Набор данных HateCheck проливает свет на эти компромиссы, добавляет он.

Перевод:Александра Галяутдинова

Другие публикации Карен Хао в переводе Madrobots

• Эти странные, тревожные фото говорят о том, что ИИ умнеет

• Принципиально новый метод позволяет тренировать ИИ практически без данных

• Как саботировать данные, которые технологические гиганты используют для слежки за вами

***

Для читателей Хабрав магазине гаджетов Madrobotsдействует скидка 5% на все продукты. Просто введите промокод:HABR