Русский
Русский
English
Статистика
Реклама

Омофоническая замена

Ронго-ронго нерасшифрованная письменность острова Пасхи

31.08.2020 00:13:55 | Автор: admin
Изобретатели

Письменность один из столпов, на которых стоит современная цивилизация. Хотя мы и воспринимаем её как естественную часть нашей повседневной жизни, когда-то она была изобретена. Такое случалось всего несколько раз, в статье речь пойдет как раз про один из таких случаев письменность острова Пасхи, также называемого Рапа Нуи. Это маленький уединенный остров длиной 24 километра, до ближайшего населенного острова плыть от него 1600 километров по прямой. Полинезийские мореходы попали туда примерно в 1200 году, а европейцам он стал известен в 1722. Европейцев впечатлили сотни каменных статуй, созданных островитянами, до 10 метров высотой и до 80 тонн веса каждая. Этим Рапа Нуи отличался ото всех прочих полинезийских островов, на которых если и делали каменные статуи, то весьма скромных размеров. Несмотря на это, европейцы обращались с местным населением как с дикарями: ловили их и продавали в рабство, захватили их землю, превратили весь остров в пастбище и, наконец, выживших обратили в христианство, запрещав говорить на родном языке и воспроизводить местную культуру.

Открытие

В 1864 году миссионер Эйро сделал удивительной открытие: чуть ли не в каждой хижине хранились небольшие дощечки, покрытые мелкой резьбой, которые как будто бы можно было читать до того, пока все грамотные островитяне не умерли в рабстве. Мы точно не знаем, что именно произошло, по-видимому, Эйро объявил таблички запретными, препятствующими попаданию в рай и призвал их сжигать. Помимо христианства Эйро привез на остров туберкулёз, эпидемия которого за несколько лет выкосила четверть населения. После его смерти в 1868 другой священник, пришедший на смену Эйро, всё же решил рассказать о табличках начальству. Епископ Жоссан на Таити тут же понял, каково значение находки, но к тому моменту осталось всего две дюжины артефактов с надписями. Так мир узнал про ронго-ронго письменность острова Пасхи.


image

Оставшееся

Таблички сохранились по случайности: часть из них местные не выдали Эйро, а часть была погребена в сырых пещерах с семейными ценностями, откуда их вытащили впоследствии для продажи. Из-за сырости многие из них сильно повреждены и археологи, скорее всего, уже никогда не найдут других табличек, они просто сгнили в пещерах. Всего нам известно о 28 текстах, некоторая часть из которых могут быть подделками. Всего на них удалось опознать порядка 14 000 знаков. В наши дни таблички хранятся в музеях по всему миру, в России две из них можно увидеть в Кунсткамере.

Тексты вырезались на дощечках, корягах, статуэтках и деревянных украшениях с помощью обсидианового лезвия и акульего зуба. По результатам анализа донных отложений озёр, до 1200 года Рапа Нуи был покрыт густым лесом, но с приходом человека деревья стали уступать, так что к моменту визита европейцев уже не было ни одного растения выше нескольких метров. Похоже, что рапануйцы срубили все свои деревья, не смогли построить большое океанское каноэ, чтобы сплавать за помощью на другие острова и остались в изоляции, погрузившись в междоусобные войны, голод и каннибализм. Так что таблички вырезали на чём придётся: запасах старой древесины, европейских вёслах, крестах, воздвигнутых в 1770 году испанцами и даже на обломках, прибитых волнами к побережью. Радиоуглеродный анализ показывает, что часть табличек вырезана на древесине, росшей на острове до контакта с европейцами, но мы не знаем, когда именно была нанесена резьба.

Изучение

Неизвестная письменность в XIX веке не могла не привлечь внимания ученых, попытки прочесть тексты начались тут же после их обнаружения. Естественно было предположить, что кто-то всё ещё мог читать ронго-ронго или хотя бы видел как это делалось. Епископ Жоссан нашел на Таити эмигранта с острова Пасхи и попытался с его помощью прочесть их и составить каталог знаков. В ответ он получил несколько песнопений, воспроизведенных по памяти, а в качестве чтений знаков их описание как если бы они были просто картинками: вот черепаха, вот растение, вот человечек, а это птица Информатор Жоссана на самом деле не знал, как читать тексты. Потом было ещё несколько попыток найти других информаторов, но время шло, поколение, заставшее времена до рейдов рабовладельцев, состарилось и доживало свой век в лепрозории. Вместе с последними из них были исчерпаны возможности узнать что-то о чтении ронго-ронго из уст очевидцев. Поняв, что европейцы интересуются ронго-ронго, рапануйцы стали делать поддельные таблички, а также создавать мистификации в виде тайных манускриптов, якобы содержащих ключи к расшифровке. К сожалению, ни одного реального ключа или билингвы среди них не оказалось, так что настало время применять другие подходы к расшифровке.

Параллельные фрагменты

Первый серьезный результат был получен ленинградскими школьниками Борисом Кудрявцевым, Валерием Байтманом и Александром Жамойда в 1938 году. Они обнаружили, что на обеих табличках в Кунсткамере написан примерно одинаковый текст. Позже Кудрявцев обнаружил, что на двух табличках из других музеев есть другой повторяющийся фрагмент. Также он составил собственный каталог знаков ронго-ронго. Кудрявцев погиб на войне, но спустя годы его дело было продолжено Юрием Кнорозовым, к тому моменту уже расшифровавшим письменность Майя. Им была создана особая группа по расшифровке ронго-ронго, подошедшая к вопросу с размахом, создавшая новые каталоги знаков и даже использовавшая компьютеры, но результатов все эти усилия принесли мало. Сейчас сложно судить о том, что именно стало причиной провала, но, по-видимому, можно выделить три фактора:
1. Кнорозов работал в основном с фотографиями, а не с оригиналами текстов, потому его группа не смогла составить адекватного каталога знаков.
2. Успех Кнорозова в расшифровке письменности Майя, принципы которой он всецело перенес на ронго-ронго.
3. Никто из его группы в то время не знал рапануйского или хотя бы какого-то родственного ему полинезийского языка.
Ронго-ронго было объявлено не настоящей письменностью, а мнемоническим ребусом, в котором пропускались служебные части речи, оставляя широчайший простор для творчества. Сейчас мы знаем, например, что в рапануйском языке нет даже частей речи в привычном нам понимании, большинство слов могут быть существительными либо глаголами в зависимости от служебных частей речи вокруг них, так что без этих маленьких слов-суффиксов и слов-приставок ничего наверняка прочитать бы не получилось.

Каталог знаков

Примерно в те же годы Томас Бартель ездит по миру, делает копии всех известных табличек с помощью карандаша и папиросной бумаги и по ним создает собственный каталог символов ронго-ронго. Им исследователи пользуются до сих пор. В отличие от группы Кнорозова, Бартель обратил внимание на то, что отдельные знаки имеют повторяющиеся в разных комбинациях элементы, это наблюдение легло в основу классификации. У него получилось выделить порядка 700 уникальных знаков, сгруппированных по форме тел, голов, рук, ног и прочих элементов. Каталог Бартеля позволил другим ученым перейти от чисто словесных описаний знаков человечек с поднятой ручкой к надежным цифровым кодам. Последователь Бартеля Стивен Фишер заново сделал копии табличек и исправил найденные ошибки, в дальнейшем исправлять каталог продолжило объединение CEIPP им можно написать и попросить прислать текстовый файл, в котором закодирован весь корпус текстов.

Элементы

В 1980-90х годах Гай, Макри и Поздняков, изучая параллельные фрагменты текстов, расширяют наше понимание внутреннего устройства отдельных знаков. Оказывается, что многие из элементов являются как будто бы аллографами разными вариантами написания. Каталог составных элементов всё уменьшается и появляется гипотеза о слоговом характере ронго-ронго. В рапануйском языке 55 слогов и 55 элементов с аллографами как будто бы хватает для того, чтобы закодировать почти весь корпус имеющихся надписей.
Вот таблица базовых элементов Позднякова:
image
Появление персональных компьютеров позволило установить сотни параллельных фрагментов разной длины, а так же перечислений и других структурированных частей на некоторые из статей, описывающие отдельные результаты, я дам ссылки ниже. Вот какова структура текстов некоторых табличек друг относительно друга:
image

Хорли также предложил собственный каталог составных элементов знаков.
image

Дешифровки

До сих пор могло сложиться впечатление, что попыток предложить расшифровки не было, а вместо этого ученые скрупулезно исследовали тексты и делали осторожные выводы. Всё было иначе, расшифровки предлагались самые разнообразные! Предлагались чтения на языках американских индейцев, заявлялось, что ронго-ронго это письменность долины Инда, что рапануйцы инки или даже арийцы. Ирина Константиновна Фёдорова, бывшая членом группы Кнорозова, в 1990-х предложила свою трактовку, по которой тексты рассказывают о сельском хозяйстве: как кто какой сорт картошки сеял и пожинал. У Дэ Лаат все тексты про мужчину, убившего свою жену. У Рябчикова про астрономию. У Фишера о появлении вещей из других вещей

Современность

Итак, с гипотезой о слоговом характере письма и большим количеством параллельных фрагментов мы вроде бы пришли к задаче о расшифровке омофонической замены. Нужно перевести коды Бартеля в новую кодировку с меньшим количеством составных элементов знаков, корпус сохранившихся рапануйских легенд и преданий разобрать по слогам и дальше применить один из алгоритмов, появившихся в последние годы. Что мешает?

1. Мы не знаем, как именно корректно разделить символы каталога Бартеля на составные части. Обратите внимание, что у Позднякова и Хорли существенно разные наборы составных элементов и ни один из них никогда не публиковал кодирование тектов в собственные системы. Алгоритмы расшифровки омофонической замены позволяют нам оставить порядка 150 омофонов (втрое больше количества слогов в рапануйском языке), но мы не можем сказать, что значимо, а что нет.

2. Малая доступность корпусов и словарей языка. Самый полный словарь Фуэнтеса, судя по всему, пока ни разу не утекал в открытый доступ. В бумажном виде это библиографическая редкость. Записи легенд, сделанные такими антропологами, как Метро или Рутледж, не были опубликованы и до сих пор хранятся в архивах их экспедиций в виде рукописей.

3. Некорректная орфография большинства источников. В рапануйском есть одна фонема, гортанная смычка, звук на месте - в русском не-а. Её впервые расслышали через двести с лишним лет после первого контакта. Фуэнтес и Энглерт кое-где отмечали её, но сейчас мы знаем, что далеко не везде. Абсурдно, но известная советская исследовательница Ирина Федорова в своих публикациях вообще её пропускала, по соображениям удобства при наборе текстов, что для русского языка было бы равнозначно пропуску букв т и с. Это важно, потому что алгоритмы расшифровки омофонической замены используют частоты отдельных элементов, как правило, n-грамм.

4. Рапануйский язык после рейдов работорговцев подвергся очень сильному влиянию других полинезийских языков, прежде всего таитянского и мангаревского. К рапануйскому они примерно так же близки, как сербский к русскому, что привело к обширным заимствованиям. Первые хоть сколь-нибудь большие словари составлены уже после того, как произошла волна заимствований. И, хотя это не означает, что рапануйцы говорили на каком-то совсем уж другом языке, не учитывать изменения нельзя.

Что почитать

Об истории острова:
Современное представление
О контактах с американскими индейцами

О ронго-ронго:
Бартель: 1, 2
Давлетшин: 1, 2, 3, 4, 5, 6
Гай: 1, 2, 3, 4
Харрис: 1
Хорли: 1, 2, 3, 4, 5, 6, 7
Кнорозов: 1
Макри: 1
Мелка: 1, 2, 3, 4, 5, 6
Поздняков: 1, 2, 3, 4, 5, 6
Фёдорова: 1, 2
Ветшорек: 1, 2

Об алгоритмах расшифровки омофонической замены:
Kopal: Cryptanalysis of Homophonic Substitution Ciphers Using Simulated Annealing with Fixed Temperature
Dhavari: Efficient Cryptanalysis of Homophonic Substitution Ciphers
Magnuson: Homophonic Cipher Attack
Campos: Genetic Algorithms and Mathematical Programming to Crack the Spanish Strip Cipher
Sanguino: Analyzing the Spanish Strip Cipher by Combining Combinatorial and Statistical Methods
Oranchak: Evolutionary Algorithm for Decryption of Monoalphabetic Homophonic Substitution Ciphers Encoded as Constraint Satisfaction Problems
Ravi: Bayesian Inference for Zodiac and other Homophonic Ciphers
King: An algorithmic solution of sequential homophonic ciphers немного про другой вид шифров, но с интересной идеей
AZdecrypt
Zhong: Cryptanalysis of Homophonic Substitution Cipher Using Hidden Markov Models
Nuhn: Beam Search for Solving Substitution Ciphers
Nuhn: Improved Decipherment of Homophonic Ciphers
Kambhatla: Decipherment of Substitution Ciphers with Neural Language Models

О рапануйском языке:
Грамматика Ду Феу
Грамматика Киевиета самая подробная
Словарь Энглерта
Сравнительный словарь полинезийских языков
Корпус рапануйских текстов Козьмина, скоропостижно скончавшегося и не успевшего завершить работу над ним
Второй корпус Козьмина сотоварищи
Третий корпус Козьмина

Вдохновляющее, на русском:
Аку-аку Тура Хейердала
Мифы и легенды острова Пасхи Фёдоровой
Мифы, предания и легенды острова Пасхи Фёдоровой это другая книга, хотя названия похожи

Послесловие

Культура острова Пасхи заинтересовала меня в 11 лет, когда я прочел книгу Тура Хейердала Аку-аку. Тогда остров казался неимоверно далёким и необычным, на противоположном конце света. Сейчас расстояния сократились, вы можете прочитать десятки книг и статей про остров, поговорить с современными рапануйцами, но ронго-ронго по-прежнему остается загадкой. Задача ждет своего решения!
Подробнее..

Перевод Решение 340-символьного шифра Зодиака с помощью Mathematica

27.03.2021 12:17:15 | Автор: admin

Зодиак (неопознанный американский серийный убийца, действовавший в 60-х и 70-х годах прошлого века) отправил множество издевательских писем в прессу города Сан-Франциско. В этих письмах убийца брал на себя ответственность за преступления и угрожал совершить новые убийства. Письма также содержали три шифра, каждый из которых являлся частью 408-символьной криптограммы. Убийца утверждал, что эта криптограмма раскроет секрет его личности. Зодиак отправил четвертый и последний шифр (который рассматривается в этой статье) в San Francisco Chronicle после того, как 408-символьная криптограмма, расшифрованная в 1969 году, не раскрыла личность убийцы.

Коротко о Z340

Меня вдохновило видео Дэвида Оранчака, в котором рассматривается 340-символьный шифр Зодиака (Z340). Этот шифр один из святых Граалей криптографии, так как его не могли разгадать на протяжении 50 лет.

340-символьный шифр Зодиака340-символьный шифр Зодиака

В своем видео Дэвид высказал идею о том, что Z340 это одновременно и омофоническая замена, и перестановочный шифр. На данный момент существуют различные эффективные программы для решения омофонических шифров и лучшей из них считается AZdecrypt. Эксперименты показывают, что AZdecrypt способна решить все омофонические шифры с той же длиной и распределением символов, что и у Z340. Но, к сожалению, AZdecrypt не может расшифровать его. Возможно, решение заключается в поиске правильного перестановочного шифра с последующим использованием AZdecrypt для решения омофонического шифра замены.

Период-19

Дэвид выделил одну конкретную перестановку, которую нашли независимо друг от друга и разместили на zodiackillersite.com пользователь daikon и Ярл ван Эйке (автор AZdecrypt) период-19.

Про период

Период это расстояние или шаг между исходной позицией символа в тексте и его новой позицией после перестановки.

Ради интереса я решил построить её с помощью Mathematica:

Таблица показывает, на какую позицию должен встать символ исходного текста после перестановкиТаблица показывает, на какую позицию должен встать символ исходного текста после перестановки

Однако это не было похоже на перестановку, которую нашли daikon и Ярл ван Эйке. К моему удивлению, оказалось, что в их перестановке при переходе с последней строки на первую использовался период, равный 18.

Перестановка с периодом 19, которую нашли daikon и Ярл ван Эйке. Перестановка с периодом 19, которую нашли daikon и Ярл ван Эйке.

Хотя эта перестановка внешне выглядела интересно, она не показалась мне естественной конструкцией, которую можно сделать на листе бумаги. Стоит отметить, что Z340 был составлен в 1969 году и поэтому наверняка он создавался вручную без использования компьютера.

Я увидел связь между перестановкой с периодом 19 и 1,2-децимацией шифра 20x17.

Что такое децимация?

Здесь и далее в тексте децимация (англ. decimation) это перестановка, построенная по следующим правилам: число, характеризующее децимацию (стоящие перед ней) определяют позицию следующего символа. В случае одномерной децимации (n-децимация) число n определяет количество шагов, которые необходимо сделать вправо, чтобы перейти к следующему символу. В случае двумерной децимации (n, m-децимация) для того, чтобы перейти к следующему символу, необходимо сделать n шагов вниз и m шагов вправо, начиная с верхнего левого угла.

Эта перестановка принимает диагонали, аналогичные перестановке с периодом 19:

Выполнение 1,2-децимации Z340 через AZdecrypt не дало решения.

Подсчет биграмм

Один из способов исследовать вероятность нахождения правильной перестановки омофонического шифра замены это подсчет количества повторяющихся биграмм.

Что такое биграмма?

Биграмма - это последовательность из двух рядом стоящих символов.

В системе Mathematica легко написать код для произвольных n-грамм:

Затем мы можем построить большое количество шифров, подобных Z340, и сравнить распределение числа биграмм в них с большим количеством случайных перетасовок Z340:

Среднее количество биграмм для случайных перетасовок составило 19,8, а для случайных шифров, подобных Z340, 34,5. Z340 имеет 25 повторяющихся биграмм, в то время как перестановка с периодом 19, которую нашли daikon и Ярл, и 1,2 децимация имеют 37 повторяющихся биграмм. Таким образом, статистически можно предположить, что мы находимся на правильном пути.

Перебор возможных перестановок

После того, как прогон 1,2-децимации через AZdecrypt не дал решения, мы решили работать над поиском среди большого числа потенциальных перестановок. Было сложно выяснить, какие перестановки проверялись в прошлом, поэтому я решил пронумеровать все приемлемые перестановки, отсортировать их по количеству биграмм и пропустить через AZdecrypt. Вот, некоторые из этих перестановок:

Я также включил все перестановки, соответствующие одномерным и двумерным децимациям. Для одномерных перечислений всех чисел, взаимно простых с 340 (чтобы заполнить весь массив) у нас есть следующие 128 соответствующих децимаций:

Для двумерных перечислений у нас есть следующие 128 соответствующих децимаций:

Например, 3,4-децимация порождает следующую перестановку:

Используя AZdecrypt, мы протестировали все перестановки с разными правилами расположения элементов: row-major, column-major, чередование строк и столбцов, чередование столбцов и строк, по внешним и внутренним спиралям, по диагоналям, а также построенные выше одномерные и двумерные децимации. Эксперимент не дал ничего похожего на решение, поэтому мы протестировали все пары перестановок. Затем мы рассмотрели возможность тестирования всех упорядоченных троек перестановок; однако для этого потребуется проверить 155 929 364 660 224 потенциальных шифров. Если предположить, что проверка одного шифра занимает одну секунду, то для полного перебора потребовалось бы более пяти миллионов лет. Поэтому мы решили ограничиться децимациями, которые можно было бы составить от руки, а затем протестировали потенциальные шифры с большим количеством биграмм. И этот поиск тоже ничего не дал.

Сегментация исходного шифра

Возможно, мы упускаем еще один шаг. Учитывая то, что 408-символьный шифр Зодиака был отправлен в виде трех одинаковых по размеру фрагментов, мы предположили, что Z340 построен из отдельных сегментов, а затем зашифрован с перестановкой и омофонической заменой:

408-символьный шифр Зодиака408-символьный шифр Зодиака

Мы рассмотрели разделение шифра на несколько сегментов:

Затем мы использовали Reduce для вычисления всех возможных 2x2 сегментов:

Учитывая большое количество биграмм в 1,2-децимации, мы начали поиск с двумерных децимаций, при этом каждый сегмент имел одинаковую (одиночную) перестановку. Как и при предыдущих попытках, это ничего не дало.

Поиск композиций из нескольких перестановок и всех комбинаций перестановок для всех сегментов будет значительно более масштабным мероприятием. Поэтому мы решили повторно проанализировать результаты первоначального поиска. Из 650 000 протестированных перестановок одна содержала несколько особенно интересных сегментов открытого текста:

Это было интересно, поскольку тестируемой перестановкой оказалась 1,2-децимация с разделением шифра на три вертикальных сегмента:

Исследуя этот результат, Дэвид использовал полученное разделение, 1,2-децимацию и AZdecrypt с известными фрагментами текста: HOPE YOU ARE, TRYING TO CATCH ME и THE GAS CHAMBER. С помощью этого AZdecrypt нашел следующее решение для первого сегмента:

Эврика! Спустя 51 год мы расшифровали часть Z340. Это был особенный момент. А как насчет оставшихся двух сегментов? Возможно, мы нашли только одно правильное вертикальное разделение из 9 строк, а оставшиеся 11 строк требовали другой сегментации. Или, возможно, требовалась другая перестановка, или даже другой ключ для шифра подстановки, отличающийся от полученного для первого сегмента, или все вместе взятое. Наша работа была далека от завершения.

Дальнейший криптоанализ

Дэвид обнаружил, что мы можем использовать ключ из первого сегмента к последнему сегменту для создания следующего открытого текста без каких-либо перестановок:

Открытый текст, включая некоторые пробелы, выглядит так:

Затем, перевернем некоторые слова:

Это показалось вполне реалистичной расшифровкой последнего сегмента.

А как насчет второго сегмента? Если использовать в виде crib-фразы весь разборчивый текст из первого сегмента, мы получим следующую расшифровку:

Некоторые части этого текста имели смысл, но мы, конечно, еще не достигли желаемого результат. Мы попросили Ярла ван Эйке, автора AZdecrypt, помочь нам с этим сегментом. Он сделал следующие наблюдения:

  • Открытый текст LIFEIS исключается из 1,2-децимации и читается слева направо.

  • Многочисленные орфографические ошибки исправляются, если H в шестой строке переместить в четвертый столбец.

  • Нужно применить 1,2-децимацию, пропуская позиции, содержащие LIFEIS:

Тогда второй сегмент станет таким:

Ключ шифра и перестановка, которые мы обнаружили для шифра Z340, выглядят следующим образом:

Эпилог

Полное послание в примерном переводе звучит так:

Надеюсь, вы повеселились, пытаясь меня поймать. Это был не я на ТВ-шоу. Кстати, обо мне. Я не боюсь газовой камеры, потому что она отправит меня в рай пораньше, и потому что у меня есть достаточно рабов, которые будут работать на меня там, где ни у кого другого нет ничего, когда они прибывают в рай. Поэтому они боятся смерти. А я не боюсь, потому что я знаю, что моя новая жизнь будет легкой в раю. Смерть.

Спустя пятьдесят один год после того, как Зодиак отправил этот шифр в San Francisco Chronicle, у нас появилось решение. Дэвид отправил его в отдел криптоанализа ФБР в субботу, 5 декабря 2020 г. Вскоре после этого ФБР официально подтвердило правильность нашего решения.

По сути, вся моя работа над Z340 выполнялась в системе Mathematica. Я использовал кластер высокопроизводительных вычислений Spartan в Мельбурнском университете, чтобы исключить возможные перестановки с помощью zkdecrypto, а Дэвид использовал AZdecrypt. В остальном весь статистический анализ Z340, а также создание и анализ миллионов возможных перестановок были выполнены с помощью Mathematica. Причина, по которой я использовал Mathematica, проста: это самый оптимальный и эффективный инструмент для решения данной задачи.

Подробнее..

Категории

Последние комментарии

  • Имя: Макс
    24.08.2022 | 11:28
    Я разраб в IT компании, работаю на арбитражную команду. Мы работаем с приламы и сайтами, при работе замечаются постоянные баны и лаги. Пацаны посоветовали сервис по анализу исходного кода,https://app Подробнее..
  • Имя: 9055410337
    20.08.2022 | 17:41
    поможем пишите в телеграм Подробнее..
  • Имя: sabbat
    17.08.2022 | 20:42
    Охренеть.. это просто шикарная статья, феноменально круто. Большое спасибо за разбор! Надеюсь как-нибудь с тобой связаться для обсуждений чего-либо) Подробнее..
  • Имя: Мария
    09.08.2022 | 14:44
    Добрый день. Если обладаете такой информацией, то подскажите, пожалуйста, где можно найти много-много материала по Yggdrasil и его уязвимостях для написания диплома? Благодарю. Подробнее..
© 2006-2024, personeltest.ru