Томография

Для начала немного новостей.

Как вы можете помнить, в 2018 году я опубликовал статью Как нам удалось прочитать рукопись, найденную в 80-х возле третьего крематория в Аушвице-Биркенау. Так же можете почитать интервью со мной в новой газете.

После совместной работы новая информация заставила зашевелиться как и сам музей Биркенау так и историков. Впервые у Павла Поляна вышли Свитки из Пепла на немецком языке.

В январе 2020 года мы получаем письмо от нашего друга историка Андреаса Киллиана из Франкфурта со ссылкой на магазин музея Аушвиц Биркенау.

Там мы обнаруживаем новую книгу о Марселе Наджари. После того, как мы получили эту книгу по почте, мы узнаем, что музей Биркенау, по их словам, регулярно предпринимал попытки исследования рукописи, пока местный польский доктор Томаш Лоевский из университета науки и техники в Кракове, не сделал новую мультиспектральную пересъемку.

Увы, но книга вышла очень однобокой. Описанная хронология исследования исключала любые события вне польской принадлежности. По словам Павла, после наших публикаций в СМИ, они получили хороший заряд любви за пропуск очень важного исторического материала. К счастью, пересъемка действительно дала новый результат! Добавились новые даты и слова. В книге были распечатаны новые сканы. На них я действительно визуально обнаружил новые символы, которые абсолютно отсутствовали в цифровых копиях двадцатилетней давности, что были у нас. Однако, исследователь не применял метода, который использовал я. А теперь представьте себе, что я чувствую и как я жажду увидеть эти новые файлы! Рукопись до сих пор имеет потенциал, и мы пытаемся получить к ней доступ.

В России существует большое децентрализованное движение по поиску и увековечивания памяти солдат, погибших в ВОВ. Поисковые отряды разбросаны по стране и частенько ругаются друг на друга из-за некомпетентности проведения вскрытия нагрудных медальонов, безвозвратно уничтожая их. Но то, что удается развернуть, далеко нелегко прочитать. Такая же ситуация с письмами или мемуарами родственников, огромное количество испорченного материала в архивах в регионах нашей страны. Кучей других, казалось бы, испорченных на первый взгляд документов имеет огромный потенциал к прочтению. Существующая литература по криминалистике, что далась мне через гугл, крайне устарела. Посмотрев российские публикации по реконструкции писем Достоевского, Чехова, пообщавшись с архивистами из гос. учреждений, частных компаний, изучив публикации и опыт западных коллег, было решено подготовить этот просветительский обзор современных технологий ( или как это сейчас модно говорить: топ 10 фич для нечитаемого письма с наследством от вашего прадеда).

Этот материал относится к классу изучения культурного наследия и составлен из научных публикаций, доступных за последние 15 лет, а также и моего опыта и анализа.

В этой публикации мы будем двигаться от сложного к доступному, а в следующей, более практической, поговорим об алгоритмах и софте.

1. Рентгеновская микротомография (X-ray micro tomography)
2. Рентгеновская томография с фазовым контрастом (X-ray phase contrast imaging)
3. Рентгенофлуоресцентная визуализация (X-ray fluorescence imaging)
4. Оптическая когерентная томография (Optical coherence tomography)
5. Терагерцовая визуализация (Terahertz imaging)
6. Инфракрасная термография (infrared thermography)
7. Раман спектроскопия (RAMAN imaging)
8. Мультиспектральный анализ (Multispectral imaging)
9. Выбор технологии.

1. Рентгеновская микротомография

Университет Cardiff (UK)

Я опишу стандартный вариант интереса музейного архивиста. Что нибудь старое неизученное и очень интересное. Например, судебный свиток 16-го века из поместья Дисс Хейвуд в Норфолке (UK) вполне сгодится. По каким-то причинам печального прошлого он обожжен огнем и попытки отмочить и развернуть его могут уничтожить как чернила так и сам носитель. Железистые чернила (скорее всего это они) на обожженных участках совершенно нечитаемы. К тому же, на свитке сажа и прочий налипший мусор. Теоретически, в нем должны быть сведения о жизни в поместье, земельных сделках, нарушениях мира, уплате штрафов, имен присяжных и прочую бюрократию. Данные из него могут быть использованы для изучения демографии, урожайности сельхозкультур да и самой истории. Кто знает, что там за разворотом, если не заглянуть? А развернуть его без последствий возможно только виртуально.


В качестве оборудования для изымания виртуальной копии использовался рентгеновский томограф. Я не стану вдаваться в название модели как сейчас так и далее по тексту, потому что ученые работают на том, что или свободно на текущие даты или вообще доступно. К тому же, там столько настроек, дополнительных приборов, ручных калибровок и измерений, что эта процедура неповторима от эксперимента к эксперименту. Бывает, что ученые вынуждено ускоряют эксперимент в ущерб разрешению, поскольку прижимает время.



По предположению, свиток внутри не имеет сложных наложений. Поэтому удается избежать решения задачи по анализу его внутренней ориентации. По первым сканам это подтвердилось.


Один из томографических срезов

Как правило, разница в плотности пергамента и воздуха на рентгеновских томографических изображениях очень значительна. И поэтому обработка для извлечения их содержимого начинается с выполнения автоматической сегментации с использованием фильтра threshold (бинаризация). Но это пол беды, так как существует множество мест слипшихся частей или отверстий, для чего необходима ручная корректировка.


Демонстрация алгоритма разделения слоев.

Предположение усредненной толщины пергамента всего документа позволяет разделить слитую область на несколько слоев максимально равномерно.

Первичный анализ показывает, что свиток Дисса Хейвуда состоит из четырех плотно скрученных листов, а текст нанесен на двух сторонах каждого. Если промахнуться мимо нужного слоя из-за ошибок сегментации, текст будет рассыпаться.

Удивительно, но этот процесс был по почти полностью автоматическим! Из-за серьезных повреждений ручной коррекции потребовали только 15 из 8044 срезов.

Сам алгоритм сегментации был не самым оптимальным ( исследователи пишут, что жуткий говнокод, да и еще в матлабе) на 1 срез уходило по 4 минуты! Так что сегментирование всего свитка заняло около 3 недель. Тем не менее, 15 раз поправить из 8000 тысяч за три недели, это еще очень хорошо, по сравнению с результатами в других исследованиях.

Вот так выглядит виртуальное развертывание.



От себя добавлю, в идеале необходим такой софт, при котором щелкая по тексту виртуально развернутой копии, можно было бы локально регулировать глубину сегментации. Тогда у нас в руках будет возможность выбирать максимально читаемую границу разделения. Это более тщательная процедура, которая должна быть передана уже самим переводчикам. Задача ученых на этом этапе должна быть завершена.


Несмотря на потрясающий результат, он основан на выделении существующего контраста между папирусом и чернилами. Вы можете наблюдать черные пятна на папирусе, это как раз зоны, где рентген не смог выделить контраста в материале. Но что делать, если рукопись полностью обуглена?

2. Рентгеновская томография с фазовым контрастом

Со школьной скамьи мы знаем про извержение Везувия, случившегося в 79 году нашей эры. Кто-то помнит картину Карла Брюллова Последний день Помпеи. Результатом этой катастрофы стало разрушение римских городов, особенно Помпеи и Геркуланума. Погребение под толстыми слоями вулканического материала создало некую консервацию этих мест на сотни лет. Сегодня же это место стало абсолютно потрясающей возможностью для изучающих древнюю греко-римскую культуру.

После первого обнаружения папирусных свитков в 1752 году была обнаружена целая библиотека в маленькой комнате огромной виллы, содержащая сотни рукописных обугленных свитков, бережно хранящихся на полках. Эта богатая книжная коллекция, состоящая главным образом из эпикурейских философских текстов является уникальным культурным сокровищем. Это единственная древняя библиотека, сохранившаяся вместе со своими книгами!

Сколько же было попыток развернуть эти полуобугленные свитки! Все это приводило к их безвозвратной потери. Было решено сохранить их физическую целостность в надежде на великие умы будущего.

За последние 20 лет был достигнут значительный прогресс в чтении текстов Геркуланума. Использование бинокулярных микроскопов и мультиспектральной съемки (об этом мы поговорим ниже) значительно улучшили читаемость этих текстов. К сожалению, эти методы неприменимы к текстам, которые остаются свернутыми, да и вообще напоминающие скорее кусок угля из вашего мангала, дорогой читатель.


Как уже было сказано выше, в рентгеновской компьютерной томографии механизм выделения контраста основан на поглощении рентгеновского излучения. Этот метод особенно хорошо работает для различения сильно поглощающих материалов от слабо поглощающих материалов (кости и мясо).

В древности папирусы писались чернилами на основе углерода, полученным из сажи, плотность которых почти такая же, как у самого обугленного папируса. Именно близость этих физических свойств долгие годы не позволяла найти необходимый для вычленения текстов контраст.

После изучения аналогичных не сгоревших рукописей исследователи пришли к выводу, что нанесенные чернила не проникали внутрь папируса. Это означает, что они нанесены поверх материала. Этот факт оказался решающим для экспериментов, потому что используя фазовый контраст можно найти именно эту разницу. У разной толщины материала различный показатель преломления ( фазовые сдвиги рентгеновского излучения). Высота чернил над папирусом где-то около 100 микрон. Именно эта технология позволила впервые вычленить достаточно читаемые символы.

В отличие от свитка из Англии, у этого папируса крайне сложно размотать внутренние слои. Поскольку алгоритмы сегментации бесполезны из-за сложных поверхностей. Непрерывные участки с текстом были идентифицированы вручную почти во всех случаях.



Это новаторское исследование открывает новые перспективы не только для многих папирусов, но и для тех, которые еще не обнаружены. Возможно, под более глубокими вулканическими породами есть еще одна библиотека!

3. Рентгенофлуоресцентная визуализация

Стэнфордская лаборатория. (USA)

Вы что нибудь слышали о палимпсестах? Документах, в которых информация стоила куда дешевле чем сам носитель. Никому ненужные тексты могли соскабливаться, отбеливаться и перекрываться новыми свежими.

Гален Пергамский врач императоров и гладиаторов. Его текст О смесях и силе простых лекарств был переведен в 6 веке на сирийский язык для распространения его идей в древнеисламском мире. Восстановление данного текста позволит понять, как лечились болезни в то время и это очень ценная информация. К сожалению, несмотря на известность врача наиболее полная и сохранившаяся версия перевода была стерта и переписана гимнами в 11 веке. Более ранние исследования выявили следы текста под ними, но они не увенчались успехом оба текста были написаны одинаковыми чернилами, к тому же, основной был хорошо вычищен. Добиться необходимого контраста для прочтения не удавалось в течение 10 лет.

Не так давно международная группа исследователей показала прекрасный результат с помощью Стэнфордского источника синхротронного излучения (SSRL) из национальной ускорительной лаборатории SLAC.

Мы надеялись, что там будет достаточно следов чернил, чтобы мы смогли расшифровать хотя бы одно или два слова,-говорит Уве Бергманн, штатный ученый из SLAC, который возглавлял проект рентгеновской визуализации. Отчетливое письмо, которое мы сейчас видим, знаменует огромный успех.

Конечно же, команда опасалась, что даже с помощью мощных рентгеновских методов визуализации в SSRL текст все еще может быть неразборчивым. Например, количество железа в оставшихся чернилах слишком мало или они слишком смазаны.

Рентгенофлуоресцентная визуализация работает по принципу выбивания электронов вблизи ядер атомов металлов. Эти дырки заполняются внешними электронами, что приводит к характерной рентгеновской флуоресценции, которую можно зафиксировать. Скрытый текст Галена и новый религиозный текст флуоресцируют несколько по-разному, потому что их чернила содержат различные комбинации железа, цинка, ртути и меди. Разница в веках не может не отразиться на составе чернил и это именно те необходимые различия, которые позволят разделить полученные массивы данных.

Сканирование одного листа занимает около 10 часов для каждой из 26 страниц. Результат огромное количество данных. Приходилось прибегать даже к машинному обучению, чтобы извлекать информацию. Руками это разобрать крайне сложно.





В конце января 2019 года у себя в твиттере Майкл Тотт выложил фотографию. В канале, который отвечает за наличие серы в рукописи, обнаружился великолепный контраст.





Лично я бы хотел такой фотошоп, где слои у изображения выступали бы в качестве его составных химических элементов. Как бы называлось тогда цветовое пространство? Рукопись все еще находится на стадии изучения.

4. Оптическая когерентная томография

Университет Дьюка (США)

Это метод фотонной визуализации в основном используется в офтальмологии. Например, для недоношенных плодов по глазному дну можно определить степень развития мозга. В основе технологии лежит схожий принцип что и с ультразвуковым измерением, только излучением служат ИК лучи (850нм-1000нм). Изображения получаются высоко детализированными ( микроскоп идет бонусом ), а из-за свойств ИК лучей проникать в ткани на 1-2мм у нас есть возможность получать объемный массив, по которому можно делать срезы на нужной глубине.


Описан случай изучения образца папируса 2 века до нашей эры. В Древнем Египте умерших среднего класса мумифицировали с помощью маски из обрывков папируса типа папье маше, потом наносили грунт и краски. Есть подозрения, что этот папирус был взят б.у с уже каким-то существующим текстом. Некоторые ученые, по словам Майкла Тотта, растворяют маски в средстве для мытья посуды, чтобы добраться до этих слоев папируса под краской. Все бы ничего, но это разрушает артефакт, да и процедура зависит от прямоты рук и не дает никаких гарантий. Если бы проблемы были только в желании неинвазивного исследования, так поди еще вывези это из страны! Законы, запрещающие вывозить образцы культурного наследия, бюрократия, упаковка, тряска и т.п. Так сложилось, что сестра Синтия Тотт работает офтальмологом совсем неподалеку от университетского архива папирусов (несколько минут ходьбы). В ее учреждении есть оптический сканер когерентной томографии.


Перед вами в роли пистолета тот самый оптический сканер, и заинтересованные лица.


Здесь на фотографии на заднем плане на стекле лежит та самая полосочка папируса. Результатом сканирования стал гиперкуб, срезав шапку которого (оторвав первый слой обоев в твоей любимой хрущевке, дорогой читатель) можно действительно различить символы алфавита!


Не удивляйтесь, что видите знакомые вам символы. Майкл утверждает, что в то время греческий язык был языком правительства, поэтому поиск символов не требует привлечения носителей мертвого языка, но основная сложность работы с этим оборудованием и подобного уровня задач в том, что почти все ресурсы в мире сосредоточены на решениях задач сохранения здоровья и жизни, что понятно. Специалистов очень мало, а свободных и идейных тем более. Да и существующие программные решения не подготовлены для решения задач, связанных с культурным наследием. Тем не менее, это перспективная технология.

5. Терагерцовая визуализация

Одна из молодых технологий, набирающая обороты в огромном количестве областей в последнее время. Успешных крупных примененных кейсов для восстановления рукописей мне не удалось найти. Есть множество аналитических экспериментов, подтверждающие наличие потенциала, а в некоторых случаях превосходящих рентген из-за выделения контраста среди не железосодержащих элементов. Вообще, об этой технологии есть хорошая и очень интересная лекция.

https://www.youtube.com/watch?v=9N0U_OuaWGc

Используемые длины волн от 100 гигагерц до 3 терагерц, могут проникать через бумагу и многие другие материалы. Излучение не ионизированное и поэтому безопасно для человека. На основе статистики отраженных полей во времени существует возможность локализовать каждую страницу.

Перед вами анимация, показывающая по очереди буквы LAZ,THZ. Эти буквы были напечатаны на лазерном принтере и сложены в стопку. Излучатель положили сверху и по отраженному сигналу удалось различить текст до 20 листов. Глубже сигнал отражался с уже нечитаемым количеством накопленных ошибок.


Музей Метрополитен в Нью Йорке заинтересовался данным подходом, потому что в их архивах лежат книги, которые запрещено открывать под угрозой разрушения. А доступ к томографии не такой простой. Большим плюсом выступает доступность оборудования. В отличие от предыдущих технологий, на рынке уже представлены несколько законченных продуктов, готовых к подключению прямо к ноутбуку по USB.

6. Инфракрасная термография

Теперь мы рассматриваем построение изображения в диапазоне работ термовизоров. Активная импульсная термография была успешно применена для неинвазивного выделения древних текстов в пергаментных переплетах книг. В качестве примера можно привести результаты, полученные в результате анализа рукописи XIII века (ms 509/D813), хранящуюся в Римской библиотеке Ангелика. Рукопись представляет из себя изложение Ветхого Завета и состоит из 127 письменных пергаментов. Часть из них пострадала от воды. Последние страницы с крупными размытыми пятнами, делающими текст нечитаемым.

Термограммы, выполненные на различные поврежденные области, показывают частичное восстановление чернильного текста во всех исследованных областях.



Такие термограммы были получены при помощи двух ламп-вспышек мощностью 1 кВт. Потеря пигментного компонента чернил не означает смыв остальных его составляющих. Возможность восстановления контраста может обуславливаться временным нагреванием зон с остатками чернил, которые эффективно поглощают часть падающего света.

7. Рамановская спектроскопия

Бодлианская библиотека.Оксфорд

В случае облучения какого-либо вещества лазером, помимо релеевского рассеивания крайне малая часть отраженного сигнала меняет свою частотную составляющую. Появляются спектральные линии, которых не было в первичном источнике света. Число и расположение появившихся линий определяется молекулярным строением вещества. Таким образом можно определить его состав. При установке лазера на станок чпу, можно снимать эти данные по координатам и потом уже сформировать изображение из элементарного состава. Этот способ очень популярен для исследования пигментного состава картин и выявлении скрытых надписей. Правда в работе с Армянской рукописью целью выступала немного другая задача.Следует, отметить, что облучение лазером носит очень слабый, но все таки повреждающий характер.



А вот так выглядит полученная пигментная маска обложки, на основе элементарного состава. В данном примере показан результат по красному пигменту.



Не так то это и круто, скажете вы. Ведь подобную маску так или иначе можно попробовать вычленить и из фотографии? Фотография, получается, тоже является аналитическим инструментом?

8. Мультиспектральный анализ

И так, мы подошли к тому, о чем собственно и имеет смысл говорить, если речь идет о доступности технологии. Большинство крупнейших мировых музеев и архивов имеют в своем распоряжении именно это оборудование. 1993 году Свитки Мертвого моря стали одними из первых рукописей, изучаемых с помощью спектральной визуализации. Правда в то время исследователи пытались восстановить выцветшие или неразборчивые тексты с помощью инфракрасной пленки.

Пленка ушла, пришла цифра и сверхяркие светодиоды (или же набор фильтров и два строительных галогеновых светильника). Суть технологии довольно проста. Вам необходимо сделать около 12 цифровых изображений на чернобелую матрицу (очень желательно) в 12 различных спектрах из оптического диапазона: три в ИК, потом красный, янтарный, оранжевый, желный, зеленый, голубой, синий, фиолетовый и уф. На фотографии выше два светодиодных прожектора, которые на данный момент подсвечивают образец в УФ свете. По результатам делаются дальнейшие выводы об образце: есть ли потенциал, поможет ли нам софт, и не стоит ли начать топтать кабинеты чиновников, выбивая бюджет для поездки в национальную исследовательскую лабораторию.

В 2020 году ученые, изучающие материал пергамента Кумранской рукописи свободный от текстов, случайно обнаруживают буквы. Огромное количество мелких частей никогда не изучалось на предмет наличия текстов, потому что не было никаких намеков на это. Некоторые участки были даже специально нарезаны. для каких-то других задач. А при пересъемке в ИК спектре то, что казалось пустым, внезапно оказалось сенсацией.


Один из величайших исследователей Девид Ливингстон посвятил Африке большую часть своей жизни, пройдя пешком свыше 50 тысяч километров. В одной из последних своих работ вместо закончившихся чернил он использовал сок местной ягоды. Но прекрасный контраст сохранялся только первое время. Когда же рукопись добралась до его коллег сок потерял свой пигмент. Она ждала 140 лет, чтобы быть полностью прочитанной. Кстати, проект по изучению его дневника https://livingstoneonline.org занял 1 место в DHawards в 2016 году.



На изображении выше страница рукописи и дальнейшие комбинации из полученных спектральных изображений пригодных как в качестве масок подавления шумов так и непосредственно повышения контраста необходимых элементов.

Подавление газетного текста производилось маской из ИК диапазона, так как сок ягоды там отсутствовал, а вот в других каналах он присутствовал более контрастно вместе с газетным. Результатом расшифровки стала история, в которой Ливингстон был непосредственным свидетелем страшной резни среди работорговцев. Он был так поражен происходящим, что прервал свои поиски истоков Нила. На сегодня рукопись полностью расшифрована и доступна для любых желающих. Но так как вы, дорогой читатель, скорее всего живете во время, когда не ценят то, что дается бесплатно, читать вы ее скорее всего и не будете.

В блоге британской библиотеки вы тоже встретите регулярные результаты исследований мультиспектральной съемки. 800 летняя! Магна карта (Великая хартия вольностей) показала отличный результат, несмотря на свое состояние. Или результат Евангелие Бодмина. 9 век. Приглядитесь, это одна и таже страница.


Чтобы лучше понять, как устроен процесс, есть хорошее видео https://www.youtube.com/watch?v=GhpBmL5_OXw

Более того, если вам кажется, что это не доступно простым смертным, мой итальянский приятель Антонино Косентино (будучи ученым) поведает вам о своем проекте https://chsopensource.org/ где делится результатами своих исследований о применении бытовых зеркалок и обьективов в мультиспектральной съемке. Его проект Antonello посвящен этому полностью. Правда, я не уверен, что набор фильтров вместо светодиодных прожекторов является лучшим решением. Хотя бы потому, что такой набор вам обойдется в 800 евро. Чтобы лучше понимать, как ведут себя цветовые пигменты в мультиспектреальной съемке, я покажу


https://habrastorage.org/webt/j1/bl/mi/j1blmiegmk2pxxngg3_mhrq0n9c.jpeg

На ней вы видите, как многие пигменты в IR становятся прозрачными или отражают или поглощают ИК лучи и как в UV все выглядит совершенно по-другому. Съемка между IR и UV тоже покажет свой набор контрастов.

Теперь, обладая достаточными знаниями, перейдем к сравнительному анализу перечисленных выше методов, чтобы узнать, на каком из выше приведенных методов лучше исследовать предполагаемый образец.

9. Выбор технологии

Исследование папирусов, одна из самых популярных тем культурного наследия. В одной из научных работ, исследователи задались вопросом, чем светить на мумию. Стоит ли перебирать технологии по очереди в поисках результата, или лучше заранее сузить выбор?

Если воспроизвести идеальные условия, можно будет довольно точно рассуждать о способности технологии раскрывать определенные пигменты лучше других.

Исследователями по древней технологии были подготовлены 4 листа папируса 10x15см (фантомы), разделенных на четыре зоны. Каждая зона на каждом листе была помечена жирным крестом разного состава чернил по часовой стрелке, чтобы не возникало ситуации, при которой кресты в сложенных пачках папирусов накладывались бы друг на друга.


Три типа чернил выбраны по историческим причинам, а последний современный (чего месту пропадать):

• углерод (сажа, уголь)
• оксид железа ( наиболее распространены)
• железистые чернила (в меньшей степени)
• современная углеродная тушь (Winsor and Newton, UK, Великобритания)

Мультиспектральная съемка обеспечивает отличную детализацию поверхности с чернилами на основе железа и углерода с высоким разрешением, но ограниченным проникновением в глубину.


Однако, этот недостаток в некоторой степени смягчается, если производить съемку на просвет.


Оптическая когерентная томография предлагала неожиданно низкое проникновение из-за высокого коэффициента оптического затухания папируса.


Рентгеновские методы позволили идентифицировать чернила на основе железа даже при добавлении дополнительных листов папируса поверх фантомов, но они не смогли обнаружить чернила на основе углерода.




Рентгенофлуоресцентная визуализация




Кресты, соответствующие современным чернилами и на основе углерода, не были обнаружены. Углерод является легким элементом (атомный номер 6) и флуоресцирует при слишком низкой энергии для обнаружения используемой системой. Самым легким элементом, который можно было обнаружить, был фосфор (15). Железо, присутствующее в железистых чернилах (26), было хорошо видно и можно было отличить от фона даже через 6 слоев папируса.

Рентгеновская томография с фазовым контрастом

Из-за ограничений по времени у исследователей были взяты только кресты с чернилами на основе оксида железа и углерода. Отчетливо видна волокнистая структура папируса. Кресты также видны, из-за наличия разного показателя преломления с папирусом. Довольно слабо видны следы и от углеродосодержащих чернил.




Терагерцовая визуализация, к удивлению исследователей, оказалась способна обнаруживать чернила на основе углерода лучше, чем чернила на основе железа. ТГц волны, как предполагается, чувствительны к чернилам, которые не видны с помощью рентгеновских методов. Эти результаты подтверждаются предыдущим исследованиями.


Мне приятно приносить в российский интернет эту тему, потому что впервые столкнувшись с необходимостью изучения этого, я обнаружил на сколько важным может оказаться этот материал. Я решил не умещать все в одной статье из-за обширности темы. В следующей статье мы поговорим про алгоритмы и цифровую отработку изображений.

Ежели желаете, подписывайтесь на мой твиттер, до того, как это станет когда нибудь модным. https://twitter.com/alexufo7

В первой части мы с вами поговорили о научном оборудовании, которое используется для прочтения, казалось бы, утраченных навсегда текстов. А теперь мы поговорим о том, как обрабатывать эти данные. Мы рассмотрим интересные цветовые пространства, алгоритмы, фильтры и методы статистического анализа. Но перед этим еще раз вернемся к их извлечению. Нам, простым смертным, доступны два варианта сканеры и фотоаппараты*.


Есть еще USB микроскопы https://www.dinolite.us/products/digital-microscopes/usb но при их цене в 500$ каждый при 12 диапазонах будет стоить слишком дорого. К тому же, он скорее для исследования деталей, чем для оцифровки. Рекламные видеоролики с примерами изображения мне не сильно понравились перешарп изображения, как у дешевой китайщины.

Сканеры.

Со сканерами все понятно. Сейчас подавляющее количество сканеров на контактном сенсоре (cis) что позволяет питать сканер прямо по USB без применения дополнительного питания. Это действительно удобно. Однако, у них низкая разрешающая способность 600dpi (хотя не всегда нужно выше) и очень большие проблемы с глубиной резкости. Если ваш документ приподнят над поверхностью стекла CIS сканера более чем на 3мм ждите мыла. Более того, как рассказал мне Дмитрий Николаев он лично наблюдал откровенное маркетинговое намахалово в разных сканерах. Ты выбираешь в настройках продукта формат tiff, а по USB шине сканер гонит jpeg, и уже драйвер сканера делает преобразование.


На что только не пойдешь, чтобы удовлетворить возросшие потребности покупателей!

Более профессиональные сканеры на CCD сенсоре. Их сканирующая часть состоит из объектива, зеркала и самого CCD сенсора. Из-за этого проблем с глубиной резкости у них нет. Так же есть еще одна важная физическая характеристика это глубина цвета. Теоретически, изображение с цветовой глубиной в 48 бит для анализа лучше, чем в 16 бит. Как вы уже знаете, для формирования цветного изображения сканеру необходимо три цветовых фильтра перед сенсором. Существуют специальные мультиспектральные сенсоры для спутникового оборудования, но опять же, в готовых решениях их не найти. Мне даже попадался проект опенсурсного сканера, где существовала возможность менять белый источник света сканера на любой из 12 полос оптического диапазона. Но к сожалению, проект куда-то исчез из сети.

Если вы, дорогой читатель, имеете опыт построения железок этого уровня, можем попробовать это обсудить. Взять какой нибудь сканер, и переделать ему подсветку. Однако, вы все прекрасно знаете, сколько времени сканер тратит на изображение в 1200dpi формата А4. А при необходимости 12 сканов мы получаем минимум час чистой работы железки. Это печалит. Поэтому в современных мультиспектральных системах используются 2D сенсоры. Но у сканера есть и свои преимущества.

Фотоаппараты

Если посмотреть даташиты на какие нибудь кремниевые сенсоры, то их спектральная отзывчивость от УФ до 1000нм и выше. После 700нм это уже ближний ИК диапазон, который нужно отсекать для привычной для нашего глаза картинки. Для этого перед каждым сенсором в любой потребительской технике находится ИК фильтр такого зеленого, на отлив фиолетового, цвета. Для задач мультиспектрального сканирования он только мешает. Поэтому любители ИК фотографии его удаляют самостоятельно.

Мне больше импонирует использование USB3 промышленных камер без bayer-pattern т.е. использование монохромных сенсоров. (USB 3.0 monochrome industrial cameras) например, BFS-U3-200S6M-C. Очень удобно заниматься подготовкой лаборатории, корректировкой освещения и позиционированием документа, а особенно, проверки резкости (при разных длинах волн фокус разный!) наблюдая изображение на большом экране монитора.

Не следует забывать и про любителей вглядываться в вечность. Продавец астрокамер заверил меня, что между исследованием космоса и документов нет разницы и вместо промышленных камер лучше использовать камеры с активным охлаждением матрицы (их рабочий режим до минус 45 по цельсию) Например ASI183MM Pro.(А наш терминатор кремния BarsMonster сообщал, что для коротких экспозиций до 5-10 секунд это не так важно.)

С этой камерой можно использовать объективы от потребительских камер стандарта micro 4/3. Когда я делал обычную съемку на фотоаппарат Lumix DMC-GX80 (16mpx) дневника Васи Баранова я убедился, что мой Olympus 45mm f/1.8 на диафрагме 5.6 выдает достаточно резкие фотографии и вполне пригоден для использования. Даже шумов не так много, учитывая, что света было не так много как хотелось бы.





И так, будем считать, что у нас так или иначе есть или RGB изображение или же мультиспектральный набор из серии монохромных фотографий. Последний требует особого подхода, о нем ниже.

Софт

ImageJ
Утилита ImageJ является популярным инструментом в анализе изображений на западе. Свободные графические алгоритмы, часто пишутся под эту программу и она часто упоминается в разного рода исследованиях как платформа для быстрой отработки графических алгоритмов. Особенно интересен раздел плагинов
https://imagej.nih.gov/ij/plugins/

ENVI
Если смотреть историю мультиспектрального анализа, то конечно же первым предметом исследования для ученых были фотографии со спутников. В них установлены те самые мультиспектральные датчики и задачи ставятся ровно такие же произвести коррекцию и вытащить максимальное количества информации. В этом смысле нет разницы: вглядываемся ли мы в космос или в рукопись. Популярным исследовательским решением выступает программный комплекс ENVI. Я буду говорить о версии 5.3 (другой не нашел ;-) ). В нем меня очень порадовал подход с возможностью анимирования результатов обработки изображений. У меня есть стойкие причины утверждать, что распознавание мозгом деталей на изображении происходит лучше в динамике изменений. То есть вместо того, чтобы передать переводчику статические файлы с набором контрастов, лучше дать ему анимашку.
(Если знаете другое ПО, просьба сообщить.)

https://www.harrisgeospatial.com/Software-Technology/ENVI

Photoshop
Забывать его тоже не будем.

С чего начинать

Анализ каналов

ENVI / ImageJ / Photoshop plugin

RGB модель плохо подходит для максимизации отображаемых данных для нашей зрительной системы так же как и для сегментации изображений, определения краев и т.п. В 1989 году Xerox предложила цветовую модель YES. Она как раз основывается на физиологической модели нашего зрения. При съемке свитков Мертвого моря в 90-х после преобразования RGB в модель YES в канале E были обнаружены ранее непрочитанные исследователями символы.

Цветовое пространство OHTA было экспериментально выведено при статистическом изучении некорреляционных компонентов цвета из большой выборки обычных фотографий. В 2012 году был предложен новый метод сегментации огня, основанный на OHTA.https://www.scientific.net/AMR.485.7 С помощью этого метода можно точно разделить пламя в различных погодных условиях и в различных условиях окружающей среды.

Все это означает, что выделение требуемого контраста определенных компонентов теоретически возможно. Поэтому начинать все следует с анализа каналов известных цветовых моделей, а потом уже пускаться в статистический анализ. Вы, конечно же, можете найти в imageJ почти все популярные цветовые модели и разложить на каналы самостоятельно, но есть замечательный аналитический онлайн ресурс http://retroreveal.org

Он отобразит в галерее каналы следующего набора цветовых моделей: Yuv, YQ1Q2, HSI, HSV, HSL, LCHLuv, LSHLuv, LSHLa, XYZ, Yxy, YUV, YIQ, Luv, Lab, AC1C2, I1I2I3.

К моему удивлению, он по каким-то причинам специально недоступен через выдачу в гугле. Его robots.txt содержит запрет на индексирование.

Если результат в анализе каналов показывает, что необходимая информация в изображении проявляется, то для увеличения читаемости ничего кроме перебора всего остального из статьи я вам предложить не смогу. Так или иначе с опытом приходит понимание: есть ли в исследуемом документе что-то еще или же вам без ускорителя частиц все-таки не обойтись.

ColorTransform 2

http://www.russellcottrell.com/photo/colorTransformer2.htm

Если через онлайн сервис retroreveal.org вы получаете статический файл с маленьким приростом читаемого, это совсем не означает конечный результат работы с преобразованием цветовых моделей. Вам нужна более точная корректировка. Видео с процессом работы плагина https://twitter.com/DJWrisley/status/1246143333501673473

Фильтры

Levels and saturation

Приведу, как пример из истории, привожу его как часть интуитивного мышления исследователя. Чуть ранее мы говорили о цветовом пространстве YES и нашем восприятии, а в пространстве RGB мы интуитивно правим изображение по уровням и насыщенности. Хорошим примером такого чутья действия выступает расшифровка медальона





Как это прям точно было реализовано я не знаю, но обработка велась в photoshop Олегом Гусевым. Я же смог добиться разборчивости через предварительное поднятие банальной насыщенности.

Обратите внимание на скриншот с развертыванием бумаги. Как много остается мокрой бумажной пыли! А ведь такая кучка вполне может содержать пигмент на целую букву! При том, что идеальное решение этой задачи существует с помощью рентгеновской микротомографии! Я точно знаю, что рентгеновский томограф есть в институте кристаллографии им.А.В.Шубникова, но там такая очередь!



(Пожалуйста, не пытайтесь обрабатывать пример выше самостоятельно, сохранив файл на компьютер. Это скриншот с видео труп. Я проверял результат с другого увеличенного кадра и подтверждаю, что это реально)

Black&White

Подробно о применении этого фильтра я писал здесь.


Вот видео процесса https://www.youtube.com/watch?v=u2xnfsAiEJY и PDF версия

Если коротко, фильтр Black&White пересчитывает модель RGB в 7 цветных слоев, что позволяет регулировать интенсивность каждого довольно точно. Это как бы псевдо мультиспектральная съемка.

Highpass

Photoshop

В процессе обработки вы можете столкнуться с тем, что фильтры просвечивают и затемняют нужные зоны рукописи. В этом случае помогает фильтр highpass, его назначение именно в регулировании перепадов яркости. Опять же его практическое применение вы увидели в видео выше.

Алгоритмы

Decorrelation Stretch

ENVI / ImageJ

При отсутствии технологических возможностей, требования к анализу цифровых изображений выставляются часто предельные. Почему? Представьте, что у вас нет возможности слетать на марс с другим фотоаппаратом. Так в 2004 году марсоход Opportunity прислал фотографию после бурения породы.



На изображении три отверстия, созданные внутри кратера выносливости летом 2004 года. Ученые из NASA применили алгоритм Decorrelation Stretch

Поскольку цветовые вариации на марсе крайне слабы, с помощью этого алгоритма можно лучше различить структуру породы. Когда бур просверливает серый гематит, в результате получается ярко-красный порошок, а благодаря обработке можно различить процесс прохождения слоев. Первый слой красный, второй желтый, а самый глубокий зеленый.


Реализация этого алгоритма конкретно для imageJ доступна за денежку. Его автор Jon Harman. Он написал не очень дешевое мобильное приложение с этим же функционалом, чтобы не скучать во время вылазки в горы для любителей изучения древней наскальной живописи. Ссылки на его софт встречаются в публикациях, но что касается рукописей, как-то мне ничего дельного не встретилось.

Применение к рукописям членов зондеркоммандо программы Dstretch, чьи цифровые копии лежат у меня, по моему мнению, этот алгоритм неприменим из-за проблем с детализацией. Именно поэтому он лучше подходит для поиска крупных объектов. В базе матлаба тоже есть реализация этого алгоритма www.mathworks.com/help/images/ref/decorrstretch.html но Dstrech умеет работать с конвертированием в массу цветовых пространств.

Результат обработки обычных фотографий наскальной живописи на его сайте достаточно любопытен.

www.dstretch.com/Presentations.html

Colour Deconvolution

ENVI / ImageJ / Photoshop plugin

https://imagej.net/Colour_Deconvolution

https://4n6site.com/improc/decoplugin/webapp.htm

Цветовая деконволюция активно применяется в медицине для разделения подкрашенной прозрачной клеточной ткани. У алгоритма строгие требования к однородности цветовых пигментов и необходимости их наложения с наличием полупрозрачности (то есть верхний слой пигмента не должен полностью закрашивать подложку). Но такие ситуации тоже могут быть. Например, в примерах коммерческого плагина для photoshop есть онлайн редактор. К сожалению, реализации работающего на лету алгоритма я не встретил. Нужно тупо задавать три параметра и жать кнопку. Это очень неудобно.



Мое мнение по этому алгоритму: если контраст, который мы ищем основан на разнице в цвете (не близкого по спектру), обойтись получится куда более удобными подходами выше. Но если исходить из результата, очень близкие прозрачные цвета, наложенные друг на друга могут быть успешно разделены. Повторить это из известных мне трюков в фотошопе у меня не получилось.

Методы статистической обработки

Статистические методы анализа предполагают, что разделить информацию на слои для обнаружения новых закономерностей возможно, только не ясны параметры, по которым это следует сделать.

Здесь мы переключаемся на программный пакет ENVI, специализирующийся на обработке мультиспектральных спутниковых данных. В своем наборе он содержит больше количество алгоритмов, которые выступают стандартом первичного анализа данных, полученных после оцифровки.

Метод главных компонент (PCA) и метод независимых компонент (ICA)

Спектральные полосы изображения сильно коррелируют, так как занимают близкие области в пространстве. Для анализа такой массив данных не очень удобен. Методы PCA и ICA используется для снижения размерности, то есть удаления избыточной информации. Из 12 каналов можно получить 3, но более детализированных. После обработки первый канал изображения содержит наибольшую дисперсию данных (наименьший разброс случайной величины относительно ее математического ожидания т.е среднего предполагаемого положения), второй вторую по величине и так далее до того момента, когда данные уже сливаются в хаотический шум.

Удачным примером служат некоторые страницы палимпсеста Архимеда ( 287-212 ГГ. до Н.Э.)


На этом рисунке палимпсест содержит смесь из двух наложенных текстов и, вероятно, разные слои из плесени и прочих пятен. На основе мультиспектральной съемки из итоговых 14 слоев удалось извлечь чистые страницы первичного текста Архимеда.

На изображении ниже к рукописи Лейба Лангфуса применен ICA. Особенность этого документа практически полное отсутствие цветового пигмента чернил и отдавался он на перевод таким, какой был со сканера.
После обработки появляется более значимый контраст. Даже этого достаточно, чтобы просто увеличить скорость перевода.


А здесь применение ICA для образца из главы про цветовую деконволюцию. Мы получаем результат, но теряем оригинальные цвета.

Индивидуальные подходы

В зависимости от характера повреждения текста процесс возможной обработки является уже творческой задачей. К сожалению, примеров работ с подобными трюками пока мне известно крайне мало.

Компенсация протекших чернил

В случае с рукописью марселя Наджари мне пришел в голову способ компенсирования протекших чернил.

Я уже отсылал к своей статье. Суть довольно проста если у вас есть два скана одной страницы, вы можете использовать обратную сторону зеркально чтобы уменьшить ее влияние на восприятие информации на лицевой стороне. Так или иначе этот способ позволил значительно увеличить читаемость первой страницы Марселя и на дальнейших значительно облегчить труд переводчика.

Оптико-электроная текстология

Из российских проектов мне известны работы по прочтению рукописи Чехова и Достоевского. Не смотря на то, что те статьи озаглавлены как ОСНОВ ОПТИКО-ЭЛЕКТРОННОЙ ТЕКСТОЛОГИИ это кропотливый труд. Суть рассматриваемой работы заключалась в большом мастерстве автора соединять видимые элементы рукописного текста, который зрительно можно разобрать. Оказывается, можно вполне себе восстановить целые предложения.

Ниже страницы письма Ф. М. Достоевского к А. Е. Врангелю от 14 июля 1856 г. с зачеркнутым текстом.


А это результат


Не смотря на то, что были попытки проводить мультиспектральный анализ, из-за идентичного состава чернил разницы в контрасте не возникло. На этом исследователи остановились. Еще фрагмент:


Мастерству натренированного глаза можно только удивляться! По словам исследователей, данная работа продвигалась невероятно медленно. ЕЩЕ Б! Я когда это первый раз увидел, думал что за магия, где формулы? На мой взгляд, методы статистической обработки позволили бы сделать эту работу быстрее.

Итог

На этом, я думаю можно подводить итоги и завершать экскурс в эту интересную тему. Я надеюсь, что вы сможете поделиться данной статьей с людьми, в чьих интересах лежит схожая область или же они не подозревают о существовании таких подходов. Мемуары вашего ветерана или же другой испорченный документ может быть восстановлен с помощью современных технологий.

Обращусь к коммерческим компаниям, занимающимся как и фотокамерами так и другим исследовательским оборудованием. Для вас это может быть хорошим пиар ходом.Эту статью наверняка прочитают сотрудники государственных архивов и музеев и не долог тот час, когда вы можете быть нужны друг другу. Как много еще неизученных документов, письма Пушкина, Салтыкова-Щедрина, Достоевского, Чехова и других писателей, которые без вас еще долго будут пылиться на полках из-за отсутствия нужного оборудования. По данным вы можете подготовить замечательные и полезные рекламные статьи.

Сегодняшняя статья будет посвящена сразу двум нашим любимым темам: компьютерной томографии (КТ) и отечественному процессору Эльбрус. Мы расскажем, чем отличается рентгенограмма от результатов КТ и объясним, зачем такой большой и серьезной машине, как томограф, был бы кстати специализированный вычислитель. Несмотря на то, что томографы используются уже почти 50 лет (создание первого томографа было анонсировано в 1972 году [1]), это не означает, что все проблемы KT сегодня решены. Наоборот, существует острая потребность в новых томографических алгоритмах, которые были бы быстрее и точнее используемых, позволили бы уменьшить лучевую нагрузку на объект, что, в свою очередь, существенно расширило бы и сферу применения метода КТ. Понимая все это, мы создали такое программное обеспечение Smart Tomo Engine. О нем речь пойдет ниже. Рассказав ранее о борьбе с ортотропными артефактами и об оценке эффекта чаши, в данной статье мы опишем несколько тестов, проведенных с использованием синтетических и собранных на отечественном томографе реальных томографических датасетах и покажем работу нашей программы на процессоре Эльбрус нового поколения (видео прилагается ниже). Результат работы программы приоткроет внутренний мир майского жука, причем значение слова внутренний здесь следует понимать буквально.

Рентгенография широко используемый метод неинвазивной диагностики, основанный на формировании изображения объекта с помощью рентгеновского излучения. Для этого исследуемый объект помещается между источником рентгеновского излучения и регистратором (рис. 1 слева). В качестве регистратора может выступить рентгеночувствительная пленка или позиционно-чувствительный детектор. Изображение формируется прошедшим через объект и ослабленным при своем прохождении излучением. Разные материалы ослабляют рентгеновское излучение по-разному, что обеспечивает контраст на изображении. Регистрируя прошедшее через объект рентгеновское излучение, можно судить о локальном составе исследуемого объекта. Пример рентгенограммы грудной клетки показан на рис. 1 справа. Здесь светлые области характеризуют участки большего поглощения. Рассматривая ребра (светлые изогнутые пластинки), ограничивающие грудную клетку (темная полость с просматриваемыми светлыми участками бронхиального дерева), в верхней части грудины (центральный светлый столб) с правой стороны мы видим небольшое светлое утолщение.

Рис. 1. Рентгенография: принципиальная схема (слева); результат рентгеновского исследования рентгенограмма (справа). Источник.

Рентгенография не позволяет понять, на какой глубине находится проблемная часть прямо на грудине, перед ней или за ней. По одной проекции трудно не только проанализировать тонкую пространственную структуру проблемной части, но и определить ее общую форму. На рис. 2 данный факт и проиллюстрирован.

Рис.2. Источник.

Уточнить форму и внутреннее строение поможет метод КТ. Также как и в рентгенографии, для сбора данных КТ объект помещается между источником рентгеновского излучения и детектором, но регистрируется уже набор рентгенограмм под разными углами. Углы поворота обычно равномерно распределены в некотором интервале. Принципиальная схема измерения показана на рис. 3.

Рис. 3. Принципиальная схема томографической съемки (источник).

Сбор изображений под разными углами проводится на специальном приборе томографе. Поскольку томографироваться могут самые разные объекты живой и неживой природы, а исследования проводятся и на микро-, и макро- уровнях, то разновидностей томографов огромное число. Они отличаются схемами сканирования (послойно-круговая, спиральная и т.д.), используемыми типами источников излучения, схемами формирования зондирующего пучка (конусная, параллельная, микрофокусная). В самых общих чертах схему томографа можно представить так: источник излучения, держатель объекта исследования и детектор. Подвижной частью, позволяющей контролируемо менять ракурс съемки, может быть любая из трех частей. Современный томограф также немыслим без компьютера, который не только управляет схемой сбора рентгенограмм, но производит обработку собранных данных с помощью специализированного ПО.

Для исследования объектов разной природы могут использоваться принципиально отличающиеся друг от друга технические решения. Так, при медицинских исследованиях гентри (подвижное устройство, содержащее систему детекторов и рентгеновских излучателей) (Рис. 4) вращается вокруг неподвижного пациента. Пространственное разрешение в таких томографах достигает 0.2-0.5 мм. Результаты КТ сохраняются в формате DICOM медицинском отраслевом стандарте, разработанном для создания, хранения, передачи цифровых медицинских изображений и сопутствующих документов обследованного пациента.

Рис. 4. Схема медицинского томографа (источник).

Для научных исследований in vitro, проводимых в лабораторных условиях, применяется другая экспериментальная схема источник и детектор неподвижны, а набор рентгенограмм получают, вращая образец. Во ФНИЦ Кристаллография и фотоника РАН (ФНИЦ КФ РАН) в лаборатории рефлектометрии и малоуглового рассеяния был сконструирован и функционирует целый комплекс лабораторных рентгеновских микротомографов. Изображение одного из созданных приборов представлено на рис. 5. В нем образец размещается на гониометре, ось которого перпендикулярна направлению зондирования. Прибор оборудован двумерным детектором. Размер пикселя 9 мкм, поле зрения детектора 24 на 36 мм. В данном приборе реализована возможность использования для зондирования как полихроматического, так и монохроматического излучения. Это позволяет не только повышать качество реконструируемых изображений, но и получать дополнительную информацию об элементном составе изучаемых объектов. Разработка собственных томографов позволяет получить доступ к экспериментальным данным (рентгенограммам) и параметрам работы всех узлов томографа, а, значит, позволяет оптимизировать протоколы измерений в зависимости от поставленных задач.

Рис. 5. Фотография лабораторного микротомографа ФНИЦ КФ РАН.

После регистрации рентгенограмм под разными углами, т.е. сбора полного набора проекций, начинается их обработка. Финальная цель обработки восстановление внутренней морфологической структуры объекта. Поскольку контраст на регистрируемом изображении формируется за счет способности разных материалов по-разному ослаблять рентгеновское излучение, то результатом реконструкции является пространственное распределение коэффициентов ослабления зондирующего излучения. На это распределение и опирается описание морфологической структуры томографируемых объектов.

Если зондирование проводится с использованием параллельного пучка, то задачу трехмерной реконструкции можно решить, восстановив серию двумерных сечений объекта. Для реконструкции одного сечения нет необходимости использовать полный набор проекций. Требуется лишь одна строка фиксированного номера от каждой угловой проекции. Все эти строки соответствуют одному горизонтальному сечению восстанавливаемого 3D распределения, которому можно приписать тот же номер. На рис. 6 слева представлено изображение, собранное из таких строк. Горизонтальная ось отвечает за номер столбца детектора, вертикальная за номер углового поворота. Справа на рис. 6 приведен результат реконструкции сечения.

Рис 6. Синограмма грудной клетки (слева); результат КТ сечение 3D изображения (справа).

Если для томографического зондирования используется монохроматическое рентгеновское излучение, то, опираясь на закон Бугера-Ламберта-Бера, задачу реконструкции можно свести к задаче обращения преобразования Радона. Преобразование Радона это интегральное преобразование, которое связывает значения функции со значениями ее интегралов по всевозможным прямым. Процедура обращения это восстановление неизвестной функции по известным значениям ее интегралов по прямым. Подынтегральная функция, которую и надо восстановить это распределение линейного коэффициента ослабления монохроматического рентгеновского излучения в объеме образца. Свойство обратимости преобразования Радона гарантирует точное восстановление неизвестной частотно-ограниченной функции при наличии достаточного числа интегралов по регулярно расположенным прямым. Это свойство использует алгоритм свертки и обратной проекции (Filtered Back Projection, FBP), реализованный в большинстве современных серийных томографов. Он состоит из двух шагов. Первый шаг линейная фильтрация зарегистрированных изображений. Второй шаг обратное проецирование, т.е. равномерное размазывание каждой полученной на предыдущем шаге одномерной функции по соответствующему направлению на все двумерное изображение с последующей суммацией. Результат работы алгоритма восстановленное пространственное распределение линейного коэффициента ослабления рентгеновского излучения заданной энергии. Если зондирование ведется не параллельным, а конусным пучком, то послойную реконструкцию организовать не удается, и приходится использовать более сложные алгоритмы. Об алгоритмах трехмерной реконструкции, например об алгоритме Фельдкампа, мы напишем как-нибудь в следующий раз. А теперь перейдем, наконец, к описанию нашего ПО.

Smart Tomo Engine

Сердцем Smart Tomo Engine служит библиотека томографической реконструкции, предоставляющая через API следующие функции: чтение томографических изображений (проекций); собственно томографическую реконструкцию (предлагается на выбор три алгоритма) и сохранение результатов (предлагаемые форматы: DICOM, PNG). Программный продукт дополнительно включает в себя графический интерфейс пользователя, обеспечивающий двухмерную визуализацию томографических изображений и результатов реконструкции. Основное назначение программного продукта выполнение реконструкции трехмерного цифрового изображения объекта по набору его трансмиссионных томографических изображений в рентгеновском диапазоне.

Для послойной двумерной реконструкции реализованы следующие алгоритмы:

• FBP Filtered Back Projection. Классический метод томографической реконструкции, комбинирующий обратное проецирование и линейную фильтрацию. Вычислительная сложность O(n³). Подробнее о методе можно почитать в [2]).
• DFR Direct Fourier Reconstruction. Алгоритм работает в частотной области и использует быстрое преобразование Фурье для фильтрации и обратного проецирования [3]. Вычислительная сложность O(n² log n) операций умножений.
• HFBP Hough FBP. Алгоритм реконструкции, который разработали наши ученые. Для обратного проецирования используется алгоритм Брейди быстрого вычисления преобразования Хафа, а для ускорения линейной фильтрации применяется метод Дериша [4,5]. Вычислительная сложность по сравнению с DFR снижена до O(n²) операций умножения (при O(n² log n) операций сложения).

Тестирование на Эльбрус

Мы протестировали наше ПО на отечественной платформе. Тестирование проводилось на машинах Эльбрус-401, Эльбрус-804 и Эльбрус-801СВ. Эльбрус-401 это рабочая станция с процессором Эльбрус-4С, Эльбрус-804 сервер с 4 процессорами Эльбрус-8С. (Мы уже тестировали на них наше ПО, разработанное для решения других задач, и почитать про это можно, например, тут.) Эльбрус-801СВ это новейшая разработка МЦСТ: рабочая станция с процессором Эльбрус-8СВ. Про принципиальные отличия Эльбрусов разных поколений нам рассказали коллеги из МЦСТ: Эльбрус-4С первый процессор, массово поставленный на рынок. Имеет 4 ядра с частотой 750800 МГЦ, 3 канала памяти DDR3-1600. Эльбрус-8С 8 ядер, частота 1.21.3 ГГц, 4 канала памяти DDR3-1600, и при этом в каждом ядре в 1.5 раза больше исполнительных устройств (ALU) для вычислений с плавающей запятой. Эльбрус-8СВ дальнейшее улучшение: 8 ядер с частотой 1.5 ГГц, память DDR4-2400 и ещё в 2 раза больше ALU. Эльбрус-8СВ лучше работает с невыровненными данными, и в нём масса других небольших улучшений по сравнению с Эльбрус-8С.

Характеристики процессоров представлены в таблице 1.

Таблица 1. Технические характеристик использованных процессоров.

Про оптимизацию на платформе Эльбрус мы уже писали тут и тут, поэтому не будем повторяться. Здесь мы не делали ничего сверхъестественного:

• использовали оптимизированную библиотеку EML (геометрические преобразования изображения (напр., аффинное преобразование), арифметические операции и т.д.);
• использовали интринсики там, где EML не смогла нам помочь; однако на Эльбрус-8СВ SIMD стал 128-битным, и мы не успели полностью на него перейти, поэтому интринсики все еще работали с 64-битными векторами.

Для тестирования Smart Tomo Engine мы собрали два датасета: с синтетическими и реальными данными. Синтетический датасет Шепп-Логан 3D был получен методом математического моделирования. Проекции рассчитаны послойно от трехмерного фантома Шеппа-Логана с использованием веерной схемы. Срез представлен на рис. 8 слева. Размер изображения фантома 511х511х511. Проекции рассчитаны для 420 углов, равномерно распределенных от 0.5 до 210 градусов. В эксперименте на вход Smart Tomo Engine подавалось 511 синограмм (изображение одной из них приведено на рис. 7 справа) размером 511х420. Выход 511 реконструированных слоев, размер каждого слоя 511х511. Размер фантома примерно соответствует изображениям, получаемым на современных стоматологических томографах: максимальный размер зоны сканирования челюсти обычно составляет 16 см, заявляемое производителями пространственное разрешение 0.3-0.4 мм. В таком случае размер регистрируемой проекции составит примерно 500х500 пикселей.

Рис. 7. Слева срез трехмерного фантома Шеппа-Логана, справа синограмма центрального слоя.

Реальные томографические данные (датасет "Майский жук") были собраны на микротомографе ФНИЦ КФ РАН, предназначенном для проведения научных исследований. Размер пикселя использованного детектора составлял 9 микрон. Экспериментальный образец высушенный майский жук. Было снято 400 проекций в параллельной схеме. Образец, закрепленный на держателе, поворачивался на углы в диапазоне от 0.5 до 200 градусов с шагом 0.5 градусов. Время измерения одной проекции составило 5 секунд. Размер измеренной проекции 1261х1175. Вход для Smart Tomo Engine 1261 синограмма размером 1175х400, выход 1261 восстановленный слой размера 1175х1175.

А теперь самое интересное результаты замеров и выводы

На этих датасетах мы провели замеры скорости выполнения реализованных нами алгоритмов реконструкции: FBP, DFR и HFBP. Время работы алгоритмов приведено в таблице 2. Замеры проводились на 5 машинах: Эльбрусе-401, Эльбрусе-804, Эльбрусе-801СВ, AMD Ryzen 7 2700 и AMD Ryzen Threadripper 3970X. Для каждой машины в таблице указано число процессоров, число физических ядер и максимальное число одновременно выполняемых потоков (указано в скобках). Замеры скорости реконструкции проводились в двух режимах: однопоточном (1П) и многопоточном (МП), реализованном с помощью библиотеки tbb версии 2017 update 7.

Таблица 2. Замеры времени работы программы, сек.

Анализируя полученные результаты, прежде всего отметим, что в многопоточном режиме 4-процессорный сервер Эльбрус-804 затратил на реконструкцию 511 слоев фантома алгоритмом HFBP 19 секунд, то есть каждый слой был восстановлен за 0.037 секунды, а послойная частота составила 26.8 слоев в секунду (26.8 ips). Чтобы понять, высокая это частота или низкая, приведем следующую оценку. За секунду гентри 16-срезового кардиологического томографа совершает чуть меньше двух оборотов, регистрируя порядка 30 синограмм. Мы восстанавливаем 26.8 слоя в секунду, т.е. проводим реконструкцию практически в режиме реального времени. Таким образом, проведение реконструкции с использованием российской платформы удовлетворяет требованиям по скорости, предъявляемым в кардиологии, где основным реперным параметром является период сокращения сердца, который в среднем составляет одну секунду.

Реконструкция в реальном времени требуется также для реализации нового протокола сканирования, предложенного недавно нашими учеными контролируемой реконструкции [6]. Использование этого протокола уменьшает лучевую нагрузку за счет того, что сбор рентгенограмм прерывается сразу, как только их набор оказывается достаточным для восстановления.

Для научных исследований таких жестких ограничений по времени нет, но выше требования к пространственному разрешению. Поэтому размеры восстанавливаемых сечений больше. При работе с датасетом, полученным с лабораторного микротомографа, на реконструкцию 1261 слоя потребовалось 189 секунды в многопоточном режиме (6.7 ips). Измерение входных данных на лабораторном томографе заняло 2000 секунд, а 3 с небольшим минуты, которые потребовались на реконструкцию всех слоев при использовании Smart Tomo Engine на Эльбрусе-804, соответствуют 10% этого времени. Ещё быстрее будет работать 4-процессорный сервер с процессором Эльбрус-8СВ, который в МЦСТ уже разработали и скоро планируют довести до готовности к серийному производству.

В полученных результатах интересны и сами по себе соотношения производительностей разных платформ на каждом из алгоритмов, с учётом тактовой частоты ядер. На FBP отставание Эльбрусов умеренное, и при нормировании относительно тактовой частоты получаются близкие результаты. Но на алгоритмах DFR и HFBP отставание всех Эльбрусов от платформы х86 значительно больше. Почему? Ответ кроется в недостаточной оптимизации нашего ПО под платформу Эльбрус, все же на x86_64 мы потратили 5 лет, а под Эльбрус, особенно под 8СВ, большую часть программ и алгоритмов мы еще вовсе не оптимизировали.

В ближайшее время мы планируем ускорения в трех направлениях. Первое, что мы сделаем, это оптимизируем наши вычисления на интринсиках. Сейчас наши вычисления сделаны для 64-битного SIMD, а у Эльбрус-8СВ SIMD стал 128-битным. Второе ускорение будет сделано командой МЦСТ. Уже сейчас ведутся разработки для поддержки двумерного и одномерного дискретного преобразования Фурье для входного вектора, размер которого не равен степени двойки. И так как пока его нет, мы пользовались библиотекой ffts, с некоторой доработкой как под Эльбрус, так и под х86.

Для оценки возможного ускорения нашей программы мы сделали замеры времени выполнения дискретного преобразования Фурье на процессоре Эльбрус-8СВ для входной комплексной матрицы размером 512 на 512. Неоптимизированная на Эльбрус библиотека ffts выполнила эту операцию за 27 миллисекунд, а eml справилась всего за 5.5. Мы ускорили, как могли, ffts с помощью вызовов EML в 2 раза, и в таблице 2 замеры проведены уже с учётом этой оптимизации. Таким образом, если оптимизацию проводить с той тщательностью, с которой сделана библиотека eml, то алгоритм DFR на Эльбрусе все еще может быть ускорен почти в 2,5 раза.

Третье, но не менее важное ускорение относится к алгоритму HFBP, который основан на применении преобразования Хафа. Данное преобразование также пока еще не представлено в библиотеке eml, а наша версия оптимизирована только с помощью векторных операций. И, так как данный алгоритм вычислительно эффективнее, чем DFR, наши теоретические выводы и оптимизированная под платформу x86_64 версия это показывают, то данный алгоритм тоже может быть ускорен еще в несколько раз. О результатах этих оптимизаций мы обязательно расскажем в следующий раз.

А вот и обещанное видео с работой программы на Эльбрус-8СВ.

Вот такой внутренний мир майского жука у нас получился.

Заключение

В статье мы представили вам нашу новую разработку программное обеспечение для томографической реконструкции Smart Tomo Engine, которое:

• включает в себя инновационный алгоритм HFBP, стабильно обгоняющий по производительности лидера прошлых лет DFR;
• поддерживает операционные системы: ОС Эльбрус, MS Windows, macOS, различные дистрибутивы Linux;
• поддерживает процессорные архитектуры: Эльбрус, x86, x86_64;
• является полностью отечественной разработкой;
• в составе программно-аппаратного комплекса на платформе Эльбрус подходит для медицинских и промышленных сканеров всех поколений, для новейших нано-томографов (приборов, которые реконструируют объекты с субмикронным разрешением), а также синхротронных центров.

Ну а главный результат этой статьи заключается в том, что комбинации отечественного процессора Эльбрус и Smart Tomo Engine достаточно для томографии в реальном времени, даже без дополнительных ускорений, работа над которыми уже ведется!

P.S. А еще мы не смогли удержаться и замерили производительность UNetа на Эльбрусе. UNet популярная нейросетевая архитектура для решения задач сегментации. Изначально Unet была разработана для решения задачи сегментации в медицине, а по обработанным этим нейросетевым подходом томографическим снимкам теперь определяют патологии и новообразования. Вычислительно тяжелые части нейронных сетей у нас реализованы на EML, а EML оптимизировано под разные поколения Эльбрусов, поэтому на таком замере можно лучше оценить реальную производительность разных процессоров. Замеры выполнены для одного ядра, без распараллеливания, чтобы не оглядываться на число ядер.

Обратите внимание на последние две цифры. Круто?.. А наши исследования продолжаются...