How AI Is Decoding Ancient Scrolls | Julian Schilliger and Youssef Nader | TED

Переводчик: Nailya Agdeeva Редактор: Alena Chernykh

We always think about the potential of AI changing the future.

Мы всегда думаем о том, как ИИ может изменить будущее.

But what about the potential of AI changing the past?

Но как насчёт того, как ИИ может изменить прошлое?

My name is Youssef Nader.

Меня зовут Юсеф Надер.

I'm an Egyptian AI researcher

Я исследователь ИИ из Египта

and a PhD student at the Free University in Berlin,

и аспирант Свободного университета в Берлине.

and last year, I led the Vesuvius Grand Prize winning team

В прошлом году я возглавил команду победителей Гран-при «Везувий»,

on exploring this very question.

которая изучала именно этот вопрос.

You see, the story starts almost 2,000 years ago.

Эта история началась почти 2000 лет назад.

A Greek philosopher that we believe was Philodemus of Gadara

Греческий философ, по нашему убеждению, это был Филодем Гадарский,

sat in one of the many rooms of the Villa dei Papiri.

сидел в одной из многих комнат Виллы папирусов.

He talked about music, he talked about pleasure,

Он рассуждал о музыке, об удовольствиях,

he talked about what makes things enjoyable,

о том, что делает что-то приносящим удовольствие,

questions that still plague us until today.

о вопросах, которые беспокоят нас до сих пор.

One of his scribes wrote down his thoughts on sheets of papyrus.

Один из его писарей перенёс его мысли на листы папируса.

The sheets were rolled and stowed away for later generations.

Листы были свёрнуты и убраны для будущих поколений.

Fast-forward 150 years, ...

Перенесёмся на 150 лет вперёд...

Mount Vesuvius erupts,

В результате извержения Везувия

burying Herculaneum, the villa and the words of the philosopher

Геркуланум был погребён, вместе с виллой и словами философа,

under a sea of hot mud and ashes.

под слоем горячей лавы и пепла.

Now fast-forward again, to the 17th century.

А теперь снова перенесёмся в XVII век.

People are excavating around the area.

В этом районе ведутся раскопки.

They found beautiful statues, breathtaking frescoes

Там нашли красивые статуи, потрясающие фрески

and some weird-looking pieces of charcoal,

и несколько странных на вид кусков угля,

like you see in this picture.

вроде того, что вы видите на фото.

This is when the first scrolls were discovered,

Именно тогда были обнаружены первые свитки,

and people were racing to excavate more of these.

и люди бросились откапывать ещё больше таких же.

What knowledge is included that is not known to us now?

Какие знания заключены в них, о которых мы даже не подозреваем?

What things should we know about these scrolls?

Что нам нужно знать об этих свитках?

My name is Julian, and I am a digital archaeologist.

Меня зовут Джулиан, я цифровой археолог.

When the pyroclastic flow hit the scrolls, it had a destructive effect.

Когда пирокластический поток попал на свитки, он оказал разрушительный эффект.

It tore into them, shredded off pieces, and it charred them badly.

Он разрывал, измельчал на кусочки и сильно обугливал их.

Even the deformation that you can see happened at that point.

В этот момент произошла именно та деформация, которую вы видите.

People, 250-something years ago,

Людям 250 с лишним лет назад

were curious what's lying inside those scrolls,

стало интересно, что спрятано в этих свитках,

hidden and not accessible anymore.

скрыто и больше недоступно.

Because of a lack of technology,

Из-за отсутствия технологий

they had to resort to physically unrolling

им пришлось физически разворачивать их,

and thereby destroying most of the scrolls.

тем самым уничтожая большинство свитков.

To this day,

До наших дней

only the most damaged and deformed scrolls

только самые повреждённые и деформированные свитки

remain in their initial, rolled-up configuration.

сохранились в исходном свёрнутом виде.

Fast-forwarding a little bit, the computer age arrives.

Перенесёмся ещё немного вперёд. Наступила компьютерная эра.

Youssef and I are born.

Родились мы с Юсефом.

We are going on and getting our education --

Мы растём, получаем образование...

(Laughter)

(Смех)

and at the same time, Brent Seales, a researcher and professor,

И в это же время Бренту Силсу, исследователю и профессору,

had the idea to use CT scan technology to actually digitize the scrolls,

приходит в голову идея оцифровать свитки, использую компьютерную томографию

with the hope of, one day, digitally unrolling them.

с надеждой, что однажды получится развернуть их в цифровом виде.

Behind me, you can see a video of such a CT scan,

Позади меня видео такого КТ-сканирования,

and it goes through the CT scan 3D volume,

оно просматривает трёхмерный объём при помощи компьютерной томографии

layer by layer.

слой за слоем.

The papyrus is visible as a spiral,

Папирус виден как спираль,

and you can see it's tightly wound-up,

видите, как плотно он смотан,

sometimes touching each other, flaying off.

слои иногда касаются друг друга и повреждаются.

It's a difficult question, how to unroll this digitally.

Как развернуть всё это в цифровом виде — сложный вопрос.

Nat Friedman, a Silicon Valley investor,

Нат Фридман, инвестор Кремниевой долины,

also saw this research, and he wanted to help.

узнал об этом исследовании и захотел помочь.

That was in 2022.

Это было в 2022 году.

He reached out, and together with Brent Seales,

Он связался с Брентом Силсом,

they created the Vesuvius Challenge,

и вместе они придумали испытание «Везувий»,

with the goal to motivate nerds all over the world

целью которого было привлечь заучек со всего мира

to solve this problem.

к решению этой проблемы.

(Laughter)

(Смех)

They created a grand prize,

Они установили главный приз,

promising eternal glory and monetary incentives

пообещав вечную славу и денежное вознаграждение всем,

to anyone who could do that.

кто сможет это сделать.

(Laughter)

(Смех)

I myself saw that on the internet

Я узнал об этом из интернета,

while writing my master's thesis at ETH Zurich, in robotics,

когда писал диссертацию по робототехнике в Швейцарской технической школе Цюриха,

and I was instantly happy to solve it --

и с радостью решил бы эту задачу

or at least try, why not, you know?

или хотя бы попробовал, почему нет?

And I went on, joined the Discord community

И вот я вступил в сообщество в Discord,

where all the people that were also contestants

где все, кто тоже участвовал в испытании

and playing with the scroll data

и исследовал данные о свитках,

were exchanging ideas,

обменивались идеями,

and I joined there and started working on it.

и я тоже к ним присоединился и приступил к работе.

Also there, on Discord, I met Youssef and Luke [Farritor],

Там же, в Discord, я познакомился с Юсефом и Люком [Фарритором],

who would become my teammates,

мы стали командой,

and with whom I would actually win the grand prize.

и вместе с ними я в последствии выиграл главный приз.

Surprisingly, it went on, and made global headline news.

Удивительно, но это получило огласку и попало в заголовки мировых новостей.

It even got into the British tabloids.

Даже в британские таблоиды.

(Laughter)

(Смех)

So when we started,

Когда мы начинали,

there were two main problems still remaining.

были две основные проблемы.

One, you had to unroll the scroll.

Во-первых, нужно было развернуть свиток.

And two, you then had to make the ink visible.

А во-вторых, нужно было сделать чернила видимыми.

Youssef will tell you more about that part.

Юсеф расскажет об этом подробнее.

For me, the most exciting thing

Меня же больше всего волновала

was the computer-vision problem of unrolling those scrolls virtually.

проблема виртуального разворачивания свитков с помощью машинного зрения.

I decided to iterate on a tool

Я решил доработать инструмент,

that was created by the Kentucky researchers,

созданный исследователями из Кентукки,

and make it faster, less prone to errors

сделать его более быстрым, менее подверженным ошибкам,

and just iterate on it and make it better.

улучшить его.

The Vesuvius Challenge team saw that

Люди из команды «Везувия» увидели это

and also implemented a team of 10 people that would use my tool.

и собрали команду из 10 человек, которые пользовались бы моим инструментом.

They would annotate scroll data, like you see in this video,

Они аннотируют данные из свитка, как показано на этом видео,

where they created a red line where the surface would lie.

где они создают красную линию, на которой находится поверхность.

The algorithm then would take it into 3D space,

Затем алгоритм переносит данные в трёхмерное пространство

creating a three-dimensional representation of the surface.

и создаёт 3-D макет поверхности.

Computer algorithms

Компьютерные алгоритмы

would then flatten it and create a segment.

затем сплющивают его и создают сегмент.

This all would be called “segmentation”

Это назовут «сегментацией»

in the space of the scrolling and unrolling community.

в сообществе, которое занималось скруткой и раскруткой,

(Laughter)

(Смех)

So I created open-source commits to this tool

Для этого инструмента я создал коммиты с открытым исходным кодом

and implemented new algorithms from my studies, like Optical Flow,

и внедрил новые алгоритмы из моих исследований, такие как Optical Flow,

to better track the sheets through the volume,

чтобы лучше отслеживать содержимое листов по всему объему,

and we end up with something like what you see behind me.

и в итоге мы получили нечто похожее на то, что вы видите позади меня.

First off, those were really small segments,

Во-первых, это были очень маленькие сегменты,

and I added improvement,

и я внёс улучшения,

made the code faster

ускорил код

and had lots of feedback from the community.

и получил множество отзывов от сообщества.

They were really happy, and I was happy getting lots of feedback.

Они были очень довольны, а я был доволен множеством отзывов.

It was a really positive environment.

Атмосфера была очень позитивная.

So in the end,

В результате

I could track the performance of the algorithms,

я смог отслеживать производительность алгоритмов,

how the segmentation team performed,

как справляется команда сегментации,

and I could see that my improvements, from start to finish,

а также видеть, что мои доработки, от начала до конца,

would be around a 10,000-fold improvement over the initial version.

улучшили первоначальную версию примерно в 10 000 раз.

This algorithm was then also used to unroll all the area

Затем этот алгоритм использовали для раскрытия всей области,

that you can see in our submission.

которая была в нашей заявке.

All the sheets were generated with these methods.

Все листы были сгенерированы с помощью этих методов.

In December, I was looking for teammates.

В декабре я искал партнёров по команде.

I made a blog post,

Я написал пост в блоге

and I showcased my newest algorithms,

и показал мои новейшие алгоритмы,

reaching out to anyone that was willing to team up.

обратившись ко всем, кто хотел объединиться.

Youssef and Luke got into contact with me.

Юсеф и Люк связались со мной.

They were happy to team up, and I was happy as well.

Они были рады объединиться, я тоже был счастлив.

(Laughter)

(Смех)

So after the virtual unwrapping, the words still are not visible.

После виртуального развёртывания слов так и не было видно.

The main problem is that the ink that was used at the time

Проблема в том, что чернила, которыми тогда пользовались,

was a carbon-based ink,

делались на основе углерода,

and carbon-based ink on carbon-based papyrus in a CT scan

а такие чернила на углеродном папирусе при компьютерной томографии

isn’t visible, or at least [not] to the naked eye.

не видны, по крайней мере, невооружённым глазом.

So the same team at the University of Kentucky

Та же команда из Университета Кентукки

decided to test whether the ink was present at all

решила проверить, присутствовали ли вообще чернила

in the CT scans.

на компьютерной томографии.

For this, they took some of the pieces that people broke off the scrolls,

Для этого они взяли часть отколовшихся от свитков кусочков

and they fed them into the same pipeline of the X-ray CT scanning,

и отправили их в тот же конвейер рентгеновской КТ,

and this gives us the 3D data that we were working with.

и так мы получили трёхмерные данные, с которыми можно работать.

Because you can see the ink and it’s an exposed surface,

Поскольку чернила видны на открытой поверхности,

you can even improve it with infrared imaging.

их видимость можно улучшить инфракрасным изображением.

And this gives you a ground truth

Это даёт полное представление

of what letters you're actually trying to find.

о буквах, которые вы и пытаетесь обнаружить.

And then from there,

Из этой точки

you can train a machine-learning model to try to find these letters.

вы можете натренировать модель машинного обучения искать буквы.

The way this works

Работает это так:

is that the model looks at very small cubes at a single time

модель за один отрезок времени изучает очень маленькие кубики

and tries to decide whether there is ink present in this area or not.

и пытается определить, есть ли в этой области чернила.

And then, when you keep moving this cube all around,

Затем, когда вы перемещаете этот куб по всему периметру,

the model gets to see different data samples

модель видит разные образцы данных

and then tries to understand what ink actually is.

и пытается определить, что такое чернила на самом деле.

So this is how it looks while the model is training.

Вот как выглядит обучение модели.

It's not perfect, but you can see that, especially around the middle,

Это не идеально, но видите, особенно в середине,

the model is starting to see the letters perfectly.

модель начинает хорошо различать буквы.

So the data is there.

Итак, данные есть.

The ink is there.

Чернила есть.

But it’s just very hard to find and see.

Но найти и разглядеть очень сложно.

Looking at the CT scan raw data on the left here,

Посмотрите на необработанные данные компьютерной томографии слева,

you can see the fibers,

вы видите волокна,

you can see the structure of the papyrus,

видите структуру папируса,

but the letters are very, very faint.

но буквы очень и очень бледные.

The letters from the right image are very, very faint in the CT scans.

Буквы на изображении справа очень бледные на компьютерной томографии.

And they're actually, in this special case,

И на самом деле, в данном конкретном случае,

characterized by a difference of contrast

они характеризуются разницей в контрасте

and some speckles, freckles, features that are very hard to see.

и некоторыми пятнышками, точечками — чертами, которые очень трудно разглядеть.

So what happens if we try to take a look

Что же произойдёт, если мы попробуем

at the segment that Julian was just showing?

взглянуть на фрагмент, который показывал Джулиан?

So this is the data that we were working with.

Это данные, с которыми мы работали.

And I'm going to give you 10 seconds to try to find the letters yourself.

Я дам вам 10 секунд, попытайтесь сами найти буквы.

(Laughter)

(Смех)

And as a hint,

Подскажу:

I'll tell you that there are three letters in this image.

на этом изображении три буквы.

Believe me.

Поверьте мне.

Try to find some pattern, some crackle patterns,

Попробуйте найти какой-нибудь узор, какие-то трещины,

some cracks in there.

какие-то углубления.

If you were able to identify this pattern of these three letters --

Если вы смогли распознать узор из этих трех букв,

(Laughter)

(Смех)

then congratulations.

тогда поздравляю.

One year ago, you may have won 40,000 dollars.

Год назад вы могли бы выиграть 40 000 долларов.

(Laughter)

(Смех)

However, if you're like me, and you couldn't make sense of this,

Однако, если вы, так же как и я, не смогли ничего разобрать,

there's a different way that you can find this ink --

есть другой способ найти чернила,

one that actually scales very, very well.

тот, который на самом деле отлично масштабируется.

So this is where my journey begins with the Vesuvius Challenge.

Именно здесь начинается моё путешествие с испытанием «Везувий».

There is this neat idea in computer-vision literature

В книгах по машинному зрению есть интересная идея:

where if you don't actually have labels,

если у вас нет идентификаторов,

if you don't have the goal that you want your AI model to reach,

если нет цели, которую вы хотите поставить модели ИИ,

you can pick an intermediary goal along the way.

можно выбрать промежуточную цель.

So, looking at these two pairs of images,

Глядя на эти две пары изображений,

our eyes can identify that these are the same images,

наши глаза могут распознать, что это одни и те же изображения,

just flipped.

только перевёрнутые.

And we can do that because we understand

Мы это распознаём, потому что понимаем

the structures that are present in the images.

структуры, присутствующие на этих изображениях.

We can see this little triangle, and it's flipped,

Мы видим этот маленький треугольник, он перевёрнут,

so we know this is the same triangle.

и мы знаем, что это тот же треугольник.

Our eyes already have this feature,

В наших глазах эта функция уже есть,

but neural networks don't.

а в нейронной сети её нет.

When they see these images,

Когда она это видит,

they can't [tell] that these are the same image.

она не знает, что это — одно и то же изображение.

So one idea, just to let it know about the structures

Одна из идей, как рассказать ей о структурах

and familiarize it with the data,

и познакомить с данными, —

is to show it different views of the same image

это показать ей разные виды одного и того же изображения

and tell it that these are the same images.

и рассказать, что это одно изображение.

And after that, you take this model

После этого можно взять эту модель

and you train it like the previous models that the University of Kentucky did.

и обучить так же, как предыдущие модели, сделанные Университетом Кентукки.

And while the approach doesn't fully work, it also doesn't fully not work.

И хотя этот подход работает не идеально, он всё же работает.

And this was the first image that was produced by the model.

И это было первое изображение, созданное моделью.

And there was some very faint signal in there.

И там был очень слабый сигнал.

It seemed like the model was catching on something,

Казалось, что модель за что-то зацепилась,

but it wasn't clear, exactly, what the model was catching on.

но было непонятно, за что именно.

So I decided to take these predictions and create a new ground truth,

Поэтому я решил воспользоваться этими прогнозами и придумать новую истину,

asking the model, "Hey, I think these might be letters.

сказав модели: «Думаю, это могут быть буквы.

I think there's something in there. Try to find more of this."

Думаю, в этом что-то есть. Попробуй узнать больше».

And my ground truth, actually,

На самом деле, моя истина

has four correct letters and four other delusions.

состоит из четырёх правильных букв и четырёх заблуждений.

But that was OK.

Но это хорошо.

So training a new model with this data,

Обучившись на этих данных,

the model started to find more ink, find more letters,

модель начала находить больше чернил, находить больше букв,

and the lines even looked complete.

а линии даже выглядели законченными.

So I thought, "What are the chances that if I do this again,

И я подумал: «Какова вероятность того, что если я сделаю это снова,

the models keep improving?"

модели продолжат улучшаться?»

And this was the core behind our grand prize-winning solution.

Именно это и стало основой нашего решения, получившего Гран-при.

Repeating this process over and over, the models kept improving.

Повторяя этот процесс раз за разом, модели продолжали совершенствоваться.

The main trick was you needed to prevent the models from memorizing

Основная сложность была в том, чтобы не дать моделям запомнить то,

what the previous models have learned.

чему обучились предыдущие модели.

You're essentially asking the model to learn

По сути, вы просите модель выучить то,

what the other model has learned.

чему научилась другая модель.

So overfitting was a serious problem that required a lot of experiments.

Переобучение стало серьёзной проблемой, требующей множества экспериментов.

But in the end, getting the recipe right,

В итоге, правильно подобрав рецепт,

we were able to predict all of these letters

мы смогли спрогнозировать все эти буквы таким образом,

without the models ever seeing them.

что модели их даже не увидели.

These were the first 10 letters.

Это были первые 10 букв.

There are, like, 20 in there,

Здесь их, кажется, 20,

but this was the first coherent word read from an unopened papyrus sheet.

но это было первое связное слово, прочитанное с неразвёрнутого папируса.

From there, scaling the process,

Потом, масштабируя процесс,

within weeks, we had, now, columns of text,

течение нескольких недель, мы получили целые колонки текста,

even special characters

даже специальные символы,

that papyrologists found very interesting that the model was able to find.

папирологи сочли очень любопытным то, что модель смогла их найти.

The approach was open-sourced,

Исходном код был открытым,

and the data and the code were out there,

и данные, и код были выложены,

and the race for the grand prize was on.

гонка за Гран-при продолжилась.

Recovering four paragraphs at an 85-percent clarity.

Восстановление четырёх абзацев с четкостью в 85%.

And the key to our success was perfecting the data and the model

Ключом к нашему успеху стало усовершенствование данных и модели

with so many iterations and so many experiments.

с помощью множества попыток и экспериментов.

In the end, we were able to recover

В итоге нам удалось восстановить

more than 14 columns of text, and 2,000 letters.

более 14 столбцов текста и 2000 букв.

(Applause)

(Аплодисменты)

2,000 characters safely stored away two millennia ago.

2000 символов были надёжно сохранены два тысячелетия назад.

In just nine months, we discovered them again.

Всего за девять месяцев мы заново их раскрыли.

AI helped us, in large portions,

ИИ во многом помогал нам,

writing better code and even being part in our algorithms.

писал более качественный код и даже участвовал в наших алгоритмах.

It opened a window into the past.

Он открыл окно в прошлое.

What's next?

Что дальше?

Let's open this window more.

Давайте раскроем это окно ещё больше.

AI will help us access information that was so far safely locked away.

ИИ поможет нам добраться до информации, которая до сих пор была надёжно спрятана.

In the words of the author,

Цитируя автора:

"We do not refrain from questioning nor understanding,

«Мы не воздерживаемся от вопросов и понимания,

and may it be evident to say true things as they appear."

и пусть будет очевидным говорить истинные вещи такими, какими они кажутся».

(Applause)

(Аплодисменты)