How AI Is Decoding Ancient Scrolls | Julian Schilliger and Youssef Nader | TED

Tradutor: Margarida Ferreira Revisora: Isabel M. Vaz Belchior

Pensamos sempre no potencial que a IA tem para mudar o futuro.

We always think about the potential of AI changing the future.

But what about the potential of AI changing the past?

Mas e quanto ao potencial da IA para mudar o passado?

My name is Youssef Nader.

Chamo-me Youssef Nader.

I'm an Egyptian AI researcher

Sou um investigador egípcio de IA

and a PhD student at the Free University in Berlin,

e estudante de doutoramento na Universidade Livre de Berlim.

and last year, I led the Vesuvius Grand Prize winning team

No ano passado, liderei a equipa vencedora do Grande Prémio Vesúvio

on exploring this very question.

que explorava este mesmo tema.

You see, the story starts almost 2,000 years ago.

A história começa há quase 2000 anos.

Um filósofo grego, que pensamos ter sido Filodemo de Gádara,

A Greek philosopher that we believe was Philodemus of Gadara

usava uma das muitas salas da Villa dei Papiri.

sat in one of the many rooms of the Villa dei Papiri.

He talked about music, he talked about pleasure,

Falava da música, falava do prazer,

he talked about what makes things enjoyable,

falava do que torna as coisas agradáveis,

questions that still plague us until today.

questões que ainda hoje nos atormentam.

One of his scribes wrote down his thoughts on sheets of papyrus.

Um dos seus escribas anotou o pensamento dele em folhas de papiro.

The sheets were rolled and stowed away for later generations.

Essas folhas foram enroladas e guardadas para as gerações posteriores.

Avançando 150 anos...

Fast-forward 150 years, ...

o Monte Vesúvio entra em erupção,

Mount Vesuvius erupts,

burying Herculaneum, the villa and the words of the philosopher

enterrando Herculano, a vila e as palavras do filósofo

under a sea of hot mud and ashes.

sob um mar de lama quente e de cinzas.

Now fast-forward again, to the 17th century.

Agora avancemos de novo, para o século XVII.

People are excavating around the area.

As pessoas andam a escavar em volta dessa área.

They found beautiful statues, breathtaking frescoes

Encontraram belas estátuas, frescos de tirar a respiração

and some weird-looking pieces of charcoal,

e alguns pedaços de carvão vegetal de aspeto estranho,

like you see in this picture.

como vemos nesta fotografia.

This is when the first scrolls were discovered,

Foi quando foram descobertos os primeiros pergaminhos,

and people were racing to excavate more of these.

e as pessoas acorriam para encontrar mais.

Que conhecimentos estarão ali que não conhecemos hoje?

What knowledge is included that is not known to us now?

What things should we know about these scrolls?

Que coisas devíamos saber sobre estes pergaminhos?

My name is Julian, and I am a digital archaeologist.

Chamo-me Julian e sou arqueólogo digital.

Quando o fluxo piroclástico atingiu os pergaminhos,

When the pyroclastic flow hit the scrolls, it had a destructive effect.

o efeito foi destrutivo.

It tore into them, shredded off pieces, and it charred them badly.

Rasgou-os, despedaçou-os e carbonizou-os gravemente.

Even the deformation that you can see happened at that point.

A deformação que vemos aconteceu nessa altura.

People, 250-something years ago,

Há 250 anos, as pessoas sentiam curiosidade em saber

were curious what's lying inside those scrolls,

o que estava escondido nesses pergaminhos,

hidden and not accessible anymore.

e já não estava acessível.

Por falta de tecnologia,

Because of a lack of technology,

they had to resort to physically unrolling

recorreram a desenrolá-los fisicamente

and thereby destroying most of the scrolls.

e assim destruíram a maior parte dos pergaminhos.

To this day,

Até hoje, só os pergaminhos mais danificados e deformados

only the most damaged and deformed scrolls

remain in their initial, rolled-up configuration.

permaneceram enrolados na sua configuração inicial.

Fast-forwarding a little bit, the computer age arrives.

Avançando um pouco mais, chegamos à era do computador.

Youssef and I are born.

O Youssef e eu nascemos.

We are going on and getting our education --

Vamos avançando nos nossos estudos...

(Laughter)

(Risos)

and at the same time, Brent Seales, a researcher and professor,

e, ao mesmo tempo, Brent Seales, investigador e professor,

had the idea to use CT scan technology to actually digitize the scrolls,

teve a ideia de usar a tecnologia de tomografia computadorizada

para digitalizar os pergaminhos,

with the hope of, one day, digitally unrolling them.

na esperança de, um dia, poder desenrolá-los digitalmente.

Atrás de mim, vemos um vídeo dessa tomografia computadorizada,

Behind me, you can see a video of such a CT scan,

and it goes through the CT scan 3D volume,

que passa pelo volume da tomografia computadorizada a 3D,

layer by layer.

camada por camada.

Vemos o papiro como uma espiral,

The papyrus is visible as a spiral,

and you can see it's tightly wound-up,

e vemos que está bem enrolado,

sometimes touching each other, flaying off.

por vezes tocando-se uns aos outros, escondendo-se.

It's a difficult question, how to unroll this digitally.

É uma pergunta difícil, como desenrolar isto digitalmente.

Nat Friedman, a Silicon Valley investor,

Nat Friedman, um investidor de Silicon Valley,

also saw this research, and he wanted to help.

também viu esta pesquisa e quis ajudar.

That was in 2022.

Isto foi em 2022.

He reached out, and together with Brent Seales,

Foi ter com eles e, juntamente com Brent Seales,

they created the Vesuvius Challenge,

criaram o Vesuvius Challenge,

with the goal to motivate nerds all over the world

com o objetivo de motivar nerds de todo o mundo

to solve this problem.

a resolver este problema.

(Laughter)

(Risos)

They created a grand prize,

Criaram um grande prémio,

promising eternal glory and monetary incentives

prometendo glória eterna e incentivos monetários

to anyone who could do that.

a qualquer um que conseguisse fazer isso.

(Laughter)

(Risos)

I myself saw that on the internet

Eu próprio vi isso na Internet

enquanto escrevia a minha tese de mestrado, em robótica,

while writing my master's thesis at ETH Zurich, in robotics,

no Instituto Federal de Tecnologia de Zurique,

and I was instantly happy to solve it --

e fiquei logo com vontade de o resolver

or at least try, why not, you know?

ou pelo menos, de tentar.

And I went on, joined the Discord community

E juntei-me à comunidade Discord

where all the people that were also contestants

onde todas as pessoas que também eram concorrentes

and playing with the scroll data

brincavam com os dados dos pergaminhos

were exchanging ideas,

e trocavam ideias.

and I joined there and started working on it.

Entrei lá, comecei a trabalhar nisso.

Also there, on Discord, I met Youssef and Luke [Farritor],

Também ali, no Discord, conheci o Youssef e o Luke Farritor,

que se tornariam os meus companheiros de equipa

who would become my teammates,

and with whom I would actually win the grand prize.

e com quem ganharia o grande prémio.

Surprisingly, it went on, and made global headline news.

Surpreendentemente, tornou-se notícia em todo o mundo.

Até apareceu nos tabloides britânicos.

It even got into the British tabloids.

(Laughter)

(Risos)

So when we started,

Quando começámos,

there were two main problems still remaining.

ainda se mantinham dois problemas principais.

One, you had to unroll the scroll.

Primeiro, era preciso desenrolar o pergaminho.

And two, you then had to make the ink visible.

E segundo, tínhamos de tornar visível a tinta.

Youssef will tell you more about that part.

Youssef contar-vos-á mais coisas sobre essa parte.

For me, the most exciting thing

Para mim, o mais importante

was the computer-vision problem of unrolling those scrolls virtually.

era o problema da visão por computador

para desenrolar virtualmente esses pergaminhos.

I decided to iterate on a tool

Decidi utilizar uma ferramenta

that was created by the Kentucky researchers,

criada pelos investigadores de Kentucky,

and make it faster, less prone to errors

e torná-la mais rápida, menos propensa a erros

and just iterate on it and make it better.

usá-la tal como era e melhorá-la.

The Vesuvius Challenge team saw that

A equipa do Vesuvius Challenge viu isso

and also implemented a team of 10 people that would use my tool.

e também implementou uma equipa de 10 pessoas

que iam usar a minha ferramenta.

They would annotate scroll data, like you see in this video,

Faziam anotações dos dados dos pergaminhos,

como se vê neste vídeo.

where they created a red line where the surface would lie.

Criavam uma linha vermelha onde ficaria a superfície.

The algorithm then would take it into 3D space,

Depois, o algoritmo levava-o para o espaço 3D,

creating a three-dimensional representation of the surface.

criando uma representação tridimensional da superfície.

Computer algorithms

Depois, os algoritmos informáticos

would then flatten it and create a segment.

achatavam-na e criavam um segmento.

This all would be called “segmentation”

Tudo isso seria chamado de “segmentação”

in the space of the scrolling and unrolling community.

na comunidade dos pergaminhos, enrolados e desenrolados.

(Laughter)

(Risos)

So I created open-source commits to this tool

Assim, criei commits de código aberto para esta ferramenta

and implemented new algorithms from my studies, like Optical Flow,

e implementei novos algoritmos dos meus estudos, como o Optical Flow,

to better track the sheets through the volume,

para melhor rastrear as folhas através do volume,

and we end up with something like what you see behind me.

e acabámos com uma coisa como o que veem atrás de mim.

First off, those were really small segments,

Em primeiro lugar, eram segmentos muito pequenos,

and I added improvement,

e acrescentei melhorias,

made the code faster

tornei o código mais rápido

and had lots of feedback from the community.

e recebi muito feedback da comunidade.

They were really happy, and I was happy getting lots of feedback.

Ficaram muito contentes,

e eu senti-me feliz por receber muito feedback.

It was a really positive environment.

Foi um ambiente muito positivo.

So in the end,

No final,

I could track the performance of the algorithms,

consegui acompanhar o desempenho dos algoritmos,

how the segmentation team performed,

o desempenho da equipa de segmentação,

and I could see that my improvements, from start to finish,

e pude ver que as minhas melhorias, do princípio até ao fim,

would be around a 10,000-fold improvement over the initial version.

seriam cerca de 10 000 vezes superiores à versão inicial.

This algorithm was then also used to unroll all the area

Este algoritmo também foi usado para desenrolar toda a área

that you can see in our submission.

que veem na nossa apresentação.

All the sheets were generated with these methods.

Todas as folhas foram geradas com estes métodos.

In December, I was looking for teammates.

Em dezembro, eu andava à procura de companheiros de equipa.

I made a blog post,

Fiz uma publicação no blogue

and I showcased my newest algorithms,

e mostrei os meus algoritmos mais novos,

reaching out to anyone that was willing to team up.

estendendo a mão a qualquer pessoa

que estivesse disposta a fazer equipa comigo.

Youssef and Luke got into contact with me.

O Youssef e o Luke entraram em contacto comigo.

They were happy to team up, and I was happy as well.

Ficaram contentes por se juntarem a mim e eu também fiquei contente.

(Laughter)

(Risos)

So after the virtual unwrapping, the words still are not visible.

Depois de desenrolar virtualmente, as palavras continuam a não ser visíveis.

The main problem is that the ink that was used at the time

O principal problema é que a tinta que era usada na altura

was a carbon-based ink,

era uma tinta à base de carbono

and carbon-based ink on carbon-based papyrus in a CT scan

e a tinta à base de carbono

num papiro à base de carbono numa TAC,

isn’t visible, or at least [not] to the naked eye.

não é visível, pelo menos a olho nu.

So the same team at the University of Kentucky

A mesma equipa da Universidade do Kentucky

decided to test whether the ink was present at all

decidiu testar se a tinta estava presente nas TAC.

in the CT scans.

For this, they took some of the pieces that people broke off the scrolls,

Para isso, pegaram em pedaços

que as pessoas tinham quebrado nos pergaminhos

and they fed them into the same pipeline of the X-ray CT scanning,

e expuseram-nos no mesmo canal da TAC de raios-X.

and this gives us the 3D data that we were working with.

Isso deu-nos os dados 3D com que estivemos a trabalhar.

Because you can see the ink and it’s an exposed surface,

Como conseguimos ver a tinta e é uma superfície exposta,

you can even improve it with infrared imaging.

podemos até melhorá-la com imagens infravermelhas.

And this gives you a ground truth

Isto dá-nos uma verdade básica

of what letters you're actually trying to find.

quanto às letras que estamos a tentar encontrar.

And then from there,

E a partir daí,

you can train a machine-learning model to try to find these letters.

podemos treinar um modelo de aprendizagem automática

para tentar encontrar essas letras.

The way this works

A forma como isto funciona

is that the model looks at very small cubes at a single time

é que o modelo olha para cubos muito pequenos de uma só vez

and tries to decide whether there is ink present in this area or not.

e tenta decidir se há tinta presente nesta área ou não.

And then, when you keep moving this cube all around,

Depois, quando continuamos a mover este cubo por toda a parte.

the model gets to see different data samples

o modelo consegue ver diferentes amostras de dados

and then tries to understand what ink actually is.

e tenta perceber o que é a tinta.

So this is how it looks while the model is training.

Portanto, é assim que fica enquanto o modelo está a treinar.

It's not perfect, but you can see that, especially around the middle,

Não é perfeito, mas como veem, especialmente no meio,

the model is starting to see the letters perfectly.

o modelo começa a ver as letras perfeitamente.

So the data is there.

Portanto, os dados estão lá.

The ink is there.

A tinta está lá.

But it’s just very hard to find and see.

Mas é muito difícil encontrá-la e vê-la.

Looking at the CT scan raw data on the left here,

Olhando para os dados brutos da TAC à esquerda,

you can see the fibers,

vemos as fibras, vemos a estrutura do papiro,

you can see the structure of the papyrus,

but the letters are very, very faint.

mas as letras são muito, muito ténues.

The letters from the right image are very, very faint in the CT scans.

As letras da imagem à direita são muito ténues nas TACs.

And they're actually, in this special case,

E, neste caso em especial,

characterized by a difference of contrast

são caracterizadas por uma diferença de contraste

and some speckles, freckles, features that are very hard to see.

por algumas manchas, por sardas,

características que são muito difíceis de ver.

So what happens if we try to take a look

Então, o que acontece, se tentarmos dar uma olhadela

at the segment that Julian was just showing?

ao segmento que o Julian estava a mostrar?

So this is the data that we were working with.

Estes são os dados com que estávamos a trabalhar.

And I'm going to give you 10 seconds to try to find the letters yourself.

Vou dar-vos 10 segundos para tentarem encontrar as letras.

(Laughter)

(Risos)

And as a hint,

E, para vos ajudar,

I'll tell you that there are three letters in this image.

vou dizer-vos que há três letras nesta imagem.

Believe me.

Acreditem em mim.

Try to find some pattern, some crackle patterns,

Tentem encontrar um padrão, quaisquer padrões,

some cracks in there.

algumas rachas ali dentro.

If you were able to identify this pattern of these three letters --

Se conseguirem identificar este padrão destas três letras...

(Laughter)

(Risos),

then congratulations.

parabéns!

One year ago, you may have won 40,000 dollars.

Há um ano, talvez tivessem ganho 40 000 dólares.

(Laughter)

(Risos)

However, if you're like me, and you couldn't make sense of this,

No entanto, se são como eu sou, e não conseguem perceber isto,

there's a different way that you can find this ink --

há uma forma diferente de encontrar esta tinta,

one that actually scales very, very well.

uma forma que é muito bem dimensionada.

So this is where my journey begins with the Vesuvius Challenge.

É aqui que começa o meu percurso com o Vesuvius Challenge.

There is this neat idea in computer-vision literature

Há uma ideia interessante na literatura sobre visão computacional

where if you don't actually have labels,

em que, se não tivermos rótulos,

if you don't have the goal that you want your AI model to reach,

se não tivermos o objetivo que queremos que o nosso modelo de IA atinja,

you can pick an intermediary goal along the way.

podemos escolher um objetivo intermédio ao longo do caminho.

So, looking at these two pairs of images,

Depois, olhando para estes dois pares de imagens,

our eyes can identify that these are the same images,

os nossos olhos podem identificar que estas são as mesmas imagens,

just flipped.

mas invertidas.

And we can do that because we understand

E podemos fazer isso porque compreendemos

the structures that are present in the images.

as estruturas que estão presentes nas imagens.

We can see this little triangle, and it's flipped,

Vemos este pequeno triângulo, que está invertido,

so we know this is the same triangle.

e sabemos que é o mesmo triângulo.

Our eyes already have this feature,

Os nossos olhos já têm esta característica,

but neural networks don't.

mas as redes neurais não.

When they see these images,

Quando veem estas imagens,

they can't [tell] that these are the same image.

não conseguem perceber que são a mesma imagem.

So one idea, just to let it know about the structures

Portanto, uma ideia, só para o informar quanto às estruturas

and familiarize it with the data,

e familiarizá-lo com os dados,

is to show it different views of the same image

é mostrar-lhe diferentes visões da mesma imagem

and tell it that these are the same images.

e dizer-lhe que são a mesma imagem.

And after that, you take this model

Depois disso, pegamos neste modelo

and you train it like the previous models that the University of Kentucky did.

e treinamo-lo como os modelos anteriores da Universidade do Kentucky.

And while the approach doesn't fully work, it also doesn't fully not work.

Embora esta abordagem não funcione totalmente,

também não deixa totalmente de funcionar.

And this was the first image that was produced by the model.

Esta foi a primeira imagem que foi produzida pelo modelo.

And there was some very faint signal in there.

Havia um sinal muito fraco no interior.

It seemed like the model was catching on something,

Parecia que o modelo estava a captar qualquer coisa,

but it wasn't clear, exactly, what the model was catching on.

mas não se percebia bem o que o modelo estava a captar.

So I decided to take these predictions and create a new ground truth,

Então decidi pegar nestas previsões e criar uma nova verdade básica,

asking the model, "Hey, I think these might be letters.

perguntando ao modelo: “Acho que isto podem ser letras.

I think there's something in there. Try to find more of this."

“Acho que há algo aí dentro. Tenta encontrar mais disto.”

And my ground truth, actually,

Na verdade, a minha verdade base

has four correct letters and four other delusions.

tem quatro letras corretas e quatro outras erradas.

But that was OK.

Mas tudo bem.

So training a new model with this data,

Ao treinar um novo modelo com estes dados,

the model started to find more ink, find more letters,

o modelo começou a encontrar mais tinta, mais letras,

and the lines even looked complete.

e as linhas até pareciam completas.

So I thought, "What are the chances that if I do this again,

Então, pensei: “Quais são as hipóteses, se eu voltar a fazer isso,

the models keep improving?"

“de os modelos continuarem a melhorar?”

And this was the core behind our grand prize-winning solution.

Este era o núcleo por trás da solução vencedora de grandes prémios.

Repeating this process over and over, the models kept improving.

Repetindo este processo vezes sem conta, os modelos continuaram a melhorar.

The main trick was you needed to prevent the models from memorizing

O truque principal era evitar que os modelos memorizassem

o que os modelos anteriores tinham aprendido.

what the previous models have learned.

You're essentially asking the model to learn

Essencialmente, estávamos a pedir ao modelo

what the other model has learned.

que aprendesse o que o outro modelo tinha aprendido.

So overfitting was a serious problem that required a lot of experiments.

Portanto, o sobreajuste era um problema sério que exigia muitas experiências.

But in the end, getting the recipe right,

Mas no final, acertando a receita,

we were able to predict all of these letters

conseguimos prever todas as letras

without the models ever seeing them.

sem que os modelos as vissem.

These were the first 10 letters.

Estas foram as primeiras 10 letras.

There are, like, 20 in there,

Há aqui umas 20,

but this was the first coherent word read from an unopened papyrus sheet.

mas esta foi a primeira palavra coerente

lida numa folha de papiro sem estar aberta.

From there, scaling the process,

A partir daí, alargando o processo,

within weeks, we had, now, columns of text,

em poucas semanas, tínhamos colunas de texto,

até mesmo caracteres especiais

even special characters

that papyrologists found very interesting that the model was able to find.

que os papirologistas acharam muito interessantes

e que o modelo conseguiu encontrar.

The approach was open-sourced,

A abordagem era de código aberto,

and the data and the code were out there,

os dados e o código estavam disponíveis,

and the race for the grand prize was on.

e começou a corrida pelo grande prémio.

Recovering four paragraphs at an 85-percent clarity.

Recuperando quatro parágrafos com uma clareza de 85%.

And the key to our success was perfecting the data and the model

A chave para o nosso êxito foi aperfeiçoar os dados e o modelo

with so many iterations and so many experiments.

com muitas iterações e muitas experiências.

In the end, we were able to recover

No final, conseguimos recuperar

more than 14 columns of text, and 2,000 letters.

mais de 14 colunas de texto e 2000 letras.

(Applause)

(Aplausos)

2,000 characters safely stored away two millennia ago.

2000 caracteres guardados com segurança há dois milénios.

In just nine months, we discovered them again.

Apenas em nove meses, descobrimo-los de novo.

AI helped us, in large portions,

A IA ajudou-nos, em muito,

writing better code and even being part in our algorithms.

a escrever um código melhor e até a fazer parte dos nossos algoritmos.

Abriu uma janela para o passado.

It opened a window into the past.

What's next?

O que vem a seguir?

Let's open this window more.

Vamos abrir mais esta janela.

AI will help us access information that was so far safely locked away.

A IA ajudar-nos-á a aceder a informações

que até agora estavam bloqueadas com segurança.

In the words of the author,

Nas palavras do autor,

"We do not refrain from questioning nor understanding,

“Não nos abstemos de questionar nem de compreender,

and may it be evident to say true things as they appear."

“e oxalá seja evidente dizer coisas verdadeiras à medida que aparecem”.

(Aplausos)

(Applause)