How AI Is Decoding Ancient Scrolls | Julian Schilliger and Youssef Nader | TED

Traducător: ANDREEA-MAGDALENA MARES Corector: Claudia Pravat

We always think about the potential of AI changing the future.

Ne gândim mereu la potențialul AI de a schimba viitorul.

But what about the potential of AI changing the past?

Dar ce ziceți despre potențialul AI de a schimba trecutul?

My name is Youssef Nader.

Mă numesc Youssef Nader.

I'm an Egyptian AI researcher

Sunt un cercetător din Egipt în domeniul AI

and a PhD student at the Free University in Berlin,

și doctorand la Universitatea Liberă din Berlin.

and last year, I led the Vesuvius Grand Prize winning team

Anul trecut, cu echipa învingătoare de la Marele Premiu Vezuviu,

on exploring this very question.

am explorat această problemă.

You see, the story starts almost 2,000 years ago.

Povestea începe acum aproape 2.000 de ani.

A Greek philosopher that we believe was Philodemus of Gadara

Un filozof grec, probabil Philodemus din Gadara,

sat in one of the many rooms of the Villa dei Papiri.

stătea într-una din numeroasele camere ale Villa dei Papiri.

He talked about music, he talked about pleasure,

Vorbea despre muzică, despre plăcere,

he talked about what makes things enjoyable,

despre ce anume face lucrurile plăcute,

questions that still plague us until today.

întrebări care ne preocupă și pe noi azi.

One of his scribes wrote down his thoughts on sheets of papyrus.

Unul dintre scribi i-a scris gândurile pe foi de papirus.

The sheets were rolled and stowed away for later generations.

Foile au fost rulate și păstrate pentru generațiile următoare.

Fast-forward 150 years, ...

La distanță de 150 de ani,

Mount Vesuvius erupts,

Muntele Vezuviu erupe,

burying Herculaneum, the villa and the words of the philosopher

îngropând Herculaneum, vila și cuvintele filosofului

under a sea of hot mud and ashes.

sub o mare de lavă și cenușă.

Now fast-forward again, to the 17th century.

Mai târziu, în secolul al XVII-lea,

People are excavating around the area.

se fac excavări în acea zonă.

They found beautiful statues, breathtaking frescoes

Se găsesc statui frumoase, fresce uimitoare,

and some weird-looking pieces of charcoal,

bucăți de cărbune cu aspect ciudat,

like you see in this picture.

după cum vedeți în această imagine.

This is when the first scrolls were discovered,

Acesta e momentul când sunt descoperite primele papirusuri

and people were racing to excavate more of these.

și se accelerează excavările.

What knowledge is included that is not known to us now?

Ce informații sunt acolo care nu ne sunt cunoscute astăzi?

What things should we know about these scrolls?

Ce ar trebui să știm despre aceste manuscrise?

My name is Julian, and I am a digital archaeologist.

Numele meu este Julian și sunt arheolog digital.

When the pyroclastic flow hit the scrolls, it had a destructive effect.

Când fluxul piroclastic a lovit sulurile, a avut un efect distructiv.

It tore into them, shredded off pieces, and it charred them badly.

Le-a rupt, le-a făcut bucăți și le-a carbonizat.

Even the deformation that you can see happened at that point.

Chiar și deformarea pe care o vedeți s-a întâmplat tot în acel moment.

People, 250-something years ago,

Cu 250 de ani în urmă,

were curious what's lying inside those scrolls,

oamenii erau curioși să știe ce conțin aceste manuscrise,

hidden and not accessible anymore.

ascunse și inaccesibile.

Because of a lack of technology,

Din cauza lipsei tehnologiei,

they had to resort to physically unrolling

a fost necesară derularea manuală,

and thereby destroying most of the scrolls.

lucru ce a distrus majoritatea sulurilor.

To this day,

Până în prezent,

only the most damaged and deformed scrolls

doar cele mai deteriorate și deformate

remain in their initial, rolled-up configuration.

rămân în configurația inițială, rulate.

Fast-forwarding a little bit, the computer age arrives.

Mai înaintăm puțin și ajungem la epoca computerului.

Youssef and I are born.

Eu și Youssef venim pe lume.

We are going on and getting our education --

Creștem și mergem la școală.

(Laughter)

(Râsete)

and at the same time, Brent Seales, a researcher and professor,

Și în același timp, Brent Seales, cercetător și profesor, a avut ideea

had the idea to use CT scan technology to actually digitize the scrolls,

de a folosi tehnologia de scanare CT pentru a digitaliza papirusurile,

with the hope of, one day, digitally unrolling them.

cu speranța că într-o zi le va derula digital.

Behind me, you can see a video of such a CT scan,

În spatele meu, vedeți un video de la o scanare CT,

and it goes through the CT scan 3D volume,

care trece prin volumul 3D al scanării,

layer by layer.

strat după strat.

The papyrus is visible as a spiral,

Papirusul se vede ca o spirală

and you can see it's tightly wound-up,

și puteți vedea că e rulat strâns,

sometimes touching each other, flaying off.

se atinge uneori, dezlipindu-se.

It's a difficult question, how to unroll this digitally.

E greu de explicat cum se derulează digital.

Nat Friedman, a Silicon Valley investor,

Nat Friedman, un investitor din Silicon Valley,

also saw this research, and he wanted to help.

a aflat despre această cercetare și a dorit să se implice.

That was in 2022.

Asta a fost în 2022.

He reached out, and together with Brent Seales,

Ne-a contactat și împreună cu Brent Seales

they created the Vesuvius Challenge,

a creat Provocarea Vesuvius,

with the goal to motivate nerds all over the world

cu scopul de a-i motiva pe pasionații din întreaga lume

to solve this problem.

să rezolve această problemă.

(Laughter)

(Râsete)

They created a grand prize,

Au stabilit un premiu mare,

promising eternal glory and monetary incentives

promițând glorie eternă și stimulente monetare

to anyone who could do that.

oricui ar putea face asta.

(Laughter)

(Râsete)

I myself saw that on the internet

Am văzut și eu pe internet,

while writing my master's thesis at ETH Zurich, in robotics,

când îmi scriam teza de master la ETH Zurich, în robotică,

and I was instantly happy to solve it --

și am fost fericit să o rezolv

or at least try, why not, you know?

sau cel puțin să încerc.

And I went on, joined the Discord community

M-am alăturat comunității Discord,

where all the people that were also contestants

unde erau toți cei care concurau,

and playing with the scroll data

și cercetând datele de pe papirusuri

were exchanging ideas,

făceau schimb de idei.

and I joined there and started working on it.

Am început să lucrez la asta.

Also there, on Discord, I met Youssef and Luke [Farritor],

La Discord i-am întâlnit pe Youssef și pe Luke [Farritor],

who would become my teammates,

care mi-au fost coechipieri

and with whom I would actually win the grand prize.

și cu care am câștigat marele premiu.

Surprisingly, it went on, and made global headline news.

Surprinzător, a devenit o știre globală.

It even got into the British tabloids.

A apărut chiar și în tabloidele britanice.

(Laughter)

(Râsete)

So when we started,

Când am început,

there were two main problems still remaining.

erau două probleme principale.

One, you had to unroll the scroll.

Prima, sulul trebuia derulat.

And two, you then had to make the ink visible.

Și a doua, trebuia apoi să facem cerneala vizibilă.

Youssef will tell you more about that part.

Youssef vă poate vorbi mai mult despre asta.

For me, the most exciting thing

Pentru mine, cel mai interesant lucru

was the computer-vision problem of unrolling those scrolls virtually.

a fost problema viziunii computerizate de a desface aceste suluri virtual.

I decided to iterate on a tool

Am decis să iterez pe un instrument

that was created by the Kentucky researchers,

care a fost creat de cercetătorii din Kentucky

and make it faster, less prone to errors

și să-l fac mai rapid, cu mai puține erori

and just iterate on it and make it better.

și apoi să-l iterez și să-l îmbunătățesc.

The Vesuvius Challenge team saw that

Echipa Vesuvius a analizat

and also implemented a team of 10 people that would use my tool.

și a adus o echipă de 10 persoane care să folosească instrumentul meu.

They would annotate scroll data, like you see in this video,

Au adnotat datele sulului, așa cum vedeți în acest videoclip,

where they created a red line where the surface would lie.

și au creat o linie roșie unde s-ar fi aflat suprafața.

The algorithm then would take it into 3D space,

Algoritmul l-a dus apoi într-un spațiu 3D,

creating a three-dimensional representation of the surface.

creând o reprezentare tridimensională a suprafeței.

Computer algorithms

Algoritmii computerizați

would then flatten it and create a segment.

l-au aplatizat și au creat un segment.

This all would be called “segmentation”

Toate acestea se numesc „segmentare”

in the space of the scrolling and unrolling community.

în activitatea de rulare și derulare.

(Laughter)

(Râsete)

So I created open-source commits to this tool

Așa că am creat angajamente open-source pentru acest instrument

and implemented new algorithms from my studies, like Optical Flow,

și am implementat noi algoritmi, cum ar fi Optical Flow,

to better track the sheets through the volume,

pentru a urmări mai bine foile prin volum.

and we end up with something like what you see behind me.

Așa am ajuns la ceva asemănător cu ceea ce vedeți în spatele meu.

First off, those were really small segments,

În primul rând, aceste segmente erau foarte mici

and I added improvement,

și am adus îmbunătățiri,

made the code faster

am făcut codul mai rapid

and had lots of feedback from the community.

și am primit o mulțime de sfaturi din partea comunității.

They were really happy, and I was happy getting lots of feedback.

Erau foarte fericiți și eu eram bucuros să primesc reacțiile lor.

It was a really positive environment.

Era un mediu foarte pozitiv.

So in the end,

În cele din urmă,

I could track the performance of the algorithms,

am putut urmări performanța algoritmilor,

how the segmentation team performed,

am văzut cum funcționa echipa de segmentare

and I could see that my improvements, from start to finish,

și am putut vedea că îmbunătățirile mele, de la început până la sfârșit,

would be around a 10,000-fold improvement over the initial version.

erau cu 10.000 mai multe față de versiunea inițială.

This algorithm was then also used to unroll all the area

Acest algoritm a fost apoi folosit pentru a derula toată zona

that you can see in our submission.

pe care o vedeți.

All the sheets were generated with these methods.

Toate foile au fost generate cu aceste metode.

In December, I was looking for teammates.

În decembrie, căutam colegi de echipă.

I made a blog post,

Am făcut o postare pe blog

and I showcased my newest algorithms,

și am prezentat cei mai noi algoritmi,

reaching out to anyone that was willing to team up.

căutând pe cineva dispus să ajute.

Youssef and Luke got into contact with me.

Youssef și Luke m-au contactat.

They were happy to team up, and I was happy as well.

Erau fericiți să se alăture, iar eu am fost fericit să accept.

(Laughter)

(Râsete)

So after the virtual unwrapping, the words still are not visible.

După derularea virtuală, cuvintele tot nu erau vizibile.

The main problem is that the ink that was used at the time

Principala problemă era că cerneala folosită la acea vreme

was a carbon-based ink,

era o cerneală pe bază de carbon,

and carbon-based ink on carbon-based papyrus in a CT scan

iar într-o scanare CT, cerneala pe un papirus pe bază de carbon

isn’t visible, or at least [not] to the naked eye.

nu e vizibilă sau cel puțin nu cu ochiul liber.

So the same team at the University of Kentucky

Așa că echipa de la Universitatea din Kentucky

decided to test whether the ink was present at all

a decis să testeze dacă cerneala era măcar prezentă

in the CT scans.

în scanările CT.

For this, they took some of the pieces that people broke off the scrolls,

Au luat câteva bucăți rupte de suluri

and they fed them into the same pipeline of the X-ray CT scanning,

și le-au introdus în aceeași conductă a scanării CT cu raze X,

and this gives us the 3D data that we were working with.

lucru care ne-a oferit datele 3D cu care lucram.

Because you can see the ink and it’s an exposed surface,

Deoarece cerneala se poate vedea și este o suprafață expusă,

you can even improve it with infrared imaging.

poate fi îmbunătățită chiar cu imagini infraroșu.

And this gives you a ground truth

Și asta oferă un adevăr real

of what letters you're actually trying to find.

despre ce litere încercăm să găsim.

And then from there,

Și din acest punct,

you can train a machine-learning model to try to find these letters.

putem antrena mașina cu învățare automată să găsească aceste litere.

The way this works

Felul în care funcționează

is that the model looks at very small cubes at a single time

e că modelul se uită la cuburi foarte mici, unul câte unul,

and tries to decide whether there is ink present in this area or not.

și încearcă să decidă dacă există sau nu cerneală în acea zonă.

And then, when you keep moving this cube all around,

Continuând să mișcăm acest cub peste tot,

the model gets to see different data samples

modelul ajunge să vadă diferite mostre de date

and then tries to understand what ink actually is.

și apoi încearcă să înțeleagă ce este de fapt cerneală.

So this is how it looks while the model is training.

Iată cum arată modelul în timp ce se antrenează.

It's not perfect, but you can see that, especially around the middle,

Nu e perfect, dar puteți vedea, mai ales pe la mijloc,

the model is starting to see the letters perfectly.

cum modelul începe să recunoască literele perfect.

So the data is there.

Deci datele sunt acolo.

The ink is there.

Cerneala este acolo.

But it’s just very hard to find and see.

Dar e greu de găsit și de văzut.

Looking at the CT scan raw data on the left here,

Dacă ne uităm în stânga, la datele brute ale scanării CT,

you can see the fibers,

putem vedea fibrele,

you can see the structure of the papyrus,

putem vedea structura papirusului,

but the letters are very, very faint.

dar literele sunt foarte, foarte șterse.

The letters from the right image are very, very faint in the CT scans.

Literele din imaginea din dreapta sunt foarte șterse în scanările CT.

And they're actually, in this special case,

Și în special în acest caz,

characterized by a difference of contrast

sunt caracterizate prin diferența de contrast,

and some speckles, freckles, features that are very hard to see.

iar unele pete sunt foarte greu de văzut.

So what happens if we try to take a look

Ce se întâmplă dacă încercăm

at the segment that Julian was just showing?

să privim segmentul pe care îl arată Julian?

So this is the data that we were working with.

Acestea sunt datele cu care am lucrat.

And I'm going to give you 10 seconds to try to find the letters yourself.

Și vă dau 10 secunde pentru a încerca să găsiți singuri literele.

(Laughter)

(Râsete)

And as a hint,

Drept indiciu,

I'll tell you that there are three letters in this image.

vă spun că sunt trei litere în această imagine.

Believe me.

Credeți-mă.

Try to find some pattern, some crackle patterns,

Încercați să găsiți niște caractere

some cracks in there.

în acele fisuri.

If you were able to identify this pattern of these three letters --

Dacă ați reușit să identificați modelul acestor trei litere,

(Laughter)

(Râsete)

then congratulations.

vă felicit.

One year ago, you may have won 40,000 dollars.

Cu un an în urmă, ați fi putut câștiga 40.000 USD.

(Laughter)

(Râsete)

However, if you're like me, and you couldn't make sense of this,

Cu toate astea, dacă n-ați găsit nimic, cum n-am găsit nici eu,

there's a different way that you can find this ink --

există un mod diferit pentru a găsi această cerneală,

one that actually scales very, very well.

unul care merge foarte bine.

So this is where my journey begins with the Vesuvius Challenge.

Aici începe călătoria mea cu Provocarea Vezuvius.

There is this neat idea in computer-vision literature

E o idee extraordinară în viziunea literaturii computerizate,

where if you don't actually have labels,

care spune că dacă nu ai o etichetă,

if you don't have the goal that you want your AI model to reach,

dacă nu ai obiectivul pe care modelul AI să-l atingă,

you can pick an intermediary goal along the way.

poți alege pe parcurs un obiectiv intermediar.

So, looking at these two pairs of images,

Uitându-ne la aceste două imagini,

our eyes can identify that these are the same images,

ochii noștri pot recunoaște că sunt una și aceeași imagine,

just flipped.

doar că răsturnată.

And we can do that because we understand

Putem face asta pentru că înțelegem

the structures that are present in the images.

structurile prezente în aceste imagini.

We can see this little triangle, and it's flipped,

Vedem că acest mic triunghi e răsturnat,

so we know this is the same triangle.

așa că știm că e același triunghi.

Our eyes already have this feature,

Ochii noștri au deja această funcție,

but neural networks don't.

dar rețelele neuronale nu.

When they see these images,

Când văd aceste imagini,

they can't [tell] that these are the same image.

nu știu că sunt una și aceeași imagine.

So one idea, just to let it know about the structures

Pentru a o familiariza cu structurile

and familiarize it with the data,

și cu datele,

is to show it different views of the same image

trebuie să-i arătăm unghiuri diferite ale aceleiași imagini

and tell it that these are the same images.

și să-i spunem că sunt aceeași imagine.

And after that, you take this model

După aceea, se ia acest model

and you train it like the previous models that the University of Kentucky did.

și e antrenat ca modelele anterioare făcute de Universitatea din Kentucky.

And while the approach doesn't fully work, it also doesn't fully not work.

Deși abordarea nu funcționează pe deplin, nu e ca și cum nu merge.

And this was the first image that was produced by the model.

Aici e prima imagine produsă de model.

And there was some very faint signal in there.

Era un semnal foarte slab acolo.

It seemed like the model was catching on something,

Părea că modelul detectează ceva,

but it wasn't clear, exactly, what the model was catching on.

dar nu era clar exact ce detectează.

So I decided to take these predictions and create a new ground truth,

Așa că am decis să iau aceste predicții și să creez un nou adevăr de bază.

asking the model, "Hey, I think these might be letters.

I-am spus modelului: „Cred că acestea ar putea fi litere.

I think there's something in there. Try to find more of this."

Cred că e ceva acolo. Încearcă să găsești mai mult.”

And my ground truth, actually,

Și adevărul meu de bază

has four correct letters and four other delusions.

avea patru litere corecte și alte patru presupuneri.

But that was OK.

Dar era în regulă.

So training a new model with this data,

Antrenând un model nou cu aceste date,

the model started to find more ink, find more letters,

a început să găsească mai multă cerneală, mai multe litere,

and the lines even looked complete.

chiar și liniile păreau complete.

So I thought, "What are the chances that if I do this again,

M-am gândit: „Dacă repet asta, care sunt șansele

the models keep improving?"

ca modelele să continue să se îmbunătățească?”

And this was the core behind our grand prize-winning solution.

Aceasta a fost ideea principală din spatele soluției câștigătoare.

Repeating this process over and over, the models kept improving.

Repetând acest proces, modelele s-au îmbunătățit.

The main trick was you needed to prevent the models from memorizing

Secretul e să împiedici modelele din a memora

what the previous models have learned.

ce au învățat modelele anterioare.

You're essentially asking the model to learn

În esență, îi ceri modelului să învețe

what the other model has learned.

ce a învățat celălalt model.

So overfitting was a serious problem that required a lot of experiments.

Suprapunerea a fost o problemă serioasă care a necesitat multe experimente.

But in the end, getting the recipe right,

În cele din urmă, cu metoda corectă,

we were able to predict all of these letters

am reușit să prezicem toate literele

without the models ever seeing them.

fără ca modelele să le vadă măcar.

These were the first 10 letters.

Acestea au fost primele 10 litere.

There are, like, 20 in there,

Sunt vreo 20 acolo,

but this was the first coherent word read from an unopened papyrus sheet.

dar acesta a fost primul cuvânt coerent citit dintr-o foaie de papirus nedeschisă.

From there, scaling the process,

De aici, extinzând procesul,

within weeks, we had, now, columns of text,

în câteva săptămâni aveam coloane de text,

even special characters

chiar și caractere speciale

that papyrologists found very interesting that the model was able to find.

despre care papirologii consideră foarte interesant că modelul le-a putut găsi.

The approach was open-sourced,

Abordarea a fost publică,

and the data and the code were out there,

datele și codul erau acolo,

and the race for the grand prize was on.

iar cursa pentru marele premiu a început.

Recovering four paragraphs at an 85-percent clarity.

S-au recuperat patru paragrafe la o claritate de 85%.

And the key to our success was perfecting the data and the model

Cheia succesului nostru a fost perfecționarea datelor și a modelului

with so many iterations and so many experiments.

cu atât de multe iterații și experimente.

In the end, we were able to recover

În cele din urmă, am reușit să recuperăm

more than 14 columns of text, and 2,000 letters.

peste 14 coloane de text și 2.000 de litere.

(Applause)

(Aplauze)

2,000 characters safely stored away two millennia ago.

2.000 de caractere stocate în siguranță acum două milenii.

In just nine months, we discovered them again.

În doar nouă luni, le-am redescoperit.

AI helped us, in large portions,

AI ne-a ajutat, în mare parte,

writing better code and even being part in our algorithms.

să scriem un cod mai bun și să facă parte din algoritmii noștri.

It opened a window into the past.

A deschis o fereastră către trecut.

What's next?

Ce urmează?

Let's open this window more.

Să deschidem mai mult această fereastră.

AI will help us access information that was so far safely locked away.

AI ne va ajuta să accesăm informații care au fost până acum inaccesibile.

In the words of the author,

În cuvintele autorului,

"We do not refrain from questioning nor understanding,

„Nu ne vom opri să punem întrebări și să înțelegem,

and may it be evident to say true things as they appear."

să spunem adevărul pe măsură ce-l descoperim.”

(Applause)

(Aplauze)