How AI Is Decoding Ancient Scrolls | Julian Schilliger and Youssef Nader | TED

Fordító: Peter Pallos Lektor: Reka Lorinczy

We always think about the potential of AI changing the future.

Arra szoktunk gondolni, hogy az MI megváltoztatja a jövőt.

But what about the potential of AI changing the past?

De hogyan változtathatja meg a múltat?

My name is Youssef Nader.

A nevem Youssef Nader.

I'm an Egyptian AI researcher

Egyiptomi MI-kutató vagyok

and a PhD student at the Free University in Berlin,

és a Berlini Szabadegyetem doktorandusza.

and last year, I led the Vesuvius Grand Prize winning team

2023-ban én vezettem a Vezúv Kihívás nagydíjas csapatát

on exploring this very question.

e kérdés feltárására.

You see, the story starts almost 2,000 years ago.

A történet majdnem 2000 éve kezdődött.

A Greek philosopher that we believe was Philodemus of Gadara

Gadarai Philodemus görög filozófus

sat in one of the many rooms of the Villa dei Papiri.

a Villa dei Papiri egyik szobájában ült.

He talked about music, he talked about pleasure,

Beszélt a zenéről, az örömről,

he talked about what makes things enjoyable,

arról, hogy mi teszi élvezetessé a dolgokat,

questions that still plague us until today.

azokról a kérdésekről, amelyek máig foglalkoztatnak minket.

One of his scribes wrote down his thoughts on sheets of papyrus.

Egyik írástudója papiruszlapokra írta le gondolatait.

The sheets were rolled and stowed away for later generations.

A lapokat összetekerték és eltárolták későbbi nemzedékek számára.

Fast-forward 150 years, ...

Előrelépünk 150 évet.

Mount Vesuvius erupts,

A Vezúv kitör, Herculaneumot,

burying Herculaneum, the villa and the words of the philosopher

a villát és a filozófus szavait

under a sea of hot mud and ashes.

forró iszap- és hamutenger alá temeti.

Now fast-forward again, to the 17th century.

Ismét előremegyünk, a 17. századba.

People are excavating around the area.

Ásatásokat végeznek a környéken.

They found beautiful statues, breathtaking frescoes

Gyönyörű szobrokat, lélegzetelállító freskókat

and some weird-looking pieces of charcoal,

és pár furcsa faszéndarabot találtak,

like you see in this picture.

mint e képen látható.

This is when the first scrolls were discovered,

Ekkor fedezték fel az első tekercseket,

and people were racing to excavate more of these.

és verseny indult, hogy minél többet feltárjanak belőlük.

What knowledge is included that is not known to us now?

Vajon milyen ismeretlen tudás rejtőzhet bennük?

What things should we know about these scrolls?

Mit kell tudnunk a tekercsekről?

My name is Julian, and I am a digital archaeologist.

A nevem Julian, és digitális régész vagyok.

When the pyroclastic flow hit the scrolls, it had a destructive effect.

Amikor a vulkanikus törmelékár elérte a tekercseket, romboló hatású volt.

It tore into them, shredded off pieces, and it charred them badly.

Beléjük hatolt, darabokra tépte, és csúnyán elszenesítette őket.

Even the deformation that you can see happened at that point.

Ekkor deformálódtak is.

People, 250-something years ago,

A kb. 250 éve élők kíváncsiak voltak,

were curious what's lying inside those scrolls,

vajon mi rejlik a tekercsekben.

hidden and not accessible anymore.

Because of a lack of technology,

A technológia hiánya miatt

they had to resort to physically unrolling

mechanikusan akarták kibontani őket,

and thereby destroying most of the scrolls.

emiatt a tekercsek zöme megsemmisült.

To this day,

Máig csak a legsérültebb

only the most damaged and deformed scrolls

és deformálódott tekercsek maradtak meg

remain in their initial, rolled-up configuration.

eredeti összegöngyölt állapotukban.

Fast-forwarding a little bit, the computer age arrives.

Megint gyorsan továbbmegyünk, elérkezünk a számítógépes korba.

Youssef and I are born.

Youssef és én ekkor születtünk.

We are going on and getting our education --

Iskolába járunk, tanulunk.

(Laughter)

(Nevet)

and at the same time, Brent Seales, a researcher and professor,

Brent Seales kutató-professzorban felmerül a gondolat,

had the idea to use CT scan technology to actually digitize the scrolls,

hogy CT-vizsgálati technológiával digitalizálják a tekercseket,

with the hope of, one day, digitally unrolling them.

hogy egy nap digitálisan kibontsuk őket.

Behind me, you can see a video of such a CT scan,

A kivetítőn videó látható ilyen CT-vizsgálatról,

and it goes through the CT scan 3D volume,

amely rétegenként

3D-s CT-vizsgálatot végez.

layer by layer.

The papyrus is visible as a spiral,

A papirusz spirálként látható,

and you can see it's tightly wound-up,

hogy szorosan fel van tekerve,

sometimes touching each other, flaying off.

az egyes rétegek néha érintik egymást.

It's a difficult question, how to unroll this digitally.

Nehéz kérdés, hogyan lehet digitálisan kibontani.

Nat Friedman, a Silicon Valley investor,

Nat Friedman, szilícium-völgyi befektető

also saw this research, and he wanted to help.

tudomást szerzett a kutatásról, és segíteni akart.

That was in 2022.

Ez még 2022-ben volt.

He reached out, and together with Brent Seales,

Brent Sealesszel létrehozta

they created the Vesuvius Challenge,

a Vezúv Kihívást,

with the goal to motivate nerds all over the world

hogy világszerte ösztönözzék a kockafejűeket

to solve this problem.

a probléma megoldására.

(Laughter)

(Nevetés)

They created a grand prize,

Nagydíjat hoztak létre, örök dicsőséget

promising eternal glory and monetary incentives

és pénzjutalmat ígérve mindenkinek,

to anyone who could do that.

aki eredményt ér el.

(Laughter)

(Nevetés)

I myself saw that on the internet

Az interneten értesültem róla,

while writing my master's thesis at ETH Zurich, in robotics,

mikor a zürichi ETH robotika szakán diplomamunkámat írtam,

and I was instantly happy to solve it --

és rögtön megörültem, hogy megoldhatom,

or at least try, why not, you know?

vagy legalábbis megpróbálom, miért is ne?

And I went on, joined the Discord community

Csatlakoztam a Discord közösséghez,

where all the people that were also contestants

ahol más versenyzők is

and playing with the scroll data

játszottak a tekercsek adataival,

were exchanging ideas,

ötleteket cseréltek.

and I joined there and started working on it.

Csatlakoztam hozzájuk, és elkezdtem a témán dolgozni.

Also there, on Discord, I met Youssef and Luke [Farritor],

A Discordon találkoztam Yousseffel és Luke Farritorral,

who would become my teammates,

akik csapattársaim lettek,

and with whom I would actually win the grand prize.

és akikkel végül elnyertük a fődíjat.

Surprisingly, it went on, and made global headline news.

Meglepő módon a dolog folytatódott, és fölkerültünk az újságok címoldalára.

It even got into the British tabloids.

Még a brit bulvárlapokba is bejutottunk.

(Laughter)

(Nevetés)

So when we started,

Amikor elkezdtük,

there were two main problems still remaining.

még két fő nehézség maradt.

One, you had to unroll the scroll.

Az egyik: ki kellett göngyölíteni a tekercset.

And two, you then had to make the ink visible.

A másik: láthatóvá kellett tennünk a tintát.

Youssef will tell you more about that part.

Youssef részletezi ezt a részt.

For me, the most exciting thing

Nekem a legizgalmasabb a számítógépes látás megoldása volt,

was the computer-vision problem of unrolling those scrolls virtually.

amikor a tekercseket virtuálisan bontják ki.

I decided to iterate on a tool

Úgy döntöttem, hogy azt az eszközt fejlesztem tovább,

that was created by the Kentucky researchers,

amelyet kentuckyi kutatók készítettek,

and make it faster, less prone to errors

és felgyorsítom, kevesebbet hibázzon,

and just iterate on it and make it better.

csak változtatok rajta, és feljavítom.

The Vesuvius Challenge team saw that

A Vezúv Kihívás csapata ezt látva

and also implemented a team of 10 people that would use my tool.

tízfős csapatot állított össze, akik használták az eszközömet.

They would annotate scroll data, like you see in this video,

Kijegyzetelték a tekercsek adatait, amint az a videóban látható.

where they created a red line where the surface would lie.

A felületre felfekvő piros vonalakat hoztak létre.

The algorithm then would take it into 3D space,

Az algoritmus ezután

creating a three-dimensional representation of the surface.

a felület 3D-s ábrázolását hozta létre.

Computer algorithms

A számítógépes algoritmusok

would then flatten it and create a segment.

ezután kisimítják, és szegmenst hoznak létre.

This all would be called “segmentation”

Ezt szegmentálásnak nevezzük

in the space of the scrolling and unrolling community.

a görgető és kibontó közösség területén.

(Laughter)

(Nevetés)

So I created open-source commits to this tool

Nyílt forráskódú programot hoztam létre az eszközhöz,

and implemented new algorithms from my studies, like Optical Flow,

és új algoritmusokat vezettem be tanulmányaim során, pl az Optical Flow-t,

to better track the sheets through the volume,

hogy jobban nyomon követhessük a lapokat a köteten keresztül,

and we end up with something like what you see behind me.

és végül ahhoz hasonlót kaptunk, amit mögöttem látnak.

First off, those were really small segments,

Először is, ezek apró szegmensek voltak,

and I added improvement,

és javítottam,

made the code faster

felgyorsítottam a kódot.

and had lots of feedback from the community.

Sok visszajelzést kaptam a közösségtől.

They were really happy, and I was happy getting lots of feedback.

Boldogok voltak, és én is örültem, hogy sok visszajelzést kaptam.

It was a really positive environment.

Igazán pozitív környezet volt.

So in the end,

Így végül nyomon követhettem az algoritmusok

I could track the performance of the algorithms,

és a szegmentációs csapat teljesítményét,

how the segmentation team performed,

és láttam, hogy fejlesztéseimmel az elejétől a végéig

and I could see that my improvements, from start to finish,

kb. tízezerszeres javulást értünk el

would be around a 10,000-fold improvement over the initial version.

a kezdeti változathoz képest.

This algorithm was then also used to unroll all the area

Az algoritmussal aztán az összes területet felbontottuk,

that you can see in our submission.

amelyet a beadványunkban láthatnak.

All the sheets were generated with these methods.

Az összes lapot e módszerrel hoztuk létre.

In December, I was looking for teammates.

Decemberben társakat kerestem.

I made a blog post,

Blogbejegyzést írtam,

and I showcased my newest algorithms,

és bemutattam legújabb algoritmusaimat.

reaching out to anyone that was willing to team up.

Együttműködőket kerestem.

Youssef and Luke got into contact with me.

Youssef és Luke megkerestek.

They were happy to team up, and I was happy as well.

Örültek, hogy összefogunk, és én is boldog voltam.

(Laughter)

(Nevetés)

So after the virtual unwrapping, the words still are not visible.

De a virtuális kicsomagolás után a szavak még mindig nem láthatók.

The main problem is that the ink that was used at the time

A fő akadály az, hogy akkoriban szénalapú tintát használtak,

was a carbon-based ink,

és a papiruszon a szénalapú tinta

and carbon-based ink on carbon-based papyrus in a CT scan

a CT-vizsgálat során nem látható,

isn’t visible, or at least [not] to the naked eye.

legalábbis szabad szemmel nem.

So the same team at the University of Kentucky

A Kentucky Egyetem csapata úgy döntött,

decided to test whether the ink was present at all

teszteli, hogy a tinta egyáltalán jelen van-e

in the CT scans.

a CT-vizsgálatokban.

For this, they took some of the pieces that people broke off the scrolls,

Ehhez a tekercsekből letört darabokat

and they fed them into the same pipeline of the X-ray CT scanning,

a röntgen CT-szkennelés terébe rakták,

and this gives us the 3D data that we were working with.

és így megkaptuk azokat a 3D-s adatokat, amelyekből dolgoztunk.

Because you can see the ink and it’s an exposed surface,

Mert látszik a tinta, és fedetlen a felület,

you can even improve it with infrared imaging.

infravörös képalkotással még javíthatunk rajta.

And this gives you a ground truth

Ez megalapozza,

of what letters you're actually trying to find.

hogy milyen betűket keresünk.

And then from there,

Aztán a gépi tanulási modellt kiképezhetjük,

you can train a machine-learning model to try to find these letters.

hogy megtalálja ezeket a betűket.

The way this works

Ez úgy működik,

is that the model looks at very small cubes at a single time

hogy a modell egyszerre apró kockákat néz át,

and tries to decide whether there is ink present in this area or not.

és megpróbálja eldönteni, hogy van-e tinta ezen a területen, vagy nincs.

And then, when you keep moving this cube all around,

Amikor folyamatosan mozgatjuk a kockát,

the model gets to see different data samples

a modell különböző adatmintákat lát,

and then tries to understand what ink actually is.

majd igyekszik megérteni, miféle tintát lát.

So this is how it looks while the model is training.

Ilyen a modell a tanulási szakaszban.

It's not perfect, but you can see that, especially around the middle,

Nem tökéletes, de láthatjuk, hogy különösen középen

the model is starting to see the letters perfectly.

a modell tökéletesen kezdi látni a betűket.

So the data is there.

Az adatok megvannak.

The ink is there.

A tinta ott van.

But it’s just very hard to find and see.

De iszonyúan nehéz megtalálni és látni.

Looking at the CT scan raw data on the left here,

A CT- vizsgálat nyers adatait a bal oldalon nézve

you can see the fibers,

láthatjuk a szálakat

you can see the structure of the papyrus,

és a papirusz szerkezetét,

but the letters are very, very faint.

de a betűk nagyon-nagyon halványak.

The letters from the right image are very, very faint in the CT scans.

A jobb oldali kép betűi nagyon-nagyon halványak a CT-vizsgálatokban.

And they're actually, in this special case,

Ebben a különleges esetben

characterized by a difference of contrast

a kontrasztkülönbség jellemzi őket,

and some speckles, freckles, features that are very hard to see.

és néhány alig látható folt.

So what happens if we try to take a look

Mi történne, ha azt a szegmenst vennénk szemügyre,

at the segment that Julian was just showing?

amelyet Julian mutatott?

So this is the data that we were working with.

Ezekkel az adatokkal dolgoztunk.

And I'm going to give you 10 seconds to try to find the letters yourself.

10 másodpercet adok, hogy megtalálják a betűket.

(Laughter)

(Nevetés)

And as a hint,

Könnyítésként elárulom,

I'll tell you that there are three letters in this image.

hogy három betű látható a képen.

Believe me.

Higgyék el nekem.

Try to find some pattern, some crackle patterns,

Találjanak valamilyen mintát,

some cracks in there.

néhány macskakaparást.

If you were able to identify this pattern of these three letters --

Ha sikerült felismerni e három betű mintáját,

(Laughter)

(Nevetés)

then congratulations.

akkor gratulálok.

One year ago, you may have won 40,000 dollars.

Egy éve tán 40 000 dollárt nyertek volna.

(Laughter)

(Nevetés)

However, if you're like me, and you couldn't make sense of this,

De ha olyanok, mint én, és ezt nem tudták értelmezni,

there's a different way that you can find this ink --

akkor másik módja is van, hogy megtalálják a tintát.

one that actually scales very, very well.

A módszer remekül kiterjeszthető.

So this is where my journey begins with the Vesuvius Challenge.

Itt kezdődik utam a Vezúv Kihívással.

There is this neat idea in computer-vision literature

Van egy szép ötlet a számítógépes látás irodalmában.

where if you don't actually have labels,

Ha nincsenek címkéink,

if you don't have the goal that you want your AI model to reach,

ha nincs MI modellünkkel elérhető célunk,

you can pick an intermediary goal along the way.

köztes célt is választhatunk.

So, looking at these two pairs of images,

A két képpárt megnézve

our eyes can identify that these are the same images,

szemünk képes felismerni, hogy ezek ugyanazok a képek,

just flipped.

csak éppen meg vannak fordítva.

And we can do that because we understand

Ez nekünk azért sikerül,

the structures that are present in the images.

mert értjük a képeken lévő struktúrákat.

We can see this little triangle, and it's flipped,

A kis háromszög itt fordítva van,

so we know this is the same triangle.

de ez ugyanaz a háromszög.

Our eyes already have this feature,

Szemünknek ez tulajdonsága,

but neural networks don't.

de a neurális hálózatoknak nincs meg.

When they see these images,

A képekről nem tudják felismerni,

they can't [tell] that these are the same image.

hogy ezek ugyanazok a képek.

So one idea, just to let it know about the structures

Az egyik ötlet, hogy felismerje a struktúrákat,

and familiarize it with the data,

megismertessük az adatokkal:

is to show it different views of the same image

hogy ugyanazon kép különböző nézeteit mutatjuk neki,

and tell it that these are the same images.

és közöljük, hogy ezek ugyanazon képek.

And after that, you take this model

Utána a modellt tanítjuk,

and you train it like the previous models that the University of Kentucky did.

mint az előző modelleket a Kentucky Egyetemen.

And while the approach doesn't fully work, it also doesn't fully not work.

A közelkép még nem tökéletes.

And this was the first image that was produced by the model.

A modell először ezt a képet készítette.

And there was some very faint signal in there.

Először valami elmosódott jel volt.

It seemed like the model was catching on something,

Mintha a modell megragadott volna valamit,

but it wasn't clear, exactly, what the model was catching on.

de nem volt világos, hogy pontosan mit.

So I decided to take these predictions and create a new ground truth,

Úgy döntöttem, hogy elfogadom ezeket az előrejelzéseket,

új alapigazságot hozok létre.

asking the model, "Hey, I think these might be letters.

Megkérdeztem a modellt: „Ezek betűk lehetnek?

I think there's something in there. Try to find more of this."

Azt hiszem, van itt valami.

Találj többet ebből!”

And my ground truth, actually,

Alapigazságomnak négy helyes betűje van,

has four correct letters and four other delusions.

és négy másik pedig tévedés.

But that was OK.

De ez rendben volt.

So training a new model with this data,

Az új modellt ezen adatokkal kiképezve

the model started to find more ink, find more letters,

a modell elkezdett több tintát és több betűt találni,

and the lines even looked complete.

és a sorok még teljesnek is látszottak.

So I thought, "What are the chances that if I do this again,

Arra gondoltam: „Mennyi az esély arra, hogy ha ezt megismétlem,

the models keep improving?"

a modellek folyamatosan javulnak?”

And this was the core behind our grand prize-winning solution.

Ez a lényege nagydíjas megoldásunknak.

Repeating this process over and over, the models kept improving.

A folyamatot többször megismételve a modellek folyamatosan javultak.

The main trick was you needed to prevent the models from memorizing

A trükk abban állt, hogy a modellek ne jegyezzék meg,

what the previous models have learned.

amit az előző modellek megtanultak.

You're essentially asking the model to learn

Arra kérjük a modellt, hogy tanulja meg,

what the other model has learned.

amit a másik modell megtanult.

So overfitting was a serious problem that required a lot of experiments.

A túlilleszkedés sok kísérletezést igénylő komoly nehézség volt.

But in the end, getting the recipe right,

De végül a receptet helyesen alkalmazva

we were able to predict all of these letters

a betűket képesek lettünk megjósolni,

without the models ever seeing them.

anélkül hogy a modellek valaha is látták volna őket.

These were the first 10 letters.

Ez volt az első tíz betűvel.

There are, like, 20 in there,

Kb. még 20 maradt, de ez volt az első összefüggő szó,

but this was the first coherent word read from an unopened papyrus sheet.

amelyet zárt papiruszlapról olvashattunk.

From there, scaling the process,

A folyamat bővítésével heteken belül

within weeks, we had, now, columns of text,

szövegoszlopokat, sőt különleges karaktereket is felfedeztünk,

even special characters

amelyeket papirusztudósok igen érdekesnek tartottak,

that papyrologists found very interesting that the model was able to find.

mert a modell képes volt megtalálni őket.

The approach was open-sourced,

A program nyílt forráskódú volt,

and the data and the code were out there,

és az adatok és a kód megvoltak,

and the race for the grand prize was on.

és a fődíjért folyt a verseny.

Recovering four paragraphs at an 85-percent clarity.

Négy bekezdés helyreállítása 85%-os pontossággal.

And the key to our success was perfecting the data and the model

Sikerünk kulcsa pedig az adatok és a modell tökéletesítése volt

with so many iterations and so many experiments.

megannyi iterációval és kísérlettel.

In the end, we were able to recover

Végül több mint 14 oszlopot

more than 14 columns of text, and 2,000 letters.

és 2000 betűt tudtunk helyreállítani.

(Applause)

(Taps)

2,000 characters safely stored away two millennia ago.

2000 karakter biztonságosan tárolva két évezreddel ezelőttről.

In just nine months, we discovered them again.

Csupán kilenc hónap alatt újra felfedeztük őket.

AI helped us, in large portions,

Az MI nagyban segített nekünk

writing better code and even being part in our algorithms.

jobb kódot írni, és még az algoritmusainkban is részt vett.

It opened a window into the past.

Ablakot nyitott a múltba.

What's next?

Mi lesz a következő lépés?

Let's open this window more.

Nyissuk ki még jobban az ablakot!

AI will help us access information that was so far safely locked away.

Az MI elősegíti az eddig biztonságosan elzárt információhoz való hozzáférést.

In the words of the author,

A szerző szavaival:

"We do not refrain from questioning nor understanding,

„Nem zárkózunk el sem a kérdezéstől, sem a megértéstől,

and may it be evident to say true things as they appear."

s legyen nyilvánvaló, hogy úgy mondjunk ki igaz dolgokat, ahogy azok megjelennek.”

(Applause)

(Taps)