How AI Is Decoding Ancient Scrolls | Julian Schilliger and Youssef Nader | TED

Traducteur: eric vautier Relecteur: Claire Ghyselen

We always think about the potential of AI changing the future.

Youssef Nader : Nous pensons toujours au potentiel de l’IA pour changer l’avenir.

But what about the potential of AI changing the past?

Mais qu’en est-il de la capacité de l’IA à changer le passé ?

My name is Youssef Nader.

Je m'appelle Youssef Nader.

I'm an Egyptian AI researcher

Je suis un chercheur en IA égyptien,

and a PhD student at the Free University in Berlin,

et doctorant à l’Université libre de Berlin.

and last year, I led the Vesuvius Grand Prize winning team

L’année dernière, j’ai dirigé l’équipe lauréate du Grand Prix du Vésuve

on exploring this very question.

qui a étudié cette question précise.

You see, the story starts almost 2,000 years ago.

L’histoire commence il y a presque 2 000 ans.

A Greek philosopher that we believe was Philodemus of Gadara

Un philosophe grec que nous pensons être Philodème de Gadara

sat in one of the many rooms of the Villa dei Papiri.

était dans l’une des nombreuses pièces de la Villa dei Papiri.

He talked about music, he talked about pleasure,

Il parlait de musique, il parlait de plaisir,

he talked about what makes things enjoyable,

il parlait de ce qui rend les choses agréables,

questions that still plague us until today.

des questions qui nous tourmentent encore aujourd’hui.

One of his scribes wrote down his thoughts on sheets of papyrus.

L’un de ses scribes a écrit ses pensées sur des feuilles de papyrus.

The sheets were rolled and stowed away for later generations.

Les feuilles ont été roulées et rangées pour les générations à venir.

Fast-forward 150 years, ...

Cent cinquante ans plus tard,

Mount Vesuvius erupts,

le Vésuve entre en éruption,

burying Herculaneum, the villa and the words of the philosopher

ensevelissant Herculanum, la villa et les paroles du philosophe

under a sea of hot mud and ashes.

sous une vague de lave et de cendres.

Now fast-forward again, to the 17th century.

Maintenant, avançons au 17e siècle.

People are excavating around the area.

Les gens font des fouilles dans la zone.

They found beautiful statues, breathtaking frescoes

Ils ont trouvé de belles statues, des fresques à couper le souffle,

and some weird-looking pieces of charcoal,

et des morceaux de fusain étranges,

like you see in this picture.

comme vous pouvez le voir sur cette photo.

This is when the first scrolls were discovered,

C’est là que les premiers parchemins ont été découverts.

and people were racing to excavate more of these.

Les gens se précipitaient pour en extraire d’autres.

What knowledge is included that is not known to us now?

Quelles y sont les connaissances que nous ne connaissons plus aujourd’hui ?

What things should we know about these scrolls?

Que devons-nous savoir à propos de ces parchemins ?

My name is Julian, and I am a digital archaeologist.

Julian Schilliger : Je m’appelle Julian et je suis archéologue numérique.

When the pyroclastic flow hit the scrolls, it had a destructive effect.

Lorsque le flux pyroclastique a touché les parchemins, il a eu un effet destructeur.

It tore into them, shredded off pieces, and it charred them badly.

Il les a déchirés, en a arraché des morceaux et les a gravement carbonisés.

Even the deformation that you can see happened at that point.

Même la déformation que vous pouvez voir s'est produite à ce moment-là.

People, 250-something years ago,

Il y a environ 250 ans,

were curious what's lying inside those scrolls,

les gens étaient curieux de savoir ce qu’il y avait à l’intérieur,

hidden and not accessible anymore.

cachés et désormais inaccessibles.

Because of a lack of technology,

Faute de technologie,

they had to resort to physically unrolling

ils ont dû recourir à les dérouler,

and thereby destroying most of the scrolls.

détruisant ainsi la plupart des parchemins.

To this day,

À ce jour,

only the most damaged and deformed scrolls

seuls les rouleaux les plus endommagés et les plus déformés

remain in their initial, rolled-up configuration.

conservent leur configuration initiale, en rouleaux.

Fast-forwarding a little bit, the computer age arrives.

Avançons dans les temps et nous voilà à l’ère informatique.

Youssef and I are born.

Youssef et moi sommes nés.

We are going on and getting our education --

Nous poursuivons nos études -

(Laughter)

(Rires)

and at the same time, Brent Seales, a researcher and professor,

et à la même époque, Brent Seales, chercheur et professeur,

had the idea to use CT scan technology to actually digitize the scrolls,

a l’idée d’utiliser la tomodensitométrie pour numériser les rouleaux,

with the hope of, one day, digitally unrolling them.

dans l’espoir de les dérouler numériquement un jour.

Behind me, you can see a video of such a CT scan,

Derrière moi, vous en voyez une vidéo.

and it goes through the CT scan 3D volume,

On parcourt le volume en 3D, couche par couche.

layer by layer.

The papyrus is visible as a spiral,

Le papyrus est enroulé en spirale.

and you can see it's tightly wound-up,

Vous voyez qu’il est très serré,

sometimes touching each other, flaying off.

se pliant parfois, s’abîmant.

It's a difficult question, how to unroll this digitally.

Le dérouler numériquement n’est pas une chose aisée.

Nat Friedman, a Silicon Valley investor,

Nat Friedman, un investisseur de la Silicon Valley,

also saw this research, and he wanted to help.

a entendu parler de cette recherche et a voulu apporter son aide.

That was in 2022.

C'était en 2022.

He reached out, and together with Brent Seales,

Il s’est manifesté et, avec Brent Seales,

they created the Vesuvius Challenge,

ils ont créé le Vesuvius Challenge,

with the goal to motivate nerds all over the world

dans le but de motiver les geeks du monde entier à résoudre ce problème.

to solve this problem.

(Laughter)

(Rires)

They created a grand prize,

Ils ont créé un prix,

promising eternal glory and monetary incentives

promettant la gloire éternelle et une récompense financière

to anyone who could do that.

à tous ceux qui y arriveraient.

(Laughter)

(Rires)

I myself saw that on the internet

Je l’ai vu sur Internet

while writing my master's thesis at ETH Zurich, in robotics,

alors que je rédigeais mon mémoire de master en robotique à l’ETH Zurich,

and I was instantly happy to solve it --

et j’ai tout de suite été heureux de le résoudre,

or at least try, why not, you know?

ou du moins d’essayer.

And I went on, joined the Discord community

J’ai ensuite rejoint la communauté Discord

where all the people that were also contestants

où tous les participants jouaient avec les données

and playing with the scroll data

were exchanging ideas,

et échangeaient des idées.

and I joined there and started working on it.

Dès que je les ai rejoints, j’ai commencé à travailler dessus.

Also there, on Discord, I met Youssef and Luke [Farritor],

Là, j’ai rencontré Youssef et Luke [Farritor],

who would become my teammates,

avec qui on allait faire équipe et remporter le prix.

and with whom I would actually win the grand prize.

Surprisingly, it went on, and made global headline news.

Étonnamment, on a réussi et ça a fait la une dans le monde entier.

It even got into the British tabloids.

Même dans les tabloïds en Angleterre.

(Laughter)

(Rires)

So when we started,

Quand nous avons commencé, il restait deux problèmes principaux.

there were two main problems still remaining.

One, you had to unroll the scroll.

Premièrement, il fallait dérouler le parchemin.

And two, you then had to make the ink visible.

Et deuxièmement, il fallait ensuite rendre l’encre visible.

Youssef will tell you more about that part.

Youssef vous en dira plus sur cette partie.

For me, the most exciting thing

Pour moi, le plus intéressant

was the computer-vision problem of unrolling those scrolls virtually.

était d’essayer de dérouler virtuellement ces parchemins.

I decided to iterate on a tool

J’ai décidé d’utiliser un outil créé par des chercheurs du Kentucky,

that was created by the Kentucky researchers,

and make it faster, less prone to errors

de le rendre plus rapide, moins sujet aux erreurs

and just iterate on it and make it better.

et de simplement l’améliorer par itérations successives.

The Vesuvius Challenge team saw that

L’équipe a vu cet outil

and also implemented a team of 10 people that would use my tool.

et a mis en place une équipe de 10 personnes pour l’utiliser.

They would annotate scroll data, like you see in this video,

Ils annotaient les données du parchemin, comme vous le voyez dans cette vidéo.

where they created a red line where the surface would lie.

Ils traçaient une ligne rouge là où se trouvait la surface.

The algorithm then would take it into 3D space,

L’algorithme extrapolait ensuite en 3D,

creating a three-dimensional representation of the surface.

créant ainsi une représentation tridimensionnelle de la surface,

Computer algorithms

puis l’aplatissait et créaient un segment.

would then flatten it and create a segment.

This all would be called “segmentation”

On appelait ça « segmentation »

in the space of the scrolling and unrolling community.

dans la communauté du déroulage des parchemins.

(Laughter)

(Rires)

So I created open-source commits to this tool

J’ai donc créé des mises à jour open source de cet outil

and implemented new algorithms from my studies, like Optical Flow,

et implémenté de nouveaux algorithmes issus de mes études, comme Optical Flow,

to better track the sheets through the volume,

pour mieux suivre les feuilles dans le volume.

and we end up with something like what you see behind me.

Nous nous sommes retrouvés avec ce que vous voyez derrière moi.

First off, those were really small segments,

Au début, il s’agissait de très petits segments.

and I added improvement,

J’ai amélioré, accéléré le code

made the code faster

and had lots of feedback from the community.

et reçu de nombreux commentaires de la communauté.

They were really happy, and I was happy getting lots of feedback.

Ils étaient contents, et je l’étais d’en recevoir beaucoup.

It was a really positive environment.

C'était un environnement vraiment positif.

So in the end,

Au final,

I could track the performance of the algorithms,

j’ai pu suivre les performances des algorithmes,

how the segmentation team performed,

celles de l’équipe de segmentation,

and I could see that my improvements, from start to finish,

et j’ai pu constater que, grâce aux améliorations,

would be around a 10,000-fold improvement over the initial version.

le logiciel était 10 000 fois plus rapide que la version initiale.

This algorithm was then also used to unroll all the area

Cet algorithme a ensuite été utilisé

pour dérouler tout ce que vous pouvez voir dans notre soumission.

that you can see in our submission.

All the sheets were generated with these methods.

Toutes les feuilles ont été générées avec ces méthodes.

In December, I was looking for teammates.

En décembre, je cherchais des coéquipiers.

I made a blog post,

J’ai publié un billet de blog et présenté mes derniers algorithmes,

and I showcased my newest algorithms,

reaching out to anyone that was willing to team up.

en répondant à tous ceux qui souhaitaient me rejoindre.

Youssef and Luke got into contact with me.

Youssef et Luke m’ont contacté.

They were happy to team up, and I was happy as well.

Ils étaient contents de me rejoindre, et moi aussi.

(Laughter)

(Rires)

So after the virtual unwrapping, the words still are not visible.

YN : Après le déroulage virtuel, les mots ne sont toujours pas visibles.

The main problem is that the ink that was used at the time

Le principal problème est que l’encre utilisée à l’époque

était une encre à base de carbone.

was a carbon-based ink,

and carbon-based ink on carbon-based papyrus in a CT scan

Une telle encre sur un papyrus à base de carbone

n’est pas visible par tomodensitométrie, ou du moins pas à l’œil nu.

isn’t visible, or at least [not] to the naked eye.

So the same team at the University of Kentucky

La même équipe de l’Université du Kentucky

decided to test whether the ink was present at all

a voulu vérifier si l’encre était présente dans les tomodensitogrammes.

in the CT scans.

For this, they took some of the pieces that people broke off the scrolls,

Pour cela, ils ont récupéré certains des morceaux qui avaient été arrachés

and they fed them into the same pipeline of the X-ray CT scanning,

et les ont introduits dans le même tomodensitomètre.

and this gives us the 3D data that we were working with.

Ça a donné les données 3D avec lesquelles nous travaillions.

Because you can see the ink and it’s an exposed surface,

On voit l’encre, car la surface est exposée.

you can even improve it with infrared imaging.

C’est encore mieux grâce à une imagerie infrarouge.

And this gives you a ground truth

Cela donne une idée précise des lettres qu’on essayait de trouver.

of what letters you're actually trying to find.

And then from there,

À partir de là,

you can train a machine-learning model to try to find these letters.

on entraîne un modèle d’apprentissage automatique pour trouver ces lettres.

The way this works

Le modèle examine de très petits cubes un par un

is that the model looks at very small cubes at a single time

and tries to decide whether there is ink present in this area or not.

et essaie de décider s’il y a de l’encre dans cette zone ou non.

And then, when you keep moving this cube all around,

Ensuite, lorsque vous continuez à déplacer ce cube tout autour,

the model gets to see different data samples

le modèle voit différents échantillons de données,

and then tries to understand what ink actually is.

puis essaie de comprendre ce qu'est réellement l'encre.

So this is how it looks while the model is training.

Voici à quoi ressemble l’entraînement du modèle.

It's not perfect, but you can see that, especially around the middle,

Ce n'est pas parfait, mais vous pouvez voir que, surtout au milieu,

the model is starting to see the letters perfectly.

le logiciel commence à voir parfaitement les lettres.

Donc, les données sont là,

So the data is there.

The ink is there.

l’encre est là, mais ça reste très difficile à trouver et à voir.

But it’s just very hard to find and see.

Looking at the CT scan raw data on the left here,

En observant les données brutes de tomodensitométrie, à gauche ici,

you can see the fibers,

vous pouvez voir les fibres, la structure du papyrus,

you can see the structure of the papyrus,

but the letters are very, very faint.

mais les lettres sont presqu’effacées.

The letters from the right image are very, very faint in the CT scans.

Comme on le voit sur le tomodensitogramme à droite.

And they're actually, in this special case,

Et dans ce cas précis,

characterized by a difference of contrast

elles se caractérisent par une différence de contraste

and some speckles, freckles, features that are very hard to see.

et par des mouchetures, des taches, des traits très difficiles à voir.

So what happens if we try to take a look

Que se passe-t-il si nous appliquons ça

at the segment that Julian was just showing?

au segment que Julian vient de montrer ?

So this is the data that we were working with.

Voici les données avec lesquelles nous travaillions.

And I'm going to give you 10 seconds to try to find the letters yourself.

Je vous donne dix secondes pour trouver les lettres vous-mêmes.

(Laughter)

(Rires)

And as a hint,

Je vous donne un indice : il y a trois lettres dans cette image.

I'll tell you that there are three letters in this image.

Believe me.

Croyez-moi.

Try to find some pattern, some crackle patterns,

Essayez de trouver un motif, un motif de craquelure,

un motif de fissure, ici.

some cracks in there.

If you were able to identify this pattern of these three letters --

Si vous avez réussi à identifier ce motif à trois lettres...

(Laughter)

(Rires)(Rit.)

then congratulations.

félicitations, un an en arrière, vous auriez pu gagner 40 000 dollars.

One year ago, you may have won 40,000 dollars.

(Laughter)

(Rires)

However, if you're like me, and you couldn't make sense of this,

Cependant, si vous êtes comme moi et que vous n’arrivez pas à comprendre,

there's a different way that you can find this ink --

il existe une autre façon de trouver cette encre,

one that actually scales very, very well.

une méthode qui le fait très, très bien toute seule.

So this is where my journey begins with the Vesuvius Challenge.

C’est donc là que commence mon aventure avec le Vesuvius Challenge.

There is this neat idea in computer-vision literature

Dans la littérature sur la vision par ordinateur, on dit que,

where if you don't actually have labels,

si tout n’est pas bien balisé,

if you don't have the goal that you want your AI model to reach,

si vous n’avez pas l’objectif que vous souhaitez voir atteint par votre IA,

you can pick an intermediary goal along the way.

vous pouvez choisir un objectif intermédiaire en cours de route.

So, looking at these two pairs of images,

Ainsi, en observant ces images,

our eyes can identify that these are the same images,

nos yeux voient bien qu’elles sont identiques,

just flipped.

simplement inversées.

And we can do that because we understand

Et nous y arrivons parce que nous comprenons

the structures that are present in the images.

les structures présentes dans les images.

Nous voyons ce petit triangle qui est inversé,

We can see this little triangle, and it's flipped,

so we know this is the same triangle.

donc nous savons que c’est le même triangle.

Our eyes already have this feature,

Nos yeux possèdent cette capacité,

but neural networks don't.

mais pas les réseaux neuronaux.

When they see these images,

Quand ils voient ça,

they can't [tell] that these are the same image.

ils ne savent pas dire que c’est la même image.

So one idea, just to let it know about the structures

Donc, une idée, pour lui faire comprendre les structures

and familiarize it with the data,

et le familiariser avec les données,

is to show it different views of the same image

est de lui montrer différentes vues de la même image

and tell it that these are the same images.

et de lui dire que c’est la même image.

And after that, you take this model

Puis vous prenez ce modèle

and you train it like the previous models that the University of Kentucky did.

et vous l’entraînez comme ceux de l’Université du Kentucky.

And while the approach doesn't fully work, it also doesn't fully not work.

Et même si l’approche ne fonctionne pas totalement,

elle ne dysfonctionne pas totalement non plus.

And this was the first image that was produced by the model.

Voici la première image produite par le modèle.

And there was some very faint signal in there.

Il y avait de très faibles traces.

It seemed like the model was catching on something,

Il semblait que le modèle avait trouvé quelque chose,

but it wasn't clear, exactly, what the model was catching on.

mais on ne savait pas exactement quoi.

So I decided to take these predictions and create a new ground truth,

J’ai donc décidé de prendre ces prédictions

et d’imposer une hypothèse.

asking the model, "Hey, I think these might be letters.

J’ai dit au modèle : « Je pense que ce sont des lettres.

I think there's something in there. Try to find more of this."

Je pense qu’il y en a là, essaie d’en trouver davantage. »

And my ground truth, actually,

Et mon hypothèse, en fait,

has four correct letters and four other delusions.

était juste pour quatre lettres et fausse pour quatre dessins.

But that was OK.

Mais c'était OK.

So training a new model with this data,

En entraînant un nouveau modèle avec ces données,

the model started to find more ink, find more letters,

il a commencé à trouver plus d’encre, plus de lettres.

and the lines even looked complete.

Des lignes semblaient même complètes.

So I thought, "What are the chances that if I do this again,

Je me suis alors dit : « Quelle est la probabilité, si je recommence,

the models keep improving?"

que le modèle continue de s’améliorer ? »

And this was the core behind our grand prize-winning solution.

Et c’est ce principe qui nous a permis de remporter le grand prix.

Repeating this process over and over, the models kept improving.

En répétant ce processus encore et encore, le modèle n’a pas cessé de s’améliorer.

The main trick was you needed to prevent the models from memorizing

L’astuce principale était d’empêcher le modèle de mémoriser

what the previous models have learned.

ce qu’il avait précédemment appris.

You're essentially asking the model to learn

Vous lui demandez essentiellement d’apprendre ce qu’il a déjà appris.

what the other model has learned.

So overfitting was a serious problem that required a lot of experiments.

Cet ajustement a nécessité de nombreuses expériences.

But in the end, getting the recipe right,

Mais au final, en trouvant la bonne recette,

we were able to predict all of these letters

nous avons pu prédire toutes ces lettres

without the models ever seeing them.

sans que le modèle ne les voie jamais.

These were the first 10 letters.

Voici les 10 premières lettres - il y en a environ 20 ici -

There are, like, 20 in there,

but this was the first coherent word read from an unopened papyrus sheet.

mais c’est le premier mot cohérent lu sur une feuille de papyrus non déroulée.

From there, scaling the process,

À partir de là, en itérant,

within weeks, we had, now, columns of text,

en quelques semaines, nous avions obtenu des colonnes de texte,

even special characters

et même découvert des caractères spéciaux qui ont intéressé les papyrologues.

that papyrologists found very interesting that the model was able to find.

The approach was open-sourced,

L'approche était open source,

and the data and the code were out there,

les données et le code étaient disponibles,

and the race for the grand prize was on.

et la course pour le grand prix était lancée.

Recovering four paragraphs at an 85-percent clarity.

On a produit quatre paragraphes avec une clarté de 85 %.

And the key to our success was perfecting the data and the model

La clé de notre succès a été de perfectionner les données et le modèle

with so many iterations and so many experiments.

à l’aide de tant d’itérations et d’expériences.

In the end, we were able to recover

Au final, nous avons pu récupérer

more than 14 columns of text, and 2,000 letters.

plus de 14 colonnes de texte et 2 000 lettres.

(Applause)

(Applaudissements)

2,000 characters safely stored away two millennia ago.

JS : Deux mille caractères conservés en toute sécurité pendant deux millénaires.

In just nine months, we discovered them again.

En seulement neuf mois, nous les avons redécouverts.

AI helped us, in large portions,

L’IA nous a aidés, dans une large mesure, à écrire un meilleur programme.

writing better code and even being part in our algorithms.

Elle a même influencé nos algorithmes.

It opened a window into the past.

Cela a ouvert une fenêtre sur le passé.

What's next?

Et maintenant ?

Let's open this window more.

Ouvrons davantage cette fenêtre.

AI will help us access information that was so far safely locked away.

L’IA nous aidera à accéder à des informations

qui étaient jusqu’à présent totalement inaccessibles.

In the words of the author,

Pour reprendre les termes de l'auteur,

"We do not refrain from questioning nor understanding,

« ne nous abstenons pas de poser des questions ni de comprendre,

and may it be evident to say true things as they appear."

et qu’il soit évident de dire les choses telles qu’elles apparaissent. »

(Applause)

(Applaudissements)