How AI Is Decoding Ancient Scrolls | Julian Schilliger and Youssef Nader | TED

Traductor: Fabiana Salces Vaca Revisor: Sebastian Betti

We always think about the potential of AI changing the future.

Siempre pensamos en el potencial de la IA para cambiar el futuro.

But what about the potential of AI changing the past?

Pero, ¿qué hay del potencial de la IA para cambiar el pasado?

My name is Youssef Nader.

Me llamo Youssef Nader.

I'm an Egyptian AI researcher

Soy un investigador egipcio de IA

and a PhD student at the Free University in Berlin,

y estoy haciendo un doctorado en la Universidad Libre de Berlín,

and last year, I led the Vesuvius Grand Prize winning team

y el año pasado

dirigí al equipo ganador del Gran Premio del Vesubio

on exploring this very question.

para explorar esta misma cuestión.

You see, the story starts almost 2,000 years ago.

Verán, la historia comienza hace casi 2000 años.

A Greek philosopher that we believe was Philodemus of Gadara

Un filósofo griego que creemos que era Filodemo de Gadara

sat in one of the many rooms of the Villa dei Papiri.

se sentó en una de las muchas habitaciones de la Villa dei Papiri.

He talked about music, he talked about pleasure,

Habló de música, habló de placer,

he talked about what makes things enjoyable,

habló de lo que hace que las cosas sean agradables,

questions that still plague us until today.

preguntas que aún nos atormentan hasta el día de hoy.

One of his scribes wrote down his thoughts on sheets of papyrus.

Uno de sus escribas escribió sus pensamientos en hojas de papiro.

The sheets were rolled and stowed away for later generations.

Las hojas se enrollaban

y se guardaban para las generaciones posteriores.

Fast-forward 150 years, ...

Pasan 150 años...

Mount Vesuvius erupts,

El monte Vesubio entra en erupción,

burying Herculaneum, the villa and the words of the philosopher

enterrando a Herculano, la villa y las palabras del filósofo

under a sea of hot mud and ashes.

bajo un mar de barro caliente y cenizas.

Now fast-forward again, to the 17th century.

Ahora volvemos a avanzar rápidamente, hasta el siglo XVII.

People are excavating around the area.

La gente está excavando en la zona.

They found beautiful statues, breathtaking frescoes

Encontraron hermosas estatuas,

impresionantes frescos

and some weird-looking pieces of charcoal,

y algunos trozos de carbón de aspecto extraño,

like you see in this picture.

como se ve en esta imagen.

This is when the first scrolls were discovered,

Fue entonces cuando se descubrieron los primeros pergaminos,

and people were racing to excavate more of these.

y la gente se apresuró a excavar más de estos.

What knowledge is included that is not known to us now?

¿Qué conocimiento se incluye que no conozcamos ahora?

What things should we know about these scrolls?

¿Qué cosas debemos saber sobre estos pergaminos?

My name is Julian, and I am a digital archaeologist.

Me llamo Julian y soy arqueólogo digital.

When the pyroclastic flow hit the scrolls, it had a destructive effect.

Cuando el flujo piroclástico chocó contra los rollos,

tuvo un efecto destructivo.

It tore into them, shredded off pieces, and it charred them badly.

Los desgarró, los hizo pedazos y los carbonizó gravemente.

Even the deformation that you can see happened at that point.

Incluso la deformación que se puede ver ocurrió en ese punto.

People, 250-something years ago,

La gente, 250 y pico años atrás,

were curious what's lying inside those scrolls,

tenía curiosidad por saber qué había dentro de esos pergaminos,

hidden and not accessible anymore.

ocultos e inaccesibles.

Because of a lack of technology,

Debido a la falta de tecnología,

they had to resort to physically unrolling

tuvieron que recurrir a desenrollarlos físicamente

and thereby destroying most of the scrolls.

y, por lo tanto, a destruir la mayoría de los pergaminos.

To this day,

Hasta el día de hoy,

only the most damaged and deformed scrolls

solo los pergaminos más dañados y deformados

remain in their initial, rolled-up configuration.

permanecen en su configuración inicial, enrollados.

Fast-forwarding a little bit, the computer age arrives.

Avanzando un poco más,

llega la era de los ordenadores.

Youssef and I are born.

Nacemos Youssef y yo.

Seguimos adelante y recibimos nuestra educación.

We are going on and getting our education --

(Laughter)

(Risas)

and at the same time, Brent Seales, a researcher and professor,

Y, al mismo tiempo,

Brent Seales,

un investigador y profesor,

had the idea to use CT scan technology to actually digitize the scrolls,

tuvo la idea de usar la tecnología de tomografía computarizada

para digitalizar los pergaminos,

with the hope of, one day, digitally unrolling them.

con la esperanza de, algún día,

desenrollarlos digitalmente.

Behind me, you can see a video of such a CT scan,

Detrás de mí, pueden ver un vídeo

de una tomografía computarizada de este tipo,

and it goes through the CT scan 3D volume,

que pasa por la tomografía computarizada en 3D en volumen,

layer by layer.

capa por capa.

The papyrus is visible as a spiral,

El papiro se ve en forma de espiral,

and you can see it's tightly wound-up,

y se puede ver que está bien enrollado,

sometimes touching each other, flaying off.

a veces tocándose y desprendiéndose.

It's a difficult question, how to unroll this digitally.

Cómo desenrollar esto digitalmente es una pregunta difícil.

Nat Friedman, a Silicon Valley investor,

Nat Friedman,

un inversor de Silicon Valley,

also saw this research, and he wanted to help.

también vio esta investigación y quiso ayudar.

That was in 2022.

Eso fue en 2022.

He reached out, and together with Brent Seales,

Se acercó y,

junto con Brent Seales,

they created the Vesuvius Challenge,

crearon el Reto Vesubio,

with the goal to motivate nerds all over the world

con el objetivo de motivar

a nerds de todo el mundo a resolver este problema.

to solve this problem.

(Laughter)

(Risas)

They created a grand prize,

Crearon un gran premio,

promising eternal glory and monetary incentives

prometiendo gloria eterna e incentivos monetarios

to anyone who could do that.

a cualquiera que pudiera lograrlo.

(Laughter)

(Risas)

I myself saw that on the internet

Yo mismo lo vi en Internet

while writing my master's thesis at ETH Zurich, in robotics,

mientras escribía mi tesis de maestría en robótica en la ETH de Zúrich,

and I was instantly happy to solve it --

y al instante tuve ganas de resolverlo,

or at least try, why not, you know?

o al menos intentarlo, ¿por qué no?

And I went on, joined the Discord community

Y me uní a una comunidad de Discord,

where all the people that were also contestants

donde todas las personas que también participaban

and playing with the scroll data

y jugaban con los datos de los pergaminos

were exchanging ideas,

intercambiaban ideas,

and I joined there and started working on it.

y me uní allí y empecé a trabajar en ello.

Also there, on Discord, I met Youssef and Luke [Farritor],

También allí, en Discord, conocí a Youssef y Luke,

que se convertirían en mis compañeros

who would become my teammates,

and with whom I would actually win the grand prize.

y con quienes ganaría el gran premio.

Surprisingly, it went on, and made global headline news.

Sorprendentemente, continuó y llegó a los titulares mundiales.

It even got into the British tabloids.

Incluso llegó a los tabloides británicos.

(Laughter)

(Risas)

So when we started,

Así que cuando empezamos,

there were two main problems still remaining.

aún quedaban dos problemas principales.

One, you had to unroll the scroll.

En primer lugar,

había que desenrollar el pergamino.

And two, you then had to make the ink visible.

Y dos, luego tenías que hacer que la tinta fuera visible.

Youssef will tell you more about that part.

Youssef contará más sobre esa parte.

For me, the most exciting thing

Para mí, lo más emocionante

was the computer-vision problem of unrolling those scrolls virtually.

era el problema de la visión artificial

de desenrollar esos pergaminos de forma virtual.

I decided to iterate on a tool

Decidí utilizar una herramienta

that was created by the Kentucky researchers,

que habían creado los investigadores de Kentucky

and make it faster, less prone to errors

y hacerla más rápida y menos propensa a errores,

and just iterate on it and make it better.

y simplemente repetirla y mejorarla.

The Vesuvius Challenge team saw that

El equipo del Reto Vesubio vio esto

and also implemented a team of 10 people that would use my tool.

y también contrató a un equipo de 10 personas que utilizarían mi herramienta

They would annotate scroll data, like you see in this video,

Anotaban los datos del pergamino,

como pueden ver en este vídeo,

where they created a red line where the surface would lie.

donde creaban una línea roja donde quedaría la superficie.

The algorithm then would take it into 3D space,

Luego, el algoritmo lo llevaría al espacio 3D,

creating a three-dimensional representation of the surface.

creando una representación tridimensional de la superficie.

Computer algorithms

Los algoritmos informáticos

would then flatten it and create a segment.

luego lo aplanarían y crearían un segmento.

This all would be called “segmentation”

Todo esto se denominaría ″segmentación″

in the space of the scrolling and unrolling community.

en el espacio de la comunidad de desplazar y desenrollar.

(Laughter)

(Risas)

So I created open-source commits to this tool

Así que creé aplicaciones de código abierto con esta herramienta

and implemented new algorithms from my studies, like Optical Flow,

e implementé nuevos algoritmos derivados de mis estudios,

como Optical Flow,

to better track the sheets through the volume,

para hacer un mejor seguimiento de las hojas a lo largo del volumen,

and we end up with something like what you see behind me.

y terminamos con algo parecido a lo que se ve detrás de mí.

First off, those were really small segments,

En primer lugar, se trataba de segmentos muy pequeños,

and I added improvement,

y añadí mejoras,

made the code faster

hice que el código fuera más rápido

and had lots of feedback from the community.

y recibí muchos comentarios de la comunidad.

They were really happy, and I was happy getting lots of feedback.

Estaban muy contentos y yo estaba feliz de recibir muchos comentarios.

It was a really positive environment.

Fue un ambiente muy positivo.

So in the end,

Al final,

pude hacer un seguimiento del rendimiento de los algoritmos,

I could track the performance of the algorithms,

how the segmentation team performed,

del rendimiento del equipo de segmentación,

and I could see that my improvements, from start to finish,

y me di cuenta de que mis mejoras, de principio a fin,

would be around a 10,000-fold improvement over the initial version.

serían unas 10 000 veces superiores a las de la versión inicial.

This algorithm was then also used to unroll all the area

Luego, este algoritmo también se usó para desenrollar toda el área

that you can see in our submission.

que puedes ver en nuestra presentación.

All the sheets were generated with these methods.

Todas las hojas se generaron con estos métodos.

In December, I was looking for teammates.

En diciembre,

estaba buscando compañeros de equipo.

I made a blog post,

Publiqué en un blog

and I showcased my newest algorithms,

y mostré mis algoritmos más recientes

reaching out to anyone that was willing to team up.

poniéndome en contacto con cualquiera que estuviera dispuesto a trabajar en equipo.

Youssef and Luke got into contact with me.

Youssef y Luke se pusieron en contacto conmigo.

They were happy to team up, and I was happy as well.

Estaban felices de formar equipo, y yo también estaba feliz.

(Laughter)

So after the virtual unwrapping, the words still are not visible.

Así que, después del desenvolvimiento virtual,

las palabras siguen sin ser visibles.

El principal problema es que la tinta utilizada en aquella época

The main problem is that the ink that was used at the time

was a carbon-based ink,

era una tinta a base de carbono,

and carbon-based ink on carbon-based papyrus in a CT scan

y esta sobre papiros a base de carbono

en una tomografía computarizada

isn’t visible, or at least [not] to the naked eye.

no es visible,

o al menos no a simple vista.

So the same team at the University of Kentucky

Por eso, el mismo equipo de la Universidad de Kentucky

decided to test whether the ink was present at all

decidió comprobar si la tinta estaba presente

in the CT scans.

en las tomografías computarizadas.

For this, they took some of the pieces that people broke off the scrolls,

Para ello, tomaron algunos fragmentos

de los pergaminos que la gente había desprendido

y los pusieron

and they fed them into the same pipeline of the X-ray CT scanning,

en el mismo conducto en el que se hizo la tomografía computarizada con rayos X,

lo que nos dio los datos tridimensionales con los que estábamos trabajando.

and this gives us the 3D data that we were working with.

Because you can see the ink and it’s an exposed surface,

Ya que podemos ver la tinta y es una superficie expuesta,

you can even improve it with infrared imaging.

podemos incluso mejorarla con imágenes infrarrojas.

And this gives you a ground truth

Y esto te da una verdad fundamental

of what letters you're actually trying to find.

de las letras que realmente se están intentando encontrar.

And then from there,

Y a partir de ahí,

you can train a machine-learning model to try to find these letters.

se puede entrenar un modelo de aprendizaje automático

para tratar de encontrar estas letras.

The way this works

La forma en que esto funciona

is that the model looks at very small cubes at a single time

es que el modelo observa cubos muy pequeños a la vez

and tries to decide whether there is ink present in this area or not.

e intenta decidir si hay tinta en esta área o no.

And then, when you keep moving this cube all around,

Y luego, al mover el cubo por todas partes,

the model gets to see different data samples

el modelo ve diferentes muestras de datos

and then tries to understand what ink actually is.

y trata de entender qué es realmente la tinta.

So this is how it looks while the model is training.

Así es como se ve mientras el modelo se entrena.

It's not perfect, but you can see that, especially around the middle,

No es perfecto, pero puede verse que, sobre todo en la parte central,

the model is starting to see the letters perfectly.

el modelo empieza a ver las letras perfectamente.

So the data is there.

Así que los datos están ahí.

The ink is there.

La tinta está ahí.

But it’s just very hard to find and see.

Pero es muy difícil de encontrar y ver.

Looking at the CT scan raw data on the left here,

Al observar los datos sin procesar de la tomografía computarizada de la izquierda,

you can see the fibers,

pueden ver las fibras,

you can see the structure of the papyrus,

la estructura del papiro,

but the letters are very, very faint.

pero las letras son muy, muy tenues.

The letters from the right image are very, very faint in the CT scans.

Las letras de la imagen derecha son muy tenues en las tomografías computarizadas.

And they're actually, in this special case,

Y en realidad, en este caso especial,

characterized by a difference of contrast

se caracterizan por una diferencia de contraste

and some speckles, freckles, features that are very hard to see.

y algunas manchas, pecas, rasgos que son muy difíciles de ver.

So what happens if we try to take a look

Entonces, ¿qué pasa si intentamos echar

at the segment that Julian was just showing?

un vistazo al segmento que Julian acaba de mostrar?

So this is the data that we were working with.

Así que estos son los datos con los que estábamos trabajando.

And I'm going to give you 10 seconds to try to find the letters yourself.

Voy a dar 10 segundos para que intenten encontrar las letras.

(Laughter)

(Risas)

And as a hint,

Y a modo de pista,

I'll tell you that there are three letters in this image.

les diré que hay tres letras en esta imagen.

Believe me.

Créanme.

Try to find some pattern, some crackle patterns,

Intenten encontrar algún patrón en el agrietamiento,

some cracks in there.

algunas grietas ahí.

If you were able to identify this pattern of these three letters --

Si pudieron identificar el patrón de estas tres letras...

(Laughter)

(Risas)

then congratulations.

entonces felicidades.

One year ago, you may have won 40,000 dollars.

Hace un año, podrían haber ganado USD 40 000.

(Laughter)

(Risas)

However, if you're like me, and you couldn't make sense of this,

Sin embargo, si son como yo y no pueden encontrarle sentido a esto,

there's a different way that you can find this ink --

hay una forma diferente de encontrar esta tinta,

one that actually scales very, very well.

una que realmente escala muy, muy bien.

So this is where my journey begins with the Vesuvius Challenge.

Así que aquí es donde comienza mi viaje con el Reto Vesubio.

There is this neat idea in computer-vision literature

Hay una idea muy clara

en la literatura sobre visión artificial

where if you don't actually have labels,

según la cual, si no tienes etiquetas,

if you don't have the goal that you want your AI model to reach,

si no tienes el objetivo que quieres que alcance tu modelo de IA,

you can pick an intermediary goal along the way.

puedes elegir un objetivo intermedio en el camino.

So, looking at these two pairs of images,

Por lo tanto, al observar estos dos pares de imágenes,

nuestros ojos pueden identificar que se trata de las mismas imágenes,

our eyes can identify that these are the same images,

just flipped.

simplemente invertidas.

And we can do that because we understand

Y podemos hacerlo porque entendemos

the structures that are present in the images.

las estructuras presentes en las imágenes.

We can see this little triangle, and it's flipped,

Podemos ver este pequeño triángulo y está invertido,

so we know this is the same triangle.

así que sabemos que es el mismo triángulo.

Our eyes already have this feature,

Nuestros ojos ya tienen esta función,

but neural networks don't.

pero las redes neuronales no.

When they see these images,

Cuando ven estas imágenes,

they can't [tell] that these are the same image.

no saben que son la misma imagen.

So one idea, just to let it know about the structures

Por lo que una idea, simplemente para que conozca las estructuras

and familiarize it with the data,

y se familiarice con los datos,

is to show it different views of the same image

es mostrarle diferentes vistas de la misma imagen

and tell it that these are the same images.

y decirle que se trata de las mismas imágenes.

And after that, you take this model

Y después de eso, tomas este modelo

and you train it like the previous models that the University of Kentucky did.

y lo entrenas como los modelos anteriores de la Universidad de Kentucky.

And while the approach doesn't fully work, it also doesn't fully not work.

Y aunque el enfoque no funciona del todo,

tampoco deja de funcionar.

And this was the first image that was produced by the model.

Y esta fue la primera imagen que produjo el modelo.

And there was some very faint signal in there.

Y había una señal muy débil ahí.

It seemed like the model was catching on something,

Parecía que el modelo estaba captando algo,

but it wasn't clear, exactly, what the model was catching on.

pero no estaba claro exactamente qué estaba captando.

So I decided to take these predictions and create a new ground truth,

Así que decidí tomar estas predicciones y crear una nueva verdad fundamental,

asking the model, "Hey, I think these might be letters.

preguntando al modelo:

″Oye, creo que pueden ser letras.

I think there's something in there. Try to find more of this."

Creo que hay algo ahí dentro. Intenta encontrar más de esto″.

And my ground truth, actually,

Y de hecho, mi verdad fundamental

has four correct letters and four other delusions.

tiene cuatro letras correctas y otras cuatro ilusiones.

But that was OK.

Pero eso estuvo bien.

So training a new model with this data,

Así que al entrenar un nuevo modelo con estos datos,

the model started to find more ink, find more letters,

el modelo empezó a encontrar más tinta,

and the lines even looked complete.

más letras e incluso las líneas parecían completas.

Así que pensé:

So I thought, "What are the chances that if I do this again,

″¿Qué posibilidades hay de que, si vuelvo a hacer esto,

the models keep improving?"

los modelos sigan mejorando?″.

And this was the core behind our grand prize-winning solution.

Y este fue el núcleo de nuestra solución ganadora del gran premio.

Repeating this process over and over, the models kept improving.

Repitiendo este proceso una y otra vez, los modelos siguieron mejorando.

The main trick was you needed to prevent the models from memorizing

El truco principal consistía en evitar que los modelos memorizaran

lo que habían aprendido los modelos anteriores.

what the previous models have learned.

You're essentially asking the model to learn

Básicamente, pidiendo al modelo que aprenda

what the other model has learned.

lo que el otro modelo ha aprendido.

So overfitting was a serious problem that required a lot of experiments.

Por lo tanto, el sobreajuste fue un problema grave

que requirió muchos experimentos.

But in the end, getting the recipe right,

Pero al final, con la receta correcta,

we were able to predict all of these letters

pudimos predecir todas estas letras

without the models ever seeing them.

sin que los modelos las vieran.

These were the first 10 letters.

Estas fueron las 10 primeras letras.

There are, like, 20 in there,

Hay como 20 ahí,

but this was the first coherent word read from an unopened papyrus sheet.

pero esta fue la primera palabra coherente leída de una hoja de papiro sin abrir.

From there, scaling the process,

A partir de ahí, escalando el proceso,

within weeks, we had, now, columns of text,

en cuestión de semanas,

ya teníamos columnas de texto

even special characters

e incluso caracteres especiales

that papyrologists found very interesting that the model was able to find.

que los papirólogos encontraron muy interesante

que el modelo fue capaz de encontrar.

The approach was open-sourced,

El enfoque era de código abierto,

and the data and the code were out there,

y los datos y el código estaban disponibles,

and the race for the grand prize was on.

y la carrera por el gran premio había comenzado.

Recovering four paragraphs at an 85-percent clarity.

Recuperando cuatro párrafos con una claridad del 85 %.

And the key to our success was perfecting the data and the model

Y la clave de nuestro éxito fue perfeccionar los datos y el modelo

with so many iterations and so many experiments.

con muchas iteraciones y muchos experimentos.

In the end, we were able to recover

Al final, pudimos recuperar

more than 14 columns of text, and 2,000 letters.

más de 14 columnas de texto y 2000 letras.

(Applause)

(Aplausos)

2,000 characters safely stored away two millennia ago.

2000 caracteres se almacenaron de forma segura hace dos milenios.

In just nine months, we discovered them again.

En solo nueve meses, los volvimos a descubrir.

AI helped us, in large portions,

La IA nos ayudó, en gran medida,

writing better code and even being part in our algorithms.

a escribir mejor código e incluso a formar parte de nuestros algoritmos.

It opened a window into the past.

Abrió una ventana al pasado.

What's next?

¿Qué sigue?

Let's open this window more.

Vamos a abrir más esta ventana.

AI will help us access information that was so far safely locked away.

La IA nos ayudará a acceder a la información

que hasta ahora estaba guardada de forma segura.

In the words of the author,

En palabras del autor:

"We do not refrain from questioning nor understanding,

″Nosotros no nos abstenemos de cuestionar

ni de comprender,

and may it be evident to say true things as they appear."

y que sea evidente decir las cosas verdaderas tal como aparecen″.

(Applause)

(Aplausos)