How we teach computers to understand pictures | Fei Fei Li

Fei-Fei Li: Cómo estamos enseñando a las computadoras a entender imágenes

Traductor: Cuicani Ríos Revisor: Sebastian Betti

Let me show you something.

Les mostraré algo.

(Video) Girl: Okay, that's a cat sitting in a bed.

(Video) Niña: Eso es un gato sentado en una cama.

The boy is petting the elephant.

El niño está acariciando al elefante.

Those are people that are going on an airplane.

Esas son personas que van en un avión.

That's a big airplane.

Ese es un avión grande.

Fei-Fei Li: This is a three-year-old child

Fei-Fei Li: Así describe una niña

describing what she sees in a series of photos.

de 3 años lo que ve en una serie de fotos.

She might still have a lot to learn about this world,

Tal vez le falta mucho por aprender sobre este mundo,

but she's already an expert at one very important task:

pero ya es experta en algo importante:

to make sense of what she sees.

entender lo que ve.

Our society is more technologically advanced than ever.

Tecnológicamente, nuestra sociedad está más avanzada que nunca.

We send people to the moon, we make phones that talk to us

Enviamos personas a la luna, nuestros teléfonos nos hablan

or customize radio stations that can play only music we like.

o personalizan radios para reproducir solo la música que nos gusta.

Yet, our most advanced machines and computers

Sin embargo, nuestras máquinas y computadoras más avanzadas

still struggle at this task.

aún tienen problemas en ese aspecto.

So I'm here today to give you a progress report

Hoy estoy aquí para darles un reporte

on the latest advances in our research in computer vision,

de nuestros últimos avances en visión artificial,

one of the most frontier and potentially revolutionary

una de las tecnologías potencialmente más revolucionarias

technologies in computer science.

en la ciencia de la computación.

Yes, we have prototyped cars that can drive by themselves,

Es cierto, hemos inventado autos que conducen solos,

but without smart vision, they cannot really tell the difference

pero sin una visión inteligente, realmente no pueden distinguir

between a crumpled paper bag on the road, which can be run over,

entre una bolsa arrugada de papel en el camino, que puede uno pisar,

and a rock that size, which should be avoided.

y una roca del mismo tamaño, que debemos evitar.

We have made fabulous megapixel cameras,

Hemos creado fabulosas cámaras de muchos megapíxeles,

but we have not delivered sight to the blind.

pero aún no podemos devolverle la vista a un ciego.

Drones can fly over massive land,

Los drones pueden volar sobre grandes superficies de tierra,

but don't have enough vision technology

pero no tienen tecnología

to help us to track the changes of the rainforests.

de visión suficiente

para ayudarnos a monitorear los cambios en los bosques tropicales.

Security cameras are everywhere,

Hay cámaras de seguridad en todas partes,

but they do not alert us when a child is drowning in a swimming pool.

pero no nos alertan cuando un niño se está ahogando en una piscina.

Photos and videos are becoming an integral part of global life.

Las fotos y los videos se están volviendo parte integral de la vida global.

They're being generated at a pace that's far beyond what any human,

Se generan a un ritmo mucho mayor de lo que cualquier humano,

or teams of humans, could hope to view,

o equipo de humanos, podría ver,

and you and I are contributing to that at this TED.

y Uds. y yo contribuimos a eso en este TED.

Yet our most advanced software is still struggling at understanding

Aun así, nuestro software más avanzado tiene problemas para entender

and managing this enormous content.

y gestionar este enorme contenido.

So in other words, collectively as a society,

En otras palabras, colectivamente como una sociedad,

we're very much blind,

somos muy ciegos,

because our smartest machines are still blind.

porque nuestras máquinas más inteligentes aún son ciegas.

"Why is this so hard?" you may ask.

Se preguntarán: "¿Por qué es tan difícil?"

Cameras can take pictures like this one

Las cámaras pueden tomar fotos como esta

by converting lights into a two-dimensional array of numbers

convirtiendo luz en matrices numéricas bidimensionales

known as pixels,

conocidas como pixeles,

but these are just lifeless numbers.

pero estos son solo números vacíos.

They do not carry meaning in themselves.

En sí mismos no tienen significado.

Just like to hear is not the same as to listen,

Al igual que oír no es lo mismo que escuchar,

to take pictures is not the same as to see,

tomar fotografías no es lo mismo que ver;

and by seeing, we really mean understanding.

y solo viendo podemos realmente entender.

In fact, it took Mother Nature 540 million years of hard work

De hecho, le tomó a la Madre Naturaleza 540 millones de años de arduo trabajo

to do this task,

lograr esta tarea,

and much of that effort

y mucho de ese esfuerzo

went into developing the visual processing apparatus of our brains,

consistió en desarrollar el sistema de procesamiento visual en el cerebro,

not the eyes themselves.

no los ojos en sí.

So vision begins with the eyes,

La visión empieza en los ojos,

but it truly takes place in the brain.

pero, en realidad, ocurre en nuestro cerebro.

So for 15 years now, starting from my Ph.D. at Caltech

Durante 15 años, empezando desde mi doctorado en Caltech

and then leading Stanford's Vision Lab,

y luego al frente del laboratorio Stanford Vision Lab,

I've been working with my mentors, collaborators and students

he trabajado con mis mentores, colaboradores y estudiantes

to teach computers to see.

para enseñar a las computadoras a ver.

Our research field is called computer vision and machine learning.

Nuestro campo de investigación se llama

"visión artificial y aprendizaje automático".

It's part of the general field of artificial intelligence.

Es parte del campo de la inteligencia artificial.

So ultimately, we want to teach the machines to see just like we do:

Queremos enseñar a las máquinas a ver tal como nosotros lo hacemos:

naming objects, identifying people, inferring 3D geometry of things,

nombrar objetos, identificar personas, inferir la geometría 3D de las cosas,

understanding relations, emotions, actions and intentions.

entender relaciones, emociones, acciones e intenciones.

You and I weave together entire stories of people, places and things

Nosotros tejemos historias completas de la gente, los lugares y las cosas

the moment we lay our gaze on them.

simplemente con mirarlas.

The first step towards this goal is to teach a computer to see objects,

El primer paso hacia esta meta es enseñar a una computadora a ver objetos,

the building block of the visual world.

la unidad básica del mundo visual.

In its simplest terms, imagine this teaching process

En términos más simples, imaginen este proceso

as showing the computers some training images

mostrando a las computadoras algunas imágenes de entrenamiento

of a particular object, let's say cats,

de un objeto en particular, digamos gatos,

and designing a model that learns from these training images.

y diseñar un modelo que aprenda de estas imágenes.

How hard can this be?

¿Qué tan difícil puede ser esto?

After all, a cat is just a collection of shapes and colors,

A fin de cuentas, un gato es solo un conjunto de formas y colores,

and this is what we did in the early days of object modeling.

y eso fue lo que hacíamos en los inicios de la modelización de objetos.

We'd tell the computer algorithm in a mathematical language

Decíamos al algoritmo de la computadora

en un lenguaje matemático

that a cat has a round face, a chubby body,

que un gato tiene cara redonda, cuerpo regordete,

two pointy ears, and a long tail,

dos orejas puntiagudas y cola larga,

and that looked all fine.

y así quedaba bien.

But what about this cat?

Pero ¿qué me dicen de este gato?

(Laughter)

(Risas)

It's all curled up.

Está todo retorcido.

Now you have to add another shape and viewpoint to the object model.

Se debe agregar otra figura y otra perspectiva al modelo del objeto.

But what if cats are hidden?

¿Y si los gatos están escondidos?

What about these silly cats?

¿Qué tal estos gatos tontos?

Now you get my point.

Ahora entienden mi idea.

Even something as simple as a household pet

Incluso algo tan simple como una mascota

can present an infinite number of variations to the object model,

puede tener un número infinito de variaciones en el modelo del objeto,

and that's just one object.

y eso es solo un objeto.

So about eight years ago,

Así que hace unos 8 años,

a very simple and profound observation changed my thinking.

una observación simple y profunda cambió mi perspectiva.

No one tells a child how to see,

Nadie le dice al niño cómo ver,

especially in the early years.

menos aún en los primeros años.

They learn this through real-world experiences and examples.

Ellos aprenden a través de ejemplos y experiencias del mundo real.

If you consider a child's eyes

Si consideramos los ojos de un niño

as a pair of biological cameras,

como un par de cámaras biológicas,

they take one picture about every 200 milliseconds,

toman una foto cada 200 milisegundos,

the average time an eye movement is made.

el tiempo promedio en que el ojo hace un movimiento.

So by age three, a child would have seen hundreds of millions of pictures

Entonces, a los 3 años un niño ha visto cientos de millones de fotografías

of the real world.

del mundo real.

That's a lot of training examples.

Esos son muchos ejemplares de entrenamiento.

So instead of focusing solely on better and better algorithms,

Así que en lugar de enfocarnos solo en mejorar los algoritmos,

my insight was to give the algorithms the kind of training data

mi intención fue dotar a los algoritmos con los datos de entrenamiento

that a child was given through experiences

que un niño adquiere con la experiencia

in both quantity and quality.

tanto en cantidad como en calidad.

Once we know this,

Al conocer esto

we knew we needed to collect a data set

supimos que necesitábamos recolectar

that has far more images than we have ever had before,

muchas más imágenes que nunca,

perhaps thousands of times more,

tal vez miles de veces más;

and together with Professor Kai Li at Princeton University,

y junto con el profesor Kai Li en la Universidad de Princeton,

we launched the ImageNet project in 2007.

lanzamos el proyecto ImageNet en 2007.

Luckily, we didn't have to mount a camera on our head

Por suerte, no tuvimos que ponernos una cámara en la cabeza

and wait for many years.

y esperar muchos años.

We went to the Internet,

Entramos a Internet,

the biggest treasure trove of pictures that humans have ever created.

el banco de imágenes más grande creado por la humanidad.

We downloaded nearly a billion images

Descargamos casi 1000 millones de imágenes

and used crowdsourcing technology like the Amazon Mechanical Turk platform

y usamos tecnología de crowdsourcing como la plataforma Amazon Mechanical Turk

to help us to label these images.

para etiquetar estas imágenes.

At its peak, ImageNet was one of the biggest employers

En su mejor momento, ImageNet fue uno de los empleadores más importantes

of the Amazon Mechanical Turk workers:

de trabajadores en Amazon Mechanical Turk:

together, almost 50,000 workers

Casi 50 000 trabajadores

from 167 countries around the world

de 167 países del mundo

helped us to clean, sort and label

nos ayudaron a limpiar, separar y etiquetar

nearly a billion candidate images.

casi 1000 millones de imágenes candidatas.

That was how much effort it took

Se necesitó todo ese esfuerzo

to capture even a fraction of the imagery

para capturar apenas una fracción de todas las imágenes

a child's mind takes in in the early developmental years.

que un niño asimila en sus primeros años de desarrollo.

In hindsight, this idea of using big data

Viendo en retrospectiva, esta idea de usar muchos datos

to train computer algorithms may seem obvious now,

para entrenar algoritmos puede parecer obvia ahora.

but back in 2007, it was not so obvious.

Sin embargo, en 2007 no era tan evidente.

We were fairly alone on this journey for quite a while.

Estuvimos solos en este viaje por un buen rato.

Some very friendly colleagues advised me to do something more useful for my tenure,

Algunos colegas me sugerían hacer algo más útil para mi cátedra,

and we were constantly struggling for research funding.

y con frecuencia teníamos problemas para conseguir financiamiento.

Once, I even joked to my graduate students

Incluso llegué a decir a mis alumnos, como broma,

that I would just reopen my dry cleaner's shop to fund ImageNet.

que tendría que reabrir mi tintorería para financiar ImageNet.

After all, that's how I funded my college years.

Después de todo, así fue como financié mis años de universidad.

So we carried on.

Seguimos adelante.

In 2009, the ImageNet project delivered

En 2009, el proyecto ImageNet juntó

a database of 15 million images

una base de datos con 15 millones de imágenes

across 22,000 classes of objects and things

de 22 000 tipos de objetos

organized by everyday English words.

organizados por palabra en inglés de uso cotidiano.

In both quantity and quality,

En cantidad y calidad,

this was an unprecedented scale.

tuvieron una escala sin precedentes.

As an example, in the case of cats,

Por ejemplo, en el caso de los gatos,

we have more than 62,000 cats

tenemos más de 62 000 gatos

of all kinds of looks and poses

con todo tipo de apariencias y poses

and across all species of domestic and wild cats.

y todo tipo de gatos domésticos y salvajes.

We were thrilled to have put together ImageNet,

Estábamos entusiasmados por haber creado ImageNet

and we wanted the whole research world to benefit from it,

y queríamos que todo el mundo de la investigación se beneficiara,

so in the TED fashion, we opened up the entire data set

así que, al estilo TED, abrimos toda la base de datos

to the worldwide research community for free.

a la comunidad mundial de investigadores de forma gratuita.

(Applause)

(Aplausos)

Now that we have the data to nourish our computer brain,

Ahora que tenemos los datos para nutrir el cerebro de nuestra computadora,

we're ready to come back to the algorithms themselves.

estamos listos para volver a los algoritmos.

As it turned out, the wealth of information provided by ImageNet

La abundancia de información aportada por ImageNet

was a perfect match to a particular class of machine learning algorithms

fue el complemento perfecto para un tipo particular de algoritmos

called convolutional neural network,

de aprendizaje automático llamado red neuronal convolucional,

pioneered by Kunihiko Fukushima, Geoff Hinton, and Yann LeCun

ideado por Kunihiko Fukushima, Geoff Hinton y Yann LeCun

back in the 1970s and '80s.

en los años 70 y 80.

Just like the brain consists of billions of highly connected neurons,

Como el cerebro que tiene miles de millones de neuronas muy bien conectadas,

a basic operating unit in a neural network

la unidad operativa fundamental en una red neuronal

is a neuron-like node.

es un nodo con forma de neurona.

It takes input from other nodes

Toma datos de otros nodos

and sends output to others.

los procesa y los manda a otros nodos.

Moreover, these hundreds of thousands or even millions of nodes

Además, estos cientos de miles o incluso millones de nodos

are organized in hierarchical layers,

se organizan en capas jerárquicas,

also similar to the brain.

algo parecido al cerebro.

In a typical neural network we use to train our object recognition model,

En una red neuronal típica que usamos para entrenar

nuestro modelo de reconocimiento de objetos

it has 24 million nodes,

hay 24 millones de nodos,

140 million parameters,

140 millones de parámetros

and 15 billion connections.

y 15 000 millones de conexiones.

That's an enormous model.

Es un modelo enorme.

Powered by the massive data from ImageNet

Alimentado por la información masiva de ImageNet

and the modern CPUs and GPUs to train such a humongous model,

y las CPUs y GPUs modernas que entrenan este inmenso modelo,

the convolutional neural network

la red neuronal convolucional

blossomed in a way that no one expected.

tuvo un éxito inesperado.

It became the winning architecture

Se volvió la ingeniería ganadora

to generate exciting new results in object recognition.

para generar nuevos y emocionantes resultados en reconocimiento de objetos.

This is a computer telling us

Esta es una computadora que nos dice

this picture contains a cat

que la foto tiene un gato

and where the cat is.

y dónde está el gato.

Of course there are more things than cats,

Desde luego hay más cosas aparte de los gatos

so here's a computer algorithm telling us

así que hay un algoritmo informático que nos dice

the picture contains a boy and a teddy bear;

que hay un niño y un oso de peluche en la foto;

a dog, a person, and a small kite in the background;

un perro, una persona y un papalote al fondo;

or a picture of very busy things

o una foto de cosas muy ocupadas

like a man, a skateboard, railings, a lampost, and so on.

como un hombre, una patineta, un barandal, una lámpara etc.

Sometimes, when the computer is not so confident about what it sees,

A veces, cuando la computadora no está segura de lo que ve,

we have taught it to be smart enough

le hemos enseñado

to give us a safe answer instead of committing too much,

a darnos una respuesta segura en lugar de comprometer su respuesta,

just like we would do,

tal como lo haríamos nosotros.

but other times our computer algorithm is remarkable at telling us

Pero otras veces nuestro algoritmo informático es muy acertado al decirnos

what exactly the objects are,

qué son los objetos exactamente,

like the make, model, year of the cars.

como la marca, modelo y año de los coches.

We applied this algorithm to millions of Google Street View images

Aplicamos este algoritmo a millones de imágenes de Google Street View

across hundreds of American cities,

de cientos de ciudades de Estados Unidos

and we have learned something really interesting:

y hemos aprendido algo muy interesante:

first, it confirmed our common wisdom

primero, confirmó nuestra idea

that car prices correlate very well

de que los precios de los autos se relacionan bien

with household incomes.

con los ingresos del hogar.

But surprisingly, car prices also correlate well

Pero sorprendentemente, los precios de los autos se relacionan también

with crime rates in cities,

con las tasas de criminalidad en la ciudades

or voting patterns by zip codes.

o los patrones de votación por código postal.

So wait a minute. Is that it?

Un minuto. ¿Eso es todo?

Has the computer already matched or even surpassed human capabilities?

¿Acaso la computadora ya sobrepasó las capacidades humanas?

Not so fast.

No tan rápido.

So far, we have just taught the computer to see objects.

Hasta ahora solo hemos enseñado a la computadora a ver objetos.

This is like a small child learning to utter a few nouns.

Es como un niño pequeño que aprende a decir palabras.

It's an incredible accomplishment,

Es un logro increíble,

but it's only the first step.

pero es apenas el primer paso.

Soon, another developmental milestone will be hit,

Pronto daremos otro paso

and children begin to communicate in sentences.

y los niños empiezan a comunicarse con frases.

So instead of saying this is a cat in the picture,

Así que en lugar de decir que hay un gato en la foto,

you already heard the little girl telling us this is a cat lying on a bed.

la niña ya dice que el gato está sobre la cama.

So to teach a computer to see a picture and generate sentences,

Así que para enseñar a una computadora a ver una foto y generar frases

the marriage between big data and machine learning algorithm

la conjunción de mucha información y el algoritmo de aprendizaje automático

has to take another step.

debe dar otro paso.

Now, the computer has to learn from both pictures

Ahora, la computadora tiene que aprender de fotografías

as well as natural language sentences

así como de frases en lenguaje natural

generated by humans.

generado por humanos.

Just like the brain integrates vision and language,

De la forma en que el cerebro integra visión y lenguaje,

we developed a model that connects parts of visual things

desarrollamos un modelo que conecta partes de cosas visuales

like visual snippets

como fragmentos visuales

with words and phrases in sentences.

con palabras y frases en oraciones.

About four months ago,

Hace unos 4 meses

we finally tied all this together

finalmente juntamos todo esto

and produced one of the first computer vision models

y produjimos uno de los primeros modelos de visión artificial

that is capable of generating a human-like sentence

que puede generar frases como las de un humano

when it sees a picture for the first time.

cuando ve una foto por primera vez.

Now, I'm ready to show you what the computer says

Ahora estoy lista para mostrarles lo que dice la computadora

when it sees the picture

cuando ve la fotografía

that the little girl saw at the beginning of this talk.

que la niña vio al inicio de esta charla.

(Video) Computer: A man is standing next to an elephant.

(Video) Computadora: Un hombre está junto a un elefante.

A large airplane sitting on top of an airport runway.

Un avión grande está encima de una pista de aeropuerto.

FFL: Of course, we're still working hard to improve our algorithms,

FFL: Desde luego, seguimos trabajando para mejorar los algoritmos

and it still has a lot to learn.

y aún tiene mucho que aprender.

(Applause)

(Aplausos)

And the computer still makes mistakes.

Y la computadora aún comete errores.

(Video) Computer: A cat lying on a bed in a blanket.

(Video) Computadora: Un gato recostado en la cama en una sábana.

FFL: So of course, when it sees too many cats,

FFL: Y cuando ha visto demasiados gatos,

it thinks everything might look like a cat.

cree que todo lo que ve parece un gato.

(Video) Computer: A young boy is holding a baseball bat.

(Video) Computadora: Un niño tiene un bate de béisbol.

(Laughter)

(Risas)

FFL: Or, if it hasn't seen a toothbrush, it confuses it with a baseball bat.

FFL: O si nunca ha visto un cepillo de dientes,

lo confunde con un bate de béisbol.

(Video) Computer: A man riding a horse down a street next to a building.

(Video) Computadora: Un hombre montando un caballo junto a un edificio.

(Laughter)

(Risas)

FFL: We haven't taught Art 101 to the computers.

FFL: No le hemos enseñado arte elemental a las computadoras.

(Video) Computer: A zebra standing in a field of grass.

(Video) Computadora: Una cebra en un campo de hierba.

FFL: And it hasn't learned to appreciate the stunning beauty of nature

FFL: Y no ha aprendido a apreciar la belleza deslumbrante

like you and I do.

de la naturaleza, como lo hacemos nosotros.

So it has been a long journey.

Así que ha sido un largo camino.

To get from age zero to three was hard.

Pasar de los 0 a los 3 años fue difícil.

The real challenge is to go from three to 13 and far beyond.

El verdadero reto es llegar a los 13 y mucho más todavía.

Let me remind you with this picture of the boy and the cake again.

Recordemos nuevamente esta foto del niño y el pastel.

So far, we have taught the computer to see objects

Hasta ahora, le hemos enseñado a la computadora a ver objetos

or even tell us a simple story when seeing a picture.

o incluso darnos una pequeña historia cuando ve la foto.

(Video) Computer: A person sitting at a table with a cake.

(Video) Computadora: Una persona sentada a la mesa con un pastel.

FFL: But there's so much more to this picture

FFL: Pero hay mucho más en esta fotografía

than just a person and a cake.

que simplemente una persona y un pastel.

What the computer doesn't see is that this is a special Italian cake

Lo que la computadora no ve es que este es un pastel especial italiano

that's only served during Easter time.

exclusivo de Pascua.

The boy is wearing his favorite t-shirt

El niño viste su camiseta favorita,

given to him as a gift by his father after a trip to Sydney,

que le regaló su papá tras un viaje a Sídney,

and you and I can all tell how happy he is

y nosotros podemos decir qué tan feliz está

and what's exactly on his mind at that moment.

y qué pasa por su mente en ese momento.

This is my son Leo.

Ese es mi hijo Leo.

On my quest for visual intelligence,

En mi búsqueda de inteligencia visual,

I think of Leo constantly

pienso constantemente en él

and the future world he will live in.

y en el futuro en que va a vivir.

When machines can see,

Cuando las máquinas puedan ver,

doctors and nurses will have extra pairs of tireless eyes

los médicos y enfermeras tendrán un par extra de ojos incansables

to help them to diagnose and take care of patients.

para ayudarlos a diagnosticar y cuidar de los pacientes.

Cars will run smarter and safer on the road.

Los autos andarán de forma inteligente y segura en los caminos.

Robots, not just humans,

Robots, y no solo humanos,

will help us to brave the disaster zones to save the trapped and wounded.

nos ayudarán a desafiar zonas de desastre para salvar heridos y atrapados.

We will discover new species, better materials,

Descubriremos nuevas especies, mejores materiales,

and explore unseen frontiers with the help of the machines.

y exploraremos fronteras nunca vistas con ayuda de las máquinas.

Little by little, we're giving sight to the machines.

Poco a poco, damos a las máquinas el don de la vista.

First, we teach them to see.

Primero les enseñamos a ver.

Then, they help us to see better.

Luego ellas nos ayudarán a ver mejor.

For the first time, human eyes won't be the only ones

Por primera vez, los ojos humanos no serán los únicos

pondering and exploring our world.

que exploren nuestro mundo.

We will not only use the machines for their intelligence,

No solo usaremos máquinas por su inteligencia,

we will also collaborate with them in ways that we cannot even imagine.

también colaboraremos con ellas de formas que ni siquiera imaginamos.

This is my quest:

Esta es mi misión:

to give computers visual intelligence

dar a las computadoras inteligencia visual

and to create a better future for Leo and for the world.

y crear un mejor futuro para Leo y para el mundo.

Thank you.

Gracias.

(Applause)

(Aplausos)