How we teach computers to understand pictures | Fei Fei Li

Traducteur: eric vautier Relecteur: Rania Nakhli

Let me show you something.

Je vais vous montrer quelque chose.

(Video) Girl: Okay, that's a cat sitting in a bed.

(Enfant) C'est un chat assis sur un lit.

The boy is petting the elephant.

Le garçon caresse l'éléphant.

Those are people that are going on an airplane.

Des gens montent dans un avion.

That's a big airplane.

C'est un gros avion.

Fei-Fei Li: This is a three-year-old child

(Fei-Fei Li) C'est une enfant de 3 ans

describing what she sees in a series of photos.

qui décrit ce qu'elle voit sur des photos.

She might still have a lot to learn about this world,

Elle a peut-être encore beaucoup à apprendre,

but she's already an expert at one very important task:

mais elle est déjà experte dans un domaine très important :

to make sense of what she sees.

comprendre ce qu'elle voit.

Our society is more technologically advanced than ever.

Notre société est technologiquement plus avancée que jamais.

We send people to the moon, we make phones that talk to us

On envoie des gens sur la Lune, on fait des téléphones qui nous parlent,

or customize radio stations that can play only music we like.

on a des stations de radio qui ne passent que ce qu'on aime.

Yet, our most advanced machines and computers

Pourtant, les machines et les ordinateurs les plus avancés

still struggle at this task.

ont toujours du mal à faire ça.

So I'm here today to give you a progress report

Alors aujourd'hui je vais vous expliquer où nous en sommes,

on the latest advances in our research in computer vision,

nos dernières recherches sur la vision par ordinateur,

one of the most frontier and potentially revolutionary

l'une des technologies les plus novatrices et potentiellement révolutionnaires

technologies in computer science.

en informatique.

Yes, we have prototyped cars that can drive by themselves,

Oui, nous avons des prototypes de voitures qui conduisent toutes seules,

but without smart vision, they cannot really tell the difference

mais sans la vision intelligente, elles ne font pas la différence

between a crumpled paper bag on the road, which can be run over,

entre un sac de papier roulé en boule, que l'on peut écraser,

and a rock that size, which should be avoided.

et une pierre qu'il faut éviter.

We have made fabulous megapixel cameras,

Nous fabriquons des appareils photo à mégapixels incroyables,

but we have not delivered sight to the blind.

mais nous n'avons pas donné la vue aux aveugles.

Drones can fly over massive land,

Les drones peuvent parcourir de grandes distances

but don't have enough vision technology

mais la technologie n'est pas assez avancée

to help us to track the changes of the rainforests.

pour suivre l'évolution des forêts tropicales.

Security cameras are everywhere,

Il y a des caméras de sécurité partout,

but they do not alert us when a child is drowning in a swimming pool.

mais elles ne savent pas nous alerter quand un enfant se noie dans une piscine.

Photos and videos are becoming an integral part of global life.

La photo et la vidéo font partie de notre vie.

They're being generated at a pace that's far beyond what any human,

Elles sont générées tellement vite qu'aucun humain

or teams of humans, could hope to view,

ou groupe d'humains ne peut tout voir,

and you and I are contributing to that at this TED.

Vous et moi, nous y contribuons, avec cette conférence TED.

Yet our most advanced software is still struggling at understanding

Pourtant nos programmes les plus avancés ont du mal à comprendre

and managing this enormous content.

et à gérer cet énorme contenu.

So in other words, collectively as a society,

En d'autres termes, nous, la société,

we're very much blind,

sommes vraiment aveugles,

because our smartest machines are still blind.

parce que nos plus intelligentes machines sont encore aveugles.

"Why is this so hard?" you may ask.

« Pourquoi est-ce si difficile ? », pourriez-vous demander.

Cameras can take pictures like this one

Un appareil peut prendre une photo comme celle-ci,

by converting lights into a two-dimensional array of numbers

il convertit la lumière en tableaux bidimensionnels

known as pixels,

que l'on nomme pixels,

but these are just lifeless numbers.

mais ce ne sont que des nombres sans vie.

They do not carry meaning in themselves.

Par eux-mêmes, ils ne signifient rien.

Just like to hear is not the same as to listen,

Tout comme entendre n'est pas la même chose qu'écouter,

to take pictures is not the same as to see,

prendre une photo, ce n'est pas comme voir,

and by seeing, we really mean understanding.

et par « voir », entendez « comprendre ».

In fact, it took Mother Nature 540 million years of hard work

En fait, Mère Nature a travaillé dur 540 millions d'années

to do this task,

pour accomplir cette tâche,

and much of that effort

et le plus gros de cet effort a été

went into developing the visual processing apparatus of our brains,

le développement de l'appareil qui produit la vision dans notre cerveau,

not the eyes themselves.

pas les yeux.

So vision begins with the eyes,

La vision commence avec les yeux,

but it truly takes place in the brain.

mais tout se passe en fait dans le cerveau.

So for 15 years now, starting from my Ph.D. at Caltech

Depuis maintenant 15 ans, d'abord en thèse à Caltech

and then leading Stanford's Vision Lab,

puis à la tête du Vision Lab à Stanford,

I've been working with my mentors, collaborators and students

je travaille avec mes mentors, collaborateurs et étudiants

to teach computers to see.

pour apprendre la vision aux ordinateurs.

Our research field is called computer vision and machine learning.

Il s'agit de vision par ordinateur et d'apprentissage machine.

It's part of the general field of artificial intelligence.

C'est un pan de la recherche sur l'intelligence artificielle.

So ultimately, we want to teach the machines to see just like we do:

Le but est d'enseigner aux machines à voir comme nous :

naming objects, identifying people, inferring 3D geometry of things,

nommer des objets, identifier des gens, déduire des formes géométriques 3D,

understanding relations, emotions, actions and intentions.

comprendre les relations, les émotions, les actions et les intentions.

You and I weave together entire stories of people, places and things

Nous tissons constamment des histoires de gens, d'endroits, de choses

the moment we lay our gaze on them.

dès que nous posons les yeux dessus.

The first step towards this goal is to teach a computer to see objects,

Le premier pas est d'apprendre à l'ordinateur à voir des objets,

the building block of the visual world.

c'est l'élément de base du monde visuel.

In its simplest terms, imagine this teaching process

Pour parler simplement, imaginez que ce processus d'apprentissage

as showing the computers some training images

consiste à montrer à l'ordinateur

of a particular object, let's say cats,

des images d'un certain objet, par exemple des chats,

and designing a model that learns from these training images.

puis concevoir un modèle qui puisse apprendre avec ces images.

How hard can this be?

Ça ne doit pas être bien difficile !

After all, a cat is just a collection of shapes and colors,

Après tout, un chat est un ensemble de formes et de couleurs.

and this is what we did in the early days of object modeling.

Au début de la modélisation objet, c'est ce que nous avons fait.

We'd tell the computer algorithm in a mathematical language

On rentrait un algorithme en langage mathématique

that a cat has a round face, a chubby body,

pour dire que le chat a un visage rond, un corps un peu dodu,

two pointy ears, and a long tail,

deux oreilles pointues et une longue queue

and that looked all fine.

et tout allait bien.

But what about this cat?

Mais que fait-on pour celui-ci ?

(Laughter)

(Rires)

It's all curled up.

Il est tout retourné.

Now you have to add another shape and viewpoint to the object model.

Alors il faut ajouter d'autres formes et points de vue au modèle objet.

But what if cats are hidden?

Et si le chat est caché ?

What about these silly cats?

Et ces drôles de chats-là ?

Now you get my point.

Vous voyez ce que je veux dire.

Even something as simple as a household pet

Quelque chose d'aussi simple qu'un animal domestique

can present an infinite number of variations to the object model,

présente une infinité de variations du modèle objet.

and that's just one object.

Et ça n'est qu'un seul objet.

So about eight years ago,

Il y a environ 8 ans,

a very simple and profound observation changed my thinking.

une réflexion toute simple mais profonde a changé ma manière de penser.

No one tells a child how to see,

Personne ne dit à un enfant comment voir,

especially in the early years.

surtout dans les premières années.

They learn this through real-world experiences and examples.

Il apprend par l'expérience, par des exemples quotidiens.

If you consider a child's eyes

Pensez aux yeux d'un enfant

as a pair of biological cameras,

comme à deux appareils photo biologiques

they take one picture about every 200 milliseconds,

qui prennent une photo chaque 200 millisecondes,

the average time an eye movement is made.

la durée moyenne du mouvement de l’œil.

So by age three, a child would have seen hundreds of millions of pictures

A 3 ans, un enfant a vu des centaines de millions de photos

of the real world.

du monde réel.

That's a lot of training examples.

Ça nous fait beaucoup d'exemples.

So instead of focusing solely on better and better algorithms,

Alors plutôt que se concentrer sur l'amélioration des algorithmes,

my insight was to give the algorithms the kind of training data

mon idée a été de former les algorithmes avec le genre de données

that a child was given through experiences

qu'un enfant reçoit par l'expérience

in both quantity and quality.

tant en quantité qu'en qualité

Once we know this,

Une fois que nous avons compris ça,

we knew we needed to collect a data set

nous savions qu'il fallait collecter un ensemble de données

that has far more images than we have ever had before,

qui contienne bien plus d'images que jamais auparavant,

perhaps thousands of times more,

peut-être des milliers de fois plus.

and together with Professor Kai Li at Princeton University,

Avec le professeur Kai Li de l'Université de Princeton,

we launched the ImageNet project in 2007.

nous avons donc lancé le projet ImageNet en 2007.

Luckily, we didn't have to mount a camera on our head

Heureusement, ce n'était pas la peine de se mettre une caméra sur la tête

and wait for many years.

et d'attendre plusieurs années.

We went to the Internet,

Nous sommes allés sur Internet,

the biggest treasure trove of pictures that humans have ever created.

la plus grande mine de photos que l'humain ait jamais créée.

We downloaded nearly a billion images

Nous avons téléchargé près d'un milliard d'images.

and used crowdsourcing technology like the Amazon Mechanical Turk platform

Des technologies de crowdsourcing comme le Turc Mécanique d'Amazon

to help us to label these images.

nous ont aidés à cataloguer les images.

At its peak, ImageNet was one of the biggest employers

A son plus haut, ImageNet a été l'un des plus gros employeurs

of the Amazon Mechanical Turk workers:

du Turc Mécanique d'Amazon :

together, almost 50,000 workers

près de 50 000 employés

from 167 countries around the world

dans 167 pays

helped us to clean, sort and label

nous ont aidés à nettoyer, trier, étiqueter

nearly a billion candidate images.

presque un milliard d'images.

That was how much effort it took

C'est vous dire l'effort entrepris

to capture even a fraction of the imagery

pour capturer une fraction des images

a child's mind takes in in the early developmental years.

qu'un enfant stocke pendant ses premières années.

In hindsight, this idea of using big data

Aujourd'hui, cette idée d'utiliser ces masses de données

to train computer algorithms may seem obvious now,

pour construire des algorithmes peut paraître évidente,

but back in 2007, it was not so obvious.

mais pas en 2007.

We were fairly alone on this journey for quite a while.

Pendant longtemps, nous étions bien seuls.

Some very friendly colleagues advised me to do something more useful for my tenure,

Des collègues me conseillaient de trouver autre chose pour devenir titulaire,

and we were constantly struggling for research funding.

et c'était une bataille constante pour trouver des crédits de recherche.

Once, I even joked to my graduate students

Je disais en plaisantant à mes étudiants

that I would just reopen my dry cleaner's shop to fund ImageNet.

que je pourrais reprendre ma laverie pour financer ImageNet.

After all, that's how I funded my college years.

Après tout, j'avais financé mes études grâce à elle.

So we carried on.

Mais nous avons continué.

In 2009, the ImageNet project delivered

En 2009, le projet ImageNet avait

a database of 15 million images

une base de données de 15 millions d'images,

across 22,000 classes of objects and things

22 000 classes d'objets et de choses

organized by everyday English words.

organisées avec des mots d'anglais du quotidien.

In both quantity and quality,

Tant en quantité qu'en qualité,

this was an unprecedented scale.

une telle échelle de grandeur était une première.

As an example, in the case of cats,

Par exemple, les chats,

we have more than 62,000 cats

nous avons plus de 62 000 chats,

of all kinds of looks and poses

toutes sortes d'apparences et de poses,

and across all species of domestic and wild cats.

toutes les espèces, domestiques et sauvages.

We were thrilled to have put together ImageNet,

C'était formidable d'avoir bâti ImageNet,

and we wanted the whole research world to benefit from it,

et nous voulions en faire profiter le monde de la recherche.

so in the TED fashion, we opened up the entire data set

Alors, à la manière de TED, nous avons donné l'accès aux données

to the worldwide research community for free.

à la recherche, gratuitement et dans le monde entier.

(Applaudissements)

(Applause)

Now that we have the data to nourish our computer brain,

Maintenant que nous avons les données pour nourrir notre cerveau informatique,

we're ready to come back to the algorithms themselves.

nous pouvons revenir sur les algorithmes.

As it turned out, the wealth of information provided by ImageNet

Il se trouve que la manne d'informations désormais dans ImageNet

was a perfect match to a particular class of machine learning algorithms

allait parfaitement avec un certain type d'algorithmes,

called convolutional neural network,

le réseau de neurones à convolution,

pioneered by Kunihiko Fukushima, Geoff Hinton, and Yann LeCun

développé par Kunihiko Fukushima, Geoff Hinton et Yann LeCun

back in the 1970s and '80s.

dans les années 1970 et 80.

Just like the brain consists of billions of highly connected neurons,

Tout comme le cerveau est composé de milliards de neurones connectés,

a basic operating unit in a neural network

l'unité de base d'un réseau neuronal

is a neuron-like node.

est le nœud de type neurone.

It takes input from other nodes

Il reçoit des informations d'autres nœuds

and sends output to others.

et en envoie à d'autres.

Moreover, these hundreds of thousands or even millions of nodes

De plus, ces centaines de milliers voire millions de nœuds

are organized in hierarchical layers,

sont organisés en couches hiérarchiques,

also similar to the brain.

similaires au cerveau.

In a typical neural network we use to train our object recognition model,

Dans le réseau neuronal classique que nous utilisons,

it has 24 million nodes,

il y a 24 millions de nœuds,

140 million parameters,

140 millions de paramètres,

and 15 billion connections.

et 15 milliards de connexions.

That's an enormous model.

C'est un modèle énorme.

Powered by the massive data from ImageNet

Avec la puissance des données d'ImageNet

and the modern CPUs and GPUs to train such a humongous model,

et les processeurs modernes pour traiter cet énorme modèle,

the convolutional neural network

le réseau de neurones à convolution

blossomed in a way that no one expected.

s'est transformé de manière inattendue.

It became the winning architecture

Il est devenu l'architecture idéale

to generate exciting new results in object recognition.

pour générer des résultats fabuleux en reconnaissance d'objets.

This is a computer telling us

Ceci est un ordinateur qui nous dit

this picture contains a cat

que la photo contient un chat

and where the cat is.

et où est ce chat.

Of course there are more things than cats,

Bien sûr, il y a autre chose que des chats.

so here's a computer algorithm telling us

Ici un algorithme nous dit

the picture contains a boy and a teddy bear;

que la photo contient un garçon et un ours en peluche,

a dog, a person, and a small kite in the background;

un chien, une personne, et un cerf-volant en arrière-plan.

or a picture of very busy things

Ici, beaucoup d'activités

like a man, a skateboard, railings, a lampost, and so on.

avec un homme, un skateboard, une rampe, un lampadaire, etc.

Sometimes, when the computer is not so confident about what it sees,

Parfois l'ordinateur n'est pas trop sûr,

we have taught it to be smart enough

nous lui avons appris à être assez intelligent

to give us a safe answer instead of committing too much,

pour donner une réponse sûre, sans trop s'engager,

just like we would do,

c'est ce que nous ferions.

but other times our computer algorithm is remarkable at telling us

D'autres fois, l'algorithme a la capacité incroyable

what exactly the objects are,

de nous dire exactement ce qu'est l'objet :

like the make, model, year of the cars.

marque, modèle, année d'une voiture.

We applied this algorithm to millions of Google Street View images

Nous avons utilisé cet algorithme sur des millions d'images Google Street View,

across hundreds of American cities,

dans des centaines de villes américaines,

and we have learned something really interesting:

et nous avons découvert quelque chose de très intéressant.

first, it confirmed our common wisdom

D'abord, il a été confirmé

that car prices correlate very well

que le prix des voitures

with household incomes.

et le revenu des foyers sont liés.

But surprisingly, car prices also correlate well

Mais, étonnamment, le prix des voitures

et le taux de crimes dans les villes sont également liés,

with crime rates in cities,

or voting patterns by zip codes.

même chose avec la répartition géographique des votes.

So wait a minute. Is that it?

Attendez un peu... c'est tout ?

Has the computer already matched or even surpassed human capabilities?

Est-ce que l'ordinateur atteint, voire surpasse, les capacités humaines ?

Not so fast.

Pas si vite.

So far, we have just taught the computer to see objects.

Jusque là, nous avons appris aux ordinateurs à voir des objets,

This is like a small child learning to utter a few nouns.

comme un jeune enfant apprend à prononcer quelques noms.

It's an incredible accomplishment,

C'est déjà incroyable,

but it's only the first step.

mais ce n'est que la première étape.

Soon, another developmental milestone will be hit,

Bientôt, nous atteindrons un autre niveau,

and children begin to communicate in sentences.

l'enfant commence à faire des phrases.

So instead of saying this is a cat in the picture,

Au lieu de dire que c'est un chat sur la photo,

you already heard the little girl telling us this is a cat lying on a bed.

comme nous l'a dit la petite fille tout à l'heure.

So to teach a computer to see a picture and generate sentences,

Pour apprendre à l'ordinateur à générer des phrases à partir d'une photo,

the marriage between big data and machine learning algorithm

le mariage entre les données et l'algorithme d'apprentissage

has to take another step.

doit franchir une autre étape.

Now, the computer has to learn from both pictures

L'ordinateur doit apprendre à partir des photos,

as well as natural language sentences

en utilisant des phrases en langage naturel

generated by humans.

générée par l'être humain.

Just like the brain integrates vision and language,

Tout comme le cerveau combine vision et langage,

we developed a model that connects parts of visual things

notre modèle connecte les parties de choses visuelles,

like visual snippets

des petits bouts visuels,

with words and phrases in sentences.

avec des mots ou groupes de mots, pour en faire des phrases.

About four months ago,

Il y a environ 4 mois,

we finally tied all this together

nous avons enfin réussi

and produced one of the first computer vision models

à créer l'un des premiers modèles de vision artificielle

that is capable of generating a human-like sentence

capagle de générer une phrase comme un être humain

when it sees a picture for the first time.

qui découvre une image.

Now, I'm ready to show you what the computer says

Aujourd'hui, je suis prête à vous montrer ce que dit l'ordinateur

when it sees the picture

quand il voit la photo

that the little girl saw at the beginning of this talk.

que la petite fille voyait tout à l'heure.

(Video) Computer: A man is standing next to an elephant.

(Vidéo) L'ordinateur : Un homme est debout à coté d'un éléphant.

A large airplane sitting on top of an airport runway.

Un grand avion est assis sur une piste d'aéroport.

FFL: Of course, we're still working hard to improve our algorithms,

FFL : Bien sûr, il y a encore beaucoup de travail sur les algorithmes,

and it still has a lot to learn.

l'ordinateur a encore beaucoup à apprendre,

(Applause)

(Applaudissements)

And the computer still makes mistakes.

et il fait encore des erreurs.

(Video) Computer: A cat lying on a bed in a blanket.

(Vidéo) Ordinateur : un chat est couché sur un lit dans une couverture.

FFL: So of course, when it sees too many cats,

FFL : Bien sûr, s'il voit trop de chats,

it thinks everything might look like a cat.

il pense que tout est peut-être un chat.

(Video) Computer: A young boy is holding a baseball bat.

(Vidéo) Ordinateur : un garçon tient une batte de base-ball.

(Laughter)

(Rires)

FFL: Or, if it hasn't seen a toothbrush, it confuses it with a baseball bat.

FFL : Ou alors, s'il n'a jamais vu de brosse à dents, elle devient une batte.

(Video) Computer: A man riding a horse down a street next to a building.

(Vidéo) Ordinateur : Un homme se promène à cheval près d'un bâtiment.

(Laughter)

(Rires)

FFL: We haven't taught Art 101 to the computers.

Nous n'avons pas enseigné l'histoire de l'art à l'ordinateur.

(Video) Computer: A zebra standing in a field of grass.

(Vidéo) L'ordinateur : Un zèbre se trouve dans un pré.

FFL: And it hasn't learned to appreciate the stunning beauty of nature

FFL : Et il ne sait pas apprécier la beauté de la nature

like you and I do.

comme vous et moi.

So it has been a long journey.

Ça a donc été un long voyage.

To get from age zero to three was hard.

Aller de 0 à 3 ans a été difficile.

The real challenge is to go from three to 13 and far beyond.

Le vrai défi est d'aller de 3 à 13 et bien au-delà.

Let me remind you with this picture of the boy and the cake again.

Revoici l'image du garçon avec le gâteau.

So far, we have taught the computer to see objects

Jusque là, nous avons appris à l'ordinateur à voir des objets

or even tell us a simple story when seeing a picture.

ou à créer une petite histoire d'après une photo.

(Video) Computer: A person sitting at a table with a cake.

(Vidéo) L'ordinateur : Une personne assise à une table avec un gâteau.

FFL: But there's so much more to this picture

FFL : Mais il y a beaucoup plus

than just a person and a cake.

qu'une personne et un gâteau.

What the computer doesn't see is that this is a special Italian cake

Ce que l'ordinateur ne voit pas est que c'est un gâteau italien spécial

that's only served during Easter time.

servi uniquement à Pâques.

The boy is wearing his favorite t-shirt

Le garçon porte son t-shirt préféré,

given to him as a gift by his father after a trip to Sydney,

celui que lui a offert son père après un voyage à Sydney,

and you and I can all tell how happy he is

et vous et moi voyons bien à quel point il est heureux

and what's exactly on his mind at that moment.

et ce qu'il pense à ce moment.

This is my son Leo.

C'est mon fils Léo.

On my quest for visual intelligence,

Au cours de ma quête de l'intelligence visuelle,

I think of Leo constantly

Léo était constamment dans mes pensées

and the future world he will live in.

ainsi que le monde dans lequel il vivra.

When machines can see,

Quand les machines pourront voir,

doctors and nurses will have extra pairs of tireless eyes

les médecins et infirmières auront une paire d'yeux infatigables en plus

to help them to diagnose and take care of patients.

pour les aider au diagnostic et au soin des patients.

Cars will run smarter and safer on the road.

Les voitures seront plus intelligentes et plus sûres.

Robots, not just humans,

Des robots, pas seulement des humains,

will help us to brave the disaster zones to save the trapped and wounded.

nous aideront à sauver des vies dans des zones sinistrées.

We will discover new species, better materials,

Nous découvrirons de nouvelles espèces, de meilleurs matériaux,

and explore unseen frontiers with the help of the machines.

nous explorerons d'autres frontières, avec l'aide des machines.

Little by little, we're giving sight to the machines.

Petit à petit, nous donnons la vue aux machines.

First, we teach them to see.

D'abord nous leur apprenons à voir.

Then, they help us to see better.

Puis c'est elles qui nous aident à mieux voir.

For the first time, human eyes won't be the only ones

Pour la première fois, les yeux humains ne seront pas les seuls

pondering and exploring our world.

à questionner et explorer notre monde.

We will not only use the machines for their intelligence,

En plus d'utiliser les machines pour leur intelligence,

we will also collaborate with them in ways that we cannot even imagine.

nous collaborerons avec elles de manière inédite.

This is my quest:

C'est ma quête :

to give computers visual intelligence

donner aux ordinateurs l'intelligence visuelle

and to create a better future for Leo and for the world.

et créer un meilleur avenir pour Léo et pour le monde.

Thank you.

Merci.

(Applause)

(Applaudissements)