How we teach computers to understand pictures | Fei Fei Li

Traduttore: Silvia Littarru Revisore: Kevin Álvarez

Let me show you something.

Lasciate che vi mostri qualcosa.

(Video) Girl: Okay, that's a cat sitting in a bed.

Ok, è un gatto seduto sul letto.

The boy is petting the elephant.

Il ragazzo sta accarezzando l'elefante.

Those are people that are going on an airplane.

Sono persone che salgono su un aereo.

That's a big airplane.

È un grande aereo.

Fei-Fei Li: This is a three-year-old child

È una bambina di tre anni

describing what she sees in a series of photos.

che descrive ciò che vede nelle foto.

She might still have a lot to learn about this world,

Anche se ha ancora tanto da imparare,

but she's already an expert at one very important task:

è già un'esperta in un compito importante:

to make sense of what she sees.

capire ciò che vede.

La tecnologia nella nostra società è più sviluppata che mai.

Our society is more technologically advanced than ever.

We send people to the moon, we make phones that talk to us

Mandiamo persone sulla Luna, creiamo cellulari che ci parlano

or customize radio stations that can play only music we like.

o personalizziamo le stazioni radio per ascoltare la musica che ci piace.

Yet, our most advanced machines and computers

Eppure, i computer e i dispositivi più avanzati

still struggle at this task.

non sono ancora in grado di svolgere questo compito.

So I'm here today to give you a progress report

Oggi vi mostrerò un rapporto di avanzamento

on the latest advances in our research in computer vision,

sui progressi della nostra ricerca sulla visione artificiale,

one of the most frontier and potentially revolutionary

una delle tecnologie informatiche

technologies in computer science.

più rivoluzionarie.

Yes, we have prototyped cars that can drive by themselves,

Sì, abbiamo prototipi di auto che si guidano da sole,

but without smart vision, they cannot really tell the difference

ma senza la smart vision, non riescono a distinguere fra

between a crumpled paper bag on the road, which can be run over,

un sacchetto spiegazzato sulla strada che può essere investito

and a rock that size, which should be avoided.

e una pietra che sarebbe da evitare.

We have made fabulous megapixel cameras,

Abbiamo creato favolose fotocamere con megapixel,

but we have not delivered sight to the blind.

ma non abbiamo ancora ridato la vista ai ciechi.

Drones can fly over massive land,

I droni volano su grandi parti di terra,

but don't have enough vision technology

ma la loro tecnologia visiva non basta

to help us to track the changes of the rainforests.

a monitorare le variazioni delle foreste pluviali.

Security cameras are everywhere,

Ci sono telecamere a circuito chiuso ovunque,

but they do not alert us when a child is drowning in a swimming pool.

che però non ci avvertono quando un bambino sta affogando in una piscina.

Photos and videos are becoming an integral part of global life.

Video e foto stanno diventando parte integrante della vita globale.

They're being generated at a pace that's far beyond what any human,

Sono generati a un ritmo più veloce di quello che ogni uomo

or teams of humans, could hope to view,

o gruppi di uomini spera di poter avere,

and you and I are contributing to that at this TED.

e vi contribuiamo in questo TED.

Yet our most advanced software is still struggling at understanding

Eppure il nostro software più avanzato non riesce ancora a capire

and managing this enormous content.

e amministrare quest'enorme contenuto.

So in other words, collectively as a society,

In altri termini collettivamente

siamo una società di ciechi

we're very much blind,

because our smartest machines are still blind.

perché le nostre macchine più intelligenti sono ancora cieche.

"Why is this so hard?" you may ask.

Vi chiederete perché sia così difficile.

Cameras can take pictures like this one

Le fotocamere scattano foto come questa,

trasformando le luci in una matrice bidimensionale di numeri,

by converting lights into a two-dimensional array of numbers

i pixels,

known as pixels,

but these are just lifeless numbers.

però sono solo numeri senza vita.

They do not carry meaning in themselves.

Non hanno alcun significato di per sé.

Just like to hear is not the same as to listen,

Proprio come udire non è come ascoltare,

to take pictures is not the same as to see,

scattare foto non è come vedere,

and by seeing, we really mean understanding.

e con vedere intendiamo capire.

In fact, it took Mother Nature 540 million years of hard work

In effetti, ci sono voluti 540 milioni anni di duro lavoro a Madre Natura

to do this task,

per completare questo compito,

and much of that effort

e gran parte di questo sforzo

went into developing the visual processing apparatus of our brains,

è andato allo sviluppo dell'elaborazione ottica del cervello,

not the eyes themselves.

non agli occhi.

So vision begins with the eyes,

Quindi la visione inizia con gli occhi,

but it truly takes place in the brain.

ma in realtà avviene nel cervello.

So for 15 years now, starting from my Ph.D. at Caltech

Dunque da 15 anni, prima con il Ph.D al Caltech

and then leading Stanford's Vision Lab,

e poi a capo del Vision Lab di Stanford,

lavoro con i miei mentori, collaboratori e studenti

I've been working with my mentors, collaborators and students

to teach computers to see.

per insegnare ai computer a vedere.

Our research field is called computer vision and machine learning.

Il campo di ricerca si chiama visione artificiale e apprendimento automatico.

It's part of the general field of artificial intelligence.

Fa parte del campo generale dell'intelligenza artificiale.

So ultimately, we want to teach the machines to see just like we do:

Allora in sostanza, vogliamo insegnare alle macchine a vedere proprio come noi:

naming objects, identifying people, inferring 3D geometry of things,

indicare cose, riconoscere persone, dedurre la geometria 3D degli oggetti,

understanding relations, emotions, actions and intentions.

comprendere relazioni, emozioni, azioni e intenzioni.

You and I weave together entire stories of people, places and things

Tessiamo intere storie di persone, luoghi e cose

the moment we lay our gaze on them.

quando fissiamo lo sguardo su di loro.

The first step towards this goal is to teach a computer to see objects,

Il primo passo verso questo scopo è insegnare a un computer a vedere cose,

the building block of the visual world.

il mattone del mondo visivo.

In its simplest terms, imagine this teaching process

In parole povere immaginate questo processo d'insegnamento

as showing the computers some training images

come mostrare ai computer immagini

of a particular object, let's say cats,

di un oggetto specifico, come gatti,

and designing a model that learns from these training images.

e creare un modello che impara da queste immagini.

How hard can this be?

Quanto può essere difficile?

After all, a cat is just a collection of shapes and colors,

Dopotutto, un gatto è solo un insieme di forme e colori,

and this is what we did in the early days of object modeling.

e l'abbiamo fatto nella prima fase di realizzazione dei modelli.

We'd tell the computer algorithm in a mathematical language

Abbiamo detto all'algoritmo con un linguaggio matematico

that a cat has a round face, a chubby body,

che un gatto ha una faccia tonda, un corpo paffuto,

two pointy ears, and a long tail,

due orecchie a punta e una coda lunga,

and that looked all fine.

e fin qui tutto ok.

But what about this cat?

Ma che dire di questo gatto?

(Laughter)

(Risate)

È tutto accartocciato.

It's all curled up.

Now you have to add another shape and viewpoint to the object model.

Ora si deve aggiungere un'altra forma e punto di vista al modello.

But what if cats are hidden?

Ma se i gatti sono nascosti?

What about these silly cats?

Che dire di questi gatti sciocchi?

Now you get my point.

Ora mi capite.

Even something as simple as a household pet

Anche qualcosa di semplice come un animale domestico

can present an infinite number of variations to the object model,

può presentare un numero infinito di variazioni,

and that's just one object.

ed è un oggetto solo.

So about eight years ago,

Allora otto anni fa,

a very simple and profound observation changed my thinking.

un'osservazione molto semplice e profonda ha cambiato il mio parere.

No one tells a child how to see,

Nessuno dice a un bambino come vedere,

especially in the early years.

soprattutto nei primi anni.

They learn this through real-world experiences and examples.

Lo imparano con esperienze e esempi del mondo reale.

If you consider a child's eyes

Se considerate gli occhi di un bambino

come un paio di fotocamere biologiche,

as a pair of biological cameras,

they take one picture about every 200 milliseconds,

scattano una foto ogni 200 millisecondi,

the average time an eye movement is made.

il tempo medio di un movimento dell'occhio.

So by age three, a child would have seen hundreds of millions of pictures

Dunque entro i 3 anni, un bambino vede centinaia di migliaia di immagini

of the real world.

del mondo reale.

That's a lot of training examples.

Questi sono tanti esempi d'insegnamento.

So instead of focusing solely on better and better algorithms,

Così invece di concentrarci solo su algoritmi sempre migliori,

my insight was to give the algorithms the kind of training data

la mia idea era dare agli algoritmi dati d'insegnamento

that a child was given through experiences

come quelli che un bambino ottiene con le esperienze

in both quantity and quality.

con la stessa qualità e quantità.

Once we know this,

Una volta capito questo,

we knew we needed to collect a data set

dovevamo accumulare un set di dati

that has far more images than we have ever had before,

che aveva più immagini che mai,

forse migliaia di volte di più,

perhaps thousands of times more,

and together with Professor Kai Li at Princeton University,

e con il Professore Kai Li dell'Università di Princeton,

we launched the ImageNet project in 2007.

abbiamo lanciato il progetto ImageNet nel 2007.

Luckily, we didn't have to mount a camera on our head

Per fortuna non abbiamo dovuto montare una videocamera in testa

and wait for many years.

e aspettare tanti anni.

Siamo andati su Internet,

We went to the Internet,

the biggest treasure trove of pictures that humans have ever created.

il più grande tesoro d'immagini che gli uomini abbiano mai creato.

We downloaded nearly a billion images

Abbiamo scaricato quasi un miliardo d'immagini

and used crowdsourcing technology like the Amazon Mechanical Turk platform

e usato il crowdsourcing come Amazon Mechanical Turk

to help us to label these images.

per aiutarci a etichettarle.

At its peak, ImageNet was one of the biggest employers

Al suo culumine ImageNet era uno dei maggiori datori di lavoro

of the Amazon Mechanical Turk workers:

di Amazon Mechanical Turk:

together, almost 50,000 workers

insieme, quasi 50.000 dipendenti

from 167 countries around the world

di 167 paesi in tutto il mondo

helped us to clean, sort and label

ci hanno aiutato a pulire, smistare e etichettare

nearly a billion candidate images.

quasi un miliardo di aspiranti immagini.

That was how much effort it took

Ecco lo sforzo che c'è voluto

to capture even a fraction of the imagery

a catturare persino una frazione delle immagini

della mente infantile nei primi anni di sviluppo.

a child's mind takes in in the early developmental years.

A cose fatte l'idea di usare Big Data

In hindsight, this idea of using big data

to train computer algorithms may seem obvious now,

per addestrare algoritmi informatici forse oggi sembra ovvia,

but back in 2007, it was not so obvious.

però nel 2007 non lo era così tanto.

We were fairly alone on this journey for quite a while.

Per un bel po' siamo stati soli in questo viaggio.

Some very friendly colleagues advised me to do something more useful for my tenure,

Dei colleghi mi hanno consigliato di fare qualcosa di più utile all'incarico

e avevamo di continuo difficoltà con il finanziamento.

and we were constantly struggling for research funding.

Once, I even joked to my graduate students

Una volta ho scherzato con i miei studenti

that I would just reopen my dry cleaner's shop to fund ImageNet.

dicendo che avrei riaperto la lavanderia per finanziare ImageNet.

After all, that's how I funded my college years.

Alla fine in questo modo ho finanziato i miei anni al college.

Allora abbiamo continuato.

So we carried on.

Nel 2009 ImageNet project ha consegnato

In 2009, the ImageNet project delivered

a database of 15 million images

un database di 15 milioni d'immagini

across 22,000 classes of objects and things

in 22.000 categorie di oggetti e cose

organized by everyday English words.

organizzate in parole di uso quotidiano.

In both quantity and quality,

Sia in quantità sia in qualità

this was an unprecedented scale.

era una scala senza precedenti.

As an example, in the case of cats,

Per esempio, nel caso dei gatti,

we have more than 62,000 cats

abbiamo più di 62.000 gatti

of all kinds of looks and poses

di tutti i tipi di aspetto e pose

and across all species of domestic and wild cats.

e in tutte le specie di gatti domestici e selvatici.

We were thrilled to have put together ImageNet,

Eravamo emozionati per il completamento di ImageNet,

and we wanted the whole research world to benefit from it,

e volevamo che tutto il mondo di ricerca ne beneficiasse,

so in the TED fashion, we opened up the entire data set

così come TED abbiamo aperto gratis tutto il set di dati

to the worldwide research community for free.

alla comunità di ricerca mondiale.

(Applause)

(Applausi)

Now that we have the data to nourish our computer brain,

Ora grazie ai dati per nutrire il cervello del nostro computer

we're ready to come back to the algorithms themselves.

siamo pronti a ritornare agli algoritmi.

As it turned out, the wealth of information provided by ImageNet

Infatti, la ricchezza d'informazioni di ImageNet

was a perfect match to a particular class of machine learning algorithms

era perfetta per una particolare classe di algoritmi di apprendimento automatico

called convolutional neural network,

chiamata rete neurale,

pioneered by Kunihiko Fukushima, Geoff Hinton, and Yann LeCun

innovazione di Kunihiko Fukushima, Geoff Hinton e Yann LeCun

back in the 1970s and '80s.

negli anni '70 e '80.

Just like the brain consists of billions of highly connected neurons,

Proprio come il cervello è fatto di miliardi di neuroni ben collegati,

a basic operating unit in a neural network

un'unità operativa elementare in una rete neurale

is a neuron-like node.

è un nodo tipo neurone.

It takes input from other nodes

Prende input di altri nodi

and sends output to others.

e invia output a altri.

Moreover, these hundreds of thousands or even millions of nodes

Inoltre quelle centinaia di migliaia o persino milioni di nodi

are organized in hierarchical layers,

sono organizzate in strati gerarchici,

anche simili al cervello.

also similar to the brain.

In a typical neural network we use to train our object recognition model,

In una tipica rete neurale usata per addestrare il modello di riconoscimento

ci sono 24 milioni di nodi,

it has 24 million nodes,

140 million parameters,

140 milioni di parametri

and 15 billion connections.

e 15 miliardi di connessioni.

That's an enormous model.

È un modello enorme.

Powered by the massive data from ImageNet

Alimentata dai dati di ImageNet

and the modern CPUs and GPUs to train such a humongous model,

e dalle moderne CPU e GPU per addestrare un modello così immenso,

the convolutional neural network

la rete neurale convoluzionale

blossomed in a way that no one expected.

è sbocciata in un modo che nessuno si aspettava.

It became the winning architecture

È diventata l'architettura vincente

to generate exciting new results in object recognition.

che genera risultati eclatanti nel riconoscimento degli oggetti.

This is a computer telling us

Questo è un computer che ci dice

this picture contains a cat

che in questa foto c'è un gatto

and where the cat is.

e dov'è il gatto.

Certo ci sono anche altre cose oltre ai gatti

Of course there are more things than cats,

so here's a computer algorithm telling us

quindi ecco un algoritmo informatico che ci dice

the picture contains a boy and a teddy bear;

che nella foto ci sono un ragazzo e un orsacchiotto;

a dog, a person, and a small kite in the background;

un cane, una persona e un aquilone sullo sfondo;

or a picture of very busy things

o una foto di molte cose curiose

like a man, a skateboard, railings, a lampost, and so on.

come un uomo, uno skateboard, ringhiere, un lampione e così via.

Sometimes, when the computer is not so confident about what it sees,

A volte quando il computer non è tanto sicuro di quello che vede,

we have taught it to be smart enough

gli insegnamo a essere abbastanza intelligente

to give us a safe answer instead of committing too much,

da darci una risposta sicura invece d'impegnarsi troppo,

just like we would do,

proprio come faremmo noi,

but other times our computer algorithm is remarkable at telling us

ma altre volte gli algoritmi ci dicono in modo eccezionale

what exactly the objects are,

esattamente che oggetti sono,

like the make, model, year of the cars.

come tipo, modello, anno delle macchine.

We applied this algorithm to millions of Google Street View images

Abbiamo applicato questi algoritmi a tante immagini di Google Street View

across hundreds of American cities,

in centinaia di città americane

and we have learned something really interesting:

e abbiamo imparato una cosa molto interessante:

first, it confirmed our common wisdom

primo, ha confermato il nostro sapere comune

that car prices correlate very well

che i prezzi delle auto sono legati molto bene

with household incomes.

ai redditi familiari.

But surprisingly, car prices also correlate well

Ma stupisce che i prezzi delle auto siano legati bene anche

with crime rates in cities,

al tasso di criminalità nelle città,

o agli schemi di votazione con codici postali.

or voting patterns by zip codes.

Allora aspettate. Ce l'abbiamo fatta?

So wait a minute. Is that it?

Has the computer already matched or even surpassed human capabilities?

Il computer ha già le stesse capacità dell'uomo o perfino migliori?

Not so fast.

Non ancora.

So far, we have just taught the computer to see objects.

Finora abbiamo insegnato ai computer a vedere oggetti.

This is like a small child learning to utter a few nouns.

È come un bambino piccolo che impara a pronunciare alcuni sostantivi.

It's an incredible accomplishment,

È un risultato incredibile,

but it's only the first step.

ma è solo il primo passo.

Soon, another developmental milestone will be hit,

Presto raggiungeremo un'altra pietra miliare dello sviluppo

e i bambini inizieranno a comunicare con frasi.

and children begin to communicate in sentences.

So instead of saying this is a cat in the picture,

Allora invece di dire che c'è un gatto nella foto,

you already heard the little girl telling us this is a cat lying on a bed.

avete sentito la ragazzina dire che è un gatto sdraiato sul letto.

So to teach a computer to see a picture and generate sentences,

Quindi per insegnare al computer a vedere una foto e generare frasi,

the marriage between big data and machine learning algorithm

il connubio fra Big Data e algoritmo di apprendimento automatico

has to take another step.

deve fare un altro passo.

Now, the computer has to learn from both pictures

Ora il computer deve imparare sia dalle foto

as well as natural language sentences

che dalle frasi naturali

generated by humans.

generate dagli uomini.

Just like the brain integrates vision and language,

Proprio come il cervello integra lingua e visione,

we developed a model that connects parts of visual things

abbiamo sviluppato un modello che collega parti di oggetti ottici

like visual snippets

come frammenti ottici

a parole e espressioni nelle frasi.

with words and phrases in sentences.

About four months ago,

Circa quattro mesi fa,

we finally tied all this together

abbiamo finalmente provato tutto insieme

and produced one of the first computer vision models

e prodotto uno dei primi modelli di visione artificiale

that is capable of generating a human-like sentence

capace di generare una frase tipo quella umana

when it sees a picture for the first time.

quando vede una foto per la prima volta.

Now, I'm ready to show you what the computer says

Ora sono pronta a mostrarvi cosa dice il computer

when it sees the picture

quando vede la foto

that the little girl saw at the beginning of this talk.

che la ragazzina ha visto all'inizio di questa conferenza.

Un uomo in piedi vicino a un elefante.

(Video) Computer: A man is standing next to an elephant.

A large airplane sitting on top of an airport runway.

Un grande aereo sulla pista di un aeroporto.

Certo, lavoriamo duro per migliorare i nostri algoritmi

FFL: Of course, we're still working hard to improve our algorithms,

and it still has a lot to learn.

e ci sono ancora molte cose da imparare.

(Applause)

(Applausi)

And the computer still makes mistakes.

E il computer fa ancora errori.

(Video) Computer: A cat lying on a bed in a blanket.

Un gatto sdraiato a letto con una coperta.

Quindi quando vede troppi gatti,

FFL: So of course, when it sees too many cats,

it thinks everything might look like a cat.

crede che tutto somigli a un gatto.

(Video) Computer: A young boy is holding a baseball bat.

Un ragazzino con una mazza da baseball.

(Laughter)

(Risate)

FFL: Or, if it hasn't seen a toothbrush, it confuses it with a baseball bat.

Se non ha mai visto uno spazzolino lo confonde con una mazza da baseball.

(Video) Computer: A man riding a horse down a street next to a building.

Un uomo a cavallo in una strada vicino a un edificio.

(Laughter)

(Risate)

FFL: We haven't taught Art 101 to the computers.

Non abbiamo insegnato l'Art. 101 ai computer.

(Video) Computer: A zebra standing in a field of grass.

Una zebra in una prateria.

FFL: And it hasn't learned to appreciate the stunning beauty of nature

E non ha imparato a apprezzare la magnifica bellezza della natura

like you and I do.

come me e voi.

So it has been a long journey.

Quindi è un lungo vaggio.

To get from age zero to three was hard.

Andare dall'età zero all'età tre era faticoso.

The real challenge is to go from three to 13 and far beyond.

La vera sfida è andare da 3 a 13 e più lontano.

Let me remind you with this picture of the boy and the cake again.

Ripensate alla foto del bambino con la torta.

So far, we have taught the computer to see objects

Finora abbiamo insegnato al computer a vedere oggetti

or even tell us a simple story when seeing a picture.

o a raccontarci una semplice storia quando vede un'immagine.

(Video) Computer: A person sitting at a table with a cake.

Una persona seduta a tavola con una torta.

FFL: But there's so much more to this picture

Ma c'è molto di più in questa foto

di una persona con una torta.

than just a person and a cake.

What the computer doesn't see is that this is a special Italian cake

Ciò che il computer non vede è che è una torta italiana speciale

that's only served during Easter time.

che si serve solo a Pasqua.

Il bambino indossa la sua t-shirt preferita

The boy is wearing his favorite t-shirt

given to him as a gift by his father after a trip to Sydney,

regalatagli dal padre dopo un viaggio a Sidney,

and you and I can all tell how happy he is

e possiamo notare quanto sia felice

and what's exactly on his mind at that moment.

e cosa c'è di preciso nella sua mente in quel momento.

Questo è mio figlio Leo.

This is my son Leo.

On my quest for visual intelligence,

Nella mia ricerca dell'intelligenza ottica,

I think of Leo constantly

penso a Leo di continuo

and the future world he will live in.

e al mondo futuro in cui vivrà.

Quando le macchine potranno vedere,

When machines can see,

doctors and nurses will have extra pairs of tireless eyes

i medici e gli infermieri avranno un paio extra di occhi instancabili

to help them to diagnose and take care of patients.

a aiutarli con diagnosi e cura dei pazienti.

Cars will run smarter and safer on the road.

Le auto saranno più intelligenti e sicure sulla strada.

Robots, not just humans,

I robot, non solo gli umani,

will help us to brave the disaster zones to save the trapped and wounded.

ci aiuteranno a salvare persone intrappolate e ferite.

We will discover new species, better materials,

Scopriremo nuove specie, materiali migliori,

and explore unseen frontiers with the help of the machines.

e esploreremo frontiere invisibili con l'aiuto delle macchine.

Un po' alla volta diamo la vista alle macchine.

Little by little, we're giving sight to the machines.

First, we teach them to see.

In primo luogo le insegnamo a vedere.

Poi ci aiutano a vedere meglio.

Then, they help us to see better.

For the first time, human eyes won't be the only ones

Per la prima volta gli occhi umani non saranno i soli

a meditare e esplorare il nostro mondo.

pondering and exploring our world.

We will not only use the machines for their intelligence,

Useremo le macchine non solo per la loro intelligenza,

we will also collaborate with them in ways that we cannot even imagine.

ma collaboreremo anche con loro in modi che neanche immaginiamo.

This is my quest:

Questa è la mia ricerca:

to give computers visual intelligence

dare ai computer intelligenza ottica

and to create a better future for Leo and for the world.

e creare un futuro migliore per Leo e per il mondo.

Thank you.

Grazie.

(Applause)

(Applausi)