How we teach computers to understand pictures | Fei Fei Li

Traducător: Ovidiu Panaite Corector: Diana Livezeanu

Let me show you something.

Să vă arăt ceva.

(Video) Girl: Okay, that's a cat sitting in a bed.

OK. Aia e o pisică stând în pat.

The boy is petting the elephant.

Băiatul mângâie elefantul.

Those are people that are going on an airplane.

Aceștia sunt oameni care intră într-un avion.

That's a big airplane.

E un avion mare.

Fei-Fei Li: This is a three-year-old child

Acesta e o fetiţă de 3 ani care descrie ce vede în nişte poze.

describing what she sees in a series of photos.

She might still have a lot to learn about this world,

Poate că mai are multe de învățat despre lumea asta,

but she's already an expert at one very important task:

dar e expertă într-o sarcină foarte importantă:

to make sense of what she sees.

să înțeleagă ceea ce vede.

Our society is more technologically advanced than ever.

Societatea noastră e mai avansată tehnologic ca niciodată.

We send people to the moon, we make phones that talk to us

Trimitem oameni pe lună, facem telefoane care ne vorbesc

or customize radio stations that can play only music we like.

sau personalizăm posturi de radio care pun doar muzica preferată.

Yet, our most advanced machines and computers

Totuşi, cele mai avansate mașinării și computere

still struggle at this task.

încă se chinuie cu această sarcină.

So I'm here today to give you a progress report

Sunt azi aici să vă fac un raport despre progresul recunoașterii computerizate a imaginilor,

on the latest advances in our research in computer vision,

one of the most frontier and potentially revolutionary

o cercetare revoluţionară de vârf din tehnologia şi ştiinţa calculatoarelor.

technologies in computer science.

Yes, we have prototyped cars that can drive by themselves,

Avem prototipuri de mașini care conduc singure,

but without smart vision, they cannot really tell the difference

dar fără vedere inteligentă nu deosebesc o pungă de hârtie mototolită pe stradă,

between a crumpled paper bag on the road, which can be run over,

peste care poate trece,

and a rock that size, which should be avoided.

și o piatră de aceaşi dimensiune, care ar trebui evitată.

We have made fabulous megapixel cameras,

Am făcut camere megapixel fabuloase, dar n-am redat vederea orbilor.

but we have not delivered sight to the blind.

Drones can fly over massive land,

Dronele pot zbura peste suprafeţe întinse, dar n-au destulă tehnologie vizuală

but don't have enough vision technology

to help us to track the changes of the rainforests.

ca să ne ajute să urmărim schimbările pădurii tropicale.

Security cameras are everywhere,

Camerele de securitate sunt peste tot,

but they do not alert us when a child is drowning in a swimming pool.

dar nu ne alertează când un copil se îneacă într-o piscină.

Photos and videos are becoming an integral part of global life.

Fotografiile și videoclipurile devin o parte integrală a vieții globale.

They're being generated at a pace that's far beyond what any human,

Sunt generate cu o viteză mult peste ce speră să vadă un om sau un grup,

or teams of humans, could hope to view,

and you and I are contributing to that at this TED.

iar noi contribuim cu acest TED.

Yet our most advanced software is still struggling at understanding

Cele mai avansate programe se străduiesc să le înțeleagă și să le administreze.

and managing this enormous content.

So in other words, collectively as a society,

Altfel spus, colectiv, ca societate, suntem orbi,

we're very much blind,

because our smartest machines are still blind.

pentru că cele mai inteligente dispozitive sunt încă oarbe.

"Why is this so hard?" you may ask.

„De ce e atât de greu?” ați putea întreba.

Cameras can take pictures like this one

Camerele pot face poze ca aceasta

by converting lights into a two-dimensional array of numbers

convertind lumini în șiruri de numere bidimensionale – pixeli.

known as pixels,

but these are just lifeless numbers.

Dar sunt doar numere fără viață. Nu au un înțeles în sine.

They do not carry meaning in themselves.

Just like to hear is not the same as to listen,

Cum „a auzi” nu e la fel cu „a asculta”, „a face poze” nu e la fel cu „a vedea”,

to take pictures is not the same as to see,

and by seeing, we really mean understanding.

iar prin „a vedea” ne referim la „a înţelege”.

In fact, it took Mother Nature 540 million years of hard work

Naturii i-au trebuit 540 mil. ani de muncă grea pentru asta,

to do this task,

and much of that effort

iar mare parte din efort

went into developing the visual processing apparatus of our brains,

a constat în dezvoltarea creierului pentru procesarea vederii, nu a ochlor.

not the eyes themselves.

So vision begins with the eyes,

Vederea începe cu ochii, dar de fapt are loc în creier.

but it truly takes place in the brain.

So for 15 years now, starting from my Ph.D. at Caltech

De 15 ani, începând cu doctoratul la Caltech,

and then leading Stanford's Vision Lab,

iar apoi conducând Laboratorul Vizual din Stanford,

I've been working with my mentors, collaborators and students

am lucrat cu mentorii, colaboratorii și studenții mei

to teach computers to see.

să învățăm computerele să vadă.

Our research field is called computer vision and machine learning.

Ne ocupăm de recunoașterea imaginilor și învățarea automată.

It's part of the general field of artificial intelligence.

Face parte din aria generală a inteligenței artificiale.

So ultimately, we want to teach the machines to see just like we do:

În final vrem să învățăm mașinăriile să vadă ca noi:

naming objects, identifying people, inferring 3D geometry of things,

să denumească obiecte,

să identifice persoane, să deducă geometria 3D a lucrurilor,

understanding relations, emotions, actions and intentions.

să înțeleagă relații, emoții, acțiuni și intenții.

You and I weave together entire stories of people, places and things

Noi toţi țesem povești întregi despre oameni, locuri și lucruri

the moment we lay our gaze on them.

în clipa în care le vedem.

The first step towards this goal is to teach a computer to see objects,

Primul pas către acest țel e să învățăm computerele să vadă obiectele,

the building block of the visual world.

pietrele de temelie ale lumii vizuale.

In its simplest terms, imagine this teaching process

În cel mai simplu mod, imaginați-vă acest proces de învățare

as showing the computers some training images

ca arătându-le computerelor câteva imagini de antrenament

of a particular object, let's say cats,

ale unui obiect, să spunem pisici

and designing a model that learns from these training images.

și creând un model care învață după aceste imagini.

How hard can this be?

Cât de greu poate fi?

After all, a cat is just a collection of shapes and colors,

Până la urmă, o pisică e doar o colecție de forme și culori,

and this is what we did in the early days of object modeling.

iar asta e ce am făcut la începutul modelării obiectelor.

We'd tell the computer algorithm in a mathematical language

Îi spuneam computerului într-un limbaj matematic

that a cat has a round face, a chubby body,

că o pisică are o față rotundă, un corp durduliu,

two pointy ears, and a long tail,

două urechi ascuțite și o coadă lungă

and that looked all fine.

și totul arăta bine.

But what about this cat?

Dar ce spuneți de pisica asta?

(Laughter)

(Râsete)

It's all curled up.

E ghemuită toată.

Now you have to add another shape and viewpoint to the object model.

Trebuie adăugată încă o formă și punct de vedere modelului.

But what if cats are hidden?

Dar dacă pisicile sunt ascunse?

What about these silly cats?

Dar aceste pisici prostuțe?

Now you get my point.

Acum mă înțelegeți.

Even something as simple as a household pet

Chiar ceva simplu ca un animal de casă

can present an infinite number of variations to the object model,

poate prezenta un număr infinit de variații ale modelului,

and that's just one object.

iar acesta e doar un obiect.

So about eight years ago,

Acum aproximativ opt ani,

a very simple and profound observation changed my thinking.

o observație foarte simplă și profundă mi-a schimbat gândirea.

No one tells a child how to see,

Nimeni nu-i spune unui copil cum să vadă, mai ales la început.

especially in the early years.

They learn this through real-world experiences and examples.

Învață asta prin experiențe și exemple din lumea reală.

If you consider a child's eyes

Dacă considerați ochii copilului ca o pereche de camere biologice,

as a pair of biological cameras,

they take one picture about every 200 milliseconds,

acestea fac o poză la fiecare 200 milisecunde,

the average time an eye movement is made.

– durata medie a unei mișcări oculare.

So by age three, a child would have seen hundreds of millions of pictures

Până la 3 ani, un copil ar fi văzut sute de milioane de poze cu lumea reală.

of the real world.

That's a lot of training examples.

Astea sunt multe exemple de antrenament.

So instead of focusing solely on better and better algorithms,

Astfel în loc să ne axăm doar pe algoritmi din ce în ce mai buni,

my insight was to give the algorithms the kind of training data

m-am gândit să ofer algoritmilor tipul de date

that a child was given through experiences

primite de copil prin experiență, atât cantitativ cât și calitativ.

in both quantity and quality.

Once we know this,

Plecând de la asta știam că trebuie să construim o bază de date

we knew we needed to collect a data set

that has far more images than we have ever had before,

ce are mult mai multe imagini decât am avut înainte,

perhaps thousands of times more,

probabil de mii de ori mai multe,

and together with Professor Kai Li at Princeton University,

iar împreună cu profesorul Kai Li de la Princeton University

we launched the ImageNet project in 2007.

am lansat proiectul ImageNet în 2007.

Luckily, we didn't have to mount a camera on our head

Din fericire, nu a trebuit să ne montăm o cameră pe cap

and wait for many years.

și să așteptăm mulți ani.

We went to the Internet,

Am apelat la Internet,

the biggest treasure trove of pictures that humans have ever created.

cel mai mare tezaur de poze creat vreodată de oameni.

We downloaded nearly a billion images

Am descărcat aproape un miliard de imagini

and used crowdsourcing technology like the Amazon Mechanical Turk platform

și am folosit tehnologii ca platforma Amazon Mechanical Turk

to help us to label these images.

pentru a ne ajuta să etichetăm imaginile.

At its peak, ImageNet was one of the biggest employers

La apogeu, ImageNet a fost unul dintre cei mai mari angajatori

of the Amazon Mechanical Turk workers:

ai lucrătorilor Amazon Mechanical Turk:

together, almost 50,000 workers

în total, aproape 50.000 de lucrători

from 167 countries around the world

din 167 de țări din jurul lumii

helped us to clean, sort and label

ne-au ajutat să curățăm, să triem și să etichetăm

nearly a billion candidate images.

aproape un miliard de imagini inițiale.

That was how much effort it took

De atât de mult efort a fost nevoie

to capture even a fraction of the imagery

pentru a captura doar o fracțiune din imaginile

a child's mind takes in in the early developmental years.

pe care mintea unui copil le face în primii ani ai dezvoltării.

In hindsight, this idea of using big data

Privind în urmă, această idee de a folosi date mari

to train computer algorithms may seem obvious now,

pentru a antrena algoritmii computerelor poate părea evidentă acum,

but back in 2007, it was not so obvious.

dar în 2007 nu era atât de evidentă.

We were fairly alone on this journey for quite a while.

Eram destul de singuri în această călătorie pentru multă vreme.

Some very friendly colleagues advised me to do something more useful for my tenure,

Câțiva colegi prietenoși m-au sfătuit să fac ceva mai folositor ca ocupație

and we were constantly struggling for research funding.

și ne chinuiam constant pentru fonduri.

Once, I even joked to my graduate students

O dată, chiar am glumit cu studenții mei

that I would just reopen my dry cleaner's shop to fund ImageNet.

că aș redeschide spălătoria mea pentru a susține ImageNet.

After all, that's how I funded my college years.

Până la urmă, așa mi-am finanțat anii de studenție.

So we carried on.

Așa că am continuat.

In 2009, the ImageNet project delivered

În 2009 proiectul ImageNet a furnizat o bază de date de 15 milioane de imagini

a database of 15 million images

across 22,000 classes of objects and things

din 22.000 de clase de obiecte și lucruri organizate după cuvinte englezești uzuale.

organized by everyday English words.

In both quantity and quality,

Atât cantitativ, cât și calitativ, era la o scală fără precedent.

this was an unprecedented scale.

As an example, in the case of cats,

Ca exemplu, în cazul pisicilor, avem mai mult de 62.000 de pisici

we have more than 62,000 cats

of all kinds of looks and poses

de toate felurile și ipostazele,

and across all species of domestic and wild cats.

din toate speciile de pisici domestice și sălbatice.

We were thrilled to have put together ImageNet,

Eram încântați de crearea ImageNet

and we wanted the whole research world to benefit from it,

și am vrut ca toată lumea să poată beneficia,

so in the TED fashion, we opened up the entire data set

astfel respectând tradiția TED, am deschis întreaga bază de date

to the worldwide research community for free.

gratis către toată comunitatea de cercetători.

(Applause)

(Aplauze)

Now that we have the data to nourish our computer brain,

Acum că avem datele pentru a hrăni creierul computerelor,

we're ready to come back to the algorithms themselves.

suntem gata să revenim la algoritmi.

As it turned out, the wealth of information provided by ImageNet

Se pare că bogăția informațiilor furnizate de ImageNet

was a perfect match to a particular class of machine learning algorithms

se potrivea perfect cu o clasă specială de algoritmi de învățare automată

called convolutional neural network,

numită rețea neuronală convolutivă,

pioneered by Kunihiko Fukushima, Geoff Hinton, and Yann LeCun

inițiată de Kunihiko Fukushima, Geoff Hinton și Yann LeCun

back in the 1970s and '80s.

în anii '70 și '80.

Just like the brain consists of billions of highly connected neurons,

La fel cum creierul constă în miliarde de neuroni interconectați,

a basic operating unit in a neural network

o unitate elementară operațională dintr-o rețea neuronală

is a neuron-like node.

e un nod asemănător neuronului.

It takes input from other nodes

Primește impulsuri de la unele noduri și trimite impulsuri altora.

and sends output to others.

Moreover, these hundreds of thousands or even millions of nodes

Mai mult, aceste sute de mii sau chiar milioane de noduri

are organized in hierarchical layers,

sunt organizate în straturi ierarhice, şi ele similare creierului.

also similar to the brain.

In a typical neural network we use to train our object recognition model,

Într-o rețea neuronală tipică folosită la antrenarea recunoașterii obiectelor

it has 24 million nodes,

sunt 24 de milioane de noduri, 140 de milioane de parametri

140 million parameters,

and 15 billion connections.

și 15 miliarde de conexiuni.

That's an enormous model.

E un model enorm.

Alimentată de datele masive din ImageNet

Powered by the massive data from ImageNet

and the modern CPUs and GPUs to train such a humongous model,

și de unitățile moderne de procesare pentru a antrena un asemenea model imens,

the convolutional neural network

rețeaua neuronală convolutivă a înflorit într-un mod neașteptat.

blossomed in a way that no one expected.

It became the winning architecture

A devenit arhitectura câștigătoare

to generate exciting new results in object recognition.

care a generat noi rezultate captivante în recunoașterea obiectelor.

This is a computer telling us

E un computer care ne spune că e poza unei pisici și unde e pisica.

this picture contains a cat

and where the cat is.

Sigur că nu există doar pisici, așa că iată un computer spunându-ne

Of course there are more things than cats,

so here's a computer algorithm telling us

the picture contains a boy and a teddy bear;

că poza conține un băiat și un urs de pluș,

a dog, a person, and a small kite in the background;

un cățel, o persoană și un mic zmeu în fundal;

sau o poză foarte aglomerată

or a picture of very busy things

like a man, a skateboard, railings, a lampost, and so on.

precum un bărbat, un skateboard, balustrade, un felinar și tot așa.

Sometimes, when the computer is not so confident about what it sees,

Uneori, când computerul nu este foarte sigur de ce vede,

l-am învățat să fie destul de deștept

we have taught it to be smart enough

to give us a safe answer instead of committing too much,

încât să dea un răspuns sigur în loc să se chinuie prea mult,

just like we would do,

așa cum am face noi,

but other times our computer algorithm is remarkable at telling us

dar uneori algoritmul e remarcabil, spunându-ne exact ce sunt obiectele,

what exactly the objects are,

like the make, model, year of the cars.

ca marca, modelul, anul de fabricație al mașinilor.

We applied this algorithm to millions of Google Street View images

Am aplicat acest algoritm pe milioane de imagini Google Street View

across hundreds of American cities,

din sute de orașe americane și am aflat ceva foarte interesant.

and we have learned something really interesting:

first, it confirmed our common wisdom

În primul rând, a confirmat cunoștințele generale

that car prices correlate very well

că prețurile mașinilor sunt corelate cu venitul familiilor.

with household incomes.

But surprisingly, car prices also correlate well

Dar surprinzător, sunt corelate și cu rata criminalității în orașe

with crime rates in cities,

sau tiparul voturilor pe coduri poștale.

or voting patterns by zip codes.

Stai un pic. Asta-i tot?

So wait a minute. Is that it?

Has the computer already matched or even surpassed human capabilities?

Computerul a egalat sau a întrecut abilităţile umane?

Not so fast.

Să nu ne grăbim..

So far, we have just taught the computer to see objects.

Am învățat computerul să vadă obiecte, ca un copil care pronunță câteva cuvinte.

This is like a small child learning to utter a few nouns.

It's an incredible accomplishment,

E o realizare incredibilă, dar e doar primul pas.

but it's only the first step.

Soon, another developmental milestone will be hit,

Curând, un alt prag va fi atins, iar copiii vor comunica în propoziții.

and children begin to communicate in sentences.

So instead of saying this is a cat in the picture,

Astfel în loc să spună că „asta e o pisică în poză”,

you already heard the little girl telling us this is a cat lying on a bed.

deja ați auzit-o pe fetiță, spunându-ne că e „o pisică întinsă pe pat”.

So to teach a computer to see a picture and generate sentences,

Ca să învățăm un computer să vadă o poză și să genereze propoziții,

the marriage between big data and machine learning algorithm

mariajul dintre colecțiile mari de date și algoritmii de învățare automată

has to take another step.

trebuie să facă un nou pas.

Now, the computer has to learn from both pictures

Computerul trebuie să învețe din imagini dar și din propozițile rostite de oameni.

as well as natural language sentences

generated by humans.

Just like the brain integrates vision and language,

La fel cum creierul integrează viziunea și limbajul,

we developed a model that connects parts of visual things

am dezvoltat un model ce conectează părți vizuale,

like visual snippets

ca fragmente vizuale, cu cuvinte și propoziții în fraze.

with words and phrases in sentences.

About four months ago,

Cam acum 4 luni am pus totul cap-la-cap,

we finally tied all this together

and produced one of the first computer vision models

și am creat unul dintre primele computere ce recunosc imaginile

that is capable of generating a human-like sentence

şi e capabil să genereze propoziții similare celor umane

when it sees a picture for the first time.

când vede o poză pentru prima dată.

Now, I'm ready to show you what the computer says

Veţi vedea ce spune computerul despre poza pe care a văzut-o fetița la început.

when it sees the picture

that the little girl saw at the beginning of this talk.

(Video) Computer: A man is standing next to an elephant.

„Un bărbat stă lângă un elefant.”

A large airplane sitting on top of an airport runway.

„Un avion mare stă pe pista unui aeroport.”

FFL: Of course, we're still working hard to improve our algorithms,

Bineînțeles, încă lucrăm din greu să îmbunătățim algoritmii

and it still has a lot to learn.

și are încă multe de învățat.

(Applause)

(Aplauze)

And the computer still makes mistakes.

Iar computerul încă face greșeli.

(Video) Computer: A cat lying on a bed in a blanket.

„O pisică întinsă pe pat într-o pătură.”

FFL: So of course, when it sees too many cats,

Când vede prea multe pisici, crede că totul arată ca o pisică.

it thinks everything might look like a cat.

(Video) Computer: A young boy is holding a baseball bat.

„Un băiat ținând o bâtă de baseball.”

(Laughter)

(Râsete)

FFL: Or, if it hasn't seen a toothbrush, it confuses it with a baseball bat.

Dacă n-a văzut o periuță de dinți, o confundă cu o bâtă de baseball.

(Video) Computer: A man riding a horse down a street next to a building.

„Un bărbat călărește un cal pe o stradă lângă o clădire.”

(Laughter)

(Râsete)

FFL: We haven't taught Art 101 to the computers.

Nu le-am predat arta computerelor.

(Video) Computer: A zebra standing in a field of grass.

„O zebră stând într-un câmp cu iarbă.”

FFL: And it hasn't learned to appreciate the stunning beauty of nature

N-a învățat să aprecieze frumusețea naturii ca şi noi.

like you and I do.

So it has been a long journey.

A fost o călătorie lungă.

To get from age zero to three was hard.

Să ajungem cu vârsta de la 0 la 3 ani a fost greu.

The real challenge is to go from three to 13 and far beyond.

Adevărata provocare e să trecem de la 3 la 13 și mai departe.

Să vă reamintesc poza asta cu băiatul și tortul.

Let me remind you with this picture of the boy and the cake again.

So far, we have taught the computer to see objects

Până acum am învățat computerul să vadă obiecte

or even tell us a simple story when seeing a picture.

sau chiar să ne spună o poveste simplă când vede poza.

(Video) Computer: A person sitting at a table with a cake.

„O persoană stând la masă cu un tort.”

FFL: But there's so much more to this picture

Dar e mult mai mult în această poză decât o persoană și un tort.

than just a person and a cake.

What the computer doesn't see is that this is a special Italian cake

Computerul nu vede că acesta e un tort italian special

that's only served during Easter time.

servit doar în preajma Paștelui.

The boy is wearing his favorite t-shirt

Băiatul poartă tricoul său preferat

given to him as a gift by his father after a trip to Sydney,

dăruit de tatăl său, după o excursie în Sydney,

and you and I can all tell how happy he is

iar noi putem vedea cât de fericit e și ce are de gând.

and what's exactly on his mind at that moment.

This is my son Leo.

Acesta e fiul meu Leo.

On my quest for visual intelligence,

În cercetarea inteligenței vizuale,

I think of Leo constantly

mă gândesc constant la Leo și la lumea în care va trăi.

and the future world he will live in.

When machines can see,

Când mașinăriile pot vedea,

doctors and nurses will have extra pairs of tireless eyes

doctorii și asistentele vor avea alte perechi de ochi neobosiți

to help them to diagnose and take care of patients.

să-i ajute să diagnosticheze și să aibă grijă de pacienți.

Cars will run smarter and safer on the road.

Mașinile vor merge mai inteligent și mai sigur pe drum.

Robots, not just humans,

Roboții, nu doar oamenii,

will help us to brave the disaster zones to save the trapped and wounded.

ne vor ajuta în zonele de dezastru pentru a-i salva pe captivi și răniți.

We will discover new species, better materials,

Vom descoperi noi specii, materiale mai bune

and explore unseen frontiers with the help of the machines.

și vom explora frontiere nevăzute cu ajutorul mașinăriilor.

Little by little, we're giving sight to the machines.

Încet-încet, facem mașinăriile să vadă.

First, we teach them to see.

Întâi le învățăm pe ele să vadă.

Then, they help us to see better.

Apoi ne vor ajuta să vedem noi mai bine.

For the first time, human eyes won't be the only ones

Pentru prima dată, nu doar ochii umani vor analiza şi explora lumea.

pondering and exploring our world.

We will not only use the machines for their intelligence,

Vom folosi mașinăriile pentru inteligența lor

we will also collaborate with them in ways that we cannot even imagine.

şi vom colabora cu ele în moduri în care nici nu ne imaginăm.

This is my quest:

Asta e misiunea mea: să ofer computerelor inteligența vizuală

to give computers visual intelligence

and to create a better future for Leo and for the world.

și să creez un viitor mai bun pentru Leo și pentru lume.

Thank you.

Mulțumesc.

(Applause)

(Aplauze)