How we teach computers to understand pictures | Fei Fei Li

Translator: Aviaja Josenius Reviewer: Anders Finn Jørgensen

Let me show you something.

Lad mig vise jer noget.

(Video) Girl: Okay, that's a cat sitting in a bed.

(Video) Pige: Ok, det er en kat der sidder i en seng.

The boy is petting the elephant.

Drengen klapper elefanten.

Those are people that are going on an airplane.

Det er folk, der går ind i en flymaskine.

That's a big airplane.

Det er en stor flymaskine.

Fei-Fei Li: This is a three-year-old child

Fei-Fei Li: Det her er et treårigt barn

describing what she sees in a series of photos.

der beskriver hvad hun ser i en række billeder.

She might still have a lot to learn about this world,

Hun har endnu masser at lære om verden

but she's already an expert at one very important task:

men hun er allerede ekspert i en meget vigtig ting:

to make sense of what she sees.

at få mening ud af det hun ser.

Our society is more technologically advanced than ever.

Vort samfund er mere teknologisk avanceret end nogensinde.

We send people to the moon, we make phones that talk to us

Vi sender folk til månen, vi laver telefoner der taler til os

or customize radio stations that can play only music we like.

eller tilpasser radio stationer der kan spille musik som kun vi kan lide.

Yet, our most advanced machines and computers

Alligevel har de mest avancerede maskiner og computere

still struggle at this task.

stadig problemer med dette.

So I'm here today to give you a progress report

Jeg er her idag for at give jer en statusrapport

on the latest advances in our research in computer vision,

på de nyeste fremskridt i forskningen af computer vision

one of the most frontier and potentially revolutionary

en af de mest banebrydende og muligvis revolutionære

technologies in computer science.

teknologier i computer videnskab.

Yes, we have prototyped cars that can drive by themselves,

Ja, vi har prototyper af biler, der er selvkørende

but without smart vision, they cannot really tell the difference

men uden intelligent vision kan de ikke se forskel

between a crumpled paper bag on the road, which can be run over,

mellem en krøllet pose på vejen, der kan køres over

and a rock that size, which should be avoided.

og en sten af samme størrelse, der skal undgås.

We have made fabulous megapixel cameras,

Vi har lavet fabelagtige megapixel kameraer

but we have not delivered sight to the blind.

men vi har ikke givet blinde syn.

Drones can fly over massive land,

Droner kan flyve over store landområder

but don't have enough vision technology

men vi har ikke nok vision teknologi

to help us to track the changes of the rainforests.

til at følge forandringerne i regnskoven.

Security cameras are everywhere,

Sikkerhedskameraer er allevegne

but they do not alert us when a child is drowning in a swimming pool.

men de advarer os ikke, når et barn drukner i en svømmepøl.

Photos and videos are becoming an integral part of global life.

Foto og video er blevet en integreret del af det globale liv.

They're being generated at a pace that's far beyond what any human,

De bliver fremstillet hurtigere end noget menneske

or teams of humans, could hope to view,

eller hold af folk kan nå at se

and you and I are contributing to that at this TED.

og du og jeg bidrager til det ved denne TED.

Yet our most advanced software is still struggling at understanding

Vor mest avancerede software kæmper stadig med at forstå

and managing this enormous content.

og administrere dette enorme indhold.

So in other words, collectively as a society,

Med andre ord er vi kollektivt som samfund

we're very much blind,

stadig meget blinde,

because our smartest machines are still blind.

for vor klogeste maskiner er stadig blinde.

"Why is this so hard?" you may ask.

"Hvorfor er det så svært?" spørger du måske.

Cameras can take pictures like this one

Kameraer tager billeder som dette

by converting lights into a two-dimensional array of numbers

ved at konvertere lys til en to-dimensionel række af tal

known as pixels,

kendt som pixler

but these are just lifeless numbers.

men de er kun livløse tal.

They do not carry meaning in themselves.

De har ingen mening i sig selv.

Just like to hear is not the same as to listen,

Ligesom at høre ikke er det samme som at lytte

to take pictures is not the same as to see,

er det at tage billeder ikke det samme som at se

and by seeing, we really mean understanding.

og ved at se mener vi at forstå.

In fact, it took Mother Nature 540 million years of hard work

Faktisk tog det Moder Natur 540 mio. års hårdt arbejde

to do this task,

at løse denne opgave

and much of that effort

og megen af den indsats

went into developing the visual processing apparatus of our brains,

gik til at udvikle det visuelle apparat i vor hjerner

not the eyes themselves.

og ikke selve øjnene.

So vision begins with the eyes,

Vision starter med øjnene

but it truly takes place in the brain.

men foregår virkelig i hjernen.

So for 15 years now, starting from my Ph.D. at Caltech

I 15 år nu, fra min Ph.D. i Caltech

and then leading Stanford's Vision Lab,

og bagefter da jeg førte Stanford´s Vision Lab,

I've been working with my mentors, collaborators and students

har jeg arbejdet med mine mentorer, kolleger og elever

to teach computers to see.

med at lære computere at se.

Our research field is called computer vision and machine learning.

Vort forskningsfelt kaldes computer vision og maskinlærdom.

It's part of the general field of artificial intelligence.

Det er en del af det generelle felt af kunstig intelligens.

So ultimately, we want to teach the machines to see just like we do:

Vi vil lære maskiner at se ligesom os:

naming objects, identifying people, inferring 3D geometry of things,

identificere objekter, mennesker og udlede 3D geometrien af ting

understanding relations, emotions, actions and intentions.

at forstå relationer, følelser handlinger og intentioner.

You and I weave together entire stories of people, places and things

Du og jeg udleder hele historier af folk, steder og ting

the moment we lay our gaze on them.

i det sekund vi kigger på dem.

The first step towards this goal is to teach a computer to see objects,

Første skridt mod dette mål er at lære computere at se objekter,

the building block of the visual world.

byggestenene i den visuelle verden.

In its simplest terms, imagine this teaching process

Enklest sagt, kan du forestille dig denne lærdomsproces

as showing the computers some training images

som at vise computere nogle træningsbilleder

of a particular object, let's say cats,

af et bestemt objekt, f.eks. katte

and designing a model that learns from these training images.

og designe en model der lærer af disse træningsbilleder.

How hard can this be?

Hvor svært kan det være?

After all, a cat is just a collection of shapes and colors,

En kat er jo en samling af former og farver,

and this is what we did in the early days of object modeling.

og dét er hvad vi gjorde i starten af objekt modelleringen.

We'd tell the computer algorithm in a mathematical language

Vi fortalte computer algoritmen i et matematisk sprog

that a cat has a round face, a chubby body,

at en kat har et rundt ansigt, en fyldig krop,

two pointy ears, and a long tail,

to spidse ører og en lang hale

and that looked all fine.

og det virkede fint.

But what about this cat?

Men hvad med denne kat?

(Laughter)

(Latter)

It's all curled up.

Den er helt sammenfoldet.

Now you have to add another shape and viewpoint to the object model.

Nu bliver du nødt til at tilføje en ny form og udsigtspunkt til objektet.

But what if cats are hidden?

Men hvad hvis katten er gemt?

What about these silly cats?

Hvad med disse fjollede katte?

Now you get my point.

Nu ser I problemet.

Even something as simple as a household pet

Selv noget så simpelt som et husdyr

can present an infinite number of variations to the object model,

kan lave uendelige variationer til objekt modelleringen,

and that's just one object.

og det er kun ét objekt.

So about eight years ago,

For omkring otte år siden

a very simple and profound observation changed my thinking.

forandrede en meget simpel og dyb observering min tænkemåde.

No one tells a child how to see,

Ingen fortæller et barn hvordan det ser,

especially in the early years.

særlig i de tidligste år.

They learn this through real-world experiences and examples.

De lærer dette gennem virkelige erfaringer og eksempler.

If you consider a child's eyes

Hvis man ser et barns øjne

as a pair of biological cameras,

som et par biologiske kameraer

they take one picture about every 200 milliseconds,

tager de et billede ca. hver 200 millisekunder,

the average time an eye movement is made.

gennemsnitstiden for hver bevægelse i øjnene.

So by age three, a child would have seen hundreds of millions of pictures

Ved tre-årstiden vil et barn have set hundrede mio. billeder

of the real world.

af den virkelige verden.

That's a lot of training examples.

Det er mange træningseksempler.

So instead of focusing solely on better and better algorithms,

Istedet for kun at fokusere på bedre og bedre algoritmer

my insight was to give the algorithms the kind of training data

var min indsigt at give algoritmerne den slags træningsdata

that a child was given through experiences

som et barn får gennem erfaringer

in both quantity and quality.

både i kvalitet og kvantitet.

Once we know this,

Når vi ved dette,

we knew we needed to collect a data set

kan vi begynde at samle et data sæt

that has far more images than we have ever had before,

som har langt flere billeder end vi før har haft,

perhaps thousands of times more,

måske tusindvis af gange mere,

and together with Professor Kai Li at Princeton University,

og sammen med professor Kai Li i Princeton University

we launched the ImageNet project in 2007.

startede vi ImageNet projektet i 2007.

Luckily, we didn't have to mount a camera on our head

Heldigvis behøvede vi ikke at sætte et kamera på hovedet

and wait for many years.

og vente i mange år.

We went to the Internet,

Vi tog på Internettet,

the biggest treasure trove of pictures that humans have ever created.

den største samling af billeder som mennesket nogensinde har lavet.

We downloaded nearly a billion images

Vi downloadede næsten en milliard billeder

and used crowdsourcing technology like the Amazon Mechanical Turk platform

og brugte crowdsource teknologier såsom Amazon Mechanical Turk platformen

to help us to label these images.

til at hjælpe med at sortere billederne.

At its peak, ImageNet was one of the biggest employers

På sit højeste var ImageNet en af de største arbejdsgivere

of the Amazon Mechanical Turk workers:

af alle Amazon Mechanical Turk ansatte:

together, almost 50,000 workers

tilsammen hjalp næsten 50,000 ansatte

from 167 countries around the world

fra 167 lande rundt omkring i verden

helped us to clean, sort and label

os med at rense, sortere og rubricere

nearly a billion candidate images.

næsten en milliard kandidat-billeder.

That was how much effort it took

Så megen indsats tog det

to capture even a fraction of the imagery

at fange selv en brøkdel af alle de billeder

a child's mind takes in in the early developmental years.

som et barns hjerne bearbejder i de første leveår.

In hindsight, this idea of using big data

Set i bakspejlet er denne idé med at bruge massive data

to train computer algorithms may seem obvious now,

til at træne computer algoritmer måske indlysende,

but back in 2007, it was not so obvious.

men i 2007 var det ikke så enkelt.

We were fairly alone on this journey for quite a while.

Vi var ret alene på denne rejse i et godt stykke tid.

Some very friendly colleagues advised me to do something more useful for my tenure,

Nogle venlige kolleger gav mig det råd at bruge arbejdstiden mere effektivt

and we were constantly struggling for research funding.

og vi arbejdede hårdt for at skaffe forskningsmidler.

Once, I even joked to my graduate students

Jeg jokede også med mine kandidatstuderende

that I would just reopen my dry cleaner's shop to fund ImageNet.

at jeg ville genåbne mit renseri for at skaffe penge til ImageNet.

After all, that's how I funded my college years.

Det er jo hvordan jeg finansierede mine universitetsår.

So we carried on.

Så vi fortsatte.

In 2009, the ImageNet project delivered

I 2009 leverede ImageNet projektet

a database of 15 million images

en database på 15 millioner billeder

across 22,000 classes of objects and things

bestående af 22,000 klasser af objekter og ting

organized by everyday English words.

organiseret af engelske dagligdags-ord.

In both quantity and quality,

I både kvalitet og kvantitet

this was an unprecedented scale.

var dette aldrig set før.

As an example, in the case of cats,

F.eks. i eksemplet med katte

we have more than 62,000 cats

har vi nu mere end 62,000 katte

of all kinds of looks and poses

af alle slags udseender og positioner

and across all species of domestic and wild cats.

og af alle racer af både hus- og vilde katte.

We were thrilled to have put together ImageNet,

Vi var utrolig glade for at have sammensat ImageNet,

and we wanted the whole research world to benefit from it,

og vi ville, at hele forskningsverdenen ville få gavn af dette,

so in the TED fashion, we opened up the entire data set

så på ren TED-manér åbnede vi for hele data-sættet

to the worldwide research community for free.

gratis til hele forsknings-fællesskabet.

(Applause)

(Bifald)

Now that we have the data to nourish our computer brain,

Nu, da vi har data til at nære vor computer-hjerne

we're ready to come back to the algorithms themselves.

er vi klar til at tage fat på selve algoritmerne.

As it turned out, the wealth of information provided by ImageNet

Det viste sig at overfloden af information som ImageNet gav

was a perfect match to a particular class of machine learning algorithms

passede perfekt til en særlig klasse af maskinlærings-algoritmer

called convolutional neural network,

kaldet sammenfoldede neurale netværk,

pioneered by Kunihiko Fukushima, Geoff Hinton, and Yann LeCun

udviklet af Kunihiko Fukushima, Geoff Hinton og Yann LeCun

back in the 1970s and '80s.

i 1970´erne og 80´erne.

Just like the brain consists of billions of highly connected neurons,

Ligesom hjernen består af milliarder af sammenkædede neuroner,

a basic operating unit in a neural network

er et grundlæggende armatur i et neuralt netværk

is a neuron-like node.

som en neuron-lignende node.

It takes input from other nodes

Det tager input fra andre noder

and sends output to others.

og sender output til andre.

Moreover, these hundreds of thousands or even millions of nodes

Disse hundrede tusinder eller endda millioner af noder

are organized in hierarchical layers,

er organiseret i hierarkiske lag,

also similar to the brain.

ligesom i hjernen.

In a typical neural network we use to train our object recognition model,

I et typisk neuralt netværk vi bruger til at træne vor objekt-genkendelsesmodel,

it has 24 million nodes,

er der 24 millioner knuder,

140 million parameters,

140 millioner parametre,

and 15 billion connections.

og 15 milliarder tilslutninger.

That's an enormous model.

Det er en enorm model.

Powered by the massive data from ImageNet

Drevet af de massive data fra ImageNet,

and the modern CPUs and GPUs to train such a humongous model,

og de moderne CPU´er og GPU´er brugt til at træne en så stor model,

the convolutional neural network

begyndte det sammenfoldede neurale netværk

blossomed in a way that no one expected.

at blomstre på en måde ingen forventede.

It became the winning architecture

Det blev den førende arkitektur

to generate exciting new results in object recognition.

til at genere spændende nye resultater i objekt-genkendelse.

This is a computer telling us

Dét her er en computer, der fortæller os

this picture contains a cat

at dette billede indeholder en kat

and where the cat is.

og hvor katten er.

Of course there are more things than cats,

Der er selvfølgelig andre ting end katte

so here's a computer algorithm telling us

så her er en computer algoritme der fortæller

the picture contains a boy and a teddy bear;

at dette billede indeholder en dreng og en bamse;

a dog, a person, and a small kite in the background;

en hund, en person og en lille drage i baggrunden;

or a picture of very busy things

eller et billede af meget travle ting

like a man, a skateboard, railings, a lampost, and so on.

som en mand, et skateboard, rækværk, en lygtepæl, og så videre.

Sometimes, when the computer is not so confident about what it sees,

Sommetider, når computeren ikke er så sikker på hvad den ser,

we have taught it to be smart enough

har den lært at være klog nok

to give us a safe answer instead of committing too much,

til at give os et sikkert svar i stedet for at være for skråsikker sig,

just like we would do,

ligesom vi ville,

but other times our computer algorithm is remarkable at telling us

men som regel er algoritmen utrolig god til at fortælle os

what exactly the objects are,

præcis hvad objekterne er,

like the make, model, year of the cars.

som fremstillingen, modellen og årgangen af bilerne.

We applied this algorithm to millions of Google Street View images

Vi anvendte algoritmerne i mio. af Google Street View billeder

across hundreds of American cities,

i hundreder af amerikanske byer,

and we have learned something really interesting:

og vi har lært noget meget interessant:

first, it confirmed our common wisdom

vi fik bekræftet den gængse viden

that car prices correlate very well

at bilpriser korrelerer meget godt

with household incomes.

med husholdningsindtægter.

But surprisingly, car prices also correlate well

Men overraskende nok korrelerer bilpriser godt

with crime rates in cities,

med kriminalitet i byer,

or voting patterns by zip codes.

eller stemmemønstre ved postnumre.

So wait a minute. Is that it?

Vent lidt. Er dét alt?

Has the computer already matched or even surpassed human capabilities?

Har computeren allerede nået eller endda overhalet menneskelige evner?

Not so fast.

Øjeblik.

So far, we have just taught the computer to see objects.

Indtil videre har vi kun lært computeren at se objekter.

This is like a small child learning to utter a few nouns.

Det er ligesom et barn, der lærer at udtale nogle få navneord.

It's an incredible accomplishment,

Det er en utrolig stor udrettelse,

but it's only the first step.

men det er kun første skridt.

Soon, another developmental milestone will be hit,

Snart vil en ny udviklingsmæssig milepæl blive nået,

and children begin to communicate in sentences.

og barnet begynder at kommunikere i sætninger.

So instead of saying this is a cat in the picture,

Istedet for at sige at dette er en kat på billedet,

you already heard the little girl telling us this is a cat lying on a bed.

har vi allerede hørt pigen sige, at dette er en kat der ligger på en seng.

So to teach a computer to see a picture and generate sentences,

For at lære en computer at se et billede og lave sætninger,

the marriage between big data and machine learning algorithm

må sammenføringen af massive data og maskinlærings-algoritmer

has to take another step.

tages til et nyt niveau.

Now, the computer has to learn from both pictures

Nu må computeren lære fra både billeder

as well as natural language sentences

og naturlige sprog-sætninger

generated by humans.

fra mennesker.

Just like the brain integrates vision and language,

Ligesom hjernen integrerer vision og sprog

we developed a model that connects parts of visual things

har vi udviklet en model, der sammenfører dele af visuelle ting,

like visual snippets

eller visuelle klip,

with words and phrases in sentences.

med ord og fraser i sætninger.

About four months ago,

For fire måneder siden

we finally tied all this together

fik vi endelig sammensat alt dette

and produced one of the first computer vision models

og producerede en af de første computervision modeller

that is capable of generating a human-like sentence

der er i stand til at lave en menneskelignende sætning

when it sees a picture for the first time.

når den ser et billede for første gang.

Now, I'm ready to show you what the computer says

Nu er jeg klar til at vise jer hvad computeren siger,

when it sees the picture

når den ser billedet af

that the little girl saw at the beginning of this talk.

hvad den lille pige så i starten af dette foredrag.

(Video) Computer: A man is standing next to an elephant.

(Video) Computer: En mand står ved siden af en elefant.

A large airplane sitting on top of an airport runway.

Et stort fly står på en landingsbane i en lufthavn.

FFL: Of course, we're still working hard to improve our algorithms,

FFL: Selvfølgelig arbejder vi stadig hårdt med at forbedre vor algoritmer,

and it still has a lot to learn.

og den har stadig meget at lære.

(Applause)

(Bifald)

And the computer still makes mistakes.

Og computeren laver stadig fejl.

(Video) Computer: A cat lying on a bed in a blanket.

(Video) Computer: En kat ligger i et tæppe på en seng.

FFL: So of course, when it sees too many cats,

FFL: Så selvfølgelig, når den ser for mange katte,

it thinks everything might look like a cat.

tror den at alt ligner en kat.

(Video) Computer: A young boy is holding a baseball bat.

(Video) Comp.: En lille dreng holder et baseball bat.

(Laughter)

(Latter)

FFL: Or, if it hasn't seen a toothbrush, it confuses it with a baseball bat.

FFL: Eller hvis den ikke har set en tand- børste før, tror den at det er et bat.

(Video) Computer: A man riding a horse down a street next to a building.

(Video) Comp.: En mand rider en hest på en vej ved siden af en bygning.

(Laughter)

(Latter)

FFL: We haven't taught Art 101 to the computers.

FFL: Vi har ikke lært computere kunst.

(Video) Computer: A zebra standing in a field of grass.

(Video) Comp.: En zebra står på en eng.

FFL: And it hasn't learned to appreciate the stunning beauty of nature

FFL: Og den har ikke lært at værdsætte naturens utrolige skønhed

like you and I do.

som du og jeg.

So it has been a long journey.

Så det har været en lang rejse.

To get from age zero to three was hard.

Det var svært at nå treårsalderen.

The real challenge is to go from three to 13 and far beyond.

Udfordringen ligger i at nå 13-årsstadiet og endnu længere frem.

Let me remind you with this picture of the boy and the cake again.

Lad mig minde jer om billedet af drengen og kagen igen.

So far, we have taught the computer to see objects

Indtil videre har vi lært computere at se objekter

or even tell us a simple story when seeing a picture.

eller endda fortælle en simpel historie når den ser et billede.

(Video) Computer: A person sitting at a table with a cake.

(Video) Computer.: En person sidder ved et bord med en kage.

FFL: But there's so much more to this picture

FFL: Men der er så meget mere ved dette billede

than just a person and a cake.

end kun en person og en kage.

What the computer doesn't see is that this is a special Italian cake

Hvad computeren ikke ser, er at dette er en speciel italiensk kage

that's only served during Easter time.

som kun bliver serveret ved påske.

The boy is wearing his favorite t-shirt

Drengen er i sin yndlings t-shirt

given to him as a gift by his father after a trip to Sydney,

som hans far gav ham efter en tur til Sydney,

and you and I can all tell how happy he is

og vi kan se hvor glad han er

and what's exactly on his mind at that moment.

og præcis hvad han tænker i dette øjeblik.

This is my son Leo.

Dette er min søn Leo.

On my quest for visual intelligence,

På min mission for visuel intelligens

I think of Leo constantly

tænker jeg konstant på Leo

and the future world he will live in.

og fremtidens verden han vil leve i.

When machines can see,

Når maskiner kan se

doctors and nurses will have extra pairs of tireless eyes

vil læger og sygeplejersker have ekstra utrættelige øjne

to help them to diagnose and take care of patients.

til at hjælpe med at diagnosticere og pleje patienter.

Cars will run smarter and safer on the road.

Biler vil være klogere og sikrere på vejene.

Robots, not just humans,

Robotter, ikke kun mennesker,

will help us to brave the disaster zones to save the trapped and wounded.

vil hjælpe med at redde sårede mennesker på ulykkessteder.

We will discover new species, better materials,

Vi vil opdage nye arter, bedre materialer,

and explore unseen frontiers with the help of the machines.

og udforske nye territorier ved hjælp af maskiner.

Little by little, we're giving sight to the machines.

Vi lærer maskiner at se med tiden.

First, we teach them to see.

Først lærer vi dem at se.

Then, they help us to see better.

Så lærer de os at se bedre.

For the first time, human eyes won't be the only ones

For første gang vil menneskelige øjne ikke være de eneste

pondering and exploring our world.

som iagttager og udforsker vor verden.

We will not only use the machines for their intelligence,

Vi vil ikke blot bruge maskiner for deres intelligens,

we will also collaborate with them in ways that we cannot even imagine.

vi vil også samarbejde med dem på måder vi end ikke kan forestille os.

This is my quest:

Dette er min mission:

to give computers visual intelligence

at give computere visuel intelligens

and to create a better future for Leo and for the world.

og at skabe en bedre fremtid for Leo og for verden.

Thank you.

Tak skal I have.

(Applause)

(Bifald)