How we teach computers to understand pictures | Fei Fei Li

Překladatel: Jana Medonosová Korektor: Kateřina Jabůrková

Let me show you something.

Něco vám ukážu.

(Video) Holčička: Dobře, to je kočka sedící na posteli.

(Video) Girl: Okay, that's a cat sitting in a bed.

The boy is petting the elephant.

Kluk si hladí slona.

Those are people that are going on an airplane.

To jsou lidi, co nastupují do letadla.

That's a big airplane.

Je to velké letadlo.

Fei-Fei Li: This is a three-year-old child

Fei-Fei Li: Toto je tříleté dítě

describing what she sees in a series of photos.

popisující, co vidí na sérii fotek.

She might still have a lot to learn about this world,

Ještě se má hodně co učit o světě,

but she's already an expert at one very important task:

ale už teď je expert na jednu velmi důležitou věc:

to make sense of what she sees.

dávat smysl tomu, co vidí.

Naše společnost je více technologicky vyvinutá než kdy předtím.

Our society is more technologically advanced than ever.

We send people to the moon, we make phones that talk to us

Posíláme lidi na měsíc, vyrábíme telefony, co na nás mluví,

or customize radio stations that can play only music we like.

nebo si můžeme upravit radio, aby hrálo jenom hudbu, kterou chceme.

Yet, our most advanced machines and computers

Přesto naše nejvyvinutější stroje a počítače

still struggle at this task.

tenhle úkol nezvládají.

So I'm here today to give you a progress report

Já jsem tu dnes, abych vám dala hlášení o vývoji

on the latest advances in our research in computer vision,

posledních pokroků v našem výzkumu počítačového zraku,

one of the most frontier and potentially revolutionary

jedné z nejhraničnějších a potencionálně revolučních

technologies in computer science.

technologiích v počítačové vědě.

Yes, we have prototyped cars that can drive by themselves,

Ano, navrhli jsme auta, která sama řídí,

but without smart vision, they cannot really tell the difference

ale bez chytrého zraku, nerozeznají

between a crumpled paper bag on the road, which can be run over,

zmuchlaný papírový sáček na silnici, který se může přejet,

and a rock that size, which should be avoided.

od kamenu stejné velikosti, který by bylo lepší objet.

We have made fabulous megapixel cameras,

Vytvořili jsme úžasné megapixelové foťáky,

but we have not delivered sight to the blind.

ale neumíme slepým vrátit zrak.

Drones can fly over massive land,

Drony mohou létat po rozsáhlé krajině,

but don't have enough vision technology

ale nemají dostatečnou vizuální technologie,

to help us to track the changes of the rainforests.

aby nám pomohly mapovat změny v deštných pralesech.

Security cameras are everywhere,

Kamerové systémy jsou všude,

but they do not alert us when a child is drowning in a swimming pool.

ale neupozorní nás, když se dítě topí v bazénu.

Photos and videos are becoming an integral part of global life.

Fotky a videa se stávají nezbytnou součástí života.

They're being generated at a pace that's far beyond what any human,

Jsou vytvářeny rychlostí, která je mnohem vyšší

or teams of humans, could hope to view,

než jsme si dokázali představit,

and you and I are contributing to that at this TED.

a já zde na TEDu k tomu přispívám.

Yet our most advanced software is still struggling at understanding

Přesto všechno naše nejdokonalejší programy stále zápasí s porozuměním

and managing this enormous content.

a ovládáním tohoto ohromného obsahu.

So in other words, collectively as a society,

Jiný slovy, dohromady jako společnost

we're very much blind,

jsme prakticky slepí,

because our smartest machines are still blind.

protože naše nejchytřejší stroje jsou slepé.

"Why is this so hard?" you may ask.

"Proč je to tak těžké?" ptáte se.

Cameras can take pictures like this one

Foťáky mohou vyfotit obrázek jako tento

by converting lights into a two-dimensional array of numbers

převedením světel do dvoudimenzionální soustavy

known as pixels,

známé jako pixely,

but these are just lifeless numbers.

ale to jsou jenom neživá čísla.

They do not carry meaning in themselves.

Sama o sobě nemají smysl.

Just like to hear is not the same as to listen,

Stejně jako slyšet není to samé jako poslouchat,

to take pictures is not the same as to see,

fotit není to samé jako vidět,

and by seeing, we really mean understanding.

a viděním myslíme chápaní.

In fact, it took Mother Nature 540 million years of hard work

Ve skutečnosti, Matce Zemi trvalo 540 milionů let tvrdé práce,

to do this task,

aby tohoto dosáhla

and much of that effort

a velká část této snahy

went into developing the visual processing apparatus of our brains,

padla na vývoj zrakové procesního aparátu v našem mozku,

not the eyes themselves.

nejen na oči samotné.

So vision begins with the eyes,

Takže zrak začíná očima,

but it truly takes place in the brain.

ale odehrává se v mozku.

So for 15 years now, starting from my Ph.D. at Caltech

Již po 15 let od mého doktorátu na Caltechu

and then leading Stanford's Vision Lab,

a vedení laboratoře Stanford's Vision,

I've been working with my mentors, collaborators and students

pracuji se svými mentory, spolupracovníky a studenty na tom,

to teach computers to see.

abychom naučili počítače vidět.

Our research field is called computer vision and machine learning.

Náš výzkum se jmenuje počítačový zrak a učení strojů.

It's part of the general field of artificial intelligence.

Je to součástí obecného oboru o umělé inteligenci.

So ultimately, we want to teach the machines to see just like we do:

Chceme naučit stroje, aby viděly jako my:

naming objects, identifying people, inferring 3D geometry of things,

pojmenovávat objekty, identifikovat lidi, odvozovat 3D geometrii věcí,

understanding relations, emotions, actions and intentions.

pochopení vztahů, emocí, akcí a úmyslů.

You and I weave together entire stories of people, places and things

Vy a já dohromady splétáme celé příběhy lidí, míst a věcí

the moment we lay our gaze on them.

v okamžik, kdy je spatříme.

The first step towards this goal is to teach a computer to see objects,

Prvním krokem k dosažení tohoto cíle je naučit počítače vidět objekty,

the building block of the visual world.

základní kameny světa vidění.

In its simplest terms, imagine this teaching process

Jednoduše řečeno, představte si tento proces učení

as showing the computers some training images

jako ukazování počítačům tréninkové obrázky

of a particular object, let's say cats,

konkrétního objektu, například koček,

and designing a model that learns from these training images.

a vytváření modelu, který se učí z těchto tréninkových obrázků.

How hard can this be?

Jak těžké to může být?

After all, a cat is just a collection of shapes and colors,

Vždyť kočka je jen sbírka tvarů a barev

and this is what we did in the early days of object modeling.

a to je přesně to, co jsme udělali v začátcích objektového modelování.

We'd tell the computer algorithm in a mathematical language

Naučili jsme počítače algoritmus v matematickém jazyce,

that a cat has a round face, a chubby body,

že kočka má kulatý obličej, zaoblené tělo,

two pointy ears, and a long tail,

dvě špičaté uši, a dlouhý ocas,

and that looked all fine.

a všechno vypadalo dobře.

But what about this cat?

Ale co třeba tahle kočka?

(Laughter)

(Smích)

Je celá pokřivená.

It's all curled up.

Now you have to add another shape and viewpoint to the object model.

Nyní musíte tedy přidat další tvar a pohled danému modelu.

But what if cats are hidden?

Ale co když jsou kočky schované?

What about these silly cats?

Co tyhle pošetilé kočky?

Now you get my point.

Teď už mě chápete.

Even something as simple as a household pet

Tak jednoduchá věc jako je domácí mazlíček

can present an infinite number of variations to the object model,

může mít nekonečné množství variací objektovému modelu,

and that's just one object.

a to je to jenom jeden objekt.

So about eight years ago,

Takže před zhruba osmi lety,

a very simple and profound observation changed my thinking.

jeden prostý, ale pronikavý prostřeh změnil mé myšlení.

No one tells a child how to see,

Nikdo neříká dítěti jak má vidět,

especially in the early years.

obzvláště v raném věku.

They learn this through real-world experiences and examples.

Naučí se to pomocí skutečných životních zkušeností a příkladů.

If you consider a child's eyes

Když si představíte dětské oči

as a pair of biological cameras,

jako pár biologických foťáků,

they take one picture about every 200 milliseconds,

vyfotí jeden obrázek každých 200 milisekund,

the average time an eye movement is made.

což je průměrný čas, za který se oko pohne.

So by age three, a child would have seen hundreds of millions of pictures

Takže ve třetím roce dítě vidělo stovky milionů obrázků

of the real world.

skutečného světa.

That's a lot of training examples.

To je celkem hodně tréninkových příkladů.

So instead of focusing solely on better and better algorithms,

Místo cílení na lepší algoritmy,

my insight was to give the algorithms the kind of training data

můj nápad byl dát algoritmům taková tréninková data,

that a child was given through experiences

jaká byla dána dítěti skrze zkušenosti

in both quantity and quality.

jak množstevně, tak kvalitou.

Once we know this,

Jakmile jsme toto pochopili,

we knew we needed to collect a data set

věděli jsme, že potřebujeme sehnat sadu dat,

that has far more images than we have ever had before,

která má v sobě mnohem více obrázků, než jsme kdy měli,

perhaps thousands of times more,

možná i tisíckrát více,

and together with Professor Kai Li at Princeton University,

a společně s profesorem Kai Li na Princetonské univerzitě,

we launched the ImageNet project in 2007.

jsme v roce 2007 spustili projekt ImageNet.

Luckily, we didn't have to mount a camera on our head

Naštěstí jsme si nemuseli namontovat kameru na hlavu

and wait for many years.

a čekat mnoho let.

We went to the Internet,

Šli jsme na internet,

the biggest treasure trove of pictures that humans have ever created.

největší pokladnice obrázků, kterou jsme jako lidé vytvořili.

We downloaded nearly a billion images

Stáhli jsme téměř miliardu obrázků

and used crowdsourcing technology like the Amazon Mechanical Turk platform

a využili crowdsourcingové technologie jako Amazon Mechanical Turk,

to help us to label these images.

aby nám pomohly pojmenovat tyto obrázky.

At its peak, ImageNet was one of the biggest employers

Na svém vrcholu, ImageNet byl jedním z největších zaměstnavatelů

of the Amazon Mechanical Turk workers:

pracovníků Amazon Mechanical Turk:

together, almost 50,000 workers

celkem téměř 50 tisíc pracovníků,

from 167 countries around the world

ze 167 zemí světa,

helped us to clean, sort and label

nám pomohlo vyčistit, utřídit a označit

nearly a billion candidate images.

téměř miliardu potencionálních obrázků.

That was how much effort it took

Přesně tolik úsilí nás stálo

to capture even a fraction of the imagery

zachytili pouze zlomek obrázků,

a child's mind takes in in the early developmental years.

které dětská mysl přijímá během svých počátečních vývojových let.

In hindsight, this idea of using big data

Při pohledu zpět, nápad používání velkého množství dat

to train computer algorithms may seem obvious now,

pro učení počítačových algoritmů se nyní může zdát samozřejmý,

but back in 2007, it was not so obvious.

ale v roce 2007 tomu tak nebylo.

We were fairly alone on this journey for quite a while.

Byli jsme po docela dlouhou dobu na této cestě sami.

Some very friendly colleagues advised me to do something more useful for my tenure,

Někteří mí kolegové mi doporučovali, abych dělala něco užitečnějšího,

and we were constantly struggling for research funding.

a neustále jsme sháněli finance pro náš výzkum.

Once, I even joked to my graduate students

Jednou jsem dokonce vtipkovala se svými studenty,

that I would just reopen my dry cleaner's shop to fund ImageNet.

že si znovu otevřu svoji čistírnu, abych zaplatila ImageNet.

After all, that's how I funded my college years.

Přece jen, tak jsem financovala svoje studia na univerzitě.

So we carried on.

Tak jsme pokračovali.

In 2009, the ImageNet project delivered

V roce 2009 projekt ImageNet vytvořil

a database of 15 million images

databázi 15 milionů obrázků

across 22,000 classes of objects and things

napříč 22 000 tříd objektů a věcí

organized by everyday English words.

organizovaných podle každodenních anglických slov.

In both quantity and quality,

V obou - kvantitě i kvalitě,

this was an unprecedented scale.

v nevídaném množství.

As an example, in the case of cats,

Uvedu příklad na zmiňovaných kočkách,

we have more than 62,000 cats

měli jsme více než 62 tisíc koček

of all kinds of looks and poses

různého vzhledu, v různých pózách

and across all species of domestic and wild cats.

a všechny druhy domácích i divokých koček.

We were thrilled to have put together ImageNet,

Byli jsme nadšení, že jsme mohli dát ImageNet dohromady

and we wanted the whole research world to benefit from it,

a chtěli jsme, aby toho mohl využívat celý výzkumný svět,

so in the TED fashion, we opened up the entire data set

takže podle TEDu, jsme celý náš data set otevřeli

to the worldwide research community for free.

pro celosvětovou výzkumnou komunitu zadarmo.

(Applause)

(Potlesk)

Now that we have the data to nourish our computer brain,

Když teď máme data, kterými můžeme krmit náš počítačový mozek,

we're ready to come back to the algorithms themselves.

jsme připraveni se vrátit zpět k algoritmům jako takovým.

As it turned out, the wealth of information provided by ImageNet

Jak se pak ukázalo, hojnost informací z ImageNetu

was a perfect match to a particular class of machine learning algorithms

byla perfektní pro konkrétní třídu algoritmů pro učení strojů, které

called convolutional neural network,

se nazývaly konvoluční neuronová síť,

pioneered by Kunihiko Fukushima, Geoff Hinton, and Yann LeCun

vytvořené Kunihikem Fukushimou, Geoffem Hintonem a Yannem LeCunem

back in the 1970s and '80s.

během 70. a 80. let 20. století.

Just like the brain consists of billions of highly connected neurons,

Stejně jako se mozek skládá z miliard vzájemně propojených neuronů,

a basic operating unit in a neural network

základní operační jednotkou v neuronové síti

is a neuron-like node.

je uzel podobný neuronu.

It takes input from other nodes

Vstup si vezme od jiných uzlů

and sends output to others.

a pošle výstup dalším.

Moreover, these hundreds of thousands or even millions of nodes

Navíc tyto stovky tisíc či dokonce miliony uzlů

are organized in hierarchical layers,

jsou organizovány v hierarchistických vrstvách,

also similar to the brain.

podobně jako v mozku.

In a typical neural network we use to train our object recognition model,

V klasické neuronové síti, kterou používáme,

abychom naučili náš model rozpoznávání objektů

it has 24 million nodes,

je 24 milionů uzlů,

140 million parameters,

140 milionů parametrů

and 15 billion connections.

a 15 miliard spojení.

That's an enormous model.

To je obrovský model.

Powered by the massive data from ImageNet

Poháněný ohromným množstvím dat z ImageNet

and the modern CPUs and GPUs to train such a humongous model,

a moderními CPU a GPU k trénování takto velkého modelu,

the convolutional neural network

konvoluční neuronová síť

blossomed in a way that no one expected.

kvete tak, jak by nikdo nečekal.

It became the winning architecture

Stala se vítěznou architekturou

to generate exciting new results in object recognition.

k vytváření nových úžasných výsledků v rozpoznávání objektů.

This is a computer telling us

Toto je počítač, který nám říká,

this picture contains a cat

že na obrázku je kočka

and where the cat is.

a kde ta kočka je.

Of course there are more things than cats,

Samozřejmě existuje víc věcí než jen kočky,

so here's a computer algorithm telling us

takže tady je algoritmus počítače, který říká,

the picture contains a boy and a teddy bear;

že obrázek obsahuje chlapce a medvídka,

a dog, a person, and a small kite in the background;

psa, osobu a malého draka v pozadí,

or a picture of very busy things

nebo velice chaotický obrázek plný věcí,

like a man, a skateboard, railings, a lampost, and so on.

jako je muž, skateboard, zábradlí, lampa atd.

Sometimes, when the computer is not so confident about what it sees,

Někdy, když si počítač není jistý, co vidí,

we have taught it to be smart enough

naučili jsme ho, aby byl dostatečně chytrý,

to give us a safe answer instead of committing too much,

a aby odpověděl neutrálně, než aby se k něčemu zavázal,

just like we would do,

stejně jako bychom to udělali my,

but other times our computer algorithm is remarkable at telling us

ale jindy nám náš počítačový algoritmus znamenitě vysvětlí,

what exactly the objects are,

co přesně dané objekty jsou,

like the make, model, year of the cars.

jako například značka, model a rok u auta.

We applied this algorithm to millions of Google Street View images

Aplikovali jsme tento algoritmus na miliony obrázků z Google Street View

across hundreds of American cities,

napříč stovkami amerických měst,

and we have learned something really interesting:

a zjistili jsme něco velice zajímavého:

first, it confirmed our common wisdom

zaprvé, to potvrdilo známou pravdu,

that car prices correlate very well

že ceny aut jsou přímo úměrné

with household incomes.

příjmům domácností.

But surprisingly, car prices also correlate well

A překvapivě, ceny aut jsou také závislé

with crime rates in cities,

na kriminalitě v daných městech,

or voting patterns by zip codes.

a nebo volební názory na PSČ.

So wait a minute. Is that it?

Takže, to je ono?

Has the computer already matched or even surpassed human capabilities?

Dosáhly počítače lidských schopností, nebo je snad dokonce přesáhly?

Not so fast.

Ne tak rychle.

So far, we have just taught the computer to see objects.

Zatím jsme počítač naučili jenom vidět věci.

This is like a small child learning to utter a few nouns.

Je to jako malé dítě, které se učí vyslovit pár slov.

It's an incredible accomplishment,

Je to neuvěřitelný úspěch,

but it's only the first step.

ale je to teprve první krok.

Soon, another developmental milestone will be hit,

Brzy, další vývojový mezník bude dosažen,

and children begin to communicate in sentences.

a děti se naučí mluvit ve větách.

So instead of saying this is a cat in the picture,

Takže místo tvrzení - to je kočka,

you already heard the little girl telling us this is a cat lying on a bed.

slyšeli jsme holčičku říct, že kočka leží na posteli.

So to teach a computer to see a picture and generate sentences,

Abychom naučili počítač vidět obrázek a vytořit věty,

the marriage between big data and machine learning algorithm

vztah mezi velkým množstvím dat a algoritmem učení strojů

has to take another step.

musí dosáhnout další fáze.

Now, the computer has to learn from both pictures

Nyní se počítač musí učit z obou částí,

as well as natural language sentences

stejně tak jako jsou věty

generated by humans.

vytvářené lidmi.

Just like the brain integrates vision and language,

Stejně jako mozek spojuje zrak a jazyk,

we developed a model that connects parts of visual things

vytvořili jsme model, který spojuje části zraku,

like visual snippets

jako vizuální ústřižky

with words and phrases in sentences.

se slovy a frázemi ve větách.

About four months ago,

Zhruba před čtyřmi měsíci,

we finally tied all this together

jsme to konečně spojili

and produced one of the first computer vision models

a vytvořili jeden z prvních modelů počítačového zraku,

that is capable of generating a human-like sentence

který je schopen vytvářet lidskou větu,

when it sees a picture for the first time.

když vidí daný obrázek poprvé.

Now, I'm ready to show you what the computer says

Nyní vám ukážu, co počítač řekne,

when it sees the picture

když vidí obrázek,

that the little girl saw at the beginning of this talk.

který viděla holčička na začátku.

(Video) Computer: A man is standing next to an elephant.

(Video) Počítač: Muž stojí vedle slona.

A large airplane sitting on top of an airport runway.

Velké letadlo sedí na letištní runwayi.

FFL: Of course, we're still working hard to improve our algorithms,

FFL: Samozřejmě, stále pracujeme na zlepšení našich algoritmů

and it still has a lot to learn.

a stále je toho hodně, co se učit.

(Applause)

(Potlesk)

And the computer still makes mistakes.

A počítač dělá i chyby.

(Video) Computer: A cat lying on a bed in a blanket.

(Video) Počítač: Kočka ležící na posteli pod dekou.

FFL: So of course, when it sees too many cats,

FFL: samozřejmě, že když vidí tolik koček,

it thinks everything might look like a cat.

myslí si, že všechno může vypadat jako kočka.

(Video) Computer: A young boy is holding a baseball bat.

(Video) Počítač: Mladý chlapec drží baseballovou pálku.

(Laughter)

(Smích)

FFL: Or, if it hasn't seen a toothbrush, it confuses it with a baseball bat.

FFL: Nebo pokud ještě neviděl kartáček, splete si ho s basebalkou.

(Video) Computer: A man riding a horse down a street next to a building.

(Video) Počítač: Muž jede na koni po ulici vedle budovy.

(Laughter)

(Smích)

FFL: We haven't taught Art 101 to the computers.

FFL: Nenaučili jsme naše počítače základy umění.

(Video) Computer: A zebra standing in a field of grass.

(Video) Počítač: Zebra stojí na poli trávy.

FFL: And it hasn't learned to appreciate the stunning beauty of nature

FFL: A ještě neumí ocenit krásu přírody

like you and I do.

jako vy a já.

So it has been a long journey.

Je to dlouhá cesta.

To get from age zero to three was hard.

Dostat se od věku 0 do 3 let bylo těžké.

The real challenge is to go from three to 13 and far beyond.

Opravdová výzva je dostat se od 3 let ke 13 a dál.

Let me remind you with this picture of the boy and the cake again.

Dovolte mi ukázat ještě jednou obrázek chlapce s dortem.

So far, we have taught the computer to see objects

Zatím jsme počítač naučili vidět objekty,

or even tell us a simple story when seeing a picture.

či dokonce říct krátce co vidí na obrázku.

(Video) Computer: A person sitting at a table with a cake.

(Video) Počítač: Člověk sedí u stolu s dortem.

FFL: But there's so much more to this picture

FFL: Ale na tom obrázku je toho o tolik více

than just a person and a cake.

než jen člověk a dort.

What the computer doesn't see is that this is a special Italian cake

Co počítač nevidí, je, že je to speciální italský dort,

that's only served during Easter time.

který se podává pouze při Velikonocích.

The boy is wearing his favorite t-shirt

Chlapec má na sobě své nejoblíbenější tričko,

given to him as a gift by his father after a trip to Sydney,

které mu dal jeho otec po cestě do Sydney,

and you and I can all tell how happy he is

a vy i já dokážeme říct, jak je šťastný

and what's exactly on his mind at that moment.

a co si právě myslí.

This is my son Leo.

Toto je můj syn Leo.

On my quest for visual intelligence,

Při řešení zrakové inteligence,

I think of Leo constantly

myslím na Lea neustále,

and the future world he will live in.

a na svět, ve kterém bude žít.

When machines can see,

Když stroje mohou vidět,

doctors and nurses will have extra pairs of tireless eyes

doktoři a sestry budou mít navíc pár neúnavných očí,

to help them to diagnose and take care of patients.

které jim pomohou diagnostikovat a starat se o pacienty.

Cars will run smarter and safer on the road.

Auta budou jezdit chytřeji a bezpečněji.

Robots, not just humans,

Roboti, nejen lidé,

will help us to brave the disaster zones to save the trapped and wounded.

nám pomohou prozkoumat místa neštěstí, aby zachránili uvězněné a zraněné.

We will discover new species, better materials,

Objevíme nové druhy, lepší materiály,

and explore unseen frontiers with the help of the machines.

a prozkoumáme neznámé hranice, když nám stroje pomohou.

Little by little, we're giving sight to the machines.

Postupně dáváme zrak strojům.

First, we teach them to see.

Nejdřív je učíme vidět.

Then, they help us to see better.

Pak nám pomohou pomoci vidět lépe.

For the first time, human eyes won't be the only ones

Poprvé, lidské oči nebudou jediné,

pondering and exploring our world.

které zkoumají a objevují náš svět.

We will not only use the machines for their intelligence,

Nebudeme stroje používat jenom kvůli jejich inteligenci,

we will also collaborate with them in ways that we cannot even imagine.

ale můžeme spolupracovat způsoby, které si ani neumíme představit.

This is my quest:

Toto je můj úkol:

to give computers visual intelligence

dát počítačům zrakovou inteligenci,

and to create a better future for Leo and for the world.

a vytvořit tak lepší budoucnost pro Lea a svět.

Thank you.

Děkuji

(Applause)

(Potlesk)