How computers learn to recognize objects instantly | Joseph Redmon

Fordító: Andi Vida Lektor: Tímea Hegyessy

Ten years ago,

Tíz évvel ezelőtt még

computer vision researchers thought that getting a computer

a számítógépes látás kutatói nem hitték,

to tell the difference between a cat and a dog

hogy lehetséges rábírni egy számítógépet,

hogy megkülönböztessen egy kutyát egy macskától,

would be almost impossible,

even with the significant advance in the state of artificial intelligence.

még a mesterséges intelligencia jelentős előrehaladásával sem.

Now we can do it at a level greater than 99 percent accuracy.

Ma csaknem 100%-os pontossággal képesek vagyunk erre.

This is called image classification --

Ezt hívják képosztályozásnak.

give it an image, put a label to that image --

Vegyünk egy képet, címkézzük fel,

and computers know thousands of other categories as well.

és a számítógép több ezer más kategóriát is felismer.

I'm a graduate student at the University of Washington,

A washingtoni egyetem végzős hallgatója vagyok,

and I work on a project called Darknet,

és az ún. Darknet programon dolgozom,

which is a neural network framework

neurális hálózatok keretrendszerén.

for training and testing computer vision models.

Számítógépes látómodellek fejlesztése és tesztelése a célom.

So let's just see what Darknet thinks

Nézzük hát, mit gondol a Darknet

of this image that we have.

a kutyás képről.

When we run our classifier

Amikor lefuttatjuk osztályozónkat

on this image,

erre a képre,

we see we don't just get a prediction of dog or cat,

látjuk, nemcsak kutya vagy macska előképét kapjuk,

we actually get specific breed predictions.

hanem a fajtát is előre meghatározza.

That's the level of granularity we have now.

Ez a granularitás [szemcsézettség] foka.

And it's correct.

És helyes!

My dog is in fact a malamute.

A kutyám alaszkai malamut.

So we've made amazing strides in image classification,

Tehát izgalmas lépéseket tettünk meg a képosztályozás terén,

but what happens when we run our classifier

de mi van, ha egy ilyen képre

on an image that looks like this?

futtatjuk le osztályozónkat?

Well ...

Nos...

We see that the classifier comes back with a pretty similar prediction.

Eléggé hasonló meghatározást ad meg az osztályozónk.

And it's correct, there is a malamute in the image,

Ez is helyes: malamut van a képen,

but just given this label, we don't actually know that much

de csak a címkét véve alapul nem sokat tudunk meg arról,

about what's going on in the image.

hogy mi zajlik a képen.

We need something more powerful.

Valami hatékonyabb kell nekünk.

I work on a problem called object detection,

Én az úgynevezett tárgyfelismerés problémáján dolgozom,

where we look at an image and try to find all of the objects,

ránézünk egy képre, igyekszünk minden tárgyat beazonosítani,

put bounding boxes around them

határolókeretet vonva köréjük,

and say what those objects are.

és pontosan megnevezni őket.

So here's what happens when we run a detector on this image.

Nézzük, mi történik, ha lefuttatunk egy felismerő programot.

Now, with this kind of result,

Ha ilyesmi eredmény születik,

we can do a lot more with our computer vision algorithms.

sokkal többre megyünk számítógépes látó algoritmusainkkal.

We see that it knows that there's a cat and a dog.

Látjuk, hogy felismeri, hogy ott egy macska és egy kutya.

It knows their relative locations,

Felismeri egymáshoz viszonyított helyzetüket,

their size.

méretüket.

It may even know some extra information.

Esetleg még egyéb információt is nyújt.

There's a book sitting in the background.

A háttérben hever egy könyv.

And if you want to build a system on top of computer vision,

És ha számítógépes látáson alapuló rendszert akarunk építeni,

say a self-driving vehicle or a robotic system,

mondjuk, legyen egy önjáró jármű, vagy robotrendszer,

this is the kind of information that you want.

ilyen információra van szükségünk.

You want something so that you can interact with the physical world.

Valami olyan kéne, ami kölcsönhatásban áll fizikai valóságunkkal.

Now, when I started working on object detection,

Amikor elkezdtem ezzel foglalkozni,

it took 20 seconds to process a single image.

húsz másodpercbe telt egyetlen kép feldolgozása.

And to get a feel for why speed is so important in this domain,

Hogy érezzék, miért olyan fontos a sebesség ezen a területen,

here's an example of an object detector

itt egy példa egy tárgyfelismerőre,

that takes two seconds to process an image.

ami két másodperc alatt dolgoz fel egy képet.

So this is 10 times faster

Tízszer gyorsabb tehát,

than the 20-seconds-per-image detector,

mint a 20 mp/kép sebességű érzékelő,

and you can see that by the time it makes predictions,

és láthatják, ennyi idő alatt előrejelzéseket végez.

the entire state of the world has changed,

A világ teljesen megváltozott,

and this wouldn't be very useful

és ez nem lenne túl hasznos

for an application.

egy alkalmazáshoz.

If we speed this up by another factor of 10,

Ha ezt még tízszeresére gyorsítjuk -

this is a detector running at five frames per second.

ez a képfelismerő öt képkockát tud másodpercenként.

This is a lot better,

Ez sokkal jobb,

but for example,

de ha például

if there's any significant movement,

bármilyen jelentős esemény történik,

I wouldn't want a system like this driving my car.

nem szeretném, ha efféle rendszer vezetné az autómat.

This is our detection system running in real time on my laptop.

Ez a felismerő rendszerünk valós időben fut a laptopomon.

So it smoothly tracks me as I move around the frame,

Simán követ engem a kerettel, ahogy itt sétálgatok,

and it's robust to a wide variety of changes in size,

és pontosan meghatározza a méretváltozásomat,

pose,

testtartásomat,

forward, backward.

előre- és hátramozgásomat.

This is great.

Ez óriási.

This is what we really need

Pontosan erre van szükségünk,

if we're going to build systems on top of computer vision.

ha rendszereket akarunk építeni a számítógépes látásra.

(Applause)

(Taps)

So in just a few years,

Alig néhány éven belül tehát

we've gone from 20 seconds per image

eljutottunk a 20 mp/kép sebességtől

to 20 milliseconds per image, a thousand times faster.

a 20 milliszekundum/képig, ezerszeres sebességig.

How did we get there?

Hogy jutottunk el idáig?

Well, in the past, object detection systems

Nos, régen a tárgyfelismerő rendszerek

would take an image like this

fogtak egy efféle képet,

and split it into a bunch of regions

régiócsoportokra osztották,

and then run a classifier on each of these regions,

aztán minden egyes régióra lefuttattak egy osztályozót,

and high scores for that classifier

és ezek magas értékei

would be considered detections in the image.

határozták meg a kép felismerését.

But this involved running a classifier thousands of times over an image,

De ehhez több ezerszer le kellett futtatni az osztályozót egy képen,

thousands of neural network evaluations to produce detection.

neurális hálózati kiértékelések ezrei vezettek a felismeréshez.

Ehelyett mi egyetlen hálózatra bíztuk az egész felismerő tevékenységet.

Instead, we trained a single network to do all of detection for us.

It produces all of the bounding boxes and class probabilities simultaneously.

Egyszerre kezeli a terület-meghatározást és az osztályozást.

With our system, instead of looking at an image thousands of times

A mi rendszerünkben nem kell több ezerszer végignézni egy képet

to produce detection,

a felismerés lefuttatásához,

you only look once,

"Elég Egyszer Megnézni" [You Only Look Once],

and that's why we call it the YOLO method of object detection.

ezért hívjuk a tárgyfelismerés YOLO-módszerének.

So with this speed, we're not just limited to images;

Ezzel a sebességgel nemcsak képeket vizsgálhatunk,

we can process video in real time.

hanem valós időben videót is.

And now, instead of just seeing that cat and dog,

Most pedig ne csak a kutyát és a macskát nézzük,

we can see them move around and interact with each other.

hanem ahogy forognak egymás körül, és kapcsolatot teremtenek.

This is a detector that we trained

Ez olyan detektor,

on 80 different classes

amit 80 különféle osztályra képeztünk ki

in Microsoft's COCO dataset.

a Microsoft COCO adatbázisában.

It has all sorts of things like spoon and fork, bowl,

Mindenféle dolgokat tartalmaz: kanalat, villát, tálat,

common objects like that.

efféle egyszerű tárgyakat.

It has a variety of more exotic things:

Különlegesebbeket is:

animals, cars, zebras, giraffes.

állatokat, autót, zebrát, zsiráfot.

And now we're going to do something fun.

Most pedig valami érdekeset teszünk.

We're just going to go out into the audience

Kimegyünk a közönség soraiba, és szétnézünk,

and see what kind of things we can detect.

miket találunk.

Does anyone want a stuffed animal?

Kér valaki kitömött állatot?

There are some teddy bears out there.

Van néhány plüssmackó itt-ott.

And we can turn down our threshold for detection a little bit,

Kicsit lejjebb vesszük a felismerési küszöb értékét,

so we can find more of you guys out in the audience.

így könnyebben megtaláljuk a megfelelő fickókat.

Let's see if we can get these stop signs.

Nézzük csak a stoptáblákat.

We find some backpacks.

Rábukkanunk néhány hátizsákra.

Let's just zoom in a little bit.

Nagyítsunk csak rá egy kicsit.

And this is great.

Ez bizony óriási.

And all of the processing is happening in real time

És az egész folyamat valós időben zajlik

on the laptop.

a laptopomon.

And it's important to remember

Fontos újra hangsúlyozni,

that this is a general purpose object detection system,

hogy ez egy általános célú tárgyfelismerő rendszer,

so we can train this for any image domain.

így bármilyen képfajtára alkalmazható.

The same code that we use

Ugyanaz a kód,

to find stop signs or pedestrians,

amivel stoptáblát, gyalogost, kerékpárost

bicycles in a self-driving vehicle,

ismerünk fel az önjáró autóban,

can be used to find cancer cells

ráksejt feltárására is alkalmazható

in a tissue biopsy.

szövettani vizsgálatnál.

And there are researchers around the globe already using this technology

És ezt a technológiát már világszerte alkalmazzák kutatók

for advances in things like medicine, robotics.

orvostudományi, robotikai fejlesztésekhez.

This morning, I read a paper

Ma reggel olvastam,

where they were taking a census of animals in Nairobi National Park

hogy a Nairobi Nemzeti Parkban YOLO-alapú felismerő rendszerrel

with YOLO as part of this detection system.

veszik nyilvántartásba az állatokat.

And that's because Darknet is open source

Ez azért lehetséges, mert a Darknet nyílt forráskódú,

and in the public domain, free for anyone to use.

nyilvánosan hozzáférhető, bárki szabadon használhatja.

(Applause)

(Taps)

But we wanted to make detection even more accessible and usable,

De még könnyebben elérhető és hasznosabb felismerő rendszert akarunk fejleszteni,

so through a combination of model optimization,

így modell-optimalizálással,

network binarization and approximation,

hálózati binarizációval és approximációval

we actually have object detection running on a phone.

mobilon is futtatható felismerő programot fejlesztünk.

(Applause)

(Taps)

And I'm really excited because now we have a pretty powerful solution

És tényleg izgatott vagyok, mert máris van egy igazán ütős megoldásunk

to this low-level computer vision problem,

erre az alacsony szintű számítógépes látási problémára,

and anyone can take it and build something with it.

és bárki hozzájuthat, és alkalmazhatja.

So now the rest is up to all of you

A többi már önökön múlik,

and people around the world with access to this software,

és mindenkin, aki hozzáfér ehhez a szoftverhez,

and I can't wait to see what people will build with this technology.

és alig várom, hogy lássam, miket hoznak létre ezzel a technológiával.

Thank you.

Köszönöm.

(Applause)

(Taps)