How computers learn to recognize objects instantly | Joseph Redmon

Vertaald door: Anne van Gulick Nagekeken door: Rik Delaet

Ten years ago,

Tien jaar geleden dachten 'computer vision'-onderzoekers

computer vision researchers thought that getting a computer

dat een computer het verschil leren tussen een kat en een hond

to tell the difference between a cat and a dog

would be almost impossible,

bijna onmogelijk zou zijn,

even with the significant advance in the state of artificial intelligence.

al maakte kunstmatige intelligentie nog zulke grote vorderingen.

Now we can do it at a level greater than 99 percent accuracy.

Nu kan het met een nauwkeurigheid van meer dan 99%.

This is called image classification --

Dit heet beeldclassificatie.

give it an image, put a label to that image --

Je geeft de computer een afbeelding en hij labelt die.

and computers know thousands of other categories as well.

Computers kennen nog duizenden andere categorieën.

I'm a graduate student at the University of Washington,

Ik ben student aan de Universiteit van Washington.

and I work on a project called Darknet,

Ik werk aan het project Darknet, een neuraal netwerk

which is a neural network framework

for training and testing computer vision models.

voor het trainen en testen van computer vision-modellen.

So let's just see what Darknet thinks

Wat zou Darknet van deze afbeelding vinden?

of this image that we have.

When we run our classifier

Als we de 'classifier' op deze afbeelding toepassen,

on this image,

we see we don't just get a prediction of dog or cat,

herkent hij niet alleen het dier, maar zelfs het ras.

we actually get specific breed predictions.

That's the level of granularity we have now.

Zo verfijnd is de classificatie.

And it's correct.

Mijn hond is inderdaad een malamute.

My dog is in fact a malamute.

So we've made amazing strides in image classification,

Er is veel vooruitgang geboekt bij beeldclassificatie.

but what happens when we run our classifier

Wat gebeurt er als we de classifier op zo'n afbeelding toepassen?

on an image that looks like this?

Well ...

We see that the classifier comes back with a pretty similar prediction.

De classifier geeft bijna dezelfde voorspelling.

And it's correct, there is a malamute in the image,

Er is inderdaad een malamute te zien.

but just given this label, we don't actually know that much

Maar dat label vertelt ons niet wat er gebeurt in de afbeelding.

about what's going on in the image.

We need something more powerful.

We hebben iets krachtigers nodig.

I work on a problem called object detection,

Ik werk aan het probleem van objectdetectie.

where we look at an image and try to find all of the objects,

Daarbij proberen we alle objecten op een afbeelding te vinden.

put bounding boxes around them

We plaatsen er een blok omheen en labelen de objecten.

and say what those objects are.

So here's what happens when we run a detector on this image.

Dit is wat er gebeurt als we een detector op deze afbeelding toepassen.

Now, with this kind of result,

Met zo'n resultaat kunnen we meer doen met onze computer vision-algoritmen.

we can do a lot more with our computer vision algorithms.

We see that it knows that there's a cat and a dog.

Hij weet dat er een kat en een hond zijn.

It knows their relative locations,

Hij weet waar ze zijn en hoe groot ze zijn.

their size.

It may even know some extra information.

Hij ziet ook extra informatie, zoals het boek op de achtergrond.

There's a book sitting in the background.

And if you want to build a system on top of computer vision,

Als je een systeem wilt bouwen op basis van computer vision,

say a self-driving vehicle or a robotic system,

zoals een zelfrijdend voertuig of een robotsysteem,

this is the kind of information that you want.

dan wil je zulke informatie.

You want something so that you can interact with the physical world.

Je wilt contact maken met de fysieke wereld.

Now, when I started working on object detection,

Toen ik begon met werken aan objectdetectie,

it took 20 seconds to process a single image.

duurde het verwerken van één afbeelding 20 seconden.

And to get a feel for why speed is so important in this domain,

Ik zal laten zien waarom snelheid zo belangrijk is op dit gebied.

here's an example of an object detector

Hier is een objectdetector die er twee seconden over doet

that takes two seconds to process an image.

om een afbeelding te verwerken.

So this is 10 times faster

Dat is tien keer sneller dan de detector die er 20 seconden over deed.

than the 20-seconds-per-image detector,

and you can see that by the time it makes predictions,

Zodra de voorspellingen zijn gemaakt is de situatie al veranderd.

the entire state of the world has changed,

and this wouldn't be very useful

Dat is niet erg nuttig voor een toepassing.

for an application.

If we speed this up by another factor of 10,

We versnellen dit nog eens tien keer.

this is a detector running at five frames per second.

Dit is een detector die vijf beelden per seconden verwerkt.

This is a lot better,

Dat is een stuk beter.

but for example,

Maar niet als er veel beweging is.

if there's any significant movement,

I wouldn't want a system like this driving my car.

Ik zou niet willen dat zo'n systeem mijn auto bestuurt.

This is our detection system running in real time on my laptop.

Dit is ons detectiesysteem dat in realtime op mijn laptop draait.

So it smoothly tracks me as I move around the frame,

Hij volgt me terwijl ik rondloop.

and it's robust to a wide variety of changes in size,

Hij verwerkt veranderingen in grootte en houding.

pose,

forward, backward.

Naar voren, naar achteren.

This is great.

Dit is wat we nodig hebben

This is what we really need

if we're going to build systems on top of computer vision.

voor een systeem op basis van computer vision.

(Applause)

So in just a few years,

In slechts een paar jaar

we've gone from 20 seconds per image

zijn we van 20 seconden per beeld

to 20 milliseconds per image, a thousand times faster.

naar 20 milliseconden per beeld gegaan.

How did we get there?

Hoe hebben we dat gedaan?

Well, in the past, object detection systems

Vroeger deelden detectiesystemen zo'n afbeelding op in een aantal gebieden.

would take an image like this

and split it into a bunch of regions

and then run a classifier on each of these regions,

Een classifier werd toegepast op elk gebied.

and high scores for that classifier

Als de classifier hoog scoorde, was dat een detectie.

would be considered detections in the image.

But this involved running a classifier thousands of times over an image,

De classifier werd dus duizenden keren toegepast.

thousands of neural network evaluations to produce detection.

Duizenden evaluaties van het netwerk om een detectie te doen.

Instead, we trained a single network to do all of detection for us.

Wij hebben één netwerk getraind om alle detecties uit te voeren.

It produces all of the bounding boxes and class probabilities simultaneously.

Hij produceert alle grensvlakken en voorspellingen tegelijkertijd.

With our system, instead of looking at an image thousands of times

Met ons systeem kijken we niet duizend keer naar een afbeelding

to produce detection,

maar slechts één keer, 'you only look once'.

you only look once,

and that's why we call it the YOLO method of object detection.

Daarom noemen we het de YOLO-methode.

So with this speed, we're not just limited to images;

Met deze snelheid zijn we niet beperkt tot afbeeldingen.

we can process video in real time.

We kunnen video's in realtime verwerken.

And now, instead of just seeing that cat and dog,

We zien niet alleen de kat en de hond.

we can see them move around and interact with each other.

We zien ze rondbewegen en op elkaar reageren.

This is a detector that we trained

Deze detector hebben we getraind met 80 verschillende categorieën

on 80 different classes

in Microsoft's COCO dataset.

in de COCO-dataset van Microsoft.

It has all sorts of things like spoon and fork, bowl,

Die bevat allerlei gewone objecten zoals lepels, vorken en kommen.

common objects like that.

It has a variety of more exotic things:

Hij heeft ook exotischere dingen, zoals auto's, zebra's en giraffes.

animals, cars, zebras, giraffes.

And now we're going to do something fun.

Nu gaan we iets leuks doen.

We're just going to go out into the audience

We gaan kijken wat we in het publiek kunnen detecteren.

and see what kind of things we can detect.

Does anyone want a stuffed animal?

Wil iemand een knuffelbeest?

There are some teddy bears out there.

Hier zijn wat teddyberen.

And we can turn down our threshold for detection a little bit,

Ik verlaag de detectiegevoeligheid zodat hij meer mensen detecteert.

so we can find more of you guys out in the audience.

Let's see if we can get these stop signs.

Kijken of hij deze stopborden vindt.

We find some backpacks.

Hij vindt wat rugzakken.

Let's just zoom in a little bit.

Even inzoomen.

And this is great.

De computer verwerkt alles in realtime.

And all of the processing is happening in real time

on the laptop.

And it's important to remember

Dit is een algemeen detectiesysteem.

that this is a general purpose object detection system,

so we can train this for any image domain.

We kunnen hem trainen voor elk soort beeld.

The same code that we use

Dezelfde code die we gebruiken

to find stop signs or pedestrians,

voor het vinden van stopborden, voetgangers en fietsers

bicycles in a self-driving vehicle,

in een zelfrijdend voertuig,

can be used to find cancer cells

kan ook gebruikt worden om kankercellen te vinden

in a tissue biopsy.

in een weefselbiopsie.

And there are researchers around the globe already using this technology

Onderzoekers over de hele wereld gebruiken deze technologie al

for advances in things like medicine, robotics.

voor de vooruitgang in de geneeskunde en robotica.

This morning, I read a paper

Vanochtend las ik in de krant over een census van de dieren

where they were taking a census of animals in Nairobi National Park

in het nationaal park van Nairobi.

with YOLO as part of this detection system.

Ze gebruikten YOLO bij het detectiesysteem.

And that's because Darknet is open source

Dat kan omdat Darknet opensource is.

and in the public domain, free for anyone to use.

Iedereen kan het gratis gebruiken.

(Applause)

But we wanted to make detection even more accessible and usable,

Wij wilden detectie nog toegankelijker maken.

so through a combination of model optimization,

Met optimalisatie van het model

network binarization and approximation,

en binarisatie en approximatie van het netwerk

we actually have object detection running on a phone.

konden we objectdetectie uitvoeren via een telefoon.

(Applause)

And I'm really excited because now we have a pretty powerful solution

Ik ben er enthousiast over

want nu hebben we een krachtige oplossing voor dit computer vision-probleem.

to this low-level computer vision problem,

and anyone can take it and build something with it.

Iedereen kan er iets mee maken.

So now the rest is up to all of you

De rest is aan iedereen met toegang tot deze software.

and people around the world with access to this software,

and I can't wait to see what people will build with this technology.

Ik kan niet wachten om te zien wat men met deze technologie maakt.

Thank you.

Bedankt.

(Applause)