How computers learn to recognize objects instantly | Joseph Redmon

Translator: Adele Mikoliunaite Reviewer: Sigita Šimkutė-Macanko

Ten years ago,

Prieš dešimt metų

computer vision researchers thought that getting a computer

mokslininkai, tiriantys kompiuterinę regą, manė,

kad išmokyti kompiuterį atskirti katę nuo šuns

to tell the difference between a cat and a dog

would be almost impossible,

tikriausiai niekuomet nebus įmanoma,

even with the significant advance in the state of artificial intelligence.

netgi gerokai pažengus dirbtinio intelekto srityje.

Now we can do it at a level greater than 99 percent accuracy.

Šiandien galime tai atlikti daugiau nei 99-ių procentų tikslumu.

This is called image classification --

Tai vadinama vaizdų klasifikavimu –

give it an image, put a label to that image --

imame vaizdą, priskiriame jam etiketę –

and computers know thousands of other categories as well.

ir taip kompiuteriai išmoksta tūkstančius kategorijų.

I'm a graduate student at the University of Washington,

Esu magistrantas Vašingtono Universitete

ir dirbu prie projekto pavadinimu „Darknet“ (angl. „tamsusis tinklas“).

and I work on a project called Darknet,

which is a neural network framework

Tai – neuroninio tinklo sistema,

for training and testing computer vision models.

skirta mokyti ir testuoti kompiuterinės regos modelius.

So let's just see what Darknet thinks

Pažiūrėkime ką „Darknet“ mano

of this image that we have.

apie šį mūsų turimą atvaizdą.

When we run our classifier

Kai paleidžiame klasifikatorių

on this image,

pateikę jam šį atvaizdą,

we see we don't just get a prediction of dog or cat,

atgal gauname ne tik spėjimus apie aptiktas kates ir šunis,

we actually get specific breed predictions.

bet ir specifines jų veisles.

That's the level of granularity we have now.

Toks šiandieninis mūsų pasiektas išsamumo lygis.

And it's correct.

Ir tai – tiesa,

My dog is in fact a malamute.

mano šuo iš tiesų yra malamutas.

So we've made amazing strides in image classification,

Pasiekiemė įspūdingus tolius vaizdų klasifikacijoje,

tačiau kas nutinka,kai paleidžiame klasifikatorių

but what happens when we run our classifier

on an image that looks like this?

pateikę atvaizdą, kuris atrodo taip?

Well ...

Na...

We see that the classifier comes back with a pretty similar prediction.

Klasifikatorius grąžina panašius spėjimus.

And it's correct, there is a malamute in the image,

Ir jis teisus – atvaizde yra malamutas,

but just given this label, we don't actually know that much

tačiau vien tik tokia etiketė nesuteikia jokios informacijos

about what's going on in the image.

apie tai, kas vyksta šiame atvaizde.

We need something more powerful.

Mums reikia kažko galingesnio.

Aš dirbu prie problemos, vadinamos objektų aptikimu.

I work on a problem called object detection,

where we look at an image and try to find all of the objects,

Tai reiškia, kad žiūrėdami į atvaizdą

siekiame aptikti visus jame esančius objektus,

put bounding boxes around them

apibrėžti jų ribas

and say what those objects are.

ir juos įvardinti.

So here's what happens when we run a detector on this image.

Štai kas nutinka, kai paleidžiame detektorių, pateikę jam šį atvaizdą.

Now, with this kind of result,

Gavę tokį rezultatą,

galime atlikti kur kas daugiau su mūsų kompiuterinės regos algoritmais.

we can do a lot more with our computer vision algorithms.

We see that it knows that there's a cat and a dog.

Programa žino, jog atvaizde yra katė ir šuo.

It knows their relative locations,

Žino jų santykines vietas

their size.

ir jų dydį.

It may even know some extra information.

Galbūt žino ir dar daugiau.

There's a book sitting in the background.

Antrame vaizdo plane guli knyga.

And if you want to build a system on top of computer vision,

Jeigu norite sukurti sistemą, pagrįstą kompiuterine rega,

say a self-driving vehicle or a robotic system,

pavyzdžiui, savaeigę transporto priemonę ar robotą,

this is the kind of information that you want.

tai yra būtent tokio pobūdžio informacija, kurios jums reikia.

You want something so that you can interact with the physical world.

Jums reikia kažko, suteikiančio galimybę bendrauti su fiziniu pasauliu.

Now, when I started working on object detection,

Kai pradėjau dirbti prie objektų aptikimo,

it took 20 seconds to process a single image.

vieno atvaizdo apdorojimas užtrukdavo 20 sekundžių.

And to get a feel for why speed is so important in this domain,

Kad suprastumėte, kodėl šioje srityje greitis yra toks svarbus,

here's an example of an object detector

štai – detektoriaus pavyzdys,

that takes two seconds to process an image.

kuriame vienas atvaizdas apdorojamas per dvi sekundes.

So this is 10 times faster

Taigi, 10 kartų greičiau,

than the 20-seconds-per-image detector,

nei ankstesnis detektorius.

Galite matyti, kad kol sistema galiausiai atlieka spėjimą,

and you can see that by the time it makes predictions,

the entire state of the world has changed,

pasaulis aplink spėja pasikeisti.

and this wouldn't be very useful

Taigi, tai nebūtų labai naudinga

for an application.

realiam pritaikymui.

If we speed this up by another factor of 10,

Jeigu pagreitintume procesą dar 10-čia kartų,

this is a detector running at five frames per second.

tai – detektorius, apdorojantis penkis vaizdus per sekundę.

This is a lot better,

Kur kas geriau,

but for example,

tačiau,

if there's any significant movement,

situacijoje, kurioje vaizdas greitai keičiasi,

I wouldn't want a system like this driving my car.

aš nenorėčiau, kad tokia sistema vairuotų mano automobilį.

This is our detection system running in real time on my laptop.

Čia – mūsų objektų aptikimo sistema, veikianti esamu laiku, mano kompiuteryje.

So it smoothly tracks me as I move around the frame,

Ji sklandžiai seka mane kai judu

and it's robust to a wide variety of changes in size,

ir sparčiai prisitaiko prie staigių pokyčių, tokių kaip dydis,

pose,

poza,

forward, backward.

judesiai pirmyn, atgal.

This is great.

Tai – puiku.

This is what we really need

Štai ko mums iš tiesų reikia,

if we're going to build systems on top of computer vision.

ketinant kurti sistemas, pagrįstas kompiuterine rega.

(Applause)

(Plojimai.)

So in just a few years,

Taigi, tik per keletą metų

we've gone from 20 seconds per image

nuo 20 sekundžių vienam atvaizdui

perėjome iki 20 milisekundžių vienam atvaizdui.

to 20 milliseconds per image, a thousand times faster.

Tai – tūkstantį kartų greičiau.

How did we get there?

Kaip tai padarėme?

Well, in the past, object detection systems

Praeityje objektų aptikimo sistemos

would take an image like this

pirmiausia padalindavo vaizdinį

and split it into a bunch of regions

į daugybę regionių,

and then run a classifier on each of these regions,

o tuomet klasifikatorius apdorodavo kiekvieną jų.

and high scores for that classifier

Aukšti klasifikatoriaus balai

would be considered detections in the image.

reikšdavo objektų aptikimą atvaizde.

But this involved running a classifier thousands of times over an image,

Klasikifatorius būdavo paleidžiamas tūkstantį kartų kiekvienam vaizdui,

thousands of neural network evaluations to produce detection.

reikėdavo tūkstančių neuroninių tinklų analizių vienam objektui aptikti.

Instead, we trained a single network to do all of detection for us.

Vietoj to, mes išmokėme vieną neuroninį tinklą aptikti visus objektus.

It produces all of the bounding boxes and class probabilities simultaneously.

Jis tuo pat metu apibrėžia objektus ir suskaičiuoja jų tikimybes.

With our system, instead of looking at an image thousands of times

Su mūsų sistema nereikia žiūrėti į tą patį atvaizdą tūkstantį kartų,

kad aptiktume objektą.

to produce detection,

you only look once,

Užtenka pažiūrėti tik kartą,

and that's why we call it the YOLO method of object detection.

todėl taip ir vadiname savo objektų aptikimo metodą:

YOLO (You only look once – angl. „tu tik pažiūri kartą“).

So with this speed, we're not just limited to images;

Tokiu greičiu galime apdoroti ne tik nuotraukas,

we can process video in real time.

bet ir vaizdo įrašus realiu laiku.

And now, instead of just seeing that cat and dog,

Galime ne tik matyti šunis ir kates,

we can see them move around and interact with each other.

bet ir sekti juos judant ir sąveikaujant vienas su kitu.

This is a detector that we trained

Tai – detektorius, kurį išmokėme 80 skirtingų klasių,

on 80 different classes

in Microsoft's COCO dataset.

esančių „Microsoft“ „COCO“ duomenų bazėje.

It has all sorts of things like spoon and fork, bowl,

Šioje bazėje pilna įvairių objektų, pavyzdžiui, šaukštų, šakučių, lėkščių

common objects like that.

it kitų paprastų daiktų.

It has a variety of more exotic things:

Yra ir egzotiškesnių objektų:

animals, cars, zebras, giraffes.

gyvūnų, automobilių, zebrų, žirafų.

And now we're going to do something fun.

O dabar pademonstruosime šį tą smagaus.

We're just going to go out into the audience

Nukreipsime detektorių į publiką

and see what kind of things we can detect.

ir pažiūrėsime kokius daiktus galime joje aptikti.

Does anyone want a stuffed animal?

Ar kas nors nori pliušinio žaislo?

There are some teddy bears out there.

Ten kažkur mėtosi keletas pliušinių meškinų.

And we can turn down our threshold for detection a little bit,

Šiek tiek sumažinsime aptikimo slenkstį,

so we can find more of you guys out in the audience.

kad aptiktume daugiau jūsų.

Let's see if we can get these stop signs.

Pažiūrėkime, ar galime aptikti šiuos „Stop“ ženklus.

We find some backpacks.

Randame keletą kuprinių.

Let's just zoom in a little bit.

Šiek tiek priartinkime vaizdą.

And this is great.

Tai – puiku.

And all of the processing is happening in real time

Visas apdorojimas vyksta realiu laiku

on the laptop.

mano nešiojamame kompiuteryje.

And it's important to remember

Svarbu atminti,

that this is a general purpose object detection system,

kad tai – bendro naudojimo objektų aptikimo sistema,

so we can train this for any image domain.

kurią galima išmokyti visokiausių vaizdų.

The same code that we use

Tas pats kodas, kurį naudojame

to find stop signs or pedestrians,

surasti „Stop“ ženklus ar pėsčiuosius,

bicycles in a self-driving vehicle,

dviračius ar savieiges transporto priemones,

can be used to find cancer cells

gali būti naudojamas aptikti vėžines ląsteles audinio biopsijoje.

in a tissue biopsy.

And there are researchers around the globe already using this technology

Daugybė mokslininkų visame pasaulyje jau naudojasi šia technologija,

siekdami pasistūmėti tokiose srityse kaip medicina ar robotų technika.

for advances in things like medicine, robotics.

This morning, I read a paper

Šįryt laikraštyje perskaičiau

where they were taking a census of animals in Nairobi National Park

apie tai, kad gyvūnai Nairobio nacionaliniame parke buvo surašyti

with YOLO as part of this detection system.

naudojant YOLO kaip vieną iš sistemos dalių.

And that's because Darknet is open source

Nes „Darknet“ yra atviro kodo sistema,

and in the public domain, free for anyone to use.

patalpinta viešajame domene – naudotis ja gali visi ir už dyką.

(Applause)

(Plojimai.)

But we wanted to make detection even more accessible and usable,

Tačiau norėjome dar labiau padidinti objektų aptikimo prieinamumą ir naudą,

so through a combination of model optimization,

taigi sujungę modelių optimizaciją,

network binarization and approximation,

tinklo binarizavimą ir derinimą

we actually have object detection running on a phone.

dabar turime objektų aptikimo modelį, veikiantį mobiliajame telefone.

(Applause)

(Plojimai.)

And I'm really excited because now we have a pretty powerful solution

Aš labai džiaugiuosi, nes dabar turime ganėtinai galingą sprendimą

to this low-level computer vision problem,

šiai žemo lygio kompiuterinės regos problemai,

and anyone can take it and build something with it.

ir kiekvienas norintis gali pasiekti šią sistemą ir kažką su ja sukurti.

So now the rest is up to all of you

Tad likusi dalis priklauso nuo visų jūsų

ir žmonių visame pasaulyje, turinčių priėjimą prie šios programinės įrangos,

and people around the world with access to this software,

and I can't wait to see what people will build with this technology.

ir aš nekantrauju pamatyti, ką žmonės sukurs, naudodamiesi šia technologija.

Thank you.

Ačiū.

(Applause)

(Plojimai.)