How computers learn to recognize objects instantly | Joseph Redmon

Tłumaczenie: Agnieszka Kmieć Korekta: Rysia Wand

Ten years ago,

Dziesięć lat temu

computer vision researchers thought that getting a computer

badacze rozpoznawania obrazów sądzili, że nauczenie komputera

to tell the difference between a cat and a dog

rozróżniania kota od psa

would be almost impossible,

jest prawie niemożliwe

even with the significant advance in the state of artificial intelligence.

nawet przy sporym postępie rozwoju sztucznej inteligencji.

Now we can do it at a level greater than 99 percent accuracy.

Teraz jest to możliwe z dokładnością większą niż 99%.

This is called image classification --

Nazywamy to klasyfikacją obrazu:

give it an image, put a label to that image --

dostarcz obraz, przypisz do niego etykietę...

and computers know thousands of other categories as well.

komputery znają teraz tysiące innych kategorii.

I'm a graduate student at the University of Washington,

Jestem doktorantem na Uniwersytecie Waszyngtońskim

and I work on a project called Darknet,

i pracuję nad projektem "Darknet",

which is a neural network framework

który jest frameworkiem sieci neuronowej

for training and testing computer vision models.

do ćwiczenia i testowana modeli rozpoznawania obrazów.

So let's just see what Darknet thinks

Sprawdźmy więc, co "Darknet" sądzi

of this image that we have.

o tym obrazie.

When we run our classifier

Wprowadzenie tego obrazu do klasyfikatora

on this image,

we see we don't just get a prediction of dog or cat,

nie tylko da nam prognozę, czy to pies czy kot,

we actually get specific breed predictions.

ale nawet prognozę konkretnej rasy.

That's the level of granularity we have now.

Taki poziom szczegółowości jest teraz dostępny.

And it's correct.

I jest to poprawne rozpoznanie.

My dog is in fact a malamute.

Mój pies to naprawdę malamut.

So we've made amazing strides in image classification,

Dokonaliśmy niesamowitego postępu w klasyfikacji obrazów,

but what happens when we run our classifier

ale co się stanie, jeśli wprowadzimy taki obraz?

on an image that looks like this?

Well ...

We see that the classifier comes back with a pretty similar prediction.

Klasyfikator zwraca podobną prognozę

And it's correct, there is a malamute in the image,

i jest poprawna - na zdjęciu jest malamut,

but just given this label, we don't actually know that much

ale na podstawie samej etykiety nie można dowiedzieć się wiele

about what's going on in the image.

na temat tego, co dzieje się na zdjęciu.

We need something more powerful.

Do tego potrzeba czegoś bardziej zaawansowanego.

I work on a problem called object detection,

Pracuję nad wykrywaniem obiektów.

where we look at an image and try to find all of the objects,

Patrzymy na obraz i próbujemy znaleźć wszystkie obiekty,

put bounding boxes around them

wpisujemy je w bryły brzegowe

and say what those objects are.

i je nazywamy.

So here's what happens when we run a detector on this image.

Oto co się dzieje, kiedy wprowadzimy ten obraz do detektora.

Now, with this kind of result,

Z tego rodzaju rezultatem

we can do a lot more with our computer vision algorithms.

możemy zrobić znacznie więcej, stosując nasze algorytmy.

We see that it knows that there's a cat and a dog.

Komputer wie, że na zdjęciu jest kot i pies.

It knows their relative locations,

Zna ich względne położenie,

their size.

ich wielkość.

It may even know some extra information.

Może też uzyskać dodatkowe informacje:

There's a book sitting in the background.

w tle leży książka.

And if you want to build a system on top of computer vision,

Żeby zbudować system na rozpoznawaniu obrazu,

say a self-driving vehicle or a robotic system,

powiedzmy samoprowadzący się pojazd lub manipulator robotyczny,

this is the kind of information that you want.

potrzeba właśnie tego typu informacji.

You want something so that you can interact with the physical world.

Potrzeba czegoś do interakcji ze światem fizycznym.

Now, when I started working on object detection,

Kiedy zacząłem pracować nad wykrywaniem obiektów,

it took 20 seconds to process a single image.

przetworzenie jednego obrazu zajmowało 20 sekund.

And to get a feel for why speed is so important in this domain,

Aby lepiej odczuć dlaczego prędkość jest tak ważna w tej dziedzinie,

here's an example of an object detector

pokażę przykład detektora obiektów,

that takes two seconds to process an image.

który przetwarza obraz w 2 sekundy.

So this is 10 times faster

To 10 razy szybciej

than the 20-seconds-per-image detector,

niż ten przetwarzający obraz w 20 sekund,

and you can see that by the time it makes predictions,

a i tak można zaobserwować, że zanim dokonał prognozy,

the entire state of the world has changed,

zmieniła się cała sytuacja,

and this wouldn't be very useful

a to nie byłoby zbyt użyteczne w zastosowaniu.

for an application.

If we speed this up by another factor of 10,

Jeśli dziesięciokrotnie przyspieszymy ten proces,

this is a detector running at five frames per second.

tak wygląda detektor przy pięciu klatkach an sekundę.

This is a lot better,

Wygląda to dużo lepiej,

but for example,

ale na przykład

if there's any significant movement,

w przypadku znacznego ruchu

I wouldn't want a system like this driving my car.

nie chciałbym, żeby taki system prowadził mój samochód.

This is our detection system running in real time on my laptop.

Tak wygląda nasz system działający w czasie rzeczywistym

na moim laptopie.

So it smoothly tracks me as I move around the frame,

Płynnie śledzi mnie w trakcie poruszania się w ramie

and it's robust to a wide variety of changes in size,

i jest odporny na dużą różnorodność zmian wielkości,

pose,

pozy,

forward, backward.

rotacji poziomej.

This is great.

O to chodziło.

This is what we really need

Tego właśnie potrzeba,

if we're going to build systems on top of computer vision.

żeby budować systemy na rozpoznawaniu obrazu.

(Applause)

(Brawa)

So in just a few years,

Zaledwie w kilka lat

we've gone from 20 seconds per image

przeszliśmy od 20 sekund na obraz

to 20 milliseconds per image, a thousand times faster.

do 20 milisekund na obraz - tysiąc razy szybciej.

How did we get there?

Jak to się stało?

Well, in the past, object detection systems

W przeszłości systemy wykrywania obiektów

would take an image like this

rozbiłyby ten obraz

and split it into a bunch of regions

na mnóstwo obszarów

and then run a classifier on each of these regions,

i wprowadziłyby każdy z nich do klasyfikatora,

and high scores for that classifier

a wysokie rezultaty klasyfikatora

would be considered detections in the image.

byłyby uważane za wykrycie obiektów.

But this involved running a classifier thousands of times over an image,

Ale to wymagało wprowadzenia obrazu do klasyfikatora tysiące razy,

thousands of neural network evaluations to produce detection.

tysięcy ewaluacji sieci neuronowych, aby otrzymać wykrycie.

Instead, we trained a single network to do all of detection for us.

Zamiast tego nauczyliśmy pojedynczą sieć

całkowitego wykrywania.

It produces all of the bounding boxes and class probabilities simultaneously.

Tworzy ona wszystkie bryły brzegowe i prawdopodobieństwa klasowe jednocześnie.

With our system, instead of looking at an image thousands of times

Nasz system, zamiast tysiąc razy analizować obraz

to produce detection,

do jednego wykrycia,

you only look once,

analizuje go tylko raz

and that's why we call it the YOLO method of object detection.

i dlatego nazywamy to metodą wykrywania obrazów YOLO.

So with this speed, we're not just limited to images;

Z tą prędkością nie musimy ograniczać się jedynie do obrazów.

we can process video in real time.

Możemy przetwarzać wideo w czasie rzeczywistym.

And now, instead of just seeing that cat and dog,

Teraz zamiast kota i psa

we can see them move around and interact with each other.

można też obserwować ich ruch i interakcję.

This is a detector that we trained

Trenowaliśmy ten detektor

on 80 different classes

na osiemdziesięciu różnych klasach

in Microsoft's COCO dataset.

w zbiorze danych Microsoft COCO.

It has all sorts of things like spoon and fork, bowl,

Zawiera on różnorodne rzeczy, na przykład łyżkę i widelec, miskę

common objects like that.

i podobne przedmioty codziennego użytku.

It has a variety of more exotic things:

Zawiera również bardziej egzotyczne obrazy:

animals, cars, zebras, giraffes.

zwierzęta, samochody, zebry, żyrafy.

And now we're going to do something fun.

Teraz zrobimy coś dla zabawy.

We're just going to go out into the audience

Skierujemy detektor na publiczność

and see what kind of things we can detect.

i zobaczymy, co się da wykryć.

Does anyone want a stuffed animal?

Czy ktoś chce pluszaka?

There are some teddy bears out there.

Mam tu kilka misiów.

And we can turn down our threshold for detection a little bit,

Możemy trochę obniżyć nasz próg wykrywalności,

so we can find more of you guys out in the audience.

aby znaleźć więcej osób na widowni.

Let's see if we can get these stop signs.

Zobaczmy, czy uda nam się rozpoznać te znaki stopu.

We find some backpacks.

Widzimy kilka plecaków.

Let's just zoom in a little bit.

Zróbmy niewielkie zbliżenie.

And this is great.

Świetnie.

And all of the processing is happening in real time

Całe przetwarzanie ma miejsce w czasie rzeczywistym

on the laptop.

na laptopie.

And it's important to remember

Należy pamiętać,

that this is a general purpose object detection system,

że jest to system wykrywania obiektów do użytku ogólnego,

so we can train this for any image domain.

więc możemy go wytrenować dla dowolnej kategorii obrazów.

The same code that we use

Ten sam kod, którego używamy

to find stop signs or pedestrians,

do znalezienia znaków stopu, pieszych,

bicycles in a self-driving vehicle,

lub rowerów w autonomicznym pojeździe

can be used to find cancer cells

można wykorzystać do znalezienia komórek rakowych

in a tissue biopsy.

w biopsji tkanki.

And there are researchers around the globe already using this technology

Badacze na całym świece używają już tej technologii

for advances in things like medicine, robotics.

do rozwoju w dziedzinach takich jak medycyna, czy robotyka.

This morning, I read a paper

Dziś rano czytałem pracę

where they were taking a census of animals in Nairobi National Park

omawiającą zliczanie zwierząt w Parku Narodowym Nairobi

with YOLO as part of this detection system.

przy wykorzystaniu YOLO jako części systemu wykrywania obiektów.

And that's because Darknet is open source

Jest to możliwe ponieważ "Darknet" jest programem open source,

and in the public domain, free for anyone to use.

będącym własnością publiczną do wolnego użytku.

(Applause)

(Brawa)

But we wanted to make detection even more accessible and usable,

Chcieliśmy jednak, żeby wykrywanie było bardziej przystępne i przydatne,

so through a combination of model optimization,

więc poprzez połączenie optymalizacji modelu,

network binarization and approximation,

binaryzacji i aproksymacji sieci

we actually have object detection running on a phone.

otrzymaliśmy wykrywanie obiektów działające na telefonie.

(Applause)

(Brawa)

And I'm really excited because now we have a pretty powerful solution

Jestem bardzo podekscytowany, bo mamy potężne rozwiązanie problemu

to this low-level computer vision problem,

rozpoznawania obrazów na komputerach o niskiej wydajności

and anyone can take it and build something with it.

i każdy może je wykorzystać i stworzyć coś przy jego użyciu.

So now the rest is up to all of you

Reszta zależy od was

and people around the world with access to this software,

i ludzi na całym świecie z dostępem do tego oprogramowania.

and I can't wait to see what people will build with this technology.

Nie mogę się doczekać tego,

co ludzie stworzą przy użyciu tej technologii.

Thank you.

Dziękuję.

(Applause)

(Brawa)