How computers learn to recognize objects instantly | Joseph Redmon

Перекладач: Olena Gapak Утверджено: Khrystyna Romashko

Ten years ago,

Десять років тому

computer vision researchers thought that getting a computer

дослідники комп'ютерного зору вважали, що навчити комп'ютер

to tell the difference between a cat and a dog

визначити різницю між котом і собакою —

would be almost impossible,

майже неможливо,

even with the significant advance in the state of artificial intelligence.

навіть зі значним розвитком в галузі штучного інтелекту.

Now we can do it at a level greater than 99 percent accuracy.

Зараз ми вміємо це робити з точністю понад 99%.

This is called image classification --

Це називається класифікація зображень —

give it an image, put a label to that image --

маючи зображення, назвати це зображення —

and computers know thousands of other categories as well.

і комп'ютери знають тисячі таких категорій.

I'm a graduate student at the University of Washington,

Я аспірант Університету Вашингтона,

and I work on a project called Darknet,

і я працюю над проектом під назвою Даркнет,

which is a neural network framework

це фреймворк для нейронної сітки,

for training and testing computer vision models.

який навчає і тестує моделі комп'ютерного зору.

So let's just see what Darknet thinks

Дізнаймося, що думає Даркнет

of this image that we have.

про це наше зображення.

When we run our classifier

Коли ми запускаємо класифікатор

on this image,

для цього зображення,

we see we don't just get a prediction of dog or cat,

ми отримуємо не просто прогноз щодо кішки чи собаки,

we actually get specific breed predictions.

насправді ми отримуємо визначення породи.

That's the level of granularity we have now.

Ось такий рівень точності ми маємо зараз.

And it's correct.

І це так.

My dog is in fact a malamute.

Мій собака насправді маламут.

So we've made amazing strides in image classification,

Тож ми досягли відчутного успіху у класифікації зображень,

but what happens when we run our classifier

але що станеться, якщо запустити класифікатор

on an image that looks like this?

на отакому зображенні?

Well ...

Ну...

We see that the classifier comes back with a pretty similar prediction.

Ми бачимо, що він повертається з дуже подібним передбаченням.

And it's correct, there is a malamute in the image,

І це правда, на зображенні є маламут,

but just given this label, we don't actually know that much

але через саму цю назву ми небагато дізналися про те,

about what's going on in the image.

що саме відбувається на зображенні.

We need something more powerful.

Нам потрібно щось потужніше.

I work on a problem called object detection,

І я працюю над проблемою під назвою визначення об'єктів,

where we look at an image and try to find all of the objects,

ми дивимося на зображення і намагаємося знайти усі об'єкти,

put bounding boxes around them

визначивши їхні межі

and say what those objects are.

і підписавши, що це таке.

So here's what happens when we run a detector on this image.

Ось що трапиться, якщо запустити детектор для цього зображення.

Now, with this kind of result,

З таким результатом ми можемо

we can do a lot more with our computer vision algorithms.

зробити більше з нашими алгоритмами комп'ютерного зору.

We see that it knows that there's a cat and a dog.

Ми бачимо, що він знає, що це кіт і собака.

It knows their relative locations,

Він знає їхні приблизні локації,

their size.

їхній розмір.

It may even know some extra information.

Він може навіть знати деяку додаткову інформацію.

There's a book sitting in the background.

Ось там на фоні книжка.

And if you want to build a system on top of computer vision,

І якщо ви хочете побудувати систему на основі комп'ютерного зору,

say a self-driving vehicle or a robotic system,

наприклад, машину на автопілоті чи роботизовану систему,

this is the kind of information that you want.

ви потребуватимете саме такої інформації.

You want something so that you can interact with the physical world.

Ви хочете чогось, що дозволить взаємодіяти з матеріальним світом.

Now, when I started working on object detection,

Коли я почав працювати над визначенням об'єктітв,

it took 20 seconds to process a single image.

обробка зображення займала 20 секунд.

And to get a feel for why speed is so important in this domain,

І щоб зрозуміти, чому швидкість настільки важлива в цій галузі,

here's an example of an object detector

ось приклад детектора об'єктів,

that takes two seconds to process an image.

що потребує 2 секунди на обробку зображення.

So this is 10 times faster

Тож він у десять разів швидший

than the 20-seconds-per-image detector,

за той 20-секундний детектор,

and you can see that by the time it makes predictions,

але видно, що коли він робить свій прогноз,

the entire state of the world has changed,

стан навколишнього світу вже змінився.

and this wouldn't be very useful

Тож це не дуже корисно

for an application.

для додатку.

If we speed this up by another factor of 10,

Якщо ми прискоримо це ще вдесятеро,

this is a detector running at five frames per second.

ось детектор, що працює на швидкості 5 кадрів на секунду.

This is a lot better,

Це набагато краще,

but for example,

але наприклад,

if there's any significant movement,

якщо відбувається помітний рух,

I wouldn't want a system like this driving my car.

я б не хотів, щоб така система керувала моєю автівкою.

This is our detection system running in real time on my laptop.

Це наша система визначення, що працює наживо на моєму лептопі.

So it smoothly tracks me as I move around the frame,

Вона послідовно визначає моє місце, поки я рухаюсь коло меж,

and it's robust to a wide variety of changes in size,

і вона стійка до різноманітних змін розміру,

pose,

пози,

forward, backward.

руху вперед і назад.

This is great.

Це чудово.

This is what we really need

Саме це нам і потрібно,

if we're going to build systems on top of computer vision.

якщо ми хочемо будувати системи на основі комп'ютерного зору.

(Applause)

(Оплески)

So in just a few years,

Тож лише за кілька років

we've gone from 20 seconds per image

ми пройшли від 20 секунд на зображення

to 20 milliseconds per image, a thousand times faster.

до 20 мілісекунд на зображення, у тисячу разів швидше.

How did we get there?

Як ми цього досягли?

Well, in the past, object detection systems

У минулому система визначення об'єктів

would take an image like this

взяла б подібне зображення

and split it into a bunch of regions

і поділила на безліч регіонів,

and then run a classifier on each of these regions,

а потім запустила б класифікатор для кожного регіону,

and high scores for that classifier

і високі бали для такого класифікатора

would be considered detections in the image.

вважалися б за визначення зображення.

But this involved running a classifier thousands of times over an image,

Але це потребувало б запуску класифікатора тисячі разів,

thousands of neural network evaluations to produce detection.

тисячі перевірок нейронної мережі, щоб зробити визначення.

Instead, we trained a single network to do all of detection for us.

Натомість ми натренували єдину мережу робити усі визначення для нас.

It produces all of the bounding boxes and class probabilities simultaneously.

Вона створює усі рамки й сортує ймовірності одночасно.

With our system, instead of looking at an image thousands of times

З нашою системою, замість того щоб тисячі разів дивитися на зображення

для визначення, ми дивимося один раз:

to produce detection,

you only look once,

"you only look once".

and that's why we call it the YOLO method of object detection.

і ми назвали наш метод визначення об'єктів YOLO.

So with this speed, we're not just limited to images;

Тож з такою швидкістю ми не обмежені зображеннями,

we can process video in real time.

ми можемо обробляти відео наживо.

And now, instead of just seeing that cat and dog,

І тепер, замість того щоб бачити тих кота і собаку,

we can see them move around and interact with each other.

ми можемо бачити, як вони рухаються і взаємодіють.

This is a detector that we trained

Цей детектор ми тренували

on 80 different classes

на 80 різних класах

in Microsoft's COCO dataset.

з набору даних Microsoft СОСО.

It has all sorts of things like spoon and fork, bowl,

Там були усі типи речей: ложка і виделка, миска,

common objects like that.

подібні звичні речі.

It has a variety of more exotic things:

Там була й безліч незвичніших речей:

animals, cars, zebras, giraffes.

тварини, авто, зебри, жирафи.

And now we're going to do something fun.

І зараз ми зробимо дещо цікаве.

We're just going to go out into the audience

Ми просто підемо у залу

and see what kind of things we can detect.

і побачимо, які речі зможемо визначити.

Does anyone want a stuffed animal?

Хтось хоче м'яку іграшку?

There are some teddy bears out there.

Тут є іграшкові ведмеді.

And we can turn down our threshold for detection a little bit,

І ми можемо трошки знизити поріг розпізнавання,

so we can find more of you guys out in the audience.

щоб знайти більше вас в аудиторії.

Let's see if we can get these stop signs.

Побачимо, чи ми визначаємо знаки "стоп".

We find some backpacks.

Ми знайшли наплечники.

Let's just zoom in a little bit.

Тепер наблизьмо трошки.

And this is great.

І це чудово.

And all of the processing is happening in real time

І уся обробка відбувається в реальному часі

on the laptop.

на лептопі.

And it's important to remember

І важливо пам'ятати,

that this is a general purpose object detection system,

що це система визначення загального призначення,

so we can train this for any image domain.

тож ми можемо натренувати її для будь-якого типу зображень.

The same code that we use

Той самий код, що використовується,

to find stop signs or pedestrians,

щоб знаходити знаки "стоп", пішоходів,

bicycles in a self-driving vehicle,

велосипеди для машини на автопілоті,

can be used to find cancer cells

можна використати, щоб знаходити ракові клітини

in a tissue biopsy.

у біопсії тканини.

And there are researchers around the globe already using this technology

І дослідники по всьому світу вже використовують цю технологію,

for advances in things like medicine, robotics.

щоб розвивати медицину чи робототехніку.

This morning, I read a paper

Цього ранку я прочитав статтю

where they were taking a census of animals in Nairobi National Park

про те, як підраховували тварин в Національному парку Найробі,

with YOLO as part of this detection system.

використовуючи YOLO як частину системи розпізнавання.

And that's because Darknet is open source

А це тому, що Даркнет — проект з вікритим кодом

and in the public domain, free for anyone to use.

у публічному доступі, безкоштовний для використання.

(Applause)

(Оплески)

But we wanted to make detection even more accessible and usable,

Але ми хочемо зробити визначення навіть доступнішим і зручнішим,

so through a combination of model optimization,

тож завдяки оптимізації,

network binarization and approximation,

апроксимації та бінаризації мережі

we actually have object detection running on a phone.

наше визначення зображень працює на телефоні.

(Applause)

(Оплески)

And I'm really excited because now we have a pretty powerful solution

І я дуже схвильований, бо зараз у нас є досить потужне розв'язання

to this low-level computer vision problem,

для низькорівневого комп'ютерного зору,

and anyone can take it and build something with it.

і кожен може взяти його і щоб з цим побудувати.

So now the rest is up to all of you

Тож решта залежить від вас усіх,

and people around the world with access to this software,

від людей по всьому світу, які мають доступ до цієї програми,

and I can't wait to see what people will build with this technology.

і я із нетерпінням чекаю на речі, які люди створять із цією технологією.

Thank you.

Дякую.

(Applause)

(Оплески)