How computers learn to recognize objects instantly | Joseph Redmon

Переводчик: Alena Chernykh Редактор: Yulia Kallistratova

Ten years ago,

Десять лет назад

computer vision researchers thought that getting a computer

исследователи компьютерного зрения думали, что научить компьютер

to tell the difference between a cat and a dog

различать изображения кошки и собаки

would be almost impossible,

будет практически невозможно,

even with the significant advance in the state of artificial intelligence.

даже несмотря на значительный прогресс в развитии искусственного интеллекта.

Now we can do it at a level greater than 99 percent accuracy.

Сегодня мы можем это делать с точностью до 99 процентов.

This is called image classification --

Это называется классификацией изображений,

give it an image, put a label to that image --

дайте компьютеру картинку, присвойте этой картинке категорию,

and computers know thousands of other categories as well.

и он выдаст вам тысячи похожих.

I'm a graduate student at the University of Washington,

Я аспирант в Вашингтонском университете,

and I work on a project called Darknet,

работаю над проектом Darknet,

which is a neural network framework

который представляет собой нейронную сеть

for training and testing computer vision models.

для обучения и тестирования модели компьютерного зрения.

So let's just see what Darknet thinks

Давайте посмотрим, что думает Darknet

of this image that we have.

о данном изображении.

When we run our classifier

Когда мы запускаем наш классификатор

on this image,

для этого изображения, мы видим,

we see we don't just get a prediction of dog or cat,

что мы не просто получаем предположение, собака здесь изображена или кошка,

we actually get specific breed predictions.

That's the level of granularity we have now.

мы фактически получаем варианты конкретных пород.

And it's correct.

Вот современный уровень детализации.

My dog is in fact a malamute.

И он не ошибся.

Порода моей собаки действительно маламут.

So we've made amazing strides in image classification,

Поэтому мы сделали удивительные успехи в классификации изображений,

but what happens when we run our classifier

но что происходит, когда мы запускаем наш классификатор

on an image that looks like this?

применительно к картинке, которая выглядит вот так?

Well ...

Ну...

We see that the classifier comes back with a pretty similar prediction.

Мы видим, что классификатор выдаёт довольно похожие варианты.

And it's correct, there is a malamute in the image,

Всё правильно: на фото — маламут,

but just given this label, we don't actually know that much

но по одной такой метке мы на самом деле не знаем,

about what's going on in the image.

что происходит на снимке.

We need something more powerful.

Нам нужно нечто более мощное.

I work on a problem called object detection,

Я работаю над вопросом, касающимся обнаружения объекта,

where we look at an image and try to find all of the objects,

то есть, когда мы смотрим на фото и пытаемся найти все объекты,

put bounding boxes around them

ставим ограничивающие прямоугольники вокруг них

and say what those objects are.

и определяем эти объекты.

So here's what happens when we run a detector on this image.

Вот что происходит, когда мы запускаем детектор на этом изображении.

Now, with this kind of result,

И теперь, имея такой результат,

we can do a lot more with our computer vision algorithms.

мы можем сделать гораздо больше с нашими алгоритмами компьютерного зрения.

We see that it knows that there's a cat and a dog.

Мы видим, что компьютер знает, где кошка, а где собака.

It knows their relative locations,

Он знает их расположение относительно друг друга,

their size.

It may even know some extra information.

их размер.

Он даже может знать какую-то дополнительную информацию.

There's a book sitting in the background.

На заднем плане находится книга.

And if you want to build a system on top of computer vision,

И если вы хотите построить сверхсистему компьютерного зрения,

say a self-driving vehicle or a robotic system,

например, самоуправляемое транспортное средство или робототехническую систему,

this is the kind of information that you want.

это именно та информация, которая вам пригодится.

You want something so that you can interact with the physical world.

Вам нужно что-то, что поможет вам взаимодействовать с материальным миром.

Now, when I started working on object detection,

Сейчас, работая над проблемой обнаружения объекта,

it took 20 seconds to process a single image.

я добился того, что для обработки одного изображения требуется 20 секунд.

And to get a feel for why speed is so important in this domain,

И чтобы понять, почему скорость так важна в этой области,

here's an example of an object detector

вот пример детектора объекта,

that takes two seconds to process an image.

которому требуется две секунды на обработку изображения.

So this is 10 times faster

Он в 10 раз быстрее

than the 20-seconds-per-image detector,

20-секундного детектора,

and you can see that by the time it makes predictions,

понятно, что к моменту, когда он выдаёт варианты,

the entire state of the world has changed,

в мире происходит много изменений,

and this wouldn't be very useful

и это делает приложение

for an application.

бесполезным.

If we speed this up by another factor of 10,

Если увеличить скорость операций в 10 раз,

this is a detector running at five frames per second.

получим детектор, обрабатывающий пять кадров в секунду.

This is a lot better,

Это значительно лучше,

but for example,

но в случае,

if there's any significant movement,

если произойдёт значительное движение, я бы не хотел,

I wouldn't want a system like this driving my car.

чтобы подобная система управляла моим автомобилем.

This is our detection system running in real time on my laptop.

На ноутбуке видно, как наша система обнаружения работает в реальном времени.

So it smoothly tracks me as I move around the frame,

Она плавно отслеживает, как я передвигаюсь по помещению,

and it's robust to a wide variety of changes in size,

и она точно определяет широкий спектр изменений в размере,

pose,

позе,

forward, backward.

движений вперёд и назад.

This is great.

Великолепно.

This is what we really need

Это как раз то, что нам нужно,

if we're going to build systems on top of computer vision.

если мы хотим создать систему самого лучшего компьютерного зрения.

(Applause)

(Аплодисменты)

So in just a few years,

Всего лишь за несколько лет

we've gone from 20 seconds per image

мы продвинулись от 20 секунд на одно изображение

to 20 milliseconds per image, a thousand times faster.

до 20 миллисекунд, что в тысячу раз быстрее.

How did we get there?

Как нам это удалось?

Well, in the past, object detection systems

В прошлом система опознавания объектов

would take an image like this

брала такое вот изображение

and split it into a bunch of regions

и разделяла его на множество секций,

and then run a classifier on each of these regions,

а затем запускала классификатор по каждой из этих секций,

and high scores for that classifier

и высокий рейтинг классификатора

would be considered detections in the image.

считался определением изображения.

But this involved running a classifier thousands of times over an image,

Подразумевается, что классификатор должен перебрать тысячи вариантов изображения,

thousands of neural network evaluations to produce detection.

тысячи оценок нейронной сети, чтобы выдать конечный результат.

Instead, we trained a single network to do all of detection for us.

Вместо этого мы использовали единственную сеть, которая выполнила всю работу за нас.

It produces all of the bounding boxes and class probabilities simultaneously.

Она производит все ограничения и варианты видов одновременно.

With our system, instead of looking at an image thousands of times

Благодаря нашей системе, вместо того, чтобы смотреть на изображение тысячи раз

to produce detection,

для его опознавания,

you only look once,

достаточно взглянуть раз,

and that's why we call it the YOLO method of object detection.

вот почему мы назвали её метод опознавания YOLO.

So with this speed, we're not just limited to images;

С такой скоростью мы не ограничены разнообразием объектов,

we can process video in real time.

мы можем воспроизвести видео в режиме реального времени.

And now, instead of just seeing that cat and dog,

Сейчас вместо того, чтобы просто смотреть на эту кошку и собаку,

we can see them move around and interact with each other.

мы видим, как они двигаются и общаются друг с другом.

This is a detector that we trained

Мы обучили этот детектор

on 80 different classes

на 80 разных видах

in Microsoft's COCO dataset.

в наборе данных COCO от Майкрософт.

It has all sorts of things like spoon and fork, bowl,

Он учитывает все виды вещей, такие как как ложка, вилка, миска

common objects like that.

и другие обычные предметы.

It has a variety of more exotic things:

Есть и более специфичные объекты:

animals, cars, zebras, giraffes.

животные, автомобили, зебры, жирафы.

And now we're going to do something fun.

А сейчас сделаем кое-что прикольное.

We're just going to go out into the audience

Я подойду к кому-нибудь из аудитории,

and see what kind of things we can detect.

и мы посмотрим, какие объекты мы сможем определить.

Does anyone want a stuffed animal?

Кто-нибудь хочет чучело?

There are some teddy bears out there.

Мы подготовили несколько плюшевых медведей.

And we can turn down our threshold for detection a little bit,

Можно немного снизить порог опознавания,

so we can find more of you guys out in the audience.

так что мы сможем кое-что о вас узнать, друзья.

Let's see if we can get these stop signs.

Посмотрим, сможем ли получить эти знаки остановки.

We find some backpacks.

Обнаружили несколько рюкзаков.

Let's just zoom in a little bit.

Давайте немного увеличим масштаб.

And this is great.

Класс!

And all of the processing is happening in real time

Весь процесс происходит в режиме реального времени

on the laptop.

на ноутбуке.

And it's important to remember

Важно помнить,

that this is a general purpose object detection system,

что это главная цель системы обнаружения,

so we can train this for any image domain.

поэтому мы можем экспериментировать с изображениями из разных областей.

The same code that we use

Тот же самый код, который мы используем

to find stop signs or pedestrians,

для обнаружения знаков «Стоп» или пешеходов,

bicycles in a self-driving vehicle,

велосипедов в самоуправляемых автомобилях,

can be used to find cancer cells

может быть использован для поиска раковых клеток

in a tissue biopsy.

в биопсии ткани.

And there are researchers around the globe already using this technology

Исследователи по всему миру уже используют эту технологию

for advances in things like medicine, robotics.

для внедрения инноваций в медицине, робототехнике.

This morning, I read a paper

Сегодня утром я прочёл статью о том,

where they were taking a census of animals in Nairobi National Park

что в национальном парке Найроби при составлении переписи животных

with YOLO as part of this detection system.

используют YOLO как часть этой системы обнаружения.

And that's because Darknet is open source

Причина этого о в том, что Darknet является общедоступным ресурсом

and in the public domain, free for anyone to use.

и любой пользователь может пользоваться им бесплатно.

(Applause)

(Аплодисменты)

But we wanted to make detection even more accessible and usable,

Но мы хотели сделать опознавание ещё более доступным и удобным,

so through a combination of model optimization,

и благодаря комбинации модели оптимизации,

network binarization and approximation,

сети бинаризации и приближения,

we actually have object detection running on a phone.

в итоге мы смогли добиться опознавания объекта с помощью телефона.

(Applause)

(Аплодисменты)

And I'm really excited because now we have a pretty powerful solution

И я очень рад, потому что теперь у нас есть очень мощное решение

to this low-level computer vision problem,

проблемы низкого уровня компьютерного зрения,

and anyone can take it and build something with it.

и любой может взять его и что-нибудь создать с его помощью.

So now the rest is up to all of you

Так что остальное теперь зависит от всех вас

and people around the world with access to this software,

и людей по всему миру, имеющих доступ к данному программному обеспечению,

and I can't wait to see what people will build with this technology.

и я не могу дождаться, чтобы увидеть, что люди создадут с помощью этой технологии.

Thank you.

Спасибо.

(Applause)

(Аплодисменты)