How computers learn to recognize objects instantly | Joseph Redmon

Translator: Mario Cal Reviewer: Xusto Rodriguez

Ten years ago,

Hai dez anos,

computer vision researchers thought that getting a computer

os expertos en visión artificial crían que lograr que un ordenador

to tell the difference between a cat and a dog

distinguise entre un gato e un can

would be almost impossible,

sería practicamente imposible

even with the significant advance in the state of artificial intelligence.

malia os considerables progresos en intelixencia artificial.

Now we can do it at a level greater than 99 percent accuracy.

Hoxe podemos facelo cunha precisión superior ao 99 por cento.

This is called image classification --

Isto chámase clasificación de imaxes:

give it an image, put a label to that image --

dada unha imaxe, asígnalle unha etiqueta.

and computers know thousands of other categories as well.

E os ordenadores coñecen ademais miles doutras categorías.

I'm a graduate student at the University of Washington,

Son estudante de posgrao na Universidade de Washington,

and I work on a project called Darknet,

e traballo nun proxecto chamado Darknet,

which is a neural network framework

un contorno de traballo de rede neural

for training and testing computer vision models.

para adestrar e probar modelos de visión artificial.

So let's just see what Darknet thinks

Imos ver o que pensa Darknet

of this image that we have.

desta imaxe que temos aquí.

When we run our classifier

Ao aplicarlle o noso clasificador

on this image,

a esta imaxe,

we see we don't just get a prediction of dog or cat,

vemos que non se limita a predicir can ou gato;

we actually get specific breed predictions.

de feito, dános tamén razas concretas.

That's the level of granularity we have now.

Ese é o nivel de granularidade que temos agora.

And it's correct.

E é correcto.

My dog is in fact a malamute.

O meu can é efectivamente un malamute.

So we've made amazing strides in image classification,

Así que demos xa pasos enormes na clasificación de imaxes,

but what happens when we run our classifier

pero que acontece se executamos o noso clasificador

on an image that looks like this?

sobre unha imaxe coma esta?

Well ...

Ben...

We see that the classifier comes back with a pretty similar prediction.

Vemos que o clasificador nos devolve unha predición bastante similar.

And it's correct, there is a malamute in the image,

E é correcta: hai un malamute na imaxe,

but just given this label, we don't actually know that much

pero con só esa etiqueta, en realidade, non sabemos moito

about what's going on in the image.

sobre o que ocorre nela.

We need something more powerful.

Necesitamos algo máis potente.

I work on a problem called object detection,

Eu traballo nun problema denominado detección de obxectos,

where we look at an image and try to find all of the objects,

no que vemos unha imaxe e tratamos de atopar todos os obxectos,

put bounding boxes around them

encerrámolos en caixas

and say what those objects are.

e dicimos que son eses obxectos.

So here's what happens when we run a detector on this image.

Isto é o que acontece cando lle aplicamos un detector a esta imaxe.

Now, with this kind of result,

Ben, con este tipo de resultado

we can do a lot more with our computer vision algorithms.

podemos facer moito máis cos nosos algoritmos de visión artificial.

We see that it knows that there's a cat and a dog.

Vemos que sabe que hai un gato e un can.

It knows their relative locations,

Sabe a súa posición relativa,

their size.

o seu tamaño.

It may even know some extra information.

Mesmo pode coñecer algúns datos adicionais.

There's a book sitting in the background.

Hai un libro ao fondo.

And if you want to build a system on top of computer vision,

E se queremos construír un sistema baseado na visión artificial,

say a self-driving vehicle or a robotic system,

por exemplo, un vehículo autónomo ou un sistema robótico,

this is the kind of information that you want.

esta é a clase de información que necesitamos.

You want something so that you can interact with the physical world.

Necesitamos algo que faga posible interactuar co mundo físico.

Now, when I started working on object detection,

Cando eu comecei a traballar coa detección de obxectos,

it took 20 seconds to process a single image.

tardábase 20 segundos en procesar unha soa imaxe.

And to get a feel for why speed is so important in this domain,

Para darvos unha idea da importancia da velocidade neste ámbito,

here's an example of an object detector

este é un exemplo dun detector de obxectos

that takes two seconds to process an image.

que tarda dous segundos en procesar unha imaxe.

So this is 10 times faster

É dicir, é 10 veces máis rápido

than the 20-seconds-per-image detector,

có dos 20 segundos por imaxe,

and you can see that by the time it makes predictions,

e, como vedes, cando fai a súa predición,

the entire state of the world has changed,

a situación xa mudou por completo,

and this wouldn't be very useful

o cal non sería moi útil

for an application.

para ningunha aplicación.

If we speed this up by another factor of 10,

Se multiplicamos a velocidade por 10,

this is a detector running at five frames per second.

temos un detector que vai a cinco imaxes por segundo.

This is a lot better,

É moito mellor,

but for example,

pero, por exemplo,

if there's any significant movement,

se hai un movemento grande,

I wouldn't want a system like this driving my car.

a min non me gustaría que un sistema coma este conducise o meu coche.

This is our detection system running in real time on my laptop.

Este é o noso sistema de detección funcionando en tempo real no meu portátil.

So it smoothly tracks me as I move around the frame,

Segue sen saltos os meus desprazamentos pola imaxe,

and it's robust to a wide variety of changes in size,

e responde de forma fiable a moi diversos cambios de tamaño,

pose,

postura,

forward, backward.

avance, retroceso.

This is great.

É fantástico.

This is what we really need

Isto é o que necesitamos

if we're going to build systems on top of computer vision.

se pretendemos construír sistemas baseados na visión artificial.

(Applause)

(Aplausos)

So in just a few years,

Así que en apenas uns anos,

we've gone from 20 seconds per image

pasamos de 20 segundos por imaxe

to 20 milliseconds per image, a thousand times faster.

a 20 milisegundos por imaxe, mil veces máis rápido.

How did we get there?

Como chegamos ata aquí?

Well, in the past, object detection systems

Ben, os anteriores sistemas de detección de obxectos

would take an image like this

collían unha imaxe coma esta,

and split it into a bunch of regions

dividíana nunha serie de rexións

and then run a classifier on each of these regions,

e executaban un clasificador en cada unha desas rexións,

and high scores for that classifier

e os valores altos nun clasificador dado

would be considered detections in the image.

interpretábanse como deteccións na imaxe.

But this involved running a classifier thousands of times over an image,

Pero isto supoñía executar un clasificador miles de veces sobre unha imaxe.

thousands of neural network evaluations to produce detection.

miles de avaliacións por redes neurais para producir unha detección.

Instead, we trained a single network to do all of detection for us.

Nós, en cambio, adestramos unha soa rede para que fixese todo o proceso.

It produces all of the bounding boxes and class probabilities simultaneously.

Produce simultaneamente todas as caixas e as probabilidades de clase.

With our system, instead of looking at an image thousands of times

Co noso sistema, no canto de analizar unha imaxe miles de veces

to produce detection,

para producir unha detección,

you only look once,

só é necesario mirala unha vez.

and that's why we call it the YOLO method of object detection.

Chamámoslle método YOLO de detección de obxectos.

So with this speed, we're not just limited to images;

Con esta velocidade, non estamos limitados ás imaxes estáticas;

we can process video in real time.

podemos procesar vídeo en tempo real.

And now, instead of just seeing that cat and dog,

Agora, no canto de simplemente ver o gato e o can,

we can see them move around and interact with each other.

podemos velos moverse e interactuar.

This is a detector that we trained

Este é un detector que adestramos

on 80 different classes

con 80 categorías distintas

in Microsoft's COCO dataset.

do banco de datos COCO de Microsoft.

It has all sorts of things like spoon and fork, bowl,

Contén todo tipo de cousas, como culler e garfo, cunca,

common objects like that.

obxectos comúns.

It has a variety of more exotic things:

Ten outras cousas máis exóticas:

animals, cars, zebras, giraffes.

animais, coches, cebras, xirafas.

And now we're going to do something fun.

Agora imos facer algo divertido.

We're just going to go out into the audience

Ímonos achegar ao público

and see what kind of things we can detect.

para ver que podemos detectar.

Does anyone want a stuffed animal?

Alguén quere unha peluche?

There are some teddy bears out there.

Hai por aí uns cantos osos de peluche.

And we can turn down our threshold for detection a little bit,

Podemos baixar un pouquiño o limiar de detección,

so we can find more of you guys out in the audience.

para atopar máis cousas entre o público.

Let's see if we can get these stop signs.

A ver se podemos localizar eses sinais de stop.

We find some backpacks.

Atopamos algunhas mochilas.

Let's just zoom in a little bit.

Démoslle un pouco ao zoom.

And this is great.

Isto é fantástico.

And all of the processing is happening in real time

E todo ese procesamento estase realizando en tempo real

on the laptop.

no portátil.

And it's important to remember

Cómpre lembrar

that this is a general purpose object detection system,

que este é un sistema de detección de uso xeral,

so we can train this for any image domain.

polo que podemos adestralo para calquera ámbito.

The same code that we use

O mesmo código que empregamos

to find stop signs or pedestrians,

para detectar sinais de stop, peóns

bicycles in a self-driving vehicle,

ou bicicletas nun vehículo autónomo

can be used to find cancer cells

pódese empregar para detectar células cancerosas

in a tissue biopsy.

nunha biopsia de tecido.

And there are researchers around the globe already using this technology

Hai investigadores por todo o mundo que xa están a usar esta tecnoloxía

for advances in things like medicine, robotics.

para lograr novos avances en campos como a medicina ou a robótica.

This morning, I read a paper

Esta mañá lin un artigo

where they were taking a census of animals in Nairobi National Park

no que falan dun censo dos animais do Parque Nacional de Nairobi

with YOLO as part of this detection system.

no que están empregando YOLO como parte do sistema de detección.

And that's because Darknet is open source

Porque Darknet é código aberto,

and in the public domain, free for anyone to use.

é público para que calquera poida usalo libremente.

(Applause)

(Aplausos)

But we wanted to make detection even more accessible and usable,

Pero queriamos facer a detección máis accesible e práctica,

so through a combination of model optimization,

así que combinando a optimización de modelos,

network binarization and approximation,

a binarización e aproximación de redes,

we actually have object detection running on a phone.

logramos que a detección de obxectos funcionase nun teléfono.

(Applause)

(Aplausos)

And I'm really excited because now we have a pretty powerful solution

Estou entusiasmado porque agora temos unha solución bastante potente

to this low-level computer vision problem,

para este problema de visión artificial de baixo nivel,

and anyone can take it and build something with it.

e calquera pode usala para facer algo con ela.

So now the rest is up to all of you

A partir de aquí depende de todos vós

and people around the world with access to this software,

e doutros por todo o mundo con acceso a este software,

and I can't wait to see what people will build with this technology.

e estou desexando ver o que construirán con esta tecnoloxía.

Thank you.

Grazas.

(Applause)

(Aplausos)