How computers learn to recognize objects instantly | Joseph Redmon

Tradutor: Diana Almeida Revisora: Margarida Ferreira

Ten years ago,

Há dez anos, os investigadores de visão computacional

computer vision researchers thought that getting a computer

pensavam que fazer com que um computador

to tell the difference between a cat and a dog

percebesse a diferença entre um gato e um cão

would be almost impossible,

seria praticamente impossível,

even with the significant advance in the state of artificial intelligence.

mesmo com o avanço significativo no campo da inteligência artificial.

Now we can do it at a level greater than 99 percent accuracy.

Agora, podemos fazê-lo com uma precisão superior a 99%.

This is called image classification --

Isto chama-se classificação de imagem:

give it an image, put a label to that image --

dar ao computador uma imagem, atribuirmos-lhe um rótulo,

and computers know thousands of other categories as well.

e os computadores reconhecem milhares de outras categorias também.

I'm a graduate student at the University of Washington,

Sou um aluno de pós-graduação da Universidade de Washington,

and I work on a project called Darknet,

e trabalho num projeto chamado "Darknet",

which is a neural network framework

que é uma estrutura de rede neural

for training and testing computer vision models.

para treinar e testar modelos de visão computacional.

So let's just see what Darknet thinks

Então, vamos ver o que a "Darknet" pensa

of this image that we have.

desta imagem que temos.

When we run our classifier

Quando usamos o nosso classificador nesta imagem,

on this image,

we see we don't just get a prediction of dog or cat,

não ficamos somente a saber se é um cão ou um gato,

we actually get specific breed predictions.

mas obtemos a raça específica.

That's the level of granularity we have now.

Este é o nível de detalhe que temos agora.

And it's correct.

E está correto.

My dog is in fact a malamute.

O meu cão é, de facto, um malamute.

So we've made amazing strides in image classification,

Então, fizemos incríveis avanços na classificação de imagem,

but what happens when we run our classifier

mas o que acontece quando usamos o classificador numa imagem como esta?

on an image that looks like this?

Well ...

Bem...

We see that the classifier comes back with a pretty similar prediction.

Vemos que o classificador retorna com uma predição muito similar.

And it's correct, there is a malamute in the image,

E está correta, há um malamute na imagem,

but just given this label, we don't actually know that much

mas só através deste rótulo, não conseguimos saber muito

about what's going on in the image.

sobre o que se passa na imagem.

We need something more powerful.

Precisamos de algo mais eficaz.

I work on a problem called object detection,

Eu trabalho numa questão chamada deteção de objetos,

where we look at an image and try to find all of the objects,

em que analisamos uma imagem e tentamos achar todos os objetos,

put bounding boxes around them

colocamos caixas delimitadoras à volta deles

and say what those objects are.

e dizemos que objetos são aqueles.

So here's what happens when we run a detector on this image.

Isto é o que acontece quando usamos um detetor nesta imagem.

Now, with this kind of result,

Com este tipo de resultado,

podemos fazer muito mais com os nossos algoritmos de visão computacional.

we can do a lot more with our computer vision algorithms.

We see that it knows that there's a cat and a dog.

Vemos que o detetor sabe que está ali um gato e um cão.

It knows their relative locations,

Ele sabe quais as suas posições relativas, o tamanho deles.

their size.

It may even know some extra information.

Pode até saber alguma informação extra:

There's a book sitting in the background.

está um livro ali ao fundo.

And if you want to build a system on top of computer vision,

E se quisermos construir um sistema a partir da visão computacional,

say a self-driving vehicle or a robotic system,

digamos, um veículo autónomo ou um sistema robótico,

this is the kind of information that you want.

este é o tipo de informação que queremos.

You want something so that you can interact with the physical world.

Precisamos de algo que possa interagir com o mundo físico.

Now, when I started working on object detection,

Quando comecei a trabalhar em deteção de objetos,

it took 20 seconds to process a single image.

levava 20 segundos para processar uma única imagem.

And to get a feel for why speed is so important in this domain,

E para terem uma noção de como a velocidade é tão importante neste campo,

here's an example of an object detector

este é um exemplo de um detetor de objetos

that takes two seconds to process an image.

que leva dois segundos para processar uma imagem.

So this is 10 times faster

Isto é, 10 vezes mais rápido

than the 20-seconds-per-image detector,

que o detetor de 20-segundos-por-imagem.

and you can see that by the time it makes predictions,

Podem ver que. no tempo que demora a fazer predições,

the entire state of the world has changed,

tudo mudou.

and this wouldn't be very useful

Isso não seria muito útil para uma aplicação.

for an application.

If we speed this up by another factor of 10,

Se aumentarmos a velocidade 10 vezes mais,

this is a detector running at five frames per second.

este é um detetor a cinco quadros por segundo.

This is a lot better,

Isto é muito melhor

but for example,

mas, por exemplo,

if there's any significant movement,

se houver qualquer movimento significativo,

I wouldn't want a system like this driving my car.

eu não quereria um sistema como este a conduzir o meu carro.

This is our detection system running in real time on my laptop.

Este é o nosso sistema de deteção em tempo-real no meu portátil.

So it smoothly tracks me as I move around the frame,

Ele acompanha-me suavemente enquanto me movo à volta do quadro,

and it's robust to a wide variety of changes in size,

e é potente para uma grande variedade de mudanças de tamanho,

pose,

de posição,

forward, backward.

para a frente, para trás, isto é uma maravilha.

This is great.

É disto que realmente precisamos

This is what we really need

if we're going to build systems on top of computer vision.

se formos construir sistemas a partir de visão computacional.

(Applause)

(Aplausos)

So in just a few years,

Apenas nalguns anos,

we've gone from 20 seconds per image

mudámos de 20 segundos por imagem

to 20 milliseconds per image, a thousand times faster.

para 20 milissegundos por imagem, mil vezes mais rápido.

How did we get there?

Como chegámos lá?

Well, in the past, object detection systems

Bom, no passado, os sistemas de deteção de objetos

would take an image like this

agarrariam numa imagem assim

and split it into a bunch of regions

e dividi-la-iam num punhado de regiões

and then run a classifier on each of these regions,

e depois rodariam um classificador em cada uma destas regiões.

and high scores for that classifier

As pontuações altas para aquele classificador

would be considered detections in the image.

seriam consideradas deteções na imagem.

But this involved running a classifier thousands of times over an image,

Mas isto envolvia rodar o classificador milhares de vezes numa imagem,

thousands of neural network evaluations to produce detection.

milhares de avaliações de redes neurais para produzir deteção.

Instead, we trained a single network to do all of detection for us.

Em vez disso, treinamos uma única rede para fazer toda a deteção por nós.

It produces all of the bounding boxes and class probabilities simultaneously.

Ela produz todas as caixas limitadoras e probabilidades de classe simultaneamente.

With our system, instead of looking at an image thousands of times

Com o nosso sistema, em vez de olhar para uma imagem milhares de vezes

to produce detection,

para produzir deteção,

you only look once,

olhamos apenas para uma.

and that's why we call it the YOLO method of object detection.

É por isso que lhe chamamos o método YOLO de deteção de objetos.

So with this speed, we're not just limited to images;

Então com essa velocidade, não estamos limitados apenas a imagens;

we can process video in real time.

podemos processar vídeos em tempo real.

And now, instead of just seeing that cat and dog,

E agora, em vez de ver um gato e um cão,

we can see them move around and interact with each other.

podemos vê-los moverem-se e interagirem um com o outro.

This is a detector that we trained

Este é um detetor que treinámos

on 80 different classes

em 80 classes diferentes

in Microsoft's COCO dataset.

no conjunto de dados COCO, da Microsoft.

It has all sorts of things like spoon and fork, bowl,

Ele tem todo o tipo de coisas, como colher e garfo, tigela,

common objects like that.

objetos comuns como esses.

It has a variety of more exotic things:

Tem uma variedade de coisas mais exóticas:

animals, cars, zebras, giraffes.

animais, carros, zebras, girafas.

And now we're going to do something fun.

E agora vamos fazer algo divertido.

We're just going to go out into the audience

Vamos até à audiência e ver que tipos de coisas podemos detetar.

and see what kind of things we can detect.

Does anyone want a stuffed animal?

Alguém quer um animal de peluche?

There are some teddy bears out there.

Há por aqui uns ursinhos.

And we can turn down our threshold for detection a little bit,

Podemos diminuir o nosso limiar de deteção por um momento,

so we can find more of you guys out in the audience.

para podemos detetar mais pessoas na audiência.

Let's see if we can get these stop signs.

Vamos ver se conseguimos detetar essas placas.

We find some backpacks.

Achámos umas mochilas.

Let's just zoom in a little bit.

Vamos ampliar um pouco.

And this is great.

E isso é ótimo.

And all of the processing is happening in real time

Todo o processamento está a ocorrer em tempo real

on the laptop.

no portátil.

And it's important to remember

E é importante lembrarem-se

that this is a general purpose object detection system,

que este é um sistema de deteção de propósito geral,

so we can train this for any image domain.

e assim podemos treiná-lo para qualquer domínio de imagens.

The same code that we use

O mesmo código que usamos

to find stop signs or pedestrians,

para encontrar sinais de stop ou pedestres,

bicycles in a self-driving vehicle,

bicicletas num veículo automotor,

can be used to find cancer cells

pode ser usado para encontrar células cancerígenas

in a tissue biopsy.

numa biópsia de tecido.

And there are researchers around the globe already using this technology

Há investigadores por todo o mundo que já usam esta tecnologia

for advances in things like medicine, robotics.

para progredirem em coisas como a medicina, a robótica.

This morning, I read a paper

Hoje de manhã, li um artigo

where they were taking a census of animals in Nairobi National Park

que dizia que estavam a fazer um recenseamento de animais

no Parque Nacional Nairobi

with YOLO as part of this detection system.

com YOLO como parte deste sistema de deteção.

And that's because Darknet is open source

Isto é possível porque a Darknet é de código aberto

and in the public domain, free for anyone to use.

e está sob domínio público, livre para qualquer um usar.

(Applause)

(Aplausos)

But we wanted to make detection even more accessible and usable,

Mas queríamos tornar a deteção ainda mais acessível e utilizável,

so through a combination of model optimization,

então através de uma combinação de otimização de modelos,

network binarization and approximation,

binarização de redes e aproximação,

we actually have object detection running on a phone.

conseguimos fazer a deteção de objetos rodar num telemóvel.

(Applause)

(Aplausos)

And I'm really excited because now we have a pretty powerful solution

Estou realmente ansioso porque agora temos uma solução muito poderosa

to this low-level computer vision problem,

para este problema de visão computacional de baixo-nível,

and anyone can take it and build something with it.

e todos podem tomá-lo e fazer algo com ele.

So now the rest is up to all of you

Agora o resto é com todos vocês

and people around the world with access to this software,

e com as pessoas em todo o mundo com acesso a este software.

and I can't wait to see what people will build with this technology.

Não posso esperar para ver o que as pessoas construirão com esta tecnologia.

Thank you.

Obrigado.

(Applause)

(Aplausos)