How we teach computers to understand pictures | Fei Fei Li

Fei-Fei Li: Como estamos ensinando os computadores a compreender fotos

Tradutor: Fernando Gonçalves Revisor: Maricene Crus

Let me show you something.

Deixem-me lhes mostrar algo.

(Video) Girl: Okay, that's a cat sitting in a bed.

(Vídeo) Garota: Certo, isso é um gato sentado sobre a cama.

The boy is petting the elephant.

O garoto está acariciando o elefante.

Those are people that are going on an airplane.

Aquelas são pessoas que estão entrando num avião.

That's a big airplane.

É um avião grande!

Fei-Fei Li: This is a three-year-old child

Fei-Fei Li: Esta é uma criança de três anos de idade

describing what she sees in a series of photos.

descrevendo o que vê numa série de fotos.

She might still have a lot to learn about this world,

Ela ainda tem muito o que aprender sobre este mundo,

but she's already an expert at one very important task:

mas já é uma especialista numa importante tarefa:

to make sense of what she sees.

dar sentido ao que vê.

Nossa sociedade está mais tecnologicamente avançada do que nunca.

Our society is more technologically advanced than ever.

We send people to the moon, we make phones that talk to us

Mandamos pessoas para a Lua, fazemos telefones que falam conosco

or customize radio stations that can play only music we like.

ou personalizamos estações de rádio para tocar só as músicas de que gostamos.

Yet, our most advanced machines and computers

No entanto, nossas máquinas mais avançadas e computadores

still struggle at this task.

ainda lutam para realizar esta tarefa.

So I'm here today to give you a progress report

Então, estou aqui hoje para dar um relatório do progresso

on the latest advances in our research in computer vision,

sobre os últimos avanços em nossa pesquisa em visão computacional,

one of the most frontier and potentially revolutionary

uma das tecnologias mais inovadoras e potencialmente revolucionárias

technologies in computer science.

na ciência da computação.

Yes, we have prototyped cars that can drive by themselves,

Sim, temos protótipos de carros que podem dirigir sozinhos,

but without smart vision, they cannot really tell the difference

mas sem uma visão inteligente, não conseguem notar a diferença

between a crumpled paper bag on the road, which can be run over,

entre um saco de papel amassado na estrada, que pode ser atropelado,

and a rock that size, which should be avoided.

e uma pedra daquele tamanho, que deve ser evitada.

Fizemos câmeras incríveis de megapixel,

We have made fabulous megapixel cameras,

but we have not delivered sight to the blind.

mas não demos visão aos cegos.

Os "drones" podem voar sobre a terra firme,

Drones can fly over massive land,

but don't have enough vision technology

mas não têm a tecnologia de visão suficiente

to help us to track the changes of the rainforests.

para nos ajudar a rastrear as mudanças das florestas tropicais.

Security cameras are everywhere,

As câmeras de segurança estão em toda parte,

but they do not alert us when a child is drowning in a swimming pool.

mas não nos alertam quando uma criança está se afogando numa piscina.

Fotos e vídeos estão se tornando partes integrais da vida global.

Photos and videos are becoming an integral part of global life.

They're being generated at a pace that's far beyond what any human,

Estão sendo gerados a um ritmo muito além do que qualquer humano,

or teams of humans, could hope to view,

-- ou grupos de seres humanos -- poderia esperar ver.

and you and I are contributing to that at this TED.

E vocês e eu estamos contribuindo para isto nesta palestra TED.

Yet our most advanced software is still struggling at understanding

No entanto, nosso software mais avançado ainda tem dificuldade para compreender

and managing this enormous content.

e administrar este conteúdo enorme.

So in other words, collectively as a society,

Então, em outras palavras, coletivamente como sociedade,

we're very much blind,

somos muito cegos,

because our smartest machines are still blind.

porque nossas máquinas mais inteligentes ainda são cegas.

"Why is this so hard?" you may ask.

"Por que isto é tão difícil?", vocês podem perguntar.

Cameras can take pictures like this one

As câmeras podem tirar fotos como esta,

by converting lights into a two-dimensional array of numbers

convertendo luzes numa matriz bidimensional de números

known as pixels,

conhecida como pixels,

but these are just lifeless numbers.

mas estes são apenas números sem vida,

They do not carry meaning in themselves.

não carregam significado em si mesmos.

Just like to hear is not the same as to listen,

Assim como ouvir não é o mesmo que escutar,

to take pictures is not the same as to see,

tirar fotos não é o mesmo que ver,

and by seeing, we really mean understanding.

e por ver, queremos dizer, compreender.

Na verdade, a mãe natureza levou 540 milhões de anos de trabalho pesado

In fact, it took Mother Nature 540 million years of hard work

to do this task,

para realizar esta tarefa,

and much of that effort

e muito deste esforço

went into developing the visual processing apparatus of our brains,

foi para desenvolver o aparelho de processamento visual do nosso cérebro,

not the eyes themselves.

não os olhos em si.

So vision begins with the eyes,

Então, a visão começa com os olhos,

but it truly takes place in the brain.

mas acontece de fato no cérebro.

So for 15 years now, starting from my Ph.D. at Caltech

Então, por 15 anos, começando com o meu doutorado na Caltech

and then leading Stanford's Vision Lab,

e depois liderando o Stanford's Vision Lab,

I've been working with my mentors, collaborators and students

venho trabalhando com os meus mentores, colaboradores e alunos

to teach computers to see.

para ensinar os computadores a ver.

Our research field is called computer vision and machine learning.

Nosso campo de pesquisa chama-se visão computacional e aprendizado de máquina.

It's part of the general field of artificial intelligence.

É parte do campo geral da inteligência artificial.

So ultimately, we want to teach the machines to see just like we do:

Basicamente, queremos ensinar as máquinas a ver como nós:

naming objects, identifying people, inferring 3D geometry of things,

nomear objetos, identificar pessoas, perceber a geometria 3D das coisas,

understanding relations, emotions, actions and intentions.

compreender relações, emoções, ações e intenções.

You and I weave together entire stories of people, places and things

Nós tecemos juntos histórias completas das pessoas, lugares e coisas

the moment we lay our gaze on them.

no momento em que os vemos.

The first step towards this goal is to teach a computer to see objects,

O primeiro passo rumo a este objetivo, é ensinar um computador a ver objetos,

the building block of the visual world.

o bloco de construção do mundo visual.

In its simplest terms, imagine this teaching process

De modo bem simples, imaginem este processo de ensino

as showing the computers some training images

como mostrar aos computadores algumas imagens de treinamento

of a particular object, let's say cats,

de um objeto em particular, digamos gatos,

and designing a model that learns from these training images.

e projetar um modelo que aprenda a partir destas imagens de treinamento.

How hard can this be?

Qual é a dificuldade disto?

After all, a cat is just a collection of shapes and colors,

Afinal de contas, um gato é apenas uma coleção de forma e cores,

and this is what we did in the early days of object modeling.

e foi o que fizemos nos primeiro dias de modelagem de objetos.

We'd tell the computer algorithm in a mathematical language

Falamos ao algoritmo computacional, numa linguagem matemática,

that a cat has a round face, a chubby body,

que um gato tem o rosto arredondado, corpo gordinho,

two pointy ears, and a long tail,

duas orelhas pontudas e uma cauda longa,

and that looked all fine.

e parecia tudo bem.

But what about this cat?

Mas, e este gato?

(Laughter)

(Risos)

It's all curled up.

Ele está todo torto.

Now you have to add another shape and viewpoint to the object model.

Agora é preciso adicionar outra forma e outro ponto de vista ao objeto modelo.

But what if cats are hidden?

Mas, e se os gatos estiverem escondidos?

E estes gatos bobos?

What about these silly cats?

Now you get my point.

Agora vocês sabem do que estou falando.

Even something as simple as a household pet

Mesmo algo simples, como um animal doméstico,

can present an infinite number of variations to the object model,

pode apresentar um número infinito de variações ao objeto modelo,

and that's just one object.

e isto é só um objeto.

So about eight years ago,

Então, há oito anos,

a very simple and profound observation changed my thinking.

uma observação bem simples e profunda mudou o meu pensamento.

No one tells a child how to see,

Ninguém diz a uma criança como ver,

especially in the early years.

especialmente nos primeiros anos.

They learn this through real-world experiences and examples.

Elas aprendem através das experiências e exemplos do mundo real.

If you consider a child's eyes

Se considerarmos os olhos de uma criança

as a pair of biological cameras,

como um par de câmeras biológicas,

they take one picture about every 200 milliseconds,

eles tiram uma foto a cada 200 milissegundos,

the average time an eye movement is made.

o tempo médio em que o movimento do olho é feito.

So by age three, a child would have seen hundreds of millions of pictures

Então, aos três anos, uma criança terá visto centenas de milhões de fotos

of the real world.

do mundo real.

That's a lot of training examples.

São muitos exemplos de treinamento.

Então, em vez de focar somente algoritmos melhores,

So instead of focusing solely on better and better algorithms,

my insight was to give the algorithms the kind of training data

minha ideia foi dar-lhes os tipos de dados de treinamento

that a child was given through experiences

que uma criança obtém através das experiências,

in both quantity and quality.

tanto em quantidade quanto em qualidade.

Once we know this,

Uma vez compreendendo isso,

we knew we needed to collect a data set

sabíamos que precisávamos coletar um conjunto de dados

that has far more images than we have ever had before,

que tivesse mais imagens do que tínhamos antes,

perhaps thousands of times more,

talvez milhares de vezes mais,

and together with Professor Kai Li at Princeton University,

e juntamente com o professor Kai Li, da Universidade de Princeton,

we launched the ImageNet project in 2007.

lançamos o projeto ImageNet em 2007.

Luckily, we didn't have to mount a camera on our head

Felizmente, não tínhamos que colocar uma câmera em nossas cabeças

and wait for many years.

e esperar por vários anos.

We went to the Internet,

Fomos à internet,

the biggest treasure trove of pictures that humans have ever created.

o maior tesouro de imagens que os humanos já criaram.

We downloaded nearly a billion images

Baixamos aproximadamente um bilhão de imagens

and used crowdsourcing technology like the Amazon Mechanical Turk platform

e usamos tecnologia de "crowdsourcing", como a plataforma Amazon Mechanical Turk,

to help us to label these images.

para nos ajudar a classificar essas imagens.

At its peak, ImageNet was one of the biggest employers

No seu auge, o ImageNet foi um dos maiores empregadores

of the Amazon Mechanical Turk workers:

de trabalhadores da Amazon Mechanical Turk.

together, almost 50,000 workers

Juntos, quase 50 mil trabalhadores

from 167 countries around the world

de 167 países do mundo,

helped us to clean, sort and label

nos ajudaram a limpar, separar e classificar

nearly a billion candidate images.

aproximadamente um bilhão de candidatas a imagens.

That was how much effort it took

Esse foi o tamanho do empenho

to capture even a fraction of the imagery

para capturar até mesmo uma fração das imagens

a child's mind takes in in the early developmental years.

que a mente de uma criança capta nos primeiros anos de desenvolvimento.

Em retrospecto, esta ideia de usar dados extensos

In hindsight, this idea of using big data

to train computer algorithms may seem obvious now,

para treinar os algoritmos computacionais pode parecer óbvia agora,

but back in 2007, it was not so obvious.

mas em 2007, não era tão óbvia assim.

We were fairly alone on this journey for quite a while.

Estivemos praticamente sós nessa jornada por um bom tempo.

Some very friendly colleagues advised me to do something more useful for my tenure,

Alguns colegas próximos me aconselharam a fazer algo mais útil pelo meu mandato,

and we were constantly struggling for research funding.

e lutávamos constantemente para conseguir financiamento para a pesquisa.

Once, I even joked to my graduate students

Uma vez, eu brinquei com os meus alunos de graduação

that I would just reopen my dry cleaner's shop to fund ImageNet.

que iria reabrir minha loja de lavagem a seco para financiar o ImageNet.

After all, that's how I funded my college years.

Afinal de contas, foi assim que financiei minha faculdade.

Então seguimos em frente.

So we carried on.

In 2009, the ImageNet project delivered

Em 2009, o projeto ImageNet entregou

a database of 15 million images

um banco de dados de 15 milhões de imagens,

across 22,000 classes of objects and things

entre 22 mil classes de objetos e coisas,

organized by everyday English words.

organizadas pelas palavras cotidianas em inglês.

In both quantity and quality,

Tanto em quantidade quanto em qualidade,

this was an unprecedented scale.

isso foi uma escala sem precedentes.

As an example, in the case of cats,

Como exemplo, no caso dos gatos,

we have more than 62,000 cats

temos mais de 62 mil gatos

of all kinds of looks and poses

de todos os aspectos e poses;

and across all species of domestic and wild cats.

e todas as espécies de gatos domésticos e selvagens.

Ficamos muito felizes em criar o ImageNet

We were thrilled to have put together ImageNet,

and we wanted the whole research world to benefit from it,

e queríamos que todo o mundo das pesquisas se beneficiasse com ele.

so in the TED fashion, we opened up the entire data set

Assim, à moda TED, abrimos todo o conjunto de dados

to the worldwide research community for free.

para a comunidade mundial de pesquisa gratuitamente.

(Aplausos)

(Applause)

Now that we have the data to nourish our computer brain,

Agora que temos os dados para alimentar o cérebro do nosso computador,

we're ready to come back to the algorithms themselves.

estamos prontos para retornar aos algoritmos em si.

As it turned out, the wealth of information provided by ImageNet

Como se viu, a riqueza de informações fornecidas pelo ImageNet

was a perfect match to a particular class of machine learning algorithms

foi um ajuste perfeito para uma classe de algoritmos de aprendizado de máquina

called convolutional neural network,

chamada "rede neural convolucional",

pioneered by Kunihiko Fukushima, Geoff Hinton, and Yann LeCun

iniciada por Kunihiko Fukushima, Geoff Hinton e Yann LeCun

back in the 1970s and '80s.

nos anos 1970 e 1980.

Just like the brain consists of billions of highly connected neurons,

Assim como o cérebro é composto de bilhões de neurônios altamente conectados,

a basic operating unit in a neural network

uma unidade operacional básica numa rede neural

is a neuron-like node.

é como um nó neuronal.

It takes input from other nodes

Ela obtém informações de outros nós

and sends output to others.

e envia dados para outros.

Moreover, these hundreds of thousands or even millions of nodes

Além disso, essas centenas de milhares, ou mesmo milhões de nós,

are organized in hierarchical layers,

são organizadas em camadas hierárquicas,

also similar to the brain.

parecidas com o cérebro.

In a typical neural network we use to train our object recognition model,

Numa rede neural que usamos para treinar nosso modelo de reconhecimento de objetos

it has 24 million nodes,

há 24 milhões de nós,

140 million parameters,

140 milhões de parâmetros

and 15 billion connections.

e 15 bilhões de conexões.

That's an enormous model.

É um modelo enorme.

Powered by the massive data from ImageNet

Alimentada pelos dados consideráveis do ImageNet

and the modern CPUs and GPUs to train such a humongous model,

e os modernos CPUs e GPUs para treinar um modelo colossal,

the convolutional neural network

a rede neural convolucional

blossomed in a way that no one expected.

floresceu de um modo que ninguém esperava.

It became the winning architecture

Tornou-se a arquitetura vencedora

to generate exciting new results in object recognition.

para gerar novos resultados animadores em reconhecimento de objetos.

This is a computer telling us

Isto é um computador nos dizendo

this picture contains a cat

que esta foto contém um gato

and where the cat is.

e onde ele está.

É claro que há mais coisas além de gatos.

Of course there are more things than cats,

so here's a computer algorithm telling us

Aqui está um algoritmo computacional nos dizendo

the picture contains a boy and a teddy bear;

que a foto contém um garoto e um urso de pelúcia;

a dog, a person, and a small kite in the background;

um cão, uma pessoa e uma pequena pipa ao fundo;

ou uma foto com muitas informações

or a picture of very busy things

like a man, a skateboard, railings, a lampost, and so on.

como um homem, um skate, corrimãos, um poste de luz, e assim por diante.

Sometimes, when the computer is not so confident about what it sees,

Às vezes,

quando o computador não tem certeza do que vê,

(Risos)

nós o ensinamos a ser inteligente o bastante

we have taught it to be smart enough

to give us a safe answer instead of committing too much,

para nos dar uma resposta segura em vez de ficar deduzindo muito,

just like we would do,

como nós faríamos.

but other times our computer algorithm is remarkable at telling us

Mas outras vezes, nosso algoritmo computacional é notável aos nos dizer

what exactly the objects are,

exatamente o que são os objetos,

like the make, model, year of the cars.

como a marca, o modelo e o ano dos carros.

We applied this algorithm to millions of Google Street View images

Nós cruzamos esse algoritmo com milhões de imagens do Google Street View

across hundreds of American cities,

em centenas de cidades americanas

and we have learned something really interesting:

e descobrimos algo muito interessante:

first, it confirmed our common wisdom

primeiro, confirmou-se a nossa sabedoria popular

that car prices correlate very well

de que preços de carros estão relacionados

with household incomes.

ao rendimento das famílias.

But surprisingly, car prices also correlate well

Mas surpreendentemente, o preço dos carros também se relaciona

with crime rates in cities,

com as taxas de crimes nas cidades,

ou padrões de votos pelo CEPs.

or voting patterns by zip codes.

Espere um pouco. É isso mesmo?

So wait a minute. Is that it?

Has the computer already matched or even surpassed human capabilities?

Os computadores já igualaram ou mesmo superaram as capacidades humanas?

Not so fast.

Não tão rápido.

So far, we have just taught the computer to see objects.

Até agora, apenas ensinamos os computadores a ver objetos.

This is like a small child learning to utter a few nouns.

É como uma criancinha aprendendo a pronunciar algumas palavras.

It's an incredible accomplishment,

É um feito incrível,

but it's only the first step.

mas é apenas o primeiro passo.

Soon, another developmental milestone will be hit,

Em breve, outro marco de desenvolvimento será atingido,

and children begin to communicate in sentences.

e as crianças começam a se comunicar por meio de frases.

So instead of saying this is a cat in the picture,

Então, em vez de dizer que isto é um gato na foto,

you already heard the little girl telling us this is a cat lying on a bed.

vocês ouviram a garotinha nos dizendo que isto é um gato deitado na cama.

So to teach a computer to see a picture and generate sentences,

Então, para ensinar um computador a ver uma foto e criar frases,

the marriage between big data and machine learning algorithm

o casamento entre os dados e o algoritmo de aprendizado de máquina

has to take another step.

deve dar outro passo.

Now, the computer has to learn from both pictures

Agora, o computador tem que aprender tanto com as fotos

as well as natural language sentences

quanto com as frases em linguagem natural

generated by humans.

geradas por humanos.

Assim como o cérebro integra visão e linguagem,

Just like the brain integrates vision and language,

we developed a model that connects parts of visual things

nós desenvolvemos um modelo que conecta partes de coisas visuais,

like visual snippets

como fragmentos visuais,

with words and phrases in sentences.

com palavras e ideias em frases.

About four months ago,

Há uns quatro meses,

we finally tied all this together

finalmente juntamos tudo isso,

and produced one of the first computer vision models

e produzimos um dos primeiros modelos de visão computacional

that is capable of generating a human-like sentence

capaz de gerar frases do jeito humano

when it sees a picture for the first time.

quando vê uma foto pela primeira vez.

Now, I'm ready to show you what the computer says

Agora, vou mostrar o que o computador diz

when it sees the picture

quando vê a foto

that the little girl saw at the beginning of this talk.

que a garotinha viu, no início desta palestra.

(Vídeo) Computador: Um homem está em pé, próximo a um elefante.

(Video) Computer: A man is standing next to an elephant.

A large airplane sitting on top of an airport runway.

Um grande avião sentado em cima de uma pista de aeroporto.

FFL: Claro, estamos trabalhando com afinco para melhorar nossos algoritmos,

FFL: Of course, we're still working hard to improve our algorithms,

and it still has a lot to learn.

e ele ainda tem muito o que aprender.

(Applause)

(Aplausos)

And the computer still makes mistakes.

E o computador ainda comete erros.

(Video) Computer: A cat lying on a bed in a blanket.

(Vídeo) Computador: Um gato deitado numa cama com um cobertor. (Risos)

FFL: So of course, when it sees too many cats,

FFL: É claro, quando ele vê muitos gatos,

it thinks everything might look like a cat.

ele acha que tudo se parece com um gato.

(Vídeo) Computador: Um garoto está segurando um taco de beisebol.

(Video) Computer: A young boy is holding a baseball bat.

(Risos)

(Laughter)

FFL: Or, if it hasn't seen a toothbrush, it confuses it with a baseball bat.

FFL: Se nunca viu uma escova de dentes, ele a confunde com um taco de beisebol.

(Vídeo) Computador: Um homem monta um cavalo na rua, próximo a um edifício.

(Video) Computer: A man riding a horse down a street next to a building.

(Laughter)

(Risos)

FFL: We haven't taught Art 101 to the computers.

FFL: Não ensinamos Arte 101 aos computadores.

(Video) Computer: A zebra standing in a field of grass.

(Vídeo) Computador: Uma zebra num campo gramado.

FFL: And it hasn't learned to appreciate the stunning beauty of nature

FFL: E ele não aprendeu a apreciar a deslumbrante beleza da natureza

like you and I do.

como nós apreciamos.

So it has been a long journey.

Tem sido uma longa jornada.

To get from age zero to three was hard.

Ir da idade zero a três foi difícil.

O verdadeiro desafio é ir dos 3 aos 13 e além disso.

The real challenge is to go from three to 13 and far beyond.

Let me remind you with this picture of the boy and the cake again.

Vejam esta foto do garoto com o bolo novamente.

So far, we have taught the computer to see objects

Até então, ensinamos o computador a ver objetos

or even tell us a simple story when seeing a picture.

ou mesmo contar-nos uma simples história quando vê uma foto.

(Video) Computer: A person sitting at a table with a cake.

(Vídeo) Computador: Uma pessoa sentada à mesa com um bolo.

FFL: But there's so much more to this picture

FFL: Mas há muito mais nesta foto

do que apenas uma pessoa e um bolo.

than just a person and a cake.

What the computer doesn't see is that this is a special Italian cake

O que o computador não vê é que esta é uma colomba

that's only served during Easter time.

que é servida apenas durante a Páscoa.

The boy is wearing his favorite t-shirt

O garoto está vestindo a sua camiseta preferida,

given to him as a gift by his father after a trip to Sydney,

que lhe foi dada de presente pelo pai após uma viagem a Sydney.

and you and I can all tell how happy he is

E nós podemos ver a felicidade dele,

and what's exactly on his mind at that moment.

e o que está se passando em sua mente exatamente naquele momento.

Este é o meu filho Leo.

This is my son Leo.

Em minha busca pela inteligência visual,

On my quest for visual intelligence,

I think of Leo constantly

penso nele constantemente

e no mundo futuro em que ele viverá.

and the future world he will live in.

When machines can see,

Quando as máquinas puderem ver,

doctors and nurses will have extra pairs of tireless eyes

médicos e enfermeiros terão pares extras de olhos incansáveis

to help them to diagnose and take care of patients.

para ajudá-los a diagnosticar e cuidar de pacientes.

Cars will run smarter and safer on the road.

Os carros funcionarão de forma mais inteligente e segura nas estradas.

Robots, not just humans,

Robôs, não apenas seres humanos,

nos ajudarão a realizar buscas em áreas de desastres

will help us to brave the disaster zones to save the trapped and wounded.

e a salvar pessoas soterradas e feridas.

We will discover new species, better materials,

Descobriremos novas espécies, materiais melhores

and explore unseen frontiers with the help of the machines.

e exploraremos lugares que não podemos ver com a ajuda das máquinas.

Pouco a pouco, estamos dando visão às máquinas.

Little by little, we're giving sight to the machines.

First, we teach them to see.

Primeiro, as ensinamos a ver,

então elas nos ajudam a ver melhor.

Then, they help us to see better.

For the first time, human eyes won't be the only ones

Pela primeira vez,

os olhos humanos não serão os únicos ponderando e explorando nosso mundo.

pondering and exploring our world.

We will not only use the machines for their intelligence,

Não usaremos as máquinas apenas pela sua inteligência;

we will also collaborate with them in ways that we cannot even imagine.

colaboraremos também com elas de uma maneira que nem sequer imaginamos.

This is my quest:

Esta é a minha busca:

to give computers visual intelligence

dar aos computadores inteligência visual

and to create a better future for Leo and for the world.

e criar um futuro melhor para o Leo e para o mundo.

Thank you.

Obrigada.

(Aplausos)

(Applause)