A camera that can see around corners | David Lindell

Transcriber: Ivana Korom Reviewer: Krystian Aparta

Translator: Noelia Collazo Boullosa Reviewer: Javier Vázquez

In the future,

No futuro,

self-driving cars will be safer and more reliable than humans.

os vehículos autónomos serán máis seguros e fiables que os humanos.

But for this to happen,

Pero para que isto ocorra,

we need technologies that allow cars to respond

precisamos tecnoloxías que permitan aos coches reaccionar

faster than humans,

máis rápido que os humanos,

we need algorithms that can drive better than humans

precisamos algoritmos que poidan conducir mellor que os humanos

and we need cameras that can see more than humans can see.

e precisamos cámaras que poidan ver máis do que o poden facer os humanos.

For example, imagine a self-driving car is about to make a blind turn,

Por exemplo, imaxina un vehículo autónomo que está a punto de xirar nun punto cego

and there's an oncoming car

e un coche vén de fronte,

or perhaps there's a child about to run into the street.

ou quizais hai un neno a piques de cruzar a rúa.

Fortunately, our future car will have this superpower,

Afortunadamente, o noso coche do futuro terá un superpoder:

a camera that can see around corners to detect these potential hazards.

unha cámara que pode ver o que hai ao virar a esquina e así detectar ameazas.

For the past few years as a PhD student

Nos últimos anos de doutoramento

in the Stanford Computational Imaging Lab,

no Laboratorio de Imaxe Computacional de Stanford

I've been working on a camera that can do just this --

estiven traballando nunha cámara que pode facer isto:

a camera that can image objects hidden around corners

unha cámara que pode captar imaxes ocultas detrás das esquinas

or blocked from direct line of sight.

ou fóra do noso campo visual directo.

So let me give you an example of what our camera can see.

Permítanme amosarlles un exemplo do que a nosa cámara pode ver.

This is an outdoor experiment we conducted

Este é un experimento levado a cabo ao aire libre

where our camera system is scanning the side of this building with a laser,

no que a nosa cámara escanea o lateral deste edificio cun láser

and the scene that we want to capture

e a imaxe que queremos capturar

is hidden around the corner behind this curtain.

está oculta ao virar a esquina detrás desta cortina.

So our camera system can't actually see it directly.

Así que o sistema da nosa cámara non a pode ver directamente.

And yet, somehow,

Porén, dalgún xeito,

our camera can still capture the 3D geometry of this scene.

a nosa cámara pode capturar a xeometría 3D desta imaxe.

So how do we do this?

Entón, como o facemos?

The magic happens here in this camera system.

A maxia ocorre grazas a este sistema de cámaras.

You can think of this as a type of high-speed camera.

Poden considerala un tipo de cámara de alta velocidade.

Not one that operates at 1,000 frames per second,

Pero non unha que funcione a 1 000 fotogramas por segundo,

or even a million frames per second,

ou incluso a un millón de fotogramas por segundo,

but a trillion frames per second.

senón a un billón de fotogramas por segundo.

So fast that it can actually capture the movement of light itself.

Tan rápida que ata pode capturar o mesmísimo movemento da luz.

And to give you an example of just how fast light travels,

Para poñerlles un exemplo do rapidísimo que viaxa a luz,

let's compare it to the speed of a fast-running comic book superhero

comparémola coa velocidade dun superheroe de cómic superveloz

who can move at up to three times the speed of sound.

que pode moverse ata tres veces a velocidade do son.

It takes a pulse of light about 3.3 billionths of a second,

Un pulso de luz tarda unhas 3,3 milmillonésimas de segundo,

or 3.3 nanoseconds,

ou 3,3 nanosegundos,

to travel the distance of a meter.

en viaxar un metro de distancia.

Well, in that same time,

Pois nese mesmo tempo

our superhero has moved less than the width of a human hair.

o noso superheroe moveuse menos que o ancho dun cabelo humano.

That's pretty fast.

Iso é bastante rápido.

But actually, we need to image much faster

Pois temos que captar a imaxe moito máis rápido

if we want to capture light moving at subcentimeter scales.

se queremos capturar a luz movéndose a escalas subcentimétricas.

So our camera system can capture photons

O noso sistema de cámaras pode captar fotóns

at time frames of just 50 trillionths of a second,

en períodos de tempo de tan só 50 billonésimas de segundo,

or 50 picoseconds.

ou 50 picosegundos.

So we take this ultra-high-speed camera

Así que collemos esta cámara ultrarrápida

and we pair it with a laser that sends out short pulses of light.

e xuntámola cun láser que emite pequenos pulsos de luz.

Each pulse travels to this visible wall

Cada pulso viaxa cara a esta parede visible

and some light scatters back to our camera,

e parte da luz volve dispersa cara á cámara,

but we also use the wall to scatter light around the corner

pero tamén utilizamos a parede para dispersar luz detrás da esquina,

to the hidden object and back.

cara ao obxecto oculto e de volta.

We repeat this measurement many times

Repetimos este proceso moitas veces

to capture the arrival times of many photons

para capturar os tempos de chegada de moitos fotóns

from different locations on the wall.

dende diferentes puntos da parede.

And after we capture these measurements, we can create

Tras capturar estas medidas, podemos crear un vídeo

a trillion-frame-per-second video of the wall.

da parede dun billón de fotogramas por segundo.

While this wall may look ordinary to our own eyes,

Pese a que esta parede poida parecernos corrente a simple vista,

at a trillion frames per second, we can see something truly incredible.

a un billón de fotogramas por segundo, podemos ver algo realmente incrible.

We can actually see waves of light scattered back from the hidden scene

Podemos ver auténticas ondas de luz regresando dispersamente da escena oculta

and splashing against the wall.

e chocando contra a parede.

And each of these waves carries information

E cada unha destas ondas leva información

about the hidden object that sent it.

sobre o obxecto oculto que a enviou.

So we can take these measurements

Así que podemos coller estas medidas

and pass them into a reconstruction algorithm

e pasalas por un algoritmo de reconstrución

to then recover the 3D geometry of this hidden scene.

para así recuperar a xeometría 3D desta imaxe oculta.

Now I want to show you one more example of an indoor scene that we captured,

Agora quérolles amosar outro exemplo dunha imaxe interior que capturamos,

this time with a variety of different hidden objects.

esta vez cunha variedade de diferentes obxectos ocultos.

And these objects have different appearances,

Estes obxectos teñen diferentes aspectos,

so they reflect light differently.

así que reflicten a luz de maneira distinta.

For example, this glossy dragon statue reflects light differently

Por exemplo, esta brillante estatua dun dragón non reflicte a luz igual

than the mirror disco ball

que a bóla de discoteca

or the white discus thrower statue.

ou a estatua branca do discóbolo.

And we can actually see the differences in the reflected light

De feito, podemos ver diferenzas na luz reflectida

by visualizing it as this 3D volume,

ao visualizala en volume 3D,

where we've just taken the video frames and stacked them together.

no que recollemos os fotogramas de vídeo e os poñemos todos xuntos.

And time here is represented as the depth dimension of this cube.

Aquí o tempo está representado como a dimensión de profundidade deste cubo.

These bright dots that you see are reflections of light

Estes puntos brillantes que ven son reflexos de luz

from each of the mirrored facets of the disco ball,

de cada unha dos pequenos espellos da bóla de discoteca,

scattering against the wall over time.

que se dispersan pola parede co tempo.

The bright streaks of light that you see arriving soonest in time

As vetas brillantes de luz que ven chegar primeiro

are from the glossy dragon statue that's closest to the wall,

son os da estatua brillante do dragón, que está máis preto da parede

and the other streaks of light come from reflections of light from the bookcase

e as outras vetas de luz pertencen a reflexos de luz da libraría

and from the statue.

e da estatua.

Now, we can also visualize these measurements frame by frame,

Tamén podemos visualizar estas medidas fotograma a fotograma,

as a video,

como se fora un vídeo,

to directly see the scattered light.

para ver directamente a luz dispersa.

And again, here we see, first, reflections of light from the dragon,

De novo, aquí vemos, primeiro, reflexos de luz do dragón,

closest to the wall,

o máis achegado á parede,

followed by bright dots from the disco ball

seguido polos puntos brillantes da bóla de discoteca

and other reflections from the bookcase.

e outros reflexos da librería.

And finally, we see the reflected waves of light from the statue.

Por último, vemos ondas de luz reflectidas que saen da estatua.

These waves of light illuminating the wall

Estas ondas de luz que iluminan a parede

are like fireworks that last for just trillionths of a second.

son como fogos artificiais que só duran billonésimas de segundo.

And even though these objects reflect light differently,

Malia que estes obxectos reflicten a luz de maneira diferente,

we can still reconstruct their shapes.

podemos reconstruír as súas formas.

And this is what you can see from around the corner.

E isto é o que poden ver detrás da esquina.

Now, I want to show you one more example that's slightly different.

Agora quero amosarlles outro exemplo que é lixeiramente diferente.

In this video, you see me dressed in this reflective suit

Neste vídeo, pódenme ver vestido con este traxe reflector

and our camera system is scanning the wall at a rate of four times every second.

e ao noso sistema de cámaras escaneando a parede catro veces por segundo.

The suit is reflective,

Este traxe é reflector,

so we can actually capture enough photons

así que podemos captar os fotóns suficientes

that we can see where I am and what I'm doing,

para saber onde estou e que estou a facer

without the camera actually directly imaging me.

sen que a cámara me estea fotografando directamente a min.

By capturing photons that scatter from the wall to my tracksuit,

Ao capturar os fotóns que se dispersan dende a parede cara ao meu traxe,

back to the wall and back to the camera,

cara á parede de novo e logo cara á cámara,

we can capture this indirect video in real time.

podemos gravar este vídeo indirecto en tempo real.

And we think that this type of practical non-line-of-sight imaging

Cremos que este tipo de captación de imaxe fóra do campo visual

could be useful for applications including for self-driving cars,

podería ser de utilidade para aplicacións como os vehículos autónomos,

but also for biomedical imaging,

pero tamén para as imaxes biomédicas,

where we need to see into the tiny structures of the body.

nas que precisamos ver no interior de estruturas minúsculas do corpo.

And perhaps we could also put similar camera systems on the robots

E quizais poderiamos pór un sistema de cámaras similar

nos robots que enviamos para explorar outros planetas.

that we send to explore other planets.

Now you may have heard about seeing around corners before,

Quizais xa lles soe o de ver a través das esquinas,

but what I showed you today would have been impossible

pero o que lles acabo de mostrar sería imposíbel

just two years ago.

hai soamente dous anos.

For example, we can now image large, room-sized hidden scenes outdoors

Por exemplo, agora podemos captar amplas escenas ocultas no exterior

and at real-time rates,

en tempo real,

and we've made significant advancements towards making this a practical technology

e fixemos avances significativos para que esta sexa unha tecnoloxía práctica

that you could actually see on a car someday.

que se poida implementar nun automóbil algún día.

But of course, there's still challenges remaining.

Por suposto, aínda existen certos retos.

For example, can we image hidden scenes at long distances

Por exemplo, poderiamos captar imaxes ocultas a longas distancias

where we're collecting very, very few photons,

nas que recollamos pouquísimos fotóns,

with lasers that are low-power and that are eye-safe.

con láseres que sexan de baixo consumo e inofensivos para a vista?

Or can we create images from photons

Ou poderiamos crear imaxes con fotóns

that have scattered around many more times

que se espallaran moitas máis veces

than just a single bounce around the corner?

que tan só un único rebote detrás da esquina?

Can we take our prototype system that's, well, currently large and bulky,

Poderiamos coller o noso prototipo, que actualmente é grande e voluminoso

and miniaturize it into something that could be useful

e miniaturizalo para que este puidese ser útil

for biomedical imaging

para as imaxes biomédicas,

or perhaps a sort of improved home-security system,

ou quizais para mellorar os sistemas de seguridade do fogar?

or can we take this new imaging modality and use it for other applications?

Ou poderiamos darlle outros usos a esta nova modalidade de escaneo de imaxe?

I think it's an exciting new technology

Creo que é unha nova tecnoloxía fascinante

and there could be other things that we haven't thought of yet

e que poderiamos darlle outras aplicacións

nas que aínda non pensamos.

to use it for.

And so, well, a future with self-driving cars

E aínda que un futuro con vehículos autónomos

may seem distant to us now --

poida parecernos que está moi lonxe,

we're already developing the technologies

xa estamos desenvolvendo as tecnoloxías

that could make cars safer and more intelligent.

que farán aos coches máis seguros e intelixentes.

And with the rapid pace of scientific discovery and innovation,

E co rápido ritmo dos descubrimentos científicos e as innovacións,

you never know what new and exciting capabilities

quen sabe que novas e fascinantes capacidades

poderemos atopar ao virar a esquina.

could be just around the corner.

(Applause)

(Aplausos)