The thrilling potential of SixthSense technology | Pranav Mistry

Vertaald door: Els De Keyser Nagekeken door: Marcia Lauw

We grew up

Wij groeiden op

interacting with the physical objects around us.

in interactie met de fysieke voorwerpen rondom ons.

There are an enormous number of them that we use every day.

Er zijn er heel veel,

we gebruiken ze elke dag.

Unlike most of our computing devices,

Anders dan de meeste van onze computers,

these objects are much more fun to use.

zijn ze leuk om te gebruiken.

Als je over voorwerpen praat,

When you talk about objects,

one other thing automatically comes attached to that thing,

dan horen daar automatisch ook

and that is gestures:

gebaren bij:

how we manipulate these objects,

hoe we deze voorwerpen hanteren,

how we use these objects in everyday life.

hoe we ze in ons dagelijks leven gebruiken.

We gebruiken gebaren niet alleen om met voorwerpen te interageren,

We use gestures not only to interact with these objects,

maar ook om met elkaar te interageren.

but we also use them to interact with each other.

A gesture of "Namaste!", maybe, to respect someone, or maybe,

Een "Namaste!"-gebaar, misschien, om iemand te respecteren.

Of misschien --

in India I don't need to teach a kid that this means

in India hoef ik kinderen niet te leren dat dit

"four runs" in cricket.

"4 runs" betekent in cricket.

It comes as a part of our everyday learning.

Het is deel van ons alledaags leren.

So, I am very interested, from the beginning,

Ik heb dus veel belangstelling

vanaf het begin, voor hoe --

how our knowledge about everyday objects and gestures,

hoe onze kennis

van alledaagse voorwerpen en gebaren,

and how we use these objects,

en hoe we deze voorwerpen gebruiken,

can be leveraged to our interactions with the digital world.

kan bijdragen tot onze interactie met de digitale wereld.

Rather than using a keyboard and mouse,

Liever dan toetsenbord en muis te gebruiken,

why can I not use my computer

waarom kan ik mijn computer niet gebruiken

in the same way that I interact in the physical world?

zoals ik in de fysieke manier interageer?

So, I started this exploration around eight years back,

Ik begon deze verkenningstocht acht jaar geleden,

and it literally started with a mouse on my desk.

en ik startte letterlijk met een muis op mijn bureau.

Rather than using it for my computer, I actually opened it.

Ik gebruikte ze niet voor mijn computer,

maar opende ze.

De meesten van jullie weten dat de muis toen

Most of you might be aware that, in those days,

the mouse used to come with a ball inside,

een balletje had vanbinnen,

and there were two rollers

met twee rollers

that actually guide the computer where the ball is moving,

die de computer leiden volgens de beweging van de bal

and, accordingly, where the mouse is moving.

en dus volgens de beweging van de muis.

So, I was interested in these two rollers,

Ik had dus interesse voor die twee rollers

and I actually wanted more, so I borrowed another mouse from a friend --

en wilde er meer, dus leende ik nog een muis van een vriend --

never returned to him --

nooit teruggegeven --

and I now had four rollers.

en nu had ik 4 rollers.

Interestingly, what I did with these rollers is,

Interessant is wat ik deed met die rollers:

basically, I took them off of these mouses and then put them in one line.

ik haalde ze uit de muizen

en legde ze naast elkaar.

It had some strings and pulleys and some springs.

Het had een paar koordjes, wieltjes en veren.

What I got is basically a gesture-interface device

Ik kreeg een toestel voor gebareninterface,

that actually acts as a motion-sensing device

een bewegingsgevoelig toestel

made for two dollars.

dat twee dollar had gekost.

So, here, whatever movement I do in my physical world

Elke beweging die ik maak in mijn fysieke wereld

is actually replicated inside the digital world

wordt gerepliceerd in de digitale wereld

just using this small device that I made, around eight years back,

met dit kleine toestelletje dat ik 8 jaar geleden maakte,

in 2000.

in 2000.

Because I was interested in integrating these two worlds,

Omdat ik deze twee werelden wilde integreren,

I thought of sticky notes.

dacht ik aan post-its.

I thought, "Why can I not connect

Ik dacht: "Waarom kan ik

the normal interface of a physical sticky note

de normale interface van een fysieke post-it

to the digital world?"

niet verbinden met de digitale wereld?"

A message written on a sticky note to my mom,

Een bericht geschreven op een post-it voor mijn mama

on paper,

op papier

can come to an SMS,

kan een SMS bereiken,

or maybe a meeting reminder

of een herinnering voor een vergadering

automatically syncs with my digital calendar --

kan synchroniseren met mijn digitale kalender --

a to-do list that automatically syncs with you.

een to-do-lijstje dat automatisch synchroniseert met jou.

But you can also search in the digital world,

Je kan ook zoeken in de digitale wereld

or maybe you can write a query, saying,

of een query schrijven, bijvoorbeeld:

"What is Dr. Smith's address?"

"Wat is het adres van Dr. Smith?"

and this small system actually prints it out --

Dit kleine systeem drukt het af.

Het gedraagt zich als een papieren input-outputsysteem,

so it actually acts like a paper input-output system,

just made out of paper.

gemaakt van louter papier.

In another exploration,

Bij een andere verkenning

I thought of making a pen that can draw in three dimensions.

bedacht ik een pen die in drie dimensies kan tekenen.

So, I implemented this pen that can help designers and architects

Ik implementeerde deze pen

die designers en architecten kan helpen

not only think in three dimensions,

om niet alleen in 3 dimensies te denken,

but they can actually draw,

maar ook te tekenen,

zodat ze meer intuïtief te gebruiken is.

so that it's more intuitive to use that way.

Then I thought, "Why not make a Google Map,

Toen bedacht ik: "Waarom maak ik geen Googlekaart,

but in the physical world?"

maar voor de fysieke wereld?"

Rather than typing a keyword to find something,

Liever dan een sleutelwoord in te tikken om iets te vinden,

I put my objects on top of it.

zet ik mijn dingen er bovenop.

If I put a boarding pass, it will show me where the flight gate is.

Als ik er een instapkaart leg, toont het mij waar de gate is.

A coffee cup will show where you can find more coffee,

Een koffiekop toont je waar je meer koffie vindt,

or where you can trash the cup.

of waar je de beker kan weggooien.

So, these were some of the earlier explorations I did

Dit waren een paar van mijn vroege exploraties.

because the goal was to connect these two worlds seamlessly.

Het doel was de twee werelden naadloos te integreren.

Among all these experiments,

Al deze experimenten

there was one thing in common:

hadden één ding gemeen:

I was trying to bring a part of the physical world

ik probeerde iets uit de fysieke wereld in de digitale wereld te brengen.

to the digital world.

Ik nam een aspect van de voorwerpen

I was taking some part of the objects,

or any of the intuitiveness of real life,

of van het intuïtieve van het echte leven

and bringing them to the digital world,

en transfereerde ze naar de digitale wereld,

because the goal was to make our computing interfaces more intuitive.

met als doel onze computerinterface meer intuïtief te maken.

But then I realized that we humans are not actually interested in computing.

Maar toen besefte ik dat wij mensen

eigenlijk geen belangstelling hebben voor computers.

What we are interested in is information.

Wij hebben belangstelling voor informatie.

We willen dingen weten.

We want to know about things.

We willen kennis over de loop van dynamische dingen.

We want to know about dynamic things going around.

So I thought, around last year -- in the beginning of the last year --

Dus bedacht ik vorig jaar, in het begin van het jaar:

I started thinking, "Why can I not take this approach in the reverse way?"

"Waarom kan ik deze aanpak niet omkeren?

Waarom neem ik mijn digitale wereld niet

Maybe, "How about I take my digital world

and paint the physical world with that digital information?"

en kleur ik de fysieke wereld met die digitale informatie?"

Want pixels zijn vandaag beperkt tot rechthoekige dingen

Because pixels are actually, right now, confined in these rectangular devices

die in onze broekzak passen.

that fit in our pockets.

Why can I not remove this confine

Waarom hef ik die beperking niet op

and take that to my everyday objects, everyday life

en breng ik dit over naar mijn dingen van elke dag,

so that I don't need to learn the new language

zodat ik de nieuwe taal niet moet leren

for interacting with those pixels?

om te interageren met deze pixels?

So, in order to realize this dream,

Om deze droom te realiseren,

I actually thought of putting a big-size projector on my head.

wilde ik een grote projector op mijn hoofd zetten.

I think that's why this is called a head-mounted projector, isn't it?

Daarom heet dit een hoofdgemonteerde projector, niet?

I took it very literally,

Ik nam het letterlijk,

and took my bike helmet,

en nam mijn fietshelm,

put a little cut over there so that the projector actually fits nicely.

maakte een insnijding zodat de projector er goed in past.

So now, what I can do --

Wat ik nu kan doen --

I can augment the world around me with this digital information.

ik kan de wereld rondom mij verrijken met digitale informatie.

But later,

Later besefte ik

I realized that I actually wanted to interact

dat ik ook wilde interageren met die digitale pixels.

with those digital pixels, also.

So I put a small camera over there that acts as a digital eye.

Dus zette ik daar een kleine camera

die zich als een digitaal oog gedraagt.

Later, we moved to a much better,

Later schakelden we over op een beter,

consumer-oriented pendant version of that,

meer klantgerichte versie daarvan,

that many of you now know as the SixthSense device.

die velen van jullie nu kennen als het SixthSense-toestel.

But the most interesting thing about this particular technology

Het interessantste aan deze technologie is

is that you can carry your digital world with you

dat je je digitale wereld mee kan nemen,

wherever you go.

waar je ook heengaat.

You can start using any surface, any wall around you,

Je kan elk oppervlak gebruiken, elke muur in de buurt,

as an interface.

als interface.

De camera volgt al je gebaren.

The camera is actually tracking all your gestures.

Wat je ook doet met je handen,

Whatever you're doing with your hands,

it's understanding that gesture.

ze snapt je gebaar.

And, actually, if you see, there are some color markers

Kijk, er zijn een paar kleurmarkeringen

that in the beginning version we are using with it.

die we gebruiken bij de beginversie.

Je kan beginnen schilderen op een muur.

You can start painting on any wall.

You stop by a wall, and start painting on that wall.

Je stopt bij een muur en begint te schilderen.

But we are not only tracking one finger, here.

We volgen niet één vinger, hier.

We are giving you the freedom of using all of both of your hands,

We geven je de vrijheid om je twee handen helemaal te gebruiken,

so you can actually use both of your hands to zoom into or zoom out

je kan dus beide handen gebruiken om in en uit te zoomen

of a map just by pinching all present.

door te knijpen.

The camera is actually doing -- just, getting all the images --

Wat de camera doet --

die alle beelden krijgt --

is doing the edge recognition and also the color recognition

is de herkenning van omtrek en kleur,

and so many other small algorithms are going on inside.

en binnenin spelen zich allerlei kleine algoritmes af.

So, technically, it's a little bit complex,

Het is technisch een beetje complex,

but it gives you an output which is more intuitive to use, in some sense.

maar het geeft je een resultaat dat intuïtiever te gebruiken is.

But I'm more excited that you can actually take it outside.

Ik vind het spannender dat je het mee naar buiten kan nemen.

Rather than getting your camera out of your pocket,

In plaats van je camera uit je zak te halen,

you can just do the gesture of taking a photo,

maak je gewoon het gebaar van "foto maken",

and it takes a photo for you.

en het maakt een foto voor jou.

(Applause)

(Applaus)

Thank you.

Dankjewel.

And later I can find a wall, anywhere,

En later vind ik ergens een muur

and start browsing those photos

en begin ik door de foto's te bladeren,

or maybe, "OK, I want to modify this photo a little bit

of: "OK, ik wil deze foto wat aanpassen

and send it as an email to a friend."

en naar een vriend mailen."

So, we are looking for an era

We stevenen dus af op een tijd waarin

where computing will actually merge with the physical world.

computers zich vermengen met de fysieke wereld.

And, of course, if you don't have any surface,

En natuurlijk, als je geen oppervlak hebt,

you can start using your palm for simple operations.

kan je je handpalm gebruiken voor simpele dingen.

Here, I'm dialing a phone number just using my hand.

Hier tik ik een telefoonnummer in met mijn hand.

The camera is actually not only understanding your hand movements,

De camera snapt niet alleen je handbewegingen,

but, interestingly,

maar -- interessant --

is also able to understand what objects you are holding in your hand.

snapt ook welke dingen je in je hand houdt.

Wat we hier doen,

For example, in this case,

in dit geval,

is de boekomslag vergelijken

the book cover is matched

met zoveel duizenden, miljoenen boeken online,

with so many thousands, or maybe millions of books online,

en uitzoeken welk boek het is.

and checking out which book it is.

Zodra het die informatie heeft,

Once it has that information,

it finds out more reviews about that,

zoekt het recensies op.

or maybe New York Times has a sound overview on that,

Daar heeft de New York Times misschien een geluidsopname van,

so you can actually hear, on a physical book,

dus kan je, op een fysieke boek,

a review as sound.

een recensie horen als geluid.

(Video) Famous talk at Harvard University --

("bekende praatje aan de universiteit van Harvard...")

This was Obama's visit last week to MIT.

Dit was het bezoek van Obama aan MIT vorige week.

(Video) And particularly I want to thank two outstanding MIT --

("... en ik wil in het bijzonder dank zeggen aan twee uitstekende MIT...")

Pranav Mistry: So, I was seeing the live [video] of his talk,

Dus ik keek naar de live-video van dit praatje, buiten, op een krant.

outside, on just a newspaper.

Your newspaper will show you live weather information

Je krant zal je actuele weersinformatie tonen

rather than having it updated.

in plaats van updates te geven --

You have to check your computer in order to do that, right?

jij moet je computer checken om dat te doen, niet?

(Applause)

(Applaus)

When I'm going back, I can just use my boarding pass

As ik terugkeer, kan ik mijn instapkaart gebruiken

om te bekijken hoeveel vertraging mijn vlucht heeft,

to check how much my flight has been delayed,

because at that particular time,

want op dat moment

heb ik geen zin om mijn iPhone aan te zetten,

I'm not feeling like opening my iPhone,

and checking out a particular icon.

en dat icoontje te controleren.

And I think this technology will not only change the way --

Ik denk dat deze technologie niet alleen de manier verandert --

(Laughter)

Ja. (Gelach)

Yes.

Het verandert ook hoe we met mensen omgaan,

It will change the way we interact with people, also,

not only the physical world.

niet alleen met de fysieke wereld.

The fun part is, I'm going to the Boston metro,

Het leuke is, ik ga naar de metro van Boston

and playing a pong game inside the train on the ground, right?

en speel Pong op de trein,

op de grond.

(Laughter)

(Gelach)

And I think the imagination is the only limit

Ik denk dat verbeelding de enige grens is

of what you can think of

van wat je kan bedenken

when this kind of technology merges with real life.

als deze technologie zich met het echte leven mengt.

But many of you argue, actually,

Velen van jullie zullen opwerpen dat

that all of our work is not only about physical objects.

ons werk niet alleen om fysieke dingen gaat.

We actually do lots of accounting and paper editing

We doen boekhouding, en schrijven op papier,

and all those kinds of things; what about that?

en dat soort dingen. Wat daarmee?

And many of you are excited about the next-generation tablet computers

Velen vinden de volgende generatie tabletcomputers spannend,

to come out in the market.

die op de markt komen.

So, rather than waiting for that,

In plaats van daarop te wachten,

I actually made my own, just using a piece of paper.

maakte ik er een voor mezelf, met een blad papier.

So, what I did here is remove the camera --

Ik haalde de camera eruit --

All the webcam cameras have a microphone inside the camera.

alle webcams hebben een microfoon in de camera.

I removed the microphone from that,

Ik haalde de microfoon eruit

and then just pinched that --

en prikte die --

like I just made a clip out of the microphone --

ik maakte een clip van de microfoon

and clipped that to a piece of paper, any paper that you found around.

en maakte die vast aan een stuk papier dat ik vond.

So now the sound of the touch

Het geluid van de aanraking

is getting me when exactly I'm touching the paper.

laat weten op welk ogenblik ik het papier aanraak.

But the camera is actually tracking where my fingers are moving.

De camera volgt intussen waar mijn vingers heengaan;

You can of course watch movies.

Je kan natuurlijk films kijken.

(Video) Good afternoon. My name is Russell,

("Goedemiddag. Mijn naam is Russell...")

and I am a Wilderness Explorer in Tribe 54."

("... en ik ben een Verkenner bij Stam 54.")

PM: And you can of course play games.

En je kan natuurlijk spelletjes spelen.

(Car engine)

(Autoracegeluid)

Here, the camera is actually understanding how you're holding the paper

De camera snapt hoe je het papier houdt

and playing a car-racing game.

en een autorace speelt.

(Applause)

(Applaus)

Many of you already must have thought, OK, you can browse.

Velen van jullie denken wellicht: "OK, je kan browsen.

Natuurlijk kan je browsen naar een website

Yeah. Of course you can browse to any websites

or you can do all sorts of computing on a piece of paper

of allerlei berekeningen doen op een blad papier

wherever you need it.

als je het nodig hebt.

So, more interestingly,

Interessanter is:

hoe doen we dat op een meer dynamische manier?

I'm interested in how we can take that in a more dynamic way.

Als ik terugkom bij mijn bureau, pak ik die informatie op

When I come back to my desk, I can just pinch that information

back to my desktop

en laat het los op mijn bureaublad,

so I can use my full-size computer.

zodat ik mijn volledige computer kan gebruiken.

(Applause)

(Applaus)

And why only computers? We can just play with papers.

Waarom alleen computers? We kunnen met louter papier spelen.

Paper world is interesting to play with.

De papieren wereld is leuk om mee te spelen.

Here, I'm taking a part of a document,

Hier neem ik een deel van een document

and putting over here a second part from a second place,

en voeg er een tweede deel aan toe van een andere plek --

and I'm actually modifying the information that I have over there.

en wijzig ik de informatie

die ik hier heb.

Yeah. And I say, "OK, this looks nice, let me print it out, that thing."

En ik zeg: "OK, ziet er goed uit,

laat me dat ding afdrukken."

Nu heb ik dus een afdruk.

So I now have a print-out of that thing.

So the workflow is more intuitive,

De workflow was intuïtiever zoals we het

the way we used to do it maybe 20 years back,

20 jaar geleden deden,

dan vandaag, nu we schakelen tussen deze twee werelden.

rather than now switching between these two worlds.

So, as a last thought,

Nog een laatste gedachte:

ik denk dat informatie integreren in dingen van elke dag

I think that integrating information to everyday objects

ons niet alleen zal helpen om de digitale kloof te overbruggen,

will not only help us to get rid of the digital divide,

the gap between these two worlds,

het gat tussen deze twee werelden,

but will also help us, in some way,

maar het zal ons ook helpen

to stay human,

om menselijk te blijven,

to be more connected to our physical world.

om meer verbonden te zijn met de fysieke wereld.

And it will actually help us not end up being machines

Het zal ons helpen om geen machines te zijn

sitting in front of other machines.

die voor andere machines zitten.

That's all. Thank you.

Dat is alles. Dankjewel.

(Applaus)

(Applause)

Thank you.

Dankjewel.

(Applause)

(Applaus)

Chris Anderson: So, Pranav, first of all, you're a genius.

Chris Anderson: Pranav,

eerst en vooral, je bent een genie.

This is incredible, really.

Dit is echt ongelooflijk.

What are you doing with this? Is there a company being planned?

Wat doe je ermee? Staat er een bedrijf op stapel?

Or is this research forever, or what?

Of is dit voor altijd onderzoek, of zo?

Pranav Mistry: So, there are lots of companies,

Pranav Mistry: Veel bedrijven die Media Lab sponsoren

sponsor companies of Media Lab interested in taking this ahead

hebben belangstelling om hier iets mee te doen.

in one or another way.

Companies like mobile-phone operators

Bedrijven zoals mobiele telefoonbedrijven

want to take this in a different way than the NGOs in India,

willen dit anders doen dan de ngo's in India,

thinking, "Why can we only have 'Sixth Sense'?

die denken: "Waarom kunnen we alleen 'SixthSense' krijgen?

We should have a 'Fifth Sense' for missing-sense people who cannot speak.

We hebben een vijfde zintuig nodig voor mensen die er één missen,

die niet kunnen praten.

This technology can be used for them to speak out in a different way

Deze technologie kan worden gebruikt zodat ze anders kunnen spreken,

maybe a speaker system."

met een spraaksysteem;"

CA: What are your own plans? Are you staying at MIT,

CA: Wat zijn je eigen plannen? Blijf je op MIT,

or are you going to do something with this?

of ga je hier iets mee doen?

PM: Ik probeer dit voor meer mensen open te stellen,

PM: I'm trying to make this more available to people

zodat iedereen zijn eigen SixthSense-toestel kan maken,

so that anyone can develop their own SixthSense device,

want de hardware is niet zo moeilijk te produceren,

because the hardware is actually not that hard to manufacture

of zelf te maken.

or hard to make your own.

We maken er open-sourcesoftware van,

We will provide all the open source software for them,

maybe starting next month.

misschien vanaf volgende maand.

CA: Open source? Wow.

CA: Open source? Wow.

(Applause)

(Applaus)

CA: Are you going to come back to India with some of this, at some point?

CA: Breng je dit op één of andere manier terug naar India?

PM: Yeah. Yes, yes, of course.

PM: Ja, natuurlijk.

CA: What are your plans? MIT? India?

CA: Wat zijn je plannen? MIT?

How are you going to split your time going forward?

India? Hoe zal je je tijd verdelen in de toekomst?

PM: There is a lot of energy here. Lots of learning.

PM: Hier is veel energie. Veel leren.

All of this work that you have seen is all about my learning in India.

Alles wat je hier ziet gaat over

mijn leren in India.

And now, if you see, it's more about the cost-effectiveness:

Kijk, gaat het meer om kosteneffectiviteit:

this system costs you $300

dit systeem kost je 300 dollar,

compared to the $20,000 surface tables, or anything like that.

vergeleken met de touchtafels van 20.000 dollar.

Or maybe even the $2 mouse gesture system at that time was costing around $5,000?

Zelfs het muisgebarensysteem van twee dollar

kostte toen 5.000 dollar.

I showed that, at a conference, to President Abdul Kalam, at that time,

Dus ik liet dit eens zien aan

President Abdul Kalam, toentertijd,

and then he said, "OK, we should use this in Bhabha Atomic Research Centre

en hij zei: "We kunnen dit gebruiken in het Bhabha Nucleair Onderzoekscentrum,

for some use of that."

Ik vind het dus spannend dat ik technologie naar de massa kan brengen

So I'm excited about how I can bring the technology to the masses

rather than just keeping that technology in the lab environment.

in plaats van ze in het laboratorium te houden.

(Applause)

(Applaus)

CA: Op basis van de mensen die we bij TED hebben gezien,

CA: Based on the people we've seen at TED,

I would say you're truly one of the two or three

zou ik zeggen dat je behoort tot de twee of drie

best inventors in the world right now.

beste uitvinders in de wereld van dit moment.

It's an honor to have you at TED.

Het is een eer om je op TED te hebben.

Thank you so much.

Heel hartelijk dank.

That's fantastic.

Fantastisch.

(Applause)

(Applaus)