The thrilling potential of SixthSense technology | Pranav Mistry

Translator: David J. Kreps Finnemann Reviewer: Anders Finn Jørgensen

We grew up

Vi voksede op

interacting with the physical objects around us.

og interagerede med de fysiske objekter omkring os.

There are an enormous number of them that we use every day.

Der er et enormt antal af dem

som vi bruger hver dag.

Unlike most of our computing devices,

I modsætning til mange af vores databehandlings apparater,

these objects are much more fun to use.

er disse objekter meget sjovere at bruge.

Når man taler om objekter,

When you talk about objects,

one other thing automatically comes attached to that thing,

er der en ting der automatisk bliver vedhæftet til den ting,

and that is gestures:

og det er gestus:

how we manipulate these objects,

hvordan vi manipulerer disse objekter,

how we use these objects in everyday life.

hvordan vi bruger disse objekter i hverdagen.

We use gestures not only to interact with these objects,

Vi bruger ikke kun gestusene til at interagere med disse objekter,

but we also use them to interact with each other.

men vi bruger dem også til at interagere med hinanden.

A gesture of "Namaste!", maybe, to respect someone, or maybe,

Gestussen "Namaste!", måske, til at respektere nogen,

eller måske --

in India I don't need to teach a kid that this means

i Indien behøver jeg ikke at fortælle et barn at dette betyder

"four runs" in cricket.

"four runs" i cricket.

It comes as a part of our everyday learning.

Det bliver en del af vores hverdagslæring.

So, I am very interested, from the beginning,

Så, jeg er meget interesseret,

fra begyndelsen, om hvordan --

how our knowledge about everyday objects and gestures,

hvordan vores viden

om hverdags objekter og gestus,

and how we use these objects,

og hvordan vi bruger disse objekter,

can be leveraged to our interactions with the digital world.

kan blive udnyttet til vores interaktioner med den digitale verden.

Rather than using a keyboard and mouse,

I stedet for at bruge et keyboard og mus,

why can I not use my computer

hvorfor kan jeg ikke bruge min computer

in the same way that I interact in the physical world?

på samme måde som jeg interagerer med den fysiske verden?

So, I started this exploration around eight years back,

Så, jeg startede denne udforskning for otte år siden,

and it literally started with a mouse on my desk.

og det begyndte bogstavlig talt med en mus på mit skrivebord.

Rather than using it for my computer, I actually opened it.

I stedet for at bruge den til min computer,

åbnede jeg den faktisk.

Most of you might be aware that, in those days,

De fleste af jer er måske klar over, at dengang,

the mouse used to come with a ball inside,

havde musen en kugle indeni,

and there were two rollers

og der var to ruller

that actually guide the computer where the ball is moving,

der faktisk fortalte computeren hvor kuglen bevægede sig hen,

and, accordingly, where the mouse is moving.

og, derfor, hvor musen bevægede sig hen.

So, I was interested in these two rollers,

Så, jeg var interesseret i de to ruller,

and I actually wanted more, so I borrowed another mouse from a friend --

og jeg ville faktisk have mere, så jeg lånte endnu en mus af en ven --

never returned to him --

gav den aldrig tilbage --

and I now had four rollers.

og nu havde jeg fire ruller.

Interestingly, what I did with these rollers is,

Interessant nok, det jeg gjorde med disse ruller var,

basically, I took them off of these mouses and then put them in one line.

dybest set, at jeg tog dem af disse mus

og satte dem så på en række.

It had some strings and pulleys and some springs.

Der var noget snor og nogle taljer og nogle fjedre.

What I got is basically a gesture-interface device

Det jeg dybest set fik, var et gestus grænseflade apparat

that actually acts as a motion-sensing device

der faktisk virker som en bevægelses føler

made for two dollars.

lavet for to dollars.

So, here, whatever movement I do in my physical world

Så, her, uanset hvilken bevægelse jeg laver i min fysiske verden

is actually replicated inside the digital world

bliver det faktisk reproduceret i den digitale verden,

just using this small device that I made, around eight years back,

bare ved at bruge dette lille apparat jeg lavede, for cirka otte år siden,

in 2000.

i 2000.

Because I was interested in integrating these two worlds,

Fordi jeg var interesseret i at integrere disse to verdener,

I thought of sticky notes.

tænkte jeg på sticky notes.

I thought, "Why can I not connect

Jeg tænkte, "Hvorfor kan jeg ikke forbinde

the normal interface of a physical sticky note

den normale grænseflade ved en sticky note

to the digital world?"

til den digitale verden?"

A message written on a sticky note to my mom,

En besked skrevet på en sticky note til min mor

on paper,

på papir

can come to an SMS,

kan blive en SMS,

or maybe a meeting reminder

eller måske en påmindelse om et møde

automatically syncs with my digital calendar --

der automatisk synkroniserer med min digitale kalender --

a to-do list that automatically syncs with you.

en to-do liste der automatisk synkroniserer med en.

But you can also search in the digital world,

Men man kan også søge i den digitale verden,

or maybe you can write a query, saying,

eller måske skriver man en forespørgsel, der siger,

"What is Dr. Smith's address?"

"Hvad er Dr. Smiths adresse?"

and this small system actually prints it out --

Og dette lille system printer det faktisk ud --

so it actually acts like a paper input-output system,

så det fungerer faktisk som et papir input-output system,

just made out of paper.

bare lavet af papir.

In another exploration,

I en anden opdagelse,

I thought of making a pen that can draw in three dimensions.

tænkte jeg på at lave en pen der kan tegne i disse tre dimensioner.

So, I implemented this pen that can help designers and architects

Så, jeg implementerede denne pen

som kan hjælpe designere og arkitekter

not only think in three dimensions,

med ikke kun at tænke i tre dimensioner,

but they can actually draw,

men de kan faktisk tegne

so that it's more intuitive to use that way.

så det er mere intuitivt at bruge på den måde.

Then I thought, "Why not make a Google Map,

Så tænkte jeg, "Hvorfor ikke lave en Google Map,

but in the physical world?"

men i den fysiske verden?"

Rather than typing a keyword to find something,

I stedet for at taste et nøgleord for at finde noget,

I put my objects on top of it.

satte jeg mine objekter oven på det.

If I put a boarding pass, it will show me where the flight gate is.

Hvis jeg lægger et boarding pass, vil det vise mig hvor gaten er.

A coffee cup will show where you can find more coffee,

En kop kaffe vil vise hvor man kan finde mere kaffe,

or where you can trash the cup.

eller hvor man kan smide koppen ud.

So, these were some of the earlier explorations I did

Så, dette var nogle af de tidlige undersøgelser jeg lavede,

because the goal was to connect these two worlds seamlessly.

målet var at forbinde disse to verdener fejlfrit.

Among all these experiments,

Blandt alle disse eksperimenter,

there was one thing in common:

var der en ting til fælles:

I was trying to bring a part of the physical world

jeg prøvede at tage en del af den fysiske verden ind i den digitale verden.

to the digital world.

Jeg tog en del af objekterne,

I was taking some part of the objects,

or any of the intuitiveness of real life,

eller en hvilken som helst af de intuitive ting i det virkelige liv,

and bringing them to the digital world,

og bragte dem ind i den digitale verden,

because the goal was to make our computing interfaces more intuitive.

fordi målet var at lave vores databehandlings brugergrænsefalde mere intuitive.

But then I realized that we humans are not actually interested in computing.

Men så indså jeg at vi mennesker

i virkeligheden ikke er interesserede i databehandling.

What we are interested in is information.

Det vi er interesserede i er information.

We want to know about things.

Vi vil vide noget om ting.

We want to know about dynamic things going around.

Vi vil vide noget om dynamiske ting der sker.

So I thought, around last year -- in the beginning of the last year --

Så jeg tænkte, cirka sidste år -- i begyndelsen af året --

I started thinking, "Why can I not take this approach in the reverse way?"

begyndte jeg at tænke, "Hvorfor kan jeg ikke tage denne tilgang i omvendt rækkefølge?"

Måske, "Hvad med at jeg tager min digitale verden

Maybe, "How about I take my digital world

and paint the physical world with that digital information?"

og maler den fysiske verden med den digitale information?"

Fordi pixler er faktisk, lige nu, begrænset til disse firkantede apparater

Because pixels are actually, right now, confined in these rectangular devices

der passer i vores lomme.

that fit in our pockets.

Why can I not remove this confine

Hvorfor kan jeg ikke fjerne denne begrænsning

and take that to my everyday objects, everyday life

og tage mine hverdagsobjekter, hverdagslivet

so that I don't need to learn the new language

så jeg ikke har brug for at lære det nye sprog

for interacting with those pixels?

for at interagere med disse pixler?

So, in order to realize this dream,

Så, for at kunne realisere denne drøm,

I actually thought of putting a big-size projector on my head.

tænkte jeg faktisk på at tage en stor størrelse projektor på hovedet.

I think that's why this is called a head-mounted projector, isn't it?

Jeg tror det er derfor dette er kaldet en hovedmonteret projektor, er den ikke?

I took it very literally,

Jeg tog det meget bogstaveligt,

and took my bike helmet,

og jeg tog min cykelhjelm,

put a little cut over there so that the projector actually fits nicely.

skar lidt i den derovre så projektoren faktisk passer perfekt.

So now, what I can do --

Så nu, det jeg kan gøre --

I can augment the world around me with this digital information.

jeg kan supplere verden omkring mig med denne digitale information.

But later,

Men senere,

I realized that I actually wanted to interact

realiserede jeg at jeg faktisk ville interagere med disse digitale pixels, også.

with those digital pixels, also.

So I put a small camera over there that acts as a digital eye.

Så jeg satte et lille kamera herovre,

der fungerer som et digitalt øje.

Later, we moved to a much better,

Senere, flyttede vi til en meget bedre,

consumer-oriented pendant version of that,

forbruger orienteret hængende version af det,

that many of you now know as the SixthSense device.

som mange af jer kender som et SixthSense apparat.

But the most interesting thing about this particular technology

Men den mest interessante ting om denne bestemte teknologi

is that you can carry your digital world with you

er at man kan bære sin digitale verden med sig

wherever you go.

hvor end man går hen.

You can start using any surface, any wall around you,

Man kan starte med at bruge en hvilken som helst overfalde, over alt rundt om en,

as an interface.

som en brugerflade.

The camera is actually tracking all your gestures.

Kameraet følger faktisk alle ens gestus.

Whatever you're doing with your hands,

Hvad man end gør med sine hænder,

it's understanding that gesture.

forstår det den gestus.

And, actually, if you see, there are some color markers

Og, faktisk, hvis man kigger er der nogle farve markører

that in the beginning version we are using with it.

som vi bruger det sammen med i den begyndende version.

You can start painting on any wall.

Man kan begynde at male en hvilken som helst væg.

You stop by a wall, and start painting on that wall.

Man kan også stoppe ved en væg, og begynde at male på den væg.

But we are not only tracking one finger, here.

Men vi følger ikke kun en finger her.

We are giving you the freedom of using all of both of your hands,

Vi giver jer frihed til at bruge begge ens hænder,

so you can actually use both of your hands to zoom into or zoom out

så man kan faktisk bruge begge sine hænder til at zoome ind elker zoome ud

of a map just by pinching all present.

af et kort, bare ved at knibe med alle fingre.

The camera is actually doing -- just, getting all the images --

Kameraet laver faktisk --

bare, får alle billeder --

is doing the edge recognition and also the color recognition

laver kant genkendelsen og også farve genkendelsen

and so many other small algorithms are going on inside.

og der sker så mange andre små algoritmer derinde.

So, technically, it's a little bit complex,

Så, teknisk, er det lidt kompleks,

but it gives you an output which is more intuitive to use, in some sense.

men det giver en et input som er mere intuitivt at bruge, på en måde.

But I'm more excited that you can actually take it outside.

Men jeg er mere begejstret over at man faktisk kan tage det med udenfor.

Rather than getting your camera out of your pocket,

I stedet for at tage ens kamera ud af lommen,

you can just do the gesture of taking a photo,

kan man bare lave gestussen af at tage et billede

and it takes a photo for you.

og den tager billedet for en.

(Applause)

(Bifald)

Thank you.

Tak.

And later I can find a wall, anywhere,

Og senere kan jeg finde en væg, hvor som helst,

and start browsing those photos

og begynde at skimme de billeder

or maybe, "OK, I want to modify this photo a little bit

eller måske, "OK; jeg vil modificere det billede en lille smule

and send it as an email to a friend."

og sende det som en email til en ven."

So, we are looking for an era

Så, vi ser på en æra hvor

where computing will actually merge with the physical world.

databehandling faktisk vil sammensmelte med den fysiske verden.

And, of course, if you don't have any surface,

Og, selvfølgelig, hvis man ikke har nogen overflade,

you can start using your palm for simple operations.

kan man begynde at bruge sin håndflade til simple ting.

Here, I'm dialing a phone number just using my hand.

Her taster jeg et telefonnummer bare ved at bruge min hånd.

The camera is actually not only understanding your hand movements,

Kameraet forstår faktisk ikke kun hånden bevægelser,

but, interestingly,

men, interessant nok,

is also able to understand what objects you are holding in your hand.

er det også i stand til at forstå hvilke objekter man holder i hånden.

Det man gør her, er faktisk --

For example, in this case,

for eksempel, i dette tilfælde,

the book cover is matched

bogomslaget bliver modsvaret

with so many thousands, or maybe millions of books online,

med så mange tusinde, eller måske millioner af bøger online,

and checking out which book it is.

og kontrollerer hvilken bog det er.

Once it has that information,

Når den har den information,

it finds out more reviews about that,

finder den flere anmeldelser til det,

or maybe New York Times has a sound overview on that,

eller måske har New York Times en lyd oversigt på det,

so you can actually hear, on a physical book,

så man kan faktisk høre, på en fysisk bog,

a review as sound.

en anmeldelse som lyd.

(Video) Famous talk at Harvard University --

("berømte tale ved Harvard University ...")

This was Obama's visit last week to MIT.

Dette var Obamas visit sidste uge ved MIT.

(Video) And particularly I want to thank two outstanding MIT --

("... og jeg vil i særdeleshed gerne takke to enestående MIT ...")

Pranav Mistry: So, I was seeing the live [video] of his talk,

Så, jeg så den live [video] af dette foredrag, udenfor, bare på en avis.

outside, on just a newspaper.

Your newspaper will show you live weather information

Ens avis vil vise en live vejr information

rather than having it updated.

i stedet for at opdatere den -- ligesom, man skal kontrollere sin computer

You have to check your computer in order to do that, right?

for at gøre det, ikke?

(Applause)

(Bifald)

When I'm going back, I can just use my boarding pass

Når jeg rejser tilbage, kan jeg bare bruge mit boarding pass

to check how much my flight has been delayed,

til at kontrollere hvor meget mit fly er forsinket,

because at that particular time,

fordi på det bestemte tidspunkt,

I'm not feeling like opening my iPhone,

har jeg ikke lyst til at åbne min iPhone,

and checking out a particular icon.

og kontrollere det bestemte ikon.

And I think this technology will not only change the way --

Og jeg tror denne teknologi ikke kun vil ændre måden --

(Laughter)

ja. (Latter)

Yes.

It will change the way we interact with people, also,

Det vil ændre måden hvorpå vi interagerer med mennesker, også,

not only the physical world.

ikke kun den fysiske verden.

The fun part is, I'm going to the Boston metro,

Det sjove er, jeg tager til metroen i Boston,

and playing a pong game inside the train on the ground, right?

og jeg spiller et pong spil i toget

på jorden, ikke?

(Laughter)

(Latter)

And I think the imagination is the only limit

Og jeg tror fantasien er den eneste grænse

of what you can think of

for hvad man kan tænke på,

when this kind of technology merges with real life.

når denne slags teknologi sammensmelter med det virkelige liv.

But many of you argue, actually,

Men mange af jer argumenterer for, faktisk, at

that all of our work is not only about physical objects.

alt vores arbejde ikke kun handler om fysiske objekter.

We actually do lots of accounting and paper editing

Vi laver faktisk meget bogholderi og redigerer på papir

and all those kinds of things; what about that?

og alle de ting; hvad med det?

And many of you are excited about the next-generation tablet computers

Og mange af jer er begejstrede for den næste generation af tablet computere

to come out in the market.

der kommer på markedet.

So, rather than waiting for that,

Så, i stedet for at vente på det,

I actually made my own, just using a piece of paper.

lavede jeg faktisk min egen, bare ved at bruge et stykke papir.

So, what I did here is remove the camera --

Så, det jeg gjorde var at fjerne kameraet --

All the webcam cameras have a microphone inside the camera.

Alle webcam kameraer har en mikrofon i kameraet.

I removed the microphone from that,

Jeg fjernede mikrofonen fra den,

and then just pinched that --

og klemte den --

like I just made a clip out of the microphone --

ligesom jeg lavede en klips ud af mikrofonen --

and clipped that to a piece of paper, any paper that you found around.

og jeg klipsede den til et stykke papir, ethvert stykke papir man finder.

So now the sound of the touch

Så nu kommer lyder af berørelsen

is getting me when exactly I'm touching the paper.

til mig præcis når jeg rører ved papiret.

But the camera is actually tracking where my fingers are moving.

Men kameraet følger faktisk hvor mine fingre bevæger sig hen.

You can of course watch movies.

Man kan selvfølgelig se film.

(Video) Good afternoon. My name is Russell,

("God eftermiddag. Mit navn er Robert ...

and I am a Wilderness Explorer in Tribe 54."

og jeg er en spejder i Stamme 54.")

PM: And you can of course play games.

Og man kan selvfølgelig spille spil.

(Car engine)

(Bil motor)

Here, the camera is actually understanding how you're holding the paper

Her forstår kameraet faktisk hvordan man holder papiret

and playing a car-racing game.

og spiller et racerbils spil.

(Applause)

(Bifald)

Many of you already must have thought, OK, you can browse.

Mange af jer må allerede have tænkt, OK, man kan browse.

Ja. Selvfølgelig kan man browse til en hvilken som helst hjemmeside

Yeah. Of course you can browse to any websites

or you can do all sorts of computing on a piece of paper

eller man kan gøre al mulig databehandling på et stykke papir

wherever you need it.

hvor end man har brug for det.

So, more interestingly,

Så, mere interessant,

I'm interested in how we can take that in a more dynamic way.

jeg er interesseret i hvordan vi kan tage det på en mere dynamisk måde.

When I come back to my desk, I can just pinch that information

Når jeg kommer tilbage til mit skrivebord kan bare knibe den information

back to my desktop

tilbage til min stationære computer

so I can use my full-size computer.

så jeg kan bruge min store computer.

(Applause)

(Bifald)

And why only computers? We can just play with papers.

Og hvorfor kun computere? Vi kan bare lege med papir.

Paper world is interesting to play with.

Papirverdenen er interessant at lege med.

Here, I'm taking a part of a document,

Her tager jeg en del af et dokument

and putting over here a second part from a second place,

og sætter her en anden del fra et andet sted --

and I'm actually modifying the information that I have over there.

og jeg modificerer faktisk den information

som jeg har herovre.

Yeah. And I say, "OK, this looks nice, let me print it out, that thing."

Ja. Og jeg siger, "Ok, dette ser fint ud,

lad mig printe det ud, den ting."

So I now have a print-out of that thing.

Så nu har jeg en udskrift af den ting, og nu --

So the workflow is more intuitive,

arbejdsgangen er mere intuitiv, måden hvorpå vi plejede at gøre det

the way we used to do it maybe 20 years back,

for måske 20 år siden,

rather than now switching between these two worlds.

i stedet for at skifte mellem disse to verdener.

So, as a last thought,

Så, en sidste tanke,

I think that integrating information to everyday objects

jeg tror at at integrere information mellem hverdagsobjekter

vil ikke kun hjælpe os med at komme af med det digitale skel,

will not only help us to get rid of the digital divide,

the gap between these two worlds,

kløften mellem de to verdener,

but will also help us, in some way,

men vil også hjælpe os, på en måde,

to stay human,

at forblive menneskelig,

to be more connected to our physical world.

for at være mere forbundet med den fysiske verden.

And it will actually help us not end up being machines

Og det vil faktisk hjælpe os med ikke at ende som maskiner

sitting in front of other machines.

siddende foran andre maskiner.

That's all. Thank you.

Det var det hele. Tak.

(Applause)

(Bifald)

Thank you.

Tak.

(Applause)

(Bifald)

Chris Anderson: So, Pranav, first of all, you're a genius.

Chris Anderson: Så, Pranav,

for det første, du er et geni.

This is incredible, really.

Dette er utroligt, virkeligt.

What are you doing with this? Is there a company being planned?

Hvad gør du med dette? Er der planlagt et firma?

Or is this research forever, or what?

Eller er dette forskning i al evighed, eller hvad?

Pranav Mistry: So, there are lots of companies,

Pranav Mistry: Så, der er masser af firmaer --

sponsor companies of Media Lab interested in taking this ahead

faktisk Media Lab sponsor firmaer,

som er interesserede i at videreudvikle det på den ene eller anden måde.

in one or another way.

Companies like mobile-phone operators

Firmaer som mobil telefon operatører

want to take this in a different way than the NGOs in India,

vil tage dette på en anden måde en NGO'erne i Indien,

thinking, "Why can we only have 'Sixth Sense'?

[der] tænker, "Hvorfor kan vi kun have 'Sixth Sense'?

We should have a 'Fifth Sense' for missing-sense people who cannot speak.

Vi burde have en 'Fifth Sense' for de mennesker der mangler en sans

der ikke kan tale.

This technology can be used for them to speak out in a different way

Denne teknologi kan bruges af dem til at tale på en anden måde

maybe a speaker system."

måske med et højtalersystem."

CA: What are your own plans? Are you staying at MIT,

CA: Hvad er dine planer? Bliver du på MIT,

or are you going to do something with this?

eller vil du gøre noget med dette?

PM: Jeg prøver at gøre dette mere tilgængeligt for mennesker

PM: I'm trying to make this more available to people

så hvem som helst kan bruge deres eget SixthSense apparat,

so that anyone can develop their own SixthSense device,

fordi hardwaren er faktisk ikke så svær at fremstille

because the hardware is actually not that hard to manufacture

or hard to make your own.

eller svær at lave selv.

We will provide all the open source software for them,

Vi vil give al open source software til dem,

maybe starting next month.

måske fra næste måned.

CA: Open source? Wow.

CA: Open source? Wow.

(Applause)

(Bifald)

CA: Are you going to come back to India with some of this, at some point?

CA: Tager du tilbage til Indien med noget af alt dette på et tidspunkt?

PM: Yeah. Yes, yes, of course.

PM: Ja. Ja, ja, selvfølgelig.

CA: What are your plans? MIT? India?

CA: Hvad er dine planer? MIT?

How are you going to split your time going forward?

Indien? Hvordan vil du dele din tid fremover?

PM: There is a lot of energy here. Lots of learning.

PM: Der er en masse energi her. Meget at lære.

All of this work that you have seen is all about my learning in India.

Alt det arbejde I har set handler om alt det

jeg har lært i Indien.

And now, if you see, it's more about the cost-effectiveness:

Og nu, hvis man ser, handler det mere om omkostningseffektivitet:

this system costs you $300

dette system koster $300

compared to the $20,000 surface tables, or anything like that.

samlignet med $20,000 surface tables, eller noget i den retning.

Or maybe even the $2 mouse gesture system at that time was costing around $5,000?

Eller måske kostede det $2 muse gestus system

på det tidspunkt i nærheden af $5.000?

I showed that, at a conference, to President Abdul Kalam, at that time,

Så, vi faktisk -- jeg viste det ved en konference, til

President Abdul Kalam, på det tidspunkt,

and then he said, "OK, we should use this in Bhabha Atomic Research Centre

og så sagde han, "OK, vi burde bruge dette i Bhabha Atomic Research Centre

for some use of that."

for at bruge noget af det."

So I'm excited about how I can bring the technology to the masses

Så jeg er spændt på hvordan jeg kan bringe teknologien til masserne,

rather than just keeping that technology in the lab environment.

i stedet for bare at beholde den teknologi i laboratorium miljøet.

(Applause)

(Bifald)

CA: Based on the people we've seen at TED,

CA: Baseret på de mennesker vi har set ved TED,

I would say you're truly one of the two or three

ville jeg sige at du virkelig er en af de to eller tre

best inventors in the world right now.

bedste opfindere i verden lige nu.

It's an honor to have you at TED.

Det er en ære at have dig ved TED.

Thank you so much.

Mange tak.

That's fantastic.

Det er fantastisk.

(Applause)

(Bifald)