The thrilling potential of SixthSense technology | Pranav Mistry

プラナフ・ミストリー ：次なる可能性を秘めたSixthSenseテクノロジー

翻訳: Yasushi Aoki 校正: Tatsuma Nagano

We grew up

私たちは

interacting with the physical objects around us.

身の回りのモノに触れて育ってきました

There are an enormous number of them that we use every day.

私たちが日常生活で使うモノは

ものすごく沢山あります

Unlike most of our computing devices,

コンピュータ機器の多くとは違い

these objects are much more fun to use.

日常生活のモノというのは 使うのが楽しいものです

日常生活のモノについて話題にするとき

When you talk about objects,

one other thing automatically comes attached to that thing,

それに付随してくるものがもう１つあります

and that is gestures:

ジェスチャーです

how we manipulate these objects,

それらのモノをどうやって扱うのか

how we use these objects in everyday life.

実生活でそれらのモノをどう使うのか

We use gestures not only to interact with these objects,

ジェスチャーはモノに対してだけ使うわけではありません

but we also use them to interact with each other.

人に対しても使います

A gesture of "Namaste!", maybe, to respect someone, or maybe,

「ナマステ！」のジェスチャーは 誰かに敬意を示すときにします

インドの子供なら

in India I don't need to teach a kid that this means

これはクリケットの「4ラン」だと

"four runs" in cricket.

教えられなくとも知っています

It comes as a part of our everyday learning.

生活の中で自然に学び取るのです

So, I am very interested, from the beginning,

私は早い時期に

興味を持った事があります

how our knowledge about everyday objects and gestures,

「モノやジェスチャーに対する

私たちの知識や

and how we use these objects,

実生活でモノをどう使うかということが

can be leveraged to our interactions with the digital world.

デジタル世界をより良くするために役立てられないだろうか？」

Rather than using a keyboard and mouse,

キーボードやマウスを使うかわりに

why can I not use my computer

日常的なジェスチャーで

in the same way that I interact in the physical world?

コンピュータを使うことはできないだろうか？

So, I started this exploration around eight years back,

8年ほど前に私はこの探求を始めました

and it literally started with a mouse on my desk.

そして自分の机の上にあるマウスをまず手に取りました

Rather than using it for my computer, I actually opened it.

それでコンピュータを使うというのではなく

中を開けてみたのです

Most of you might be aware that, in those days,

マウスというのは

the mouse used to come with a ball inside,

昔は中にボールが入っていました

and there were two rollers

2つのローラーが

that actually guide the computer where the ball is moving,

マウスを動かしたときのボールの動きを

and, accordingly, where the mouse is moving.

コンピュータに伝えるようになっています

So, I was interested in these two rollers,

だから私はこの2つのローラーに興味を持ち

and I actually wanted more, so I borrowed another mouse from a friend --

もっと欲しくなって友達からもマウスを借りました

never returned to him --

返すことはありませんでしたが

and I now had four rollers.

これでローラーが4つになりました

Interestingly, what I did with these rollers is,

そのローラーを使って何をやったかというと

basically, I took them off of these mouses and then put them in one line.

マウスから取り外して

一列に並べ

It had some strings and pulleys and some springs.

紐と滑車とバネをつけたのです

What I got is basically a gesture-interface device

出来上がったのは ジェスチャーをインターフェイスとする装置で

that actually acts as a motion-sensing device

モーションセンサの働きをします

made for two dollars.

2ドルでできました

So, here, whatever movement I do in my physical world

私が実世界でした動きが

is actually replicated inside the digital world

この小さな装置を通して

just using this small device that I made, around eight years back,

デジタル世界で再現されます

in 2000.

2000年のことです

Because I was interested in integrating these two worlds,

2つの世界の統合に私は関心があって

I thought of sticky notes.

次に考えたのは付箋メモです

I thought, "Why can I not connect

普段使っている付箋メモを

the normal interface of a physical sticky note

電子的な付箋メモへの

to the digital world?"

インタフェースにできないだろうか？

A message written on a sticky note to my mom,

紙に書いたお母さん宛の

on paper,

メッセージが

can come to an SMS,

SMSとして届き

or maybe a meeting reminder

予定のメモが

automatically syncs with my digital calendar --

自動的にデジタルの予定表と同期し

a to-do list that automatically syncs with you.

TODOリストも自動的に同期するという具合に

But you can also search in the digital world,

そうすると デジタル世界の中で検索することもでき

or maybe you can write a query, saying,

「スミス先生の住所は？」

"What is Dr. Smith's address?"

といった問い合わせもできます

and this small system actually prints it out --

結果は紙に印刷されて出てきます

so it actually acts like a paper input-output system,

これは入出力を紙でするシステムで

just made out of paper.

紙だけが外に見えています

In another exploration,

別な探求として

I thought of making a pen that can draw in three dimensions.

私は3次元に書けるペンというのも考えました

So, I implemented this pen that can help designers and architects

そのペンがあれば

デザイナや建築家が

not only think in three dimensions,

3次元で考えるというだけでなく

but they can actually draw,

実際に3次元で書くこともでき

so that it's more intuitive to use that way.

ずっと直感的に使えるはずです

Then I thought, "Why not make a Google Map,

Google Mapsを日常生活の中に

but in the physical world?"

引っ張り出せないか？ とも思いました

Rather than typing a keyword to find something,

何かを探すために検索語を打ち込むのではなく

I put my objects on top of it.

モノをその上に載せるのです

If I put a boarding pass, it will show me where the flight gate is.

搭乗チケットを載せれば ゲートへの道順を示してくれ

A coffee cup will show where you can find more coffee,

コーヒーカップを置けば コーヒーを買える場所や

or where you can trash the cup.

ゴミ箱の場所を示すという具合です

So, these were some of the earlier explorations I did

どれも私が初期にやった探求です

because the goal was to connect these two worlds seamlessly.

私の目的はずっと2つの世界を継ぎ目なく結ぶということでした

Among all these experiments,

これらの実験にはどれも

there was one thing in common:

1つの共通点があります

I was trying to bring a part of the physical world

身の回りの世界の一部をデジタル世界に持ってこようとしていることです

to the digital world.

モノの一部や

I was taking some part of the objects,

or any of the intuitiveness of real life,

実生活の直感的な面を

and bringing them to the digital world,

デジタル世界に持ち込んでいます

because the goal was to make our computing interfaces more intuitive.

コンピュータをもっと直感的に使えるようにしたかったのです

But then I realized that we humans are not actually interested in computing.

しかし私たちが興味を持っているのは

コンピュータ自体ではないということに気がつきました

What we are interested in is information.

私たちに関心があるのは コンピュータの中にある情報です

We want to know about things.

私たちは物事について知りたいと思います

We want to know about dynamic things going around.

どんなことが起こっているのかを知りたいと思います

So I thought, around last year -- in the beginning of the last year --

それで去年の初めくらいから考えるようになりました

I started thinking, "Why can I not take this approach in the reverse way?"

「このアプローチを逆にすることはできないだろうか？」

デジタル世界を取り出して

Maybe, "How about I take my digital world

and paint the physical world with that digital information?"

日常生活の中に投影してみたらどうだろう？

ピクセルデータは このポケットに入る四角い装置の中に

Because pixels are actually, right now, confined in these rectangular devices

収められています

that fit in our pockets.

Why can I not remove this confine

日常生活の世界へ

and take that to my everyday objects, everyday life

それを解き放てるなら

so that I don't need to learn the new language

ピクセルをいじるために

for interacting with those pixels?

新しい言語を覚える必要もなくなるのでは？

So, in order to realize this dream,

この夢を実現しようと

I actually thought of putting a big-size projector on my head.

私は大きなプロジェクタを実際頭に載せてみました

I think that's why this is called a head-mounted projector, isn't it?

ヘッドマウントプロジェクタというわけです

I took it very literally,

バイクのヘルメットに

and took my bike helmet,

切り込みを入れて

put a little cut over there so that the projector actually fits nicely.

プロジェクタがうまく載るようにしました

So now, what I can do --

そうやって デジタル情報で

I can augment the world around me with this digital information.

身の回りの現実を拡張できるようになりました

But later,

しかし後になって

I realized that I actually wanted to interact

私はそのデジタル情報も操作したいと思うようになりました

with those digital pixels, also.

So I put a small camera over there that acts as a digital eye.

それでデジタルの目として

小さなカメラを付けました

Later, we moved to a much better,

その後 もっと改良して

consumer-oriented pendant version of that,

コンシューマ向けのペンダント型を作りました

that many of you now know as the SixthSense device.

それがご存じのSixthSenseデバイスです

But the most interesting thing about this particular technology

このテクノロジーが特に興味深いのは

is that you can carry your digital world with you

自分の行くところはどこへでもデジタル世界を

wherever you go.

持っていくことができるという点です

You can start using any surface, any wall around you,

どこか壁を見つけ それを操作面として

as an interface.

使うことができます

The camera is actually tracking all your gestures.

カメラがジェスチャーを捉え

Whatever you're doing with your hands,

様々な身振りを

it's understanding that gesture.

解釈します

And, actually, if you see, there are some color markers

初期のバージョンでは ご覧のような

that in the beginning version we are using with it.

カラーマーカーを使っていました

You can start painting on any wall.

どこの壁でもかまいません

You stop by a wall, and start painting on that wall.

壁の前で立ち止まって投影します

But we are not only tracking one finger, here.

追跡するのは一本の指だけではありません

We are giving you the freedom of using all of both of your hands,

両手の指がすべて使えます

so you can actually use both of your hands to zoom into or zoom out

だから地図を両手でつまんで

of a map just by pinching all present.

拡大 縮小ができます

The camera is actually doing -- just, getting all the images --

カメラで実際にやっているのは

エッジ認識や

is doing the edge recognition and also the color recognition

色彩認識そのほか沢山の

and so many other small algorithms are going on inside.

細かいアルゴリズムによる処理です

So, technically, it's a little bit complex,

技術的には結構複雑なのですが

but it gives you an output which is more intuitive to use, in some sense.

結果としては直感的に使えるものになっています

But I'm more excited that you can actually take it outside.

これの楽しいところは 外に持ち出せるということです

Rather than getting your camera out of your pocket,

カメラをポケットから取り出すことなく

you can just do the gesture of taking a photo,

ただ写真を撮るジェスチャーをするだけで

and it takes a photo for you.

写真を撮してくれます

(Applause)

(拍手)

Thank you.

どうも

And later I can find a wall, anywhere,

写真を撮ったら どこでも壁を見つけて

and start browsing those photos

写真を映して見ることができます

or maybe, "OK, I want to modify this photo a little bit

「よし この写真にちょっと手を入れて

and send it as an email to a friend."

友達にメールで送ってやろう」

So, we are looking for an era

私たちはコンピュータの世界と日常の世界が

where computing will actually merge with the physical world.

混じり合う時代を迎えようとしているのです

And, of course, if you don't have any surface,

適当な壁がないときには

you can start using your palm for simple operations.

自分の手のひらの上で簡単な操作をすることもできます

Here, I'm dialing a phone number just using my hand.

手のひらでダイヤルしているところです

The camera is actually not only understanding your hand movements,

カメラは手の動きを認識するだけでなく

but, interestingly,

さらには

is also able to understand what objects you are holding in your hand.

手に持っているモノを認識することもできます

たとえばここでやっているのは

For example, in this case,

手に取った本の表紙を

the book cover is matched

何千何万という

with so many thousands, or maybe millions of books online,

オンラインの情報と照合し

and checking out which book it is.

どの本かを調べています

Once it has that information,

どれかわかったら

it finds out more reviews about that,

その本のレビューを表示したり

or maybe New York Times has a sound overview on that,

ニューヨークタイムズのサイトにある

so you can actually hear, on a physical book,

音声による解説を引っ張ってきて

a review as sound.

実際の本を手にしながら聞くことができます

(Video) Famous talk at Harvard University --

(…ハーバード大学で行われた有名な講演で…)

This was Obama's visit last week to MIT.

これはオバマ大統領が先週MITを訪れたときのものです

(Video) And particularly I want to thank two outstanding MIT --

(…特にMITの2人の傑出した教授にお礼を言いたい…)

Pranav Mistry: So, I was seeing the live [video] of his talk,

私は彼の講演のライブビデオを 外で新聞の上で見ているわけです

outside, on just a newspaper.

Your newspaper will show you live weather information

あるいはコンピュータを使わずに

rather than having it updated.

新聞でライブの天気情報を

You have to check your computer in order to do that, right?

見ることができます

(Applause)

(拍手)

When I'm going back, I can just use my boarding pass

私が帰るときには 搭乗チケットで

to check how much my flight has been delayed,

飛行機の遅れを

because at that particular time,

確認できます

I'm not feeling like opening my iPhone,

iPhoneを取り出して

and checking out a particular icon.

アイコンを叩くまでもありません

And I think this technology will not only change the way --

この技術は…

(Laughter)

ええ (笑)

Yes.

It will change the way we interact with people, also,

モノばかりでなく 人との関わり方も

not only the physical world.

変えます

The fun part is, I'm going to the Boston metro,

お遊びとして ボストンの地下鉄に乗って

and playing a pong game inside the train on the ground, right?

電車の床で卓球ゲームを

することだって出来ます

(Laughter)

(笑)

And I think the imagination is the only limit

このようなテクノロジーが生活に溶け込むとき

of what you can think of

できることを制限するものは

when this kind of technology merges with real life.

自らの想像力だけです

But many of you argue, actually,

私たちが扱うのは

that all of our work is not only about physical objects.

日常生活のモノばかりではないと言う人もいるでしょう

We actually do lots of accounting and paper editing

実際 会計とか編集とか

and all those kinds of things; what about that?

いろんなことをします

And many of you are excited about the next-generation tablet computers

そしてあなた方の多くは 次世代のタブレットPCが市場に登場するのを

to come out in the market.

心待ちにしていることでしょう

So, rather than waiting for that,

私はそれをただ待っているのではなく

I actually made my own, just using a piece of paper.

自分のを紙切れを使って作ることにしました

So, what I did here is remove the camera --

私がやったのは

All the webcam cameras have a microphone inside the camera.

Webカメラにはマイクが入っているのですが

I removed the microphone from that,

それを取り出して

and then just pinched that --

クリップにして

like I just made a clip out of the microphone --

紙に付けられるようにしました

and clipped that to a piece of paper, any paper that you found around.

どんな紙でも使えます

So now the sound of the touch

そうすると紙にタッチしたときに

is getting me when exactly I'm touching the paper.

タッチ音が出るようにできます

But the camera is actually tracking where my fingers are moving.

実際の指の動きはカメラが把握します

You can of course watch movies.

もちろん映画だって見ることができます

(Video) Good afternoon. My name is Russell,

(こんにちは 僕はラッセル

and I am a Wilderness Explorer in Tribe 54."

荒野探検隊 第54隊の隊員です)

PM: And you can of course play games.

それにゲームも

(Car engine)

(エンジン音)

Here, the camera is actually understanding how you're holding the paper

ここでは紙をどう持っているかをカメラが把握して

and playing a car-racing game.

レーシングゲームを操作しています

(Applause)

(拍手)

Many of you already must have thought, OK, you can browse.

見ることができることについては

お分りいただけたと思います

Yeah. Of course you can browse to any websites

or you can do all sorts of computing on a piece of paper

Webサイトやコンピュータ画面を 紙切れの上で見ることができます

wherever you need it.

どこにいようと

So, more interestingly,

もっと面白いのは

I'm interested in how we can take that in a more dynamic way.

これをもっと生きたものにするということです

When I come back to my desk, I can just pinch that information

自分の部屋に戻ったとき 情報をつまんで

back to my desktop

パソコンの上に落としてやれば

so I can use my full-size computer.

続きを大きなパソコンでやることができます

(Applause)

(拍手)

And why only computers? We can just play with papers.

コンピュータだけではありません 紙にもできます

Paper world is interesting to play with.

紙の世界で遊ぶのはとても面白いです

Here, I'm taking a part of a document,

資料の一部をこちらに取って

and putting over here a second part from a second place,

別なところからも何か取ってきて

and I'm actually modifying the information that I have over there.

情報をその場で

修正できます

Yeah. And I say, "OK, this looks nice, let me print it out, that thing."

「よし いい感じにできたぞ

印刷しよう」

So I now have a print-out of that thing.

そうして印刷します

So the workflow is more intuitive,

このような 20年くらい前に

the way we used to do it maybe 20 years back,

やっていたやり方のほうが

rather than now switching between these two worlds.

2つの世界の間で行き来する現在のやり方より直感的です

So, as a last thought,

最後になりますが

I think that integrating information to everyday objects

身の回りのモノに情報を統合することで

これら2つの世界の溝を埋め

will not only help us to get rid of the digital divide,

the gap between these two worlds,

デジタルデバイドをなくせるだけでなく

but will also help us, in some way,

もっと身の回りの世界と繋がり

to stay human,

もっと人間らしく

to be more connected to our physical world.

生きられるようになると思います

And it will actually help us not end up being machines

そして私たちは機械の一部みたいに

sitting in front of other machines.

ならずにいられるでしょう

That's all. Thank you.

以上です

(Applause)

(スタンディングオベーション)

Thank you.

どうもありがとうございます

(Applause)

(拍手)

Chris Anderson: So, Pranav, first of all, you're a genius.

プラナフ

はっきり言って 君は天才だよ

This is incredible, really.

本当にすごいよ

What are you doing with this? Is there a company being planned?

これをどうするつもり？ 会社を作る予定はあるの？

Or is this research forever, or what?

それともずっと研究を続けていくの？

Pranav Mistry: So, there are lots of companies,

実際メディアラボのスポンサーの中には

sponsor companies of Media Lab interested in taking this ahead

この技術を

どう発展させるかに関心を持つ企業がたくさんあります

in one or another way.

Companies like mobile-phone operators

たとえば携帯電話会社は

want to take this in a different way than the NGOs in India,

インドのNGOとは違ったことを求めています

thinking, "Why can we only have 'Sixth Sense'?

「どうして'Sixth Sense' (第六感)しかないの？

We should have a 'Fifth Sense' for missing-sense people who cannot speak.

障害者のための'Fifth Sense'(第五感)が

あってしかるべきだ

This technology can be used for them to speak out in a different way

この技術を使えば 彼らが別な仕方で

maybe a speaker system."

話せるようにできる」

CA: What are your own plans? Are you staying at MIT,

君自身の計画は？ MITにずっといるの？

or are you going to do something with this?

これで何かするの？

これをより多くの人が利用できるようにして

PM: I'm trying to make this more available to people

誰でもSixthSenseデバイスを開発できるようにしたいと思っています

so that anyone can develop their own SixthSense device,

これのハードウェアを作るのは

because the hardware is actually not that hard to manufacture

or hard to make your own.

そんなに難しくはありません

We will provide all the open source software for them,

このソフトウェアはオープンソースにする予定です

maybe starting next month.

たぶん来月あたりから公開します

CA: Open source? Wow.

そいつはすごい ワオ

(Applause)

(喝采)

CA: Are you going to come back to India with some of this, at some point?

いつかインドに戻ってこようと思っているの？

PM: Yeah. Yes, yes, of course.

ええ もちろん

CA: What are your plans? MIT? India?

どういう計画？

How are you going to split your time going forward?

MITとインドで 時間をどう切り分けるつもり？

PM: There is a lot of energy here. Lots of learning.

ここには多くのエネルギーがあり 学びがあります

All of this work that you have seen is all about my learning in India.

ご覧いただいたものは

私がインドで学んだことを元にしています

And now, if you see, it's more about the cost-effectiveness:

そしてコスト効率に目を向けるなら

this system costs you $300

このシステムは300ドルです

compared to the $20,000 surface tables, or anything like that.

テーブル型PCみたいなものは2万ドルもします

Or maybe even the $2 mouse gesture system at that time was costing around $5,000?

あるいはあの2ドルで作ったマウスジェスチャーシステムは

同じようなものが 当時は5千ドルくらいしました

I showed that, at a conference, to President Abdul Kalam, at that time,

あるカンファレンスで座長の

アブドゥル カラムに見せたら

and then he said, "OK, we should use this in Bhabha Atomic Research Centre

こう言ってくれました「バーバー原子力研究センターでも

for some use of that."

ぜひこれを使わなきゃ」

So I'm excited about how I can bring the technology to the masses

私はテクノロジーを研究室に閉じ込めておくのではなく

rather than just keeping that technology in the lab environment.

たくさんの人に届けるということにワクワクします

(Applause)

(拍手)

CA: Based on the people we've seen at TED,

TEDで会った人の意見を聞くと

I would say you're truly one of the two or three

君は現在の世界で

best inventors in the world right now.

最高の発明家の1人だと思う

It's an honor to have you at TED.

君をTEDに迎えられてとても光栄に思います

Thank you so much.

どうもありがとう

That's fantastic.

実に素晴らしい

(Applause)

(スタンディングオベーション)