Jinha Lee: Reach into the computer and grab a pixel

ジンハ・リー: コンピューターの世界に手を伸ばしてピクセルをつまむ

翻訳: Kaori Nozaki 校正: Akinori Oyama

Throughout the history of computers

コンピューターが誕生して以来

we've been striving to shorten the gap between us

人間とデジタルデータとの 「壁」を減らす努力が―

and digital information,

積み重ねられました

the gap between our physical world

物体が存在する現実世界と

and the world in the screen

画面の中の世界との壁です

where our imagination can go wild.

画面ならば 想像を自由に 膨らませられますね

And this gap has become shorter,

そして 壁は少しずつ薄くなっていきました

shorter, and even shorter,

どんどん薄くなって

and now this gap is shortened down

ついに 極薄になりました

to less than a millimeter,

わずか １ミリ以下になり

the thickness of a touch-screen glass,

画面のガラスだけです

and the power of computing

コンピューターの力を

has become accessible to everyone.

誰でも簡単に使えるようになりました

But I wondered, what if there could be no boundary at all?

では仮に 壁が全然なくなれば どうなるでしょう

I started to imagine what this would look like.

どんなことができるのか 想像するようになりました

First, I created this tool

最初は このツールを作りました

which penetrates into the digital space,

デジタル空間側へ 突き抜けるペンです

so when you press it hard on the screen,

スクリーンに強く押し付けると

it transfers its physical body into pixels.

物理的に縮んだ部分が 画面の中にピクセルとなって表示されます

Designers can materialize their ideas

デザイナーは 3D プリンターで

directly in 3D,

アイデアをすぐに 実体化できます

and surgeons can practice on virtual organs

外科医なら 画面の中の「仮想臓器」で

underneath the screen.

手技の練習ができます

So with this tool, this boundary has been broken.

このツールを使って このとおり 「壁」をなくすことができました

But our two hands still remain outside the screen.

ただし これでもまだ 両手は画面の外にあります

How can you reach inside and interact

画面の中へ 手を入れられないでしょうか？

with the digital information

デジタルデータの操作を―

using the full dexterity of our hands?

直接 両手で行うには どうすればいいでしょう？

At Microsoft Applied Sciences,

マイクロソフトの研究部門 ASG で メンターのカティと

along with my mentor Cati Boulanger,

新種のコンピューターを

I redesigned the computer

共同で設計しました

and turned a little space above the keyboard

キーボードの上のスペースを

into a digital workspace.

“デジタル作業空間”にしました

By combining a transparent display and depth cameras

透ける画面と デプスカメラを組み合わせて

for sensing your fingers and face,

操作者の指や顔を認識します

now you can lift up your hands from the keyboard

キーボードに触れずに 操作ができます

and reach inside this 3D space

3D 空間の中へ手を入れて

and grab pixels with your bare hands.

ピクセルも 素手でつかめます

(Applause)

（拍手）

Because windows and files have a position in the real space,

ウィンドウとファイルは 空間の中に浮かんでいます

selecting them is as easy as grabbing a book off your shelf.

ファイルを選ぶのは 棚から本を取るような 簡単な操作です

Then you can flip through this book

選んだ本のページを めくりながら

while highlighting the lines, words

下の仮想タッチパッドを使って

on the virtual touch pad below each floating window.

行や語句を選ぶこともできます

Architects can stretch or rotate the models

建築物のモデルを じかに両手で引き延ばしたり―

with their two hands directly.

回転させたりすることもできます

So in these examples,

ここまでの例は―

we are reaching into the digital world.

デジタルの世界に 人間が入ろうとする試みでした

But how about reversing its role

ここで 発想を逆転させましょう

and having the digital information reach us instead?

デジタルデータを画面から飛び出させて 人間に近づけてもいいのでは？

I'm sure many of us have had the experience

ネットで買い物をして―

of buying and returning items online.

予想と違ったので 返品した経験はないですか？

But now you don't have to worry about it.

もう気にしなくてもよくなります

What I got here is an online augmented fitting room.

ここで「拡張試着室」をお見せしましょう 着けているイメージを

This is a view that you get from

こんな風に見ることができます

head-mounted or see-through display

空間上の位置を

when the system understands the geometry of your body.

システムが認識して ヘッド・マウント・ディスプレー またはシー・スルーの画面に合成して表示されます

Taking this idea further, I started to think,

このアイデアを もっとふくらませようと考えました

instead of just seeing these pixels in our space,

ピクセルを触ることができる空間に 単に表示するだけでなく―

how can we make it physical

実体を持たせられないか？

so that we can touch and feel it?

そうすれば 触ったり 感じたりすることができます

What would such a future look like?

これが実現したら どんな未来になるだろう？

At MIT Media Lab, along with my advisor Hiroshi Ishii

MIT のメディアラボで 相談役の石井 裕さんやー

and my collaborator Rehmi Post,

共同研究者のレミ・ポストと一緒に

we created this one physical pixel.

ピクセルを実体化しました

Well, in this case, this spherical magnet

今回 この球形の磁石は 私たちが作り出した空間の中で

acts like a 3D pixel in our space,

自由に動くピクセルとして 振る舞います

which means that both computers and people

コンピューター側からも操作できて 手でも動かせます

can move this object to anywhere

この小さな空間内なら

within this little 3D space.

どこへでも移動できます

What we did was essentially canceling gravity

私たちがここで実現したことは 基本的に物体への重力を打ち消して

and controlling the movement by combining

動きを制御することでした

magnetic levitation and mechanical actuation

手段としては 磁力による浮揚と機械的作動と―

and sensing technologies.

動作検知の技術を組み合わせました

And by digitally programming the object,

物体制御用のプログラムを 作ることで

we are liberating the object from constraints

時間と空間の制約から 物体が解放されます

of time and space, which means that now,

つまり こんなことができるようになります

human motions can be recorded and played back

人間の動きを記録して その動きを再現できます

and left permanently in the physical world.

また 現実の世界の動きとして いつまでも残しておけます

So choreography can be taught physically over distance

すると ダンスの振付を 遠い場所からでも教えてもらえるし

and Michael Jordan's famous shooting can be replicated

名選手の伝説のシュートも 再現できます

over and over as a physical reality.

映像ではなく実体をもった動きとして 何度でも再現できます

Students can use this as a tool

これを学生の教材に応用すれば

to learn about the complex concepts

複雑な概念も分かりやすくなります

such as planetary motion, physics,

例えば 惑星の動きや 物理の分野が考えられます

and unlike computer screens or textbooks,

また コンピューターの画面や 教科書と違って

this is a real, tangible experience

立体なら 現実感のある体験ができます

that you can touch and feel, and it's very powerful.

触ったり感じたりしたことから 得る印象は 強烈です

And what's more exciting

実は コンピューターの中にあるー

than just turning what's currently in the computer physical

データを実体化することよりも 楽しみなことがあります

is to start imagining how programming the world

新しい種類の世界を プログラムすることで

will alter even our daily physical activities.

身体を健康に保つ運動のやり方すら 変わりそうだと想像することです

(Laughter)

（笑）

As you can see, the digital information

お見せしたとおり デジタルな情報は

will not just show us something

物体に変えられます

but it will start directly acting upon us

画面の中だけの存在ではありません

as a part of our physical surroundings

私たちの日常生活に溶け込めます

without disconnecting ourselves from our world.

人間が画面にかじりついて 現実を忘れる必要はなくなります

Today, we started by talking about the boundary,

今日は デジタル世界と現実の間の 壁の話から始めましたが

but if we remove this boundary,

この壁を 取り除いてしまえば

the only boundary left is our imagination.

残る壁は 私たちが抱く 想像力の限界だけかもしれません

Thank you.

ありがとうございました

(Applause)

（拍手）