Golan Levin makes art that looks back at you

ゴラン・レヴィンが作る見つめ返す作品

翻訳: Yasushi Aoki 校正: Satoshi Tatsuhara

Hello! My name is Golan Levin.

私はゴラン レヴィンです

I'm an artist and an engineer,

アーティストでエンジニアです

which is, increasingly, a more common kind of hybrid.

こういう組み合わせは増えていると思いますが

But I still fall into this weird crack

それでもみんなに理解されない

where people don't seem to understand me.

妙な場所にいる気がします

And I was looking around and I found this wonderful picture.

ちょっと面白い画像を見つけました

It's a letter from "Artforum" in 1967

これは1967 年にアートフォーラム誌が送った手紙です

saying "We can't imagine ever doing a special issue

「美術におけるエレクトロニクスとコンピュータの特集というのは

on electronics or computers in art." And they still haven't.

ちょっと考えがたいと思います」 …今もそうですね

And lest you think that you all, as the digerati, are more enlightened,

ではコンピュータ時代の成功者たる皆さんは もっと目が開けているのでしょうか？

I went to the Apple iPhone app store the other day.

この間 iPhone Appストアをのぞいていました

Where's art? I got productivity. I got sports.

「アート」はどこにあるんだろう? 「仕事効率化」や「スポーツ」のカテゴリならあります

And somehow the idea that one would want to make art for the iPhone,

iPhone のためのアート作品というのは 私と友人が今—

which my friends and I are doing now,

作ろうとしているものですが

is still not reflected in our understanding

コンピュータの用途として思い付くものには

of what computers are for.

なっていないのです

So, from both directions, there is kind of, I think, a lack of understanding

時代に応じた物を素材にする

about what it could mean to be an artist who uses the materials

アーティストというものの意義を

of his own day, or her own day,

両者とも理解していないのです

which I think artists are obliged to do,

この新しい道具の—

is to really explore the expressive potential of the new tools that we have.

表現の可能性を探究するのは アーティストのすべきことだと思います

In my own case, I'm an artist,

私自身はアーティストであり

and I'm really interested in

興味があるのは—

expanding the vocabulary of human action,

人の行動における表現手段を広げ

and basically empowering people through interactivity.

対話的な方法により表現力を高めるということです

I want people to discover themselves as actors,

私は人々に インタラクティブな体験を通じて

as creative actors, by having interactive experiences.

クリエイティブな行為者としての自分を見いだしてほしいのです

A lot of my work is about trying to get away from this.

私の作品の多くは マウスから逃れようとする試みです

This a photograph of the desktop of a student of mine.

これは ある学生のデスクトップ(机上)の写真です

And when I say desktop, I don't just mean

デスクトップと言うのは

the actual desk where his mouse has worn away the surface of the desk.

マウスで表面の剥げた実際の机だけを意味しません

If you look carefully, you can even see

注意して見ていただければ

a hint of the Apple menu, up here in the upper left,

アップルメニューがどの辺かまでわかります

where the virtual world has literally

バーチャルな世界が

punched through to the physical.

物理的な世界まで突き抜けています

So this is, as Joy Mountford once said,

ジョイ マウントフォードが言ったように 「マウスは人類のあらゆる表現を—

"The mouse is probably the narrowest straw

吸い出そうと試みることのできる—

you could try to suck all of human expression through."

一番細いストロー」なのです

(Laughter)

(笑)

And the thing I'm really trying to do is enabling people to have more rich

私が本当にしようとしているのは 人々がもっと豊かで—

kinds of interactive experiences.

インタラクティブな体験をできるようにすることです

How can we get away from the mouse and use our full bodies

マウスを離れて全身を使い

as a way of exploring aesthetic experiences,

実用的なものに限らず 美的な体験を追求できるようにするには

not necessarily utilitarian ones.

どうすればよいのか?

So I write software. And that's how I do it.

そのために私はソフトウェアを書きます それが私のやり方です

And a lot of my experiences

私の作り出す体験は

resemble mirrors in some way.

鏡を思わせるところがあります

Because this is, in some sense, the first way,

鏡は 自らの行為者としての可能性と

that people discover their own potential as actors,

自らの働きを見る

and discover their own agency.

最初の場所だからです

By saying "Who is that person in the mirror? Oh it's actually me."

「この鏡の中の人誰だろう? あ、これ自分だ!」

And so, to give an example,

例として 去年やった—

this is a project from last year,

プロジェクトをお見せします

which is called the Interstitial Fragment Processor.

題して「隙間断片プロセッサー」です

And it allows people to explore the negative shapes that they create

日常的な動作の中で作り出される隙間の形を

when they're just going about their everyday business.

探求してもらおうというものです

So as people make shapes with their hands or their heads

自分の手や頭を使って

and so forth, or with each other,

あるいは誰かと一緒になって形を作ると

these shapes literally produce sounds and drop out of thin air --

その形が抜け出して 音を立てながら落ちていきます

basically taking what's often this, kind of, unseen space,

見えない空間 あるいは気づかない空間を

or this undetected space, and making it something real,

何か実体のあるものに変えるのです

that people then can appreciate and become creative with.

みんなそれを楽しみ クリエイティブになります

So again, people discover their creative agency in this way.

そうやって自らのクリエイティブな働きを見出し

And their own personalities come out

そして その人の個性が

in totally unique ways.

まったくユニークな仕方で現れるのです

So in addition to using full-body input,

インプットに全身を使うことに加え

something that I've explored now, for a while,

私が ここしばらく 追求しているのは

has been the use of the voice,

声を使うことです

which is an immensely expressive system for us, vocalizing.

発声は 私たちにとって とても表現力豊かなシステムです

Song is one of our oldest ways

歌というのは 自分に耳を傾けてもらい

of making ourselves heard and understood.

理解してもらうための 最も古くからある方法です

And I came across this fantastic research by Wolfgang Köhler,

私はゲシュタルト心理学の父と呼ばれる

the so-called father of gestalt psychology, from 1927,

ヴォルフガング ケーラーの 素晴らしい1927 年の研究に出会いました

who submitted to an audience like yourselves

ここにあるような—

the following two shapes.

2つの形を人に見せて

And he said one of them is called Maluma.

一方はMaluma (マルーマ)で

And one of them is called Taketa. Which is which?

もう一方はTakete (タキータ)だと言います

Anyone want to hazard a guess?

どちらがどちらでしょう? どなたか分かりますか?

Maluma is on top. Yeah. So.

Maluma は上の方です

As he says here, most people answer without any hesitation.

ほとんどの人が迷わずにそう答えます

So what we're really seeing here is a phenomenon

私たちがここで目にしたのは

called phonaesthesia,

音象徴と呼ばれる現象です

which is a kind of synesthesia that all of you have.

我々みんなが持っている 共感覚の一種です

And so, whereas Dr. Oliver Sacks has talked about

オリバー サックス博士が

how perhaps one person in a million

共感覚を持つ人は

actually has true synesthesia,

百万人に1人くらいだと言ったのは

where they hear colors or taste shapes, and things like this,

色を聞いたり 形を味わったりする人のことです

phonaesthesia is something we can all experience to some extent.

音象徴は 私たちの誰もが ある程度体験するものです

It's about mappings between different perceptual domains,

硬さ 鋭さ 明るさ 暗さといったものと

like hardness, sharpness, brightness and darkness,

私たちの発する音素との間にある

and the phonemes that we're able to speak with.

異なる知覚領域間の対応関係なのです

So 70 years on, there's been some research where

認知心理学者たちの

cognitive psychologists have actually sussed out

70年に渡る研究があり

the extent to which, you know,

ある程度のことが分かっています

L, M and B are more associated with shapes that look like this,

右のような形には L、M、B が強く関連しています

and P, T and K are perhaps more associated with shapes like this.

左の形には P、T、K がより強く関連しています

And here we suddenly begin to have a mapping between curvature

そうすると 数値的な処理によって

that we can exploit numerically,

線の屈曲から音素への

a relative mapping between curvature and shape.

写像が得られることになります

So it occurred to me, what happens if we could run these backwards?

では その写像を逆向きにしてみたらどうかと思い付きました

And thus was born the project called Remark,

そうしてRemark プロジェクトが生まれました

which is a collaboration with Zachary Lieberman

これはザカリー リーバーマンと

and the Ars Electronica Futurelab.

アルスエレクトロニカ フューチャーラボとの共作です

And this is an interactive installation which presents

話す言葉に目に見える影ができるという

the fiction that speech casts visible shadows.

フィクションを作り出すインタラクティブな作品です

So the idea is you step into a kind of a magic light.

魔法の光の中に入ったかのように

And as you do, you see the shadows of your own speech.

しゃべると 自分の言葉の影が

And they sort of fly away, out of your head.

自分の口から遠くのほうへと飛んで行きます

If a computer speech recognition system

音声認識システムで—

is able to recognize what you're saying, then it spells it out.

認識できる場合には 文字が現れます 認識できない場合には—

And if it isn't then it produces a shape which is very phonaesthetically

音象徴的に強く関連する

tightly coupled to the sounds you made.

形が生成されます

So let's bring up a video of that.

ビデオでご覧いただきましょう

(Applause)

(拍手)

Thanks. So. And this project here,

次のプロジェクトは 素晴らしい抽象ボーカリストの

I was working with the great abstract vocalist, Jaap Blonk.

ヤップ ブロンクと一緒にやりました

And he is a world expert in performing "The Ursonate,"

彼は「ウルソナタ」のパフォーマンスの世界的エキスパートです

which is a half-an-hour nonsense poem

これはクルト シュヴィッタースによって

by Kurt Schwitters, written in the 1920s,

1920 年代に書かれた 意味のない詩です

which is half an hour of very highly patterned nonsense.

非常に複雑なパターンを持ったナンセンスな言葉が30 分続きます

And it's almost impossible to perform.

ほとんど不可能なほどパフォーマンスが難しいのですが

But Jaap is one of the world experts in performing it.

ヤップはこのパフォーマンスにかけては第一人者なのです

And in this project we've developed

このプロジェクトで私たちは

a form of intelligent real-time subtitles.

知的なリアルタイムの字幕を開発しました

So these are our live subtitles,

この字幕はウルソナタのテキストを記憶している—

that are being produced by a computer that knows the text of "The Ursonate" --

コンピュータにより ライブで生成されています

fortunately Jaap does too, very well --

幸いヤップもこのテキストをとても良く知っています

and it is delivering that text at the same time as Jaap is.

そしてコンピュータは ヤップがしゃべるのと同時に字幕を出します

So all the text you're going to see

ご覧になるテキストはすべて

is real-time generated by the computer,

コンピュータにより リアルタイムで生成され

visualizing what he's doing with his voice.

ヤップがしゃべるのを可視化しています

Here you can see the set-up where there is a screen with the subtitles behind him.

会場には字幕を映すスクリーンがヤップの背後にありました

Okay. So ...

それで…

(Applause)

(拍手)

The full videos are online if you are interested.

ご興味があればネットで見られます

I got a split reaction to that during the live performance,

このときは観客の反応が分かれました

because there is some people who understand

ライブの字幕というのは

live subtitles are a kind of an oxymoron,

一種の矛盾だと理解している人がいます

because usually there is someone making them afterwards.

字幕というのは通常 誰かが後で付けるものだからです

And then a bunch of people who were like, "What's the big deal?

多くの人は「これが何だって言うの?」と思います

I see subtitles all the time on television."

「字幕なんてテレビにいつも出ている」

You know? They don't imagine the person in the booth, typing it all.

ブースの中でそれをタイプする人のことを考えていないのです

So in addition to the full body, and in addition to the voice,

全身を使うことと 声を使うことに加え

another thing that I've been really interested in,

もう1つ私が最近興味を持っているのは

most recently, is the use of the eyes,

人が互いに関係する上で

or the gaze, in terms of how people relate to each other.

目をいかに使うかということです

It's a really profound amount of nonverbal information

目で交わされる非言語的情報の量には

that's communicated with the eyes.

ものすごいものがあります

And it's one of the most interesting technical challenges

そしてこれは 現在コンピュータサイエンスにおいて

that's very currently active in the computer sciences:

活発に研究されている問題の1 つでもあります

being able to have a camera that can understand,

離れた場所からカメラで

from a fairly big distance away,

人の目がどこを見ているのか認識し

how these little tiny balls are actually pointing in one way or another

何に関心があるのか

to reveal what you're interested in,

どこに注意が向いているのか

and where your attention is directed.

突き止めるという問題です

So there is a lot of emotional communication that happens there.

感情を伴う多くのコミュニケーションが 目で交わされます

And so I've been beginning, with a variety of different projects,

人が機械と目でどう関係できるものか理解するため

to understand how people can relate to machines with their eyes.

様々なプロジェクトを行いました

And basically to ask the questions:

基本的に問うている質問はこうです

What if art was aware that we were looking at it?

「私たちが何を見ているか作品が分かっているとしたらどうだろう?」

How could it respond, in a way,

どう反応するのか?

to acknowledge or subvert the fact that we're looking at it?

私たちが見ていることに対し 受け入れるのか拒むのか?

And what could it do if it could look back at us?

それが私たちを見返せるとしたらどうだろう?

And so those are the questions that are happening in the next projects.

それが次のプロジェクトの課題となりました

In the first one which I'm going to show you, called Eyecode,

最初にお見せするのは Eyecode という

it's a piece of interactive software

インタラクティブソフトウェアです

in which, if we read this little circle,

輪になった文字には こう書いてあります

"the trace left by the looking of the previous observer

「前の人が見たことによって残る痕跡を見ている

looks at the trace left by the looking of previous observer."

前の人が見たことによって残る痕跡」

The idea is that it's an image wholly constructed

その展示を見た人の履歴によって

from its own history of being viewed

イメージ自体を作り出すというのが

by different people in an installation.

これのアイデアです

So let me just switch over so we can do the live demo.

ライブデモをご覧に入れます

So let's run this and see if it works.

うまくいくか見てみましょう

Okay. Ah, there is lots of nice bright video.

明るく良く映っていますね

There is just a little test screen that shows that it's working.

この小さいのはテスト画面です

And what I'm just going to do is -- I'm going to hide that.

隠しておきましょう

And you can see here that what it's doing

ここで何をやっているかというと

is it's recording my eyes every time I blink.

私が瞬きするたびに記録しています

Hello? And I can ... hello ... okay.

ハロー? ハローーーー

And no matter where I am, what's really going on here

私がどこにいても これは

is that it's an eye-tracking system that tries to locate my eyes.

アイトラッキングの仕組みで 目の場所を見つけます

And if I get really far away I'm blurry.

ずっと離れると ぼんやりした感じになります

You know, you're going to have these kind of blurry spots like this

この辺なんかは

that maybe only resemble eyes in a very very abstract way.

かろうじて目とわかる感じです

But if I come up really close and stare directly at the camera

ぐっと近づいてカメラを直視すると

on this laptop then you'll see these nice crisp eyes.

このようなくっきりした目になります

You can think of it as a way of, sort of, typing, with your eyes.

これは目でタイプしていると見なすことができます

And what you're typing are recordings of your eyes

そしてタイプし 記録しているのは

as you're looking at other peoples' eyes.

他の人の目を見る 自分のまなざしです

So each person is looking at the looking

前に来た人たち みんなのまなざしを

of everyone else before them.

見ることになるのです

And this exists in larger installations

これのもっと大規模なやつがあって

where there are thousands and thousands of eyes

何千という人が見つめる目を

that people could be staring at,

映し出します

as you see who's looking at the people looking

前に見ていた人を見ている—

at the people looking before them.

人を見るわけです

So I'll just add a couple more. Blink. Blink.

あと2つばかり追加しましょう ぱちくり ぱちくり

And you can see, just once again, how it's sort of finding my eyes

これがどうやって私の目を見つけ

and doing its best to estimate when it's blinking.

瞬きした瞬間をとらえようとしているかわかると思います

Alright. Let's leave that.

これは終わりにしましょう

So that's this kind of recursive observation system.

これは一種再帰的な観察システムなのです

(Applause)

(拍手)

Thank you.

どうも

The last couple pieces I'm going to show

最後の2つは ロボティクスの新しい…

are basically in the new realm of robotics -- for me, new for me.

少なくとも私には新しい領域です

It's called Opto-Isolator.

Opto-Isolator というものです

And I'm going to show a video of the older version of it,

古いバージョンのビデオをご覧いただきます

which is just a minute long. Okay.

1分ほどあります

In this case, the Opto-Isolator is blinking

これは人の瞬きに

in response to one's own blinks.

反応して瞬きします

So it blinks one second after you do.

目の前にいる人に1 秒遅れて瞬きします

This is a device which is intended to reduce

見つめるということを 可能な限りシンプルなものへと

the phenomenon of gaze down to the simplest possible materials.

単純化することを目指した装置です

Just one eye,

見つめる1 つの目があるだけで

looking at you, and eliminating everything else about a face,

顔のその他の要素は すべて取り去ってあります

but just to consider gaze in an isolated way

まなざしを 独立した—

as a kind of, as an element.

1 つの要素として考えるためです

And at the same time, it attempts to engage in what you might call

同時に 見つめることに関わる—

familiar psycho-social gaze behaviors.

馴染み深い心理的 社会的な振る舞いを

Like looking away if you look at it too long

取り込もうともしています

because it gets shy,

例えば ずっと見つめていると

or things like that.

恥ずかしがって目をそらすとか

Okay. So the last project I'm going to show

お見せする最後のプロジェクトは

is this new one called Snout.

Snout です

(Laughter)

(笑)

It's an eight-foot snout,

ギョロギョロした目のついた

with a googly eye.

2メートル半の突起物です

(Laughter)

(笑)

And inside it's got an 800-pound robot arm

中には360 キロの ロボットアームが入っています…

that I borrowed,

借り物ですが…

(Laughter)

(笑)

from a friend.

友達から…

(Laughter)

(笑)

It helps to have good friends.

いい友達がいると助かります

I'm at Carnegie Mellon; we've got a great Robotics Institute there.

カーネギーメロン大学にいますが 素晴らしいロボティクス部門があります

I'd like to show you thing called Snout, which is --

そのSnout ですが…

The idea behind this project is to

このプロジェクトのアイデアは

make a robot that appears as if it's continually surprised to see you.

あなたのことを見てびっくりしているロボットを作ることです

(Laughter)

(笑)

The idea is that basically --

基本的にいつも—

if it's constantly like "Huh? ... Huh?"

「おやっ? …おやっ?」とやっています

That's why its other name is Doubletaker, Taker of Doubles.

「二度見くん」という別名の所以です

It's always kind of doing a double take: "What?"

一瞬遅れて驚くのです 「何っ?」

And the idea is basically, can it look at you

そして こちらのことを見るものだから

and make you feel as if like,

こう思うのです

"What? Is it my shoes?"

「えっ何? 俺の靴? 」

"Got something on my hair?" Here we go. Alright.

「頭になんか付いてる?」

Checking him out ...

彼のことを調べているんです

For you nerds, here's a little behind-the-scenes.

ギーク諸君のために舞台裏をお見せしましょう

It's got a computer vision system,

コンピュータビジョンシステムを備えていて

and it tries to look at the people who are moving around the most.

動く人に目を向けるようになっています

Those are its targets.

あれがターゲット

Up there is the skeleton,

右にある骨格は

which is actually what it's trying to do.

Snout がしようとしていることを 示しています

It's really about trying to create a novel body language for a new creature.

やりたいのは 新しい生き物のボディランゲージを作り出すということです

Hollywood does this all the time, of course.

ハリウッドなんかでは よくやっていることですが

But also have the body language communicate something

それだけでなく 見ている人と—

to the person who is looking at it.

そのボディランゲージで 対話するのです

This language is communicating that it is surprised to see you,

このボディランゲージは あなたを見て驚き

and it's interested in looking at you.

興味を持って見つめていることを 伝えています

(Laughter)

(笑)

(Applause)

(拍手)

Thank you very much. That's all I've got for today.

ご静聴ありがとうございます 今日の話はこれで終わりです

And I'm really happy to be here. Thank you so much.

ここでお話できて光栄でした どうもありがとうございました

(Applause)

(拍手)