Golan Levin makes art that looks back at you

Golan Levin macht Kunst, die den Blick erwidert.

Übersetzung: Mareike Kaden Lektorat: Wolf Ruschke

Hello! My name is Golan Levin.

Hallo! Mein Name ist Golan Levin.

I'm an artist and an engineer,

Ich bin Künstler und Ingenieur,

which is, increasingly, a more common kind of hybrid.

eine Mischung, die immer häufiger wird.

But I still fall into this weird crack

Aber ich falle immer noch in diese seltsame Lücke,

where people don't seem to understand me.

denn einige Leute scheinen mich nicht zu verstehen.

And I was looking around and I found this wonderful picture.

Ich sah mich um und fand dieses schöne Bild.

It's a letter from "Artforum" in 1967

Es ist ein Brief vom "Artforum" aus dem Jahr 1967,

saying "We can't imagine ever doing a special issue

in dem es heißt: "Wir können uns nicht vorstellen, jemals eine Sonderausgabe

on electronics or computers in art." And they still haven't.

über Elektronik oder Computer in der Kunst zu machen." Und das haben sie auch immer noch nicht gemacht.

And lest you think that you all, as the digerati, are more enlightened,

Und damit Sie nicht denken, dass Sie als IT-Spezialisten aufgeklärter sind,

I went to the Apple iPhone app store the other day.

ging ich neulich zum iPhone-Store.

Where's art? I got productivity. I got sports.

Wo ist die Kunst? Es gibt Produktivität, es gibt Sport.

And somehow the idea that one would want to make art for the iPhone,

Irgendwie ist die Vorstellung, dass jemand vielleicht Kunst für das iPhone machen will –

which my friends and I are doing now,

und genau das machen meine Freunde und ich zur Zeit –

is still not reflected in our understanding

immer noch nicht verankert sind in unseren Vorstellungen

of what computers are for.

vom Zweck der Computer.

So, from both directions, there is kind of, I think, a lack of understanding

Es gibt also auf beiden Seiten einen Mangel an Verständnis davon,

about what it could mean to be an artist who uses the materials

was es bedeuten könnte, ein Künstler zu sein, der mit den Materialien arbeitet,

of his own day, or her own day,

die für seine Zeit typisch sind.

which I think artists are obliged to do,

Ich meine, Künstler sind dazu verpflichtet,

is to really explore the expressive potential of the new tools that we have.

das Ausdruckspotenzial dieser neuen Werkzeuge gründlich zu erforschen.

In my own case, I'm an artist,

Was mich angeht: Ich bin Künstler

and I'm really interested in

und sehr daran interessiert,

expanding the vocabulary of human action,

das Vokabular der menschlichen Aktion zu erweitern

and basically empowering people through interactivity.

und den Menschen durch Interaktivität ihre Stärken aufzuzeigen.

I want people to discover themselves as actors,

Ich möchte, dass Leute sich selbst als Akteure entdecken,

as creative actors, by having interactive experiences.

als kreative Akteure, indem sie interaktive Erfahrungen machen.

A lot of my work is about trying to get away from this.

Es geht vor allem darum, hiervon wegzukommen.

This a photograph of the desktop of a student of mine.

Das ist ein Foto vom Schreibtisch einer meiner Studenten.

And when I say desktop, I don't just mean

Und ich meine nicht nur den tatsächlichen Schreibtisch,

the actual desk where his mouse has worn away the surface of the desk.

dessen Oberfläche von der Maus abgeschabt worden ist.

If you look carefully, you can even see

Wenn man genau hinsieht, kann man sogar

a hint of the Apple menu, up here in the upper left,

eine Spur des Apple-Menüs sehen, hier oben links,

where the virtual world has literally

wo sich die virtuelle Welt buchstäblich

punched through to the physical.

auf die physische durchgedrückt hat.

So this is, as Joy Mountford once said,

Also das war gemeint, als Joy Mountford einmal sagte:

"The mouse is probably the narrowest straw

"Die Maus ist der wahrscheinlich engste Strohhalm,

you could try to suck all of human expression through."

durch den man sämtliche menschliche Ausdrucksweisen zu saugen versucht."

(Laughter)

(Gelächter)

And the thing I'm really trying to do is enabling people to have more rich

Was ich wirklich zu tun versuche, ist, den Leuten zu ermöglichen, tiefer gehende

kinds of interactive experiences.

interaktive Erfahrungen zu machen.

How can we get away from the mouse and use our full bodies

Wie können wir von der Maus wegkommen und unseren gesamten Körper

as a way of exploring aesthetic experiences,

als ein Mittel benutzen, ästhetische Erfahrungen zu machen,

not necessarily utilitarian ones.

und nicht unbedingt anwendungsbezogene.

So I write software. And that's how I do it.

Ich schreibe Software. Und so mache ich es.

And a lot of my experiences

Viele meiner Erfahrungen

resemble mirrors in some way.

sind in gewisser Weise Spiegeln ähnlich.

Because this is, in some sense, the first way,

Denn so entdecken die Menschen zum ersten Mal

that people discover their own potential as actors,

ihr eigenes Potenzial als Akteure

and discover their own agency.

und ihre eigene schöpferische Kraft,

By saying "Who is that person in the mirror? Oh it's actually me."

indem sie sagen: "Wer ist das da im Spiegel? Oh, das bin ja ich."

And so, to give an example,

Zum Beispiel:

this is a project from last year,

Das ist ein Projekt vom letzten Jahr,

which is called the Interstitial Fragment Processor.

das sich "Interstitial Fragment Processor" nennt.

And it allows people to explore the negative shapes that they create

Es ermöglicht es einem, die negativen Formen, die man erzeugt, zu betrachten,

when they're just going about their everyday business.

während man seinen alltäglichen Verrichtungen nachgeht.

So as people make shapes with their hands or their heads

Wenn die Leute also Formen mit ihren Händen oder Köpfen

and so forth, or with each other,

oder miteinander machen,

these shapes literally produce sounds and drop out of thin air --

dann erzeugen diese Formen buchstäblich Geräusche und entstehen wie aus dem Nichts.

basically taking what's often this, kind of, unseen space,

Im Grunde nimmt es diesen unsichtbaren Raum,

or this undetected space, and making it something real,

oder diesen unentdeckten Raum, und macht daraus etwas Reales,

that people then can appreciate and become creative with.

mit dem die Leute sich vergnügen und kreativ werden können.

So again, people discover their creative agency in this way.

Die Leute entdecken so also wieder ihre schöpferische Kraft.

And their own personalities come out

Und ihre Persönlichkeit kommt

in totally unique ways.

auf jeweils ganz einzigartige Weise zum Vorschein.

So in addition to using full-body input,

Zusätzlich zum Gebrauch des Ganzkörper-Inputs,

something that I've explored now, for a while,

mit dem ich nun eine Weile gearbeitet habe,

has been the use of the voice,

kommt nun der Gebrauch der Stimme.

which is an immensely expressive system for us, vocalizing.

Töne zu erzeugen ist für uns ein sehr ausdrucksstarkes System.

Song is one of our oldest ways

Das Lied ist eine der ältesten Möglichkeiten,

of making ourselves heard and understood.

uns Gehör zu verschaffen und verstanden zu werden.

And I came across this fantastic research by Wolfgang Köhler,

Ich stieß auf die fantastische Forschungsarbeit von Wolfgang Köhler,

the so-called father of gestalt psychology, from 1927,

dem sogenannten Vater der Gestaltpsychologie, aus dem Jahr 1927,

who submitted to an audience like yourselves

der einem Publikum wie Ihnen

the following two shapes.

die folgenden zwei Formen gezeigt hat.

And he said one of them is called Maluma.

Er sagte, eine heißt Maluma

And one of them is called Taketa. Which is which?

und die andere heißt Taketa. Welche ist welche?

Anyone want to hazard a guess?

Irgendwelche Vorschläge?

Maluma is on top. Yeah. So.

Maluma ist oben. Ja.

As he says here, most people answer without any hesitation.

Wie er hier sagt, antworten die meisten ohne zu zögern.

So what we're really seeing here is a phenomenon

Was wir hier sehen, ist ein Phänomen

called phonaesthesia,

namens Phonästhesie,

which is a kind of synesthesia that all of you have.

eine Art Synästhesie, die Sie alle haben.

And so, whereas Dr. Oliver Sacks has talked about

Während also, wie Dr. Oliver Sacks sagte,

how perhaps one person in a million

vielleicht einer von einer Million Menschen

actually has true synesthesia,

tatsächlich ein echter Synästhet ist,

where they hear colors or taste shapes, and things like this,

der Farben hört oder Formen schmeckt und ähnliches,

phonaesthesia is something we can all experience to some extent.

ist Phonästhesie etwas, das wir alle bis zu einem gewissen Grad erfahren können.

It's about mappings between different perceptual domains,

Es geht dabei um Verbindungen zwischen verschiedenen Wahrnehmungsbereichen,

like hardness, sharpness, brightness and darkness,

wie Härte, Schärfe, Helligkeit und Dunkelheit,

and the phonemes that we're able to speak with.

und die Phoneme, die wir benutzen.

So 70 years on, there's been some research where

70 Jahre später gab es Forschungen, bei der

cognitive psychologists have actually sussed out

Kognitionspsychologen tatsächlich den Grad ermittelt haben,

the extent to which, you know,

zu dem L, M und B

L, M and B are more associated with shapes that look like this,

eher mit solchen Formen assoziiert werden

and P, T and K are perhaps more associated with shapes like this.

und P, T und K vielleicht eher mit Formen wie diesen.

And here we suddenly begin to have a mapping between curvature

Und auf einmal haben wir eine Verbindung zwischen Rundung,

that we can exploit numerically,

die wir numerisch bestimmen können,

a relative mapping between curvature and shape.

eine relative Verbindung zwischen Rundung und [Sprache].

So it occurred to me, what happens if we could run these backwards?

Ich kam auf den Gedanken: Was passiert, wenn man das umdrehen könnte?

And thus was born the project called Remark,

So wurde das Projekt "Remark" ins Leben gerufen,

which is a collaboration with Zachary Lieberman

eine Zusammenarbeit mit Zachary Lieberman

and the Ars Electronica Futurelab.

und dem Ars Electronica Futurelab.

And this is an interactive installation which presents

Das ist eine interaktive Installation, die die Fiktion präsentiert,

the fiction that speech casts visible shadows.

dass Sprache sichtbare Schatten produziert.

So the idea is you step into a kind of a magic light.

Der Gedanke ist, dass man in eine Art magisches Licht tritt

And as you do, you see the shadows of your own speech.

und dadurch die Schatten der eigenen Worte sieht.

And they sort of fly away, out of your head.

Sie fliegen weg, aus deinem Kopf heraus.

If a computer speech recognition system

Wenn das Spracherkennungsprogramm

is able to recognize what you're saying, then it spells it out.

erkennt, was man sagt, buchstabiert es das.

And if it isn't then it produces a shape which is very phonaesthetically

Und wenn nicht, produziert es eine Form, die phonästhetisch

tightly coupled to the sounds you made.

eng mit dem Laut verknüpft ist, den man gemacht hat.

So let's bring up a video of that.

Hier ist ein Video davon.

(Applause)

(Applaus)

Thanks. So. And this project here,

Danke. So, und an diesem Projekt hier

I was working with the great abstract vocalist, Jaap Blonk.

arbeitete ich mit dem genialen abstrakten Vokalisten Jaap Blonk.

And he is a world expert in performing "The Ursonate,"

Er ist der Experte im Vortrag der "Ursonate",

which is a half-an-hour nonsense poem

einem halbstündigen Nonsens-Gedicht

by Kurt Schwitters, written in the 1920s,

von Kurt Schwitters, geschrieben in den 1920ern.

which is half an hour of very highly patterned nonsense.

Es ist ein halbe Stunde kompliziert strukturierten Unsinns.

And it's almost impossible to perform.

Es ist fast unmöglich, es vorzutragen.

But Jaap is one of the world experts in performing it.

Aber Jaap ist einer der Experten, die das können.

And in this project we've developed

Für dieses Projekt haben wir eine Art

a form of intelligent real-time subtitles.

intelligenter simultaner Untertitel entwickelt.

So these are our live subtitles,

Das sind unsere Live-Untertitel,

that are being produced by a computer that knows the text of "The Ursonate" --

die von einem Computer produziert werden, der den Text der "Ursonate" kennt.

fortunately Jaap does too, very well --

Zum Glück kennt Jaap den auch sehr genau.

and it is delivering that text at the same time as Jaap is.

Er trägt den Text gleichzeitig mit Jaap vor.

So all the text you're going to see

Alle Wörter, die Sie gleich sehen werden,

is real-time generated by the computer,

werden live vom Computer generiert.

visualizing what he's doing with his voice.

Er visualisiert, was Jaap mit seiner Stimme macht.

Here you can see the set-up where there is a screen with the subtitles behind him.

Hier sehen Sie den Aufbau, der Bildschirm mit den Untertiteln ist hinter ihm.

Okay. So ...

Gut. Also …

(Applause)

(Applaus)

The full videos are online if you are interested.

Im Internet gibt es die Videos in voller Länge, falls Sie interessiert sind.

I got a split reaction to that during the live performance,

Die Reaktionen während dieser Live-Performance sind gemischt.

because there is some people who understand

Es gibt nämlich Leute, die verstehen,

live subtitles are a kind of an oxymoron,

dass Live-Untertitel ein Widerspruch in sich sind,

because usually there is someone making them afterwards.

denn normalerweise schreibt sie jemand im Nachhinein.

And then a bunch of people who were like, "What's the big deal?

Und dann gibt es viele Leute, die sagen: "Na und?

I see subtitles all the time on television."

Im Fernsehen sehe ich auch ständig Untertitel."

You know? They don't imagine the person in the booth, typing it all.

Sie denken nicht an die Leute in der Box, die das alles tippen.

So in addition to the full body, and in addition to the voice,

Zusätzlich zum gesamten Körper und der Stimme

another thing that I've been really interested in,

gibt es noch etwas anderes, das mich neuerdings sehr interessiert,

most recently, is the use of the eyes,

der Einsatz der Augen

or the gaze, in terms of how people relate to each other.

oder des Blickes, und wie der die Leute miteinander verbindet.

It's a really profound amount of nonverbal information

Es ist tatsächlich ein großer Anteil an nonverbaler Information,

that's communicated with the eyes.

der über die Augen kommuniziert wird.

And it's one of the most interesting technical challenges

Das ist eine der interessantesten technischen Herausforderungen,

that's very currently active in the computer sciences:

die zur Zeit die Informatik beschäftigt.

being able to have a camera that can understand,

Eine Kamera zu entwickeln, die aus recht großer Distanz

from a fairly big distance away,

erkennt, wie diese klitzekleinen Kugeln

how these little tiny balls are actually pointing in one way or another

tatsächlich in die eine oder andere Richtung zeigen,

to reveal what you're interested in,

um zu erkennen, was einen interessiert

and where your attention is directed.

und worauf unsere Aufmerksamkeit gerichtet ist.

So there is a lot of emotional communication that happens there.

Es findet dort also viel emotionale Kommunikation statt.

And so I've been beginning, with a variety of different projects,

Ich habe also angefangen, mit vielen verschiedenen Projekten

to understand how people can relate to machines with their eyes.

zu erforschen, wie Menschen über ihre Augen mit Maschinen in Verbindung treten.

And basically to ask the questions:

Im Grunde stellte ich folgende Fragen:

What if art was aware that we were looking at it?

Was wäre, wenn der Kunst bewusst wäre, dass sie betrachtet wird?

How could it respond, in a way,

Wie könnte sie reagieren, um die Tatsache

to acknowledge or subvert the fact that we're looking at it?

des Betrachtetwerdens anzuerkennen oder zu unterlaufen?

And what could it do if it could look back at us?

Was könnte sie tun, wenn sie den Blick erwidern könnte?

And so those are the questions that are happening in the next projects.

Das sind also die Fragen, mit denen sich die nächsten Projekte auseinandersetzen.

In the first one which I'm going to show you, called Eyecode,

Im ersten, das ich Ihnen zeige – es heißt Eyecode ("Augencode") –,

it's a piece of interactive software

geht es um eine interaktive Software,

in which, if we read this little circle,

in der, wie wir in diesem kleinen Kreis lesen können,

"the trace left by the looking of the previous observer

"die Spur des Blickes des vorherigen Betrachters

looks at the trace left by the looking of previous observer."

die Spur des Blickes des vorherigen Betrachters anschaut."

The idea is that it's an image wholly constructed

Die Idee dahinter ist, dass das Bild völlig

from its own history of being viewed

aus der Geschichte seines Betrachtetwerdens konstruiert ist,

by different people in an installation.

von verschiedenen Leuten in einer Installation.

So let me just switch over so we can do the live demo.

Lassen Sie mich schnell umschalten, damit wir die Live-Demo sehen können.

So let's run this and see if it works.

Mal sehen, ob es funktioniert.

Okay. Ah, there is lots of nice bright video.

Okay. Ah, schön hell.

There is just a little test screen that shows that it's working.

Das ist nur ein kleines Testbild, das anzeigt, dass es läuft.

And what I'm just going to do is -- I'm going to hide that.

Das werde ich jetzt ausblenden.

And you can see here that what it's doing

Hier können Sie sehen,

is it's recording my eyes every time I blink.

dass es meine Augen jedes Mal aufnimmt, wenn ich blinzle.

Hello? And I can ... hello ... okay.

Hallo? Und ich kann … hallo … okay.

And no matter where I am, what's really going on here

Egal, wo ich ich bin – es verfügt über ein Verfahren,

is that it's an eye-tracking system that tries to locate my eyes.

das versucht, meine Augen zu lokalisieren.

And if I get really far away I'm blurry.

Und wenn ich sehr weit weggehe, werde ich verschwommen.

You know, you're going to have these kind of blurry spots like this

Sie haben dann diese verschwommenen Flecke wie da,

that maybe only resemble eyes in a very very abstract way.

die vielleicht nur ungefähr so aussehen wie zwei Augen, sehr abstrakt.

But if I come up really close and stare directly at the camera

Aber wenn ich sehr nahe rangehe und direkt in die Kamera starre,

on this laptop then you'll see these nice crisp eyes.

sieht man diese schönen klaren Augen.

You can think of it as a way of, sort of, typing, with your eyes.

Man kann sich das als eine Art von Schreibmaschinenschrift mit den Augen vorstellen.

And what you're typing are recordings of your eyes

Und was man tippt, sind die Aufnahmen der Augen,

as you're looking at other peoples' eyes.

wie sie die Augen anderer Leute betrachten.

So each person is looking at the looking

Jede Person betrachtet also die Blicke

of everyone else before them.

all der Leute vorher.

And this exists in larger installations

Es gibt davon auch größere Installationen,

where there are thousands and thousands of eyes

wo es Abertausende von Augen gibt,

that people could be staring at,

die die Leute anstarren können,

as you see who's looking at the people looking

während man sieht, wer die Betrachter betrachtet,

at the people looking before them.

wie sie die Blicke der Leute vor Ihnen betrachten.

So I'll just add a couple more. Blink. Blink.

Ich setze noch ein paar hinzu. Zwinker. Zwinker.

And you can see, just once again, how it's sort of finding my eyes

Sie können wieder sehen, wie es meine Augen findet

and doing its best to estimate when it's blinking.

und versucht, mein Blinzeln zu ermitteln.

Alright. Let's leave that.

Okay. Genug davon.

So that's this kind of recursive observation system.

Es ist also eine Art rekursives Observationssystem.

(Applause)

(Applaus)

Thank you.

Danke.

The last couple pieces I'm going to show

Die letzten paar Sachen, die ich Ihnen zeigen werde,

are basically in the new realm of robotics -- for me, new for me.

sind im Grunde Teil des neuen Reiches der Robotik, neu für mich.

It's called Opto-Isolator.

Es heißt Opto-Isolator.

And I'm going to show a video of the older version of it,

Ich werde Ihnen ein Video einer älteren Version zeigen,

which is just a minute long. Okay.

das nur eine Minute dauert. Okay.

In this case, the Opto-Isolator is blinking

In diesem Fall blinzelt der Opto-Isolator,

in response to one's own blinks.

wenn man vorher selbst geblinzelt hat.

So it blinks one second after you do.

Er blinzelt also eine Sekunde später als man selbst.

This is a device which is intended to reduce

Das ist ein Gerät, dass das Phänomen des Blickes

the phenomenon of gaze down to the simplest possible materials.

auf die allereinfachsten Materialien reduziert.

Just one eye,

Nur ein Auge,

looking at you, and eliminating everything else about a face,

das einen ansieht, der Rest des Gesichts wird weggelassen.

but just to consider gaze in an isolated way

Um den Blick isoliert zu betrachten,

as a kind of, as an element.

als eine Art Element.

And at the same time, it attempts to engage in what you might call

Und gleichzeitig versucht es, etwas aufzunehmen, das man ein

familiar psycho-social gaze behaviors.

vertrautes psychosoziales Blickverhalten nennen könnte.

Like looking away if you look at it too long

Wenn man es z. B. zu lange ansieht,

because it gets shy,

wird es schüchtern und sieht weg.

or things like that.

Oder ähnliche Dinge.

Okay. So the last project I'm going to show

Okay. Das letzte Projekt, das ich Ihnen zeigen werde,

is this new one called Snout.

ist ein neues, das sich Snout ("Schnauze") nennt.

(Laughter)

(Gelächter)

It's an eight-foot snout,

Es ist eine etwa drei Meter lange Schnauze

with a googly eye.

mit einem Glotzauge.

(Laughter)

(Gelächter)

And inside it's got an 800-pound robot arm

Innen ist ein 400 kg schwerer Roboterarm,

that I borrowed,

den ich mir ausgeliehen habe,

(Laughter)

(Gelächter)

from a friend.

von einem Freund.

(Laughter)

(Gelächter)

It helps to have good friends.

Es hilft, gute Freunde zu haben.

I'm at Carnegie Mellon; we've got a great Robotics Institute there.

Ich bin an der Carnegie Mellon Universität. Es gibt da ein großartiges Institut für Robotik.

I'd like to show you thing called Snout, which is --

Ich würde Ihnen gerne Snout zeigen, der …

The idea behind this project is to

Der Gedanke hinter diesem Projekt ist es,

make a robot that appears as if it's continually surprised to see you.

einen Roboter zu bauen, der aussieht, als wäre er immer überrascht, dich zu sehen.

(Laughter)

(Gelächter)

The idea is that basically --

Der Gedanke ist, dass er im Grunde

if it's constantly like "Huh? ... Huh?"

immer "Hä? – Hä?" sagt.

That's why its other name is Doubletaker, Taker of Doubles.

Deshalb heißt er auch der Spätzünder.

It's always kind of doing a double take: "What?"

Er muss sozusagen immer zweimal hinsehen und sagen: "Was?"

And the idea is basically, can it look at you

Die Absicht dahinter ist im Grunde, dass er dich anschaut

and make you feel as if like,

und dich dazu bringt zu denken:

"What? Is it my shoes?"

"Was? Ist was mit meinen Schuhen?"

"Got something on my hair?" Here we go. Alright.

"Hab ich was in den Haaren?" Okay, los geht's.

Checking him out ...

Sehen Sie sich ihn an …

For you nerds, here's a little behind-the-scenes.

Für die Nerds unter Ihnen ist hier ein bisschen Insider-Info.

It's got a computer vision system,

Er hat ein visuelles Computerprogramm

and it tries to look at the people who are moving around the most.

und versucht, die Leute anzusehen, die sich am meisten bewegen.

Those are its targets.

Das sind seine Ziele.

Up there is the skeleton,

Da oben ist das Skelett,

which is actually what it's trying to do.

das ist, was er zu tun versucht.

It's really about trying to create a novel body language for a new creature.

Es geht tatsächlich darum, eine neue Körpersprache für ein neues Wesen zu erschaffen.

Hollywood does this all the time, of course.

In Hollywood machen sie das natürlich ständig.

But also have the body language communicate something

Aber es geht auch darum, mit Körpersprache demjenigen etwas mitzuteilen,

to the person who is looking at it.

die ihn betrachtet.

This language is communicating that it is surprised to see you,

Diese Sprache teilt mit, dass er überrascht ist, dich zu sehen,

and it's interested in looking at you.

und dass er es interessant findet, dich zu betrachten.

(Laughter)

(Gelächter)

(Applause)

(Applaus)

Thank you very much. That's all I've got for today.

Vielen Dank. Das wäre alles für heute.

And I'm really happy to be here. Thank you so much.

Ich freue mich sehr, hier zu sein. Vielen, vielen Dank.

(Applause)

(Applaus)