Golan Levin makes art that looks back at you

Vertaald door: Joachim Beens Nagekeken door: Els De Keyser

Hello! My name is Golan Levin.

Hallo. Mijn naam is Golan Levin.

I'm an artist and an engineer,

Ik ben kunstenaar en ingenieur.

which is, increasingly, a more common kind of hybrid.

Wat een steeds gebruikelijker combinatie is.

But I still fall into this weird crack

Maar ik val nog steeds in die nis

where people don't seem to understand me.

waar mensen me niet lijken te begrijpen.

And I was looking around and I found this wonderful picture.

Ik zocht hier en daar en vond deze prachtige afbeelding.

It's a letter from "Artforum" in 1967

Het is een brief van 'Artforum' uit 1967

saying "We can't imagine ever doing a special issue

waarin staat: "We kunnen ons niet voorstellen ooit een speciale uitgave over

on electronics or computers in art." And they still haven't.

elektronica of computers in de kunsten te maken". En ze hebben het nog nooit gedaan.

And lest you think that you all, as the digerati, are more enlightened,

Maar voordat jullie, als 'digerati', nu denken meer verlicht te zijn:

I went to the Apple iPhone app store the other day.

ik ging laatst naar de Apple iPhone app store.

Where's art? I got productivity. I got sports.

Waar staat 'kunst'? Ik zie 'productiviteit', ik zie 'sport'.

And somehow the idea that one would want to make art for the iPhone,

Het idee dat iemand kunst voor de iPhone zou willen maken,

which my friends and I are doing now,

wat mijn vrienden en ik nu doen,

is still not reflected in our understanding

is blijkbaar nog steeds niet binnengedrongen in ons begrip

of what computers are for.

van de toepassing van computers.

So, from both directions, there is kind of, I think, a lack of understanding

Dus van beide kanten is er een soort gebrek aan inzicht

about what it could mean to be an artist who uses the materials

over wat het betekent om als kunstenaar het materiaal

of his own day, or her own day,

van je eigen tijd te gebruiken.

which I think artists are obliged to do,

Ik denk dat kunstenaars verplicht zijn

is to really explore the expressive potential of the new tools that we have.

om echt onderzoek te doen naar de potentie van de nieuwe werktuigen die we hebben.

In my own case, I'm an artist,

In mijn geval, ik ben kunstenaar

and I'm really interested in

en ik ben erg geïnteresseerd

expanding the vocabulary of human action,

in het uitbreiden van de mogelijkheden van het menselijke handelen.

and basically empowering people through interactivity.

Ik wil mensen middels interactiviteit tot meer in staat stellen.

I want people to discover themselves as actors,

Ik wil dat mensen zichzelf als acteurs leren zien,

as creative actors, by having interactive experiences.

als creatieve acteurs, door middel van interactieve ervaringen.

A lot of my work is about trying to get away from this.

Veel van mijn werk gaat over het vermijden hiervan.

This a photograph of the desktop of a student of mine.

Dit is een foto van het bureaublad van een van mijn studenten.

And when I say desktop, I don't just mean

En als ik 'bureaublad' zeg, bedoel ik niet alleen

the actual desk where his mouse has worn away the surface of the desk.

het werkelijke bureau, waar de muis het oppervlak van heeft versleten,

If you look carefully, you can even see

maar als je goed kijkt, zie je zelfs

a hint of the Apple menu, up here in the upper left,

vaag het Apple-menu, hier bovenaan links,

where the virtual world has literally

waar de virtuele wereld letterlijk

punched through to the physical.

tot in de fysieke is doorgedrongen.

So this is, as Joy Mountford once said,

Dit illustreert wat Joy Mountford ooit zei:

"The mouse is probably the narrowest straw

"De muis is waarschijnlijk het dunste rietje

you could try to suck all of human expression through."

waar je alle menselijke expressie doorheen kan zuigen."

(Laughter)

(Gelach)

And the thing I'm really trying to do is enabling people to have more rich

Wat ik poog te doen, is mensen de mogelijkheid geven

kinds of interactive experiences.

om rijkere interactieve belevenissen te ondervinden.

How can we get away from the mouse and use our full bodies

Hoe kunnen we de muis achter ons laten en onze lichamen toepassen

as a way of exploring aesthetic experiences,

als methode om artistieke belevingen te onderzoeken,

not necessarily utilitarian ones.

en niet alleen functionele.

So I write software. And that's how I do it.

Ik schrijf dus software. En daarmee doe ik het.

And a lot of my experiences

Veel van mijn ervaringen

resemble mirrors in some way.

zijn ergens te vergelijken met spiegels,

Because this is, in some sense, the first way,

omdat ze op een bepaalde manier het eerste medium zijn

that people discover their own potential as actors,

waarin mensen hun potentie als acteur ontdekken,

and discover their own agency.

hun eigen vertegenwoordiging ontdekken.

By saying "Who is that person in the mirror? Oh it's actually me."

Ze zien: "Wie is die persoon in de spiegel? Oh, ik ben het zelf."

And so, to give an example,

Dus, om een voorbeeld te geven,

this is a project from last year,

dit is een project van afgelopen jaar,

which is called the Interstitial Fragment Processor.

dat 'Interstitial Fragment Processor' heet.

And it allows people to explore the negative shapes that they create

Het geeft mensen de kans de negatieve vormen te verkennen

when they're just going about their everyday business.

die ze maken als ze hun alledaagse handelingen verrichten.

So as people make shapes with their hands or their heads

Terwijl mensen vormen maken met hun handen of hoofden

and so forth, or with each other,

enzovoort, of met elkaar,

these shapes literally produce sounds and drop out of thin air --

produceren die vormen letterlijk geluiden en ontstaan ze vanuit het niets.

basically taking what's often this, kind of, unseen space,

Dus eigenlijk die ongeziene ruimte

or this undetected space, and making it something real,

of onontdekte ruimte in iets reëels vatten

that people then can appreciate and become creative with.

dat mensen kunnen waarderen en waarmee ze kunnen spelen.

So again, people discover their creative agency in this way.

Mensen ontdekken op deze manier hun creatieve representatie.

And their own personalities come out

Hun eigen persoonlijkheden komen

in totally unique ways.

op totaal unieke manieren tevoorschijn.

So in addition to using full-body input,

Naast het gebruik van input van het hele lichaam

something that I've explored now, for a while,

heb ik inmiddels het gebruik van de stem

has been the use of the voice,

al een tijd onderzocht.

which is an immensely expressive system for us, vocalizing.

Dat is een immens expressief systeem voor ons, het vocaliseren.

Song is one of our oldest ways

Gezang is een van de oudste methoden

of making ourselves heard and understood.

om van ons te laten horen en elkaar te begrijpen.

And I came across this fantastic research by Wolfgang Köhler,

Ik stuitte op dit fantastische onderzoek van Wolfgang Köhler,

the so-called father of gestalt psychology, from 1927,

de zogenaamde vader van de gestaltpsychologie, uit 1927,

who submitted to an audience like yourselves

die aan een publiek zoals jullie

the following two shapes.

de volgende twee vormen toonde.

And he said one of them is called Maluma.

Hij zei dat een ervan Maluma heet,

And one of them is called Taketa. Which is which?

en de andere Taketa. Welke is welke?

Anyone want to hazard a guess?

Wil iemand een poging wagen?

Maluma is on top. Yeah. So.

Maluma staat.. bovenaan, ja.

As he says here, most people answer without any hesitation.

Zoals hij hier zegt, antwoorden de meeste mensen zonder aarzeling.

So what we're really seeing here is a phenomenon

Dus wat we hier zien, is het fenomeen

called phonaesthesia,

dat men fonesthesie noemt,

which is a kind of synesthesia that all of you have.

een soort synesthesie die jullie allen hebben,

And so, whereas Dr. Oliver Sacks has talked about

Dr. Oliver Sacks zei dat

how perhaps one person in a million

waar misschien één op de miljoen personen

actually has true synesthesia,

werkelijke synesthesie heeft,

where they hear colors or taste shapes, and things like this,

en de kleuren kan horen, vormen kan proeven, en dergelijke,

phonaesthesia is something we can all experience to some extent.

fonesthesie iets is dat we allemaal tot op zekere hoogte kunnen ervaren.

It's about mappings between different perceptual domains,

Het zijn verbindingen tussen verschillende zintuiglijke eigenschappen,

like hardness, sharpness, brightness and darkness,

zoals hardheid, scherpte, helderheid en donkerte,

and the phonemes that we're able to speak with.

en de fonemen waarmee we spreken.

So 70 years on, there's been some research where

Er is, 70 jaar later, onderzoek gedaan waarin

cognitive psychologists have actually sussed out

cognitieve psychologen de mate

the extent to which, you know,

hebben uitgedacht waarin

L, M and B are more associated with shapes that look like this,

L, M en B eerder worden geassocieerd met vormen als deze,

and P, T and K are perhaps more associated with shapes like this.

en P, T en K mogelijk eerder met vormen als deze worden geassocieerd.

And here we suddenly begin to have a mapping between curvature

Hier zien we plotseling de relatie in kaart gebrachte tussen kromming,

that we can exploit numerically,

die we numeriek kunnen benutten,

a relative mapping between curvature and shape.

en spraak, een relatieve relatie.

So it occurred to me, what happens if we could run these backwards?

Ik bedacht dus: wat zou er gebeuren als we dit omgekeerd toepassen?

And thus was born the project called Remark,

Zo ontstond het project 'Remark',

which is a collaboration with Zachary Lieberman

een samenwerking met Zachary Lieberman

and the Ars Electronica Futurelab.

en het Ars Electronica Futurelab.

And this is an interactive installation which presents

Dit is een interactieve installatie die

the fiction that speech casts visible shadows.

het werpen van schaduwen door spraak verbeeldt.

So the idea is you step into a kind of a magic light.

Het idee is dat je in een soort magisch licht stapt

And as you do, you see the shadows of your own speech.

en je zodoende de schaduwen van je eigen stemgeluid ziet.

And they sort of fly away, out of your head.

Ze vliegen als het ware uit je mond.

If a computer speech recognition system

Als de spraakherkenningssoftware

is able to recognize what you're saying, then it spells it out.

uitvogelt wat je zegt, dan spelt het de woorden.

And if it isn't then it produces a shape which is very phonaesthetically

Als het dat niet kan, dan produceert het het een vorm die

tightly coupled to the sounds you made.

fonestethisch erg dicht bij de klank van het geluid ligt.

So let's bring up a video of that.

Laten we er een video van bekijken.

(Applause)

(Applaus)

Thanks. So. And this project here,

Bedankt. Met dit project

I was working with the great abstract vocalist, Jaap Blonk.

werkte ik samen met de grote abstracte stemkunstenaar Jaap Blonk.

And he is a world expert in performing "The Ursonate,"

Hij is wereldwijd expert in de uitvoering van de 'Ursonate',

which is a half-an-hour nonsense poem

een half uur durend onzingedicht

by Kurt Schwitters, written in the 1920s,

van Kurt Schwitters, uit de jaren '20.

which is half an hour of very highly patterned nonsense.

Het is een half uur vol zeer gecompliceerde nonsens.

And it's almost impossible to perform.

Het is bijna onmogelijk voor te dragen.

But Jaap is one of the world experts in performing it.

Maar Jaap is een van de internationale experts.

And in this project we've developed

Binnen dit project ontwikkelden we

a form of intelligent real-time subtitles.

een vorm van intelligente real-time ondertiteling.

So these are our live subtitles,

Het zijn live ondertitels

that are being produced by a computer that knows the text of "The Ursonate" --

die worden aangemaakt door een computer die de 'Ursonate'-tekst kent,

fortunately Jaap does too, very well --

die Jaap gelukkig ook erg goed kent,

and it is delivering that text at the same time as Jaap is.

en het presenteert de tekst op hetzelfde moment als Jaap.

So all the text you're going to see

Dus alle tekst die je te zien krijgt,

is real-time generated by the computer,

wordt real-time berekend door de computer,

visualizing what he's doing with his voice.

en visualiseert wat Jaap doet met zijn stem.

Here you can see the set-up where there is a screen with the subtitles behind him.

Hier kun je de installatie zien, met het scherm met ondertiteling achter hem.

Okay. So ...

Oke. Dus...

(Applause)

(Applaus)

The full videos are online if you are interested.

De volledige video's zijn online te zien, mocht je geïnteresseerd zijn.

I got a split reaction to that during the live performance,

Ik kreeg een gemengde reactie toen ik deze performance live liet zien.

because there is some people who understand

Omdat er enkele mensen zijn die begrijpen dat

live subtitles are a kind of an oxymoron,

live ondertiteling een oxymoron is.

because usually there is someone making them afterwards.

Want over het algemeen maakt iemand ze na afloop.

And then a bunch of people who were like, "What's the big deal?

En verder was er een groep mensen die reageerden met "Nou, en?"

I see subtitles all the time on television."

Ik zie constant ondertiteling op tv."

You know? They don't imagine the person in the booth, typing it all.

Begrijp je? Ze kunnen zich de persoon die alles typt niet voorstellen.

So in addition to the full body, and in addition to the voice,

Dus naast het lichaam, en naast de stem,

another thing that I've been really interested in,

is er iets anders waar ik erg door geboeid ben

most recently, is the use of the eyes,

de laatste tijd, het gebruik van de ogen,

or the gaze, in terms of how people relate to each other.

of de blik, wat de omgang tussen mensen betreft.

It's a really profound amount of nonverbal information

Het is een serieuze hoeveelheid van non-verbale informatie

that's communicated with the eyes.

die via de ogen wordt overgebracht.

And it's one of the most interesting technical challenges

Het is een van de meest boeiende technische uitdagingen

that's very currently active in the computer sciences:

die de computerwetenschap heden bezighouden.

being able to have a camera that can understand,

De mogelijkheid over een camera te beschikken die kan begrijpen

from a fairly big distance away,

wat zich op een aardig grote afstand afspeelt.

how these little tiny balls are actually pointing in one way or another

Hoe die kleine ballen eigenlijk in een richting wijzen

to reveal what you're interested in,

en onthullen wat je interesseert,

and where your attention is directed.

en waar je aandacht op gericht is.

So there is a lot of emotional communication that happens there.

Er is daar dus een hoop emotionele communicatie aan het werk.

And so I've been beginning, with a variety of different projects,

Ik begin te begrijpen, door middel van verschillende projecten,

to understand how people can relate to machines with their eyes.

hoe mensen via hun ogen met machines om kunnen gaan.

And basically to ask the questions:

Ik begon me af te vragen

What if art was aware that we were looking at it?

"Wat als kunst zich ervan bewust was dat ze bekeken wordt?"

How could it respond, in a way,

Hoe zou ze als het ware reageren

to acknowledge or subvert the fact that we're looking at it?

op het erkennen of negeren van het feit dat we ernaar kijken?

And what could it do if it could look back at us?

Wat zou ze doen als ze terug kon kijken?

And so those are the questions that are happening in the next projects.

Dit zijn dus vragen die meespelen bij de volgende projecten.

In the first one which I'm going to show you, called Eyecode,

In het eerste dat ik toon, genaamd 'Eyecode',

it's a piece of interactive software

is het een stuk interactieve software

in which, if we read this little circle,

Het werkt zoals we in deze cirkel zien:

"the trace left by the looking of the previous observer

"het spoor dat is achtergelaten door het kijken van de vorige toeschouwer

looks at the trace left by the looking of previous observer."

kijkt naar het spoor dat is achtergelaten door het kijken van de vorige toeschouwer."

The idea is that it's an image wholly constructed

Het idee dat een afbeelding volledig bestaat uit

from its own history of being viewed

haar eigen geschiedenis van het bekeken worden

by different people in an installation.

door verschillende mensen binnen een installatie.

So let me just switch over so we can do the live demo.

Dus laat me even overschakelen naar de 'live demo'.

So let's run this and see if it works.

Eens kijken of dit gaat werken.

Okay. Ah, there is lots of nice bright video.

Oké. Ah, er is genoeg mooie heldere video.

There is just a little test screen that shows that it's working.

Daar is een klein testscherm dat laat zien dat het werkt.

And what I'm just going to do is -- I'm going to hide that.

Ik zal dat nu even verbergen.

And you can see here that what it's doing

Je kunt hier zien wat het doet,

is it's recording my eyes every time I blink.

het registreert mijn ogen telkens wanneer ik knipper.

Hello? And I can ... hello ... okay.

Hallo? En dan kan ik .. hallooo .. oké.

And no matter where I am, what's really going on here

Waar ik ook ben, wat er werkelijk gebeurt

is that it's an eye-tracking system that tries to locate my eyes.

is dat een oogregistratiesysteem mijn ogen probeert te vinden.

And if I get really far away I'm blurry.

Wanneer ik verder weg loop, wordt het onscherper.

You know, you're going to have these kind of blurry spots like this

Je krijgt van dat soort vage vlekken als deze

that maybe only resemble eyes in a very very abstract way.

die op een abstracte manier misschien ogen voorstellen.

But if I come up really close and stare directly at the camera

Maar als ik echt dichtbij kom en direct in de camera staar

on this laptop then you'll see these nice crisp eyes.

in deze laptop, dan krijg je van deze mooi scherpe ogen.

You can think of it as a way of, sort of, typing, with your eyes.

Je kunt het zien als een soort van typen met je ogen.

And what you're typing are recordings of your eyes

Wat je typt, zijn eigenlijk registraties van je ogen

as you're looking at other peoples' eyes.

terwijl je naar de ogen van anderen kijkt.

So each person is looking at the looking

Dus iedere persoon kijkt naar het kijken

of everyone else before them.

van iedereen voor hem.

And this exists in larger installations

Dit vindt plaats in grotere installaties

where there are thousands and thousands of eyes

waar er duizenden en duizenden ogen zijn

that people could be staring at,

waar mensen naar zouden kunnen staren

as you see who's looking at the people looking

wanneer ze bekijken hoe andere mensen keken

at the people looking before them.

naar de mensen voor hen.

So I'll just add a couple more. Blink. Blink.

Ik voeg er nog maar enkele toe. Knipper. Knipper.

And you can see, just once again, how it's sort of finding my eyes

Je kunt weer zien hoe het probeert mijn ogen te vinden,

and doing its best to estimate when it's blinking.

en zijn best doet in te schatten wanneer ze knipperen.

Alright. Let's leave that.

Oké, genoeg daarover.

So that's this kind of recursive observation system.

Dat is dus een soort van recursief observatiesysteem.

(Applause)

(Applaus)

Thank you.

Dank je wel.

The last couple pieces I'm going to show

De laatste paar dingen die ik laat zien

are basically in the new realm of robotics -- for me, new for me.

zijn binnen het nieuwe domein van de robotica eigenlijk nieuw voor mij.

It's called Opto-Isolator.

Het heet 'Opto-Isolator'.

And I'm going to show a video of the older version of it,

Ik laat een video zien van de oudere versie,

which is just a minute long. Okay.

die slechts een minuut duurt. Oké.

In this case, the Opto-Isolator is blinking

In dit geval knippert de 'Opto-Isolator'

in response to one's own blinks.

als reactie op het geknipper van iemand.

So it blinks one second after you do.

Het knippert dus een seconde nadat jij blinkt.

This is a device which is intended to reduce

Dit apparaat probeert dus

the phenomenon of gaze down to the simplest possible materials.

het fenomeen van het staren tot de eenvoudigste materialen te reduceren.

Just one eye,

Slechts één oog,

looking at you, and eliminating everything else about a face,

dat naar je kijkt, en de rest van het gelaat is geëlimineerd,

but just to consider gaze in an isolated way

om het staren zelf dus te reduceren

as a kind of, as an element.

tot de meest elementaire vorm.

And at the same time, it attempts to engage in what you might call

Tegelijkertijd probeert het zogenaamde

familiar psycho-social gaze behaviors.

normatieve psychosociale kijkpatronen toe te passen.

Like looking away if you look at it too long

Zoals wegkijken wanneer je te lang kijkt,

because it gets shy,

omdat het verlegen wordt.

or things like that.

En dat soort dingen.

Okay. So the last project I'm going to show

Oke. Het laatste wat ik laat zien,

is this new one called Snout.

is een nieuw project genaamd 'Snout'.

(Laughter)

(Gelach)

It's an eight-foot snout,

Het is een 2,4 meter lange snuit

with a googly eye.

met een koekeloerend oog.

(Laughter)

(Gelach)

And inside it's got an 800-pound robot arm

Binnenin zit een 360 kilo zware robotarm

that I borrowed,

die ik heb geleend

(Laughter)

(Gelach)

from a friend.

van een vriend.

(Laughter)

(Gelach)

It helps to have good friends.

Het helpt goede vrienden te hebben.

I'm at Carnegie Mellon; we've got a great Robotics Institute there.

Ik ben verbonden aan Carnegie Mellon. We hebben daar een geweldige Robotica-afdeling.

I'd like to show you thing called Snout, which is --

Ik wil jullie deze zogenaamde 'Snuit' laten zien, wat --

The idea behind this project is to

Het achterliggende idee van dit project is

make a robot that appears as if it's continually surprised to see you.

een robot te maken die continu verbaasd lijkt te zijn je te zien.

(Laughter)

(Gelach)

The idea is that basically --

Het idee is eigenlijk

if it's constantly like "Huh? ... Huh?"

dat het constant "Huh? ... Huh?" lijkt te doen.

That's why its other name is Doubletaker, Taker of Doubles.

Daarom is zijn andere naam 'Doubletaker', 'Taker of Doubles'.

It's always kind of doing a double take: "What?"

Er is altijd een soort double take, een uitgestelde reactie: "Wat?".

And the idea is basically, can it look at you

Het idee is eigenlijk het te laten kijken

and make you feel as if like,

en je een gevoel te geven van

"What? Is it my shoes?"

"Wat? Zijn het mijn schoenen?"

"Got something on my hair?" Here we go. Alright.

"Heb ik iets in mijn haar?" Hier gaat 'ie. Oké.

Checking him out ...

Hij bekijkt hem goed...

For you nerds, here's a little behind-the-scenes.

Voor de nerds is hier kijkje achter de schermen.

It's got a computer vision system,

Het heeft een kunstmatig kijksysteem

and it tries to look at the people who are moving around the most.

en het probeert naar de meest bewegende personen te kijken.

Those are its targets.

Dat zijn zijn doelwitten.

Up there is the skeleton,

Daar is ook het skelet te zien,

which is actually what it's trying to do.

hoe het in werkelijkheid beweegt.

It's really about trying to create a novel body language for a new creature.

Het gaat om het ontwikkelen van een oorspronkelijke lichaamstaal voor een nieuw wezen.

Hollywood does this all the time, of course.

Hollywood doet dit natuurlijk voortdurend.

But also have the body language communicate something

Maar bovendien de lichaamstaal iets laten meedelen

to the person who is looking at it.

aan de persoon die ernaar kijkt.

This language is communicating that it is surprised to see you,

Deze taal deelt mee dat het verbaasd is je te zien,

and it's interested in looking at you.

en dat het geïnteresseerd in je is.

(Laughter)

(Gelach)

(Applause)

(Applaus)

Thank you very much. That's all I've got for today.

Hartelijk bedankt. Dat is alles wat ik heb voor vandaag.

And I'm really happy to be here. Thank you so much.

Ik ben erg blij hier te zijn. Heel erg bedankt.

(Applause)

(Applaus)