Golan Levin makes art that looks back at you

Golan Levin crée l'Art qui vous renvoie votre regard.

Traducteur: Isabel Lopez Relecteur: eric vautier

Hello! My name is Golan Levin.

Bonjour ! Je m'appelle Golan Levin.

I'm an artist and an engineer,

Je suis un artiste et un ingénieur.

which is, increasingly, a more common kind of hybrid.

Une espèce d'hybride de plus en plus répandue.

But I still fall into this weird crack

Mais je tombe toujours dans cette catégorie un peu bizarre

where people don't seem to understand me.

que les gens ne semblent pas comprendre.

And I was looking around and I found this wonderful picture.

En cherchant j'ai trouvé ce merveilleux document.

It's a letter from "Artforum" in 1967

C'est une lettre de l'Artforum de 1967

saying "We can't imagine ever doing a special issue

qui dit "Nous ne prévoyons pas de consacrer un sujet spécifique

on electronics or computers in art." And they still haven't.

à l'électronique et aux ordinateurs dans l'art." Et ils ne l'ont toujours pas fait.

And lest you think that you all, as the digerati, are more enlightened,

Et si vous pensiez que vous, les digerati, êtes plus éclairés à ce sujet,

I went to the Apple iPhone app store the other day.

j'ai visité l'Apple iPhone app store l'autre jour.

Where's art? I got productivity. I got sports.

Où se cache l'art ? J'y vois la productivité. J'y vois les sports.

And somehow the idea that one would want to make art for the iPhone,

Et étonnamment l'idée que quelqu'un veuille faire de l'art pour l'iPhone,

which my friends and I are doing now,

ce que mes amis et moi faisons en ce moment,

is still not reflected in our understanding

ne trouve aucun écho dans notre perception

of what computers are for.

des possibilités offertes par les ordinateurs.

So, from both directions, there is kind of, I think, a lack of understanding

Donc, des deux côtés, je pense qu'il y a de l'incompréhension

about what it could mean to be an artist who uses the materials

au sujet de ce que signifierait être un artiste qui utilise les matériaux

of his own day, or her own day,

d'aujourd'hui.

which I think artists are obliged to do,

A mes yeux, les artistes sont obligés

is to really explore the expressive potential of the new tools that we have.

d'explorer tout le potentiel expressif des nouveaux outils que nous possédons.

In my own case, I'm an artist,

Dans mon propre cas, je suis un artiste,

and I'm really interested in

et je m'intéresse vraiment

expanding the vocabulary of human action,

à étendre le vocabulaire de l'action humaine,

and basically empowering people through interactivity.

et donner le pouvoir aux gens grâce à l'interactivité.

I want people to discover themselves as actors,

Je veux que les gens se découvrent en tant qu'acteurs,

as creative actors, by having interactive experiences.

des acteurs créatifs, via des expériences interactives.

A lot of my work is about trying to get away from this.

Mon travail consiste surtout à s'éloigner de ça.

This a photograph of the desktop of a student of mine.

Voici la photo du bureau d'un de mes étudiants.

And when I say desktop, I don't just mean

Et quand je dis bureau, je ne parle pas seulement

the actual desk where his mouse has worn away the surface of the desk.

de la table de travail où sa souris a poli le bois.

If you look carefully, you can even see

Si vous regardez attentivement, vous pouvez même deviner

a hint of the Apple menu, up here in the upper left,

le menu Apple, ici dans le coin en haut à gauche,

where the virtual world has literally

où le monde virtuel s'est littéralement

punched through to the physical.

enfoncé dans le monde réel.

So this is, as Joy Mountford once said,

Voici une illustration de ce que disait Joy Mountford,

"The mouse is probably the narrowest straw

La souris est probablement la paille la plus étroite

you could try to suck all of human expression through."

par laquelle vous pourriez aspirer l'expression humaine."

(Laughter)

(Rires)

And the thing I'm really trying to do is enabling people to have more rich

J'essaye vraiment de permettre aux gens d'avoir des expériences

kinds of interactive experiences.

interactives plus enrichissantes.

How can we get away from the mouse and use our full bodies

Comment pouvons-nous nous éloigner de la souris et utiliser notre corps tout entier

as a way of exploring aesthetic experiences,

comme une source d'expériences esthétiques,

not necessarily utilitarian ones.

pas forcément utilitaires?

So I write software. And that's how I do it.

Je crée donc des programmes en partant de ce principe.

And a lot of my experiences

La plupart de mes expériences

resemble mirrors in some way.

correspondent plus ou moins à des miroirs.

Because this is, in some sense, the first way,

Parce qu'il s'agit, d'une certaine manière, de la première façon

that people discover their own potential as actors,

dont les gens découvrent leur potentiel en tant qu'acteurs,

and discover their own agency.

et découvrent aussi leur propre rôle.

By saying "Who is that person in the mirror? Oh it's actually me."

En disant "Qui est cette personne dans le miroir ? Oh en fait c'est moi."

And so, to give an example,

Pour vous donner un exemple,

this is a project from last year,

voici un projet réalisé l'an dernier.

which is called the Interstitial Fragment Processor.

Il s'appelle le "Processeur de Fragments Interstitiels".

And it allows people to explore the negative shapes that they create

Il permet aux gens d'explorer les formes négatives qu'ils créent

when they're just going about their everyday business.

lorsqu'ils vaquent à leurs occupations quotidiennes.

So as people make shapes with their hands or their heads

Au moment où les gens créent des formes avec leurs mains ou leur tête

and so forth, or with each other,

et ainsi de suite, ou les uns avec les autres,

these shapes literally produce sounds and drop out of thin air --

ces formes produisent des sons et s'évanouissent.

basically taking what's often this, kind of, unseen space,

Il s'agit d'utiliser cette sorte d'espace qu'on ne voit pas,

or this undetected space, and making it something real,

ou qu'on ne perçoit pas, et d'en faire un objet réel,

that people then can appreciate and become creative with.

que les gens appréhendent et avec lequel ils créent.

So again, people discover their creative agency in this way.

Une fois de plus, les gens découvrent leur rôle créatif de cette manière.

And their own personalities come out

Et leur personnalité s'exprime

in totally unique ways.

de façons complètement uniques.

So in addition to using full-body input,

En plus de l'utilisation du corps tout entier,

something that I've explored now, for a while,

je me suis penché depuis quelque temps

has been the use of the voice,

sur l'utilisation de la voix.

which is an immensely expressive system for us, vocalizing.

Parler est un système énormément expressif pour nous.

Song is one of our oldest ways

Chanter est une des façons les plus anciennes

of making ourselves heard and understood.

que nous ayons pour nous faire entendre et comprendre.

And I came across this fantastic research by Wolfgang Köhler,

Je suis tombé sur cette fantastique recherche menée par Wolfgang Köhler,

the so-called father of gestalt psychology, from 1927,

le prétendu père de la psychologie de la forme, datant de 1927,

who submitted to an audience like yourselves

qui a soumis à un public comme vous

the following two shapes.

les deux dessins suivants.

And he said one of them is called Maluma.

Il leur a dit que l'un des deux s'intitulait "Maluma".

And one of them is called Taketa. Which is which?

Et l'autre "Taketa". Qui est qui ?

Anyone want to hazard a guess?

Quelqu'un veut essayer de deviner ?

Maluma is on top. Yeah. So.

Maluma est celui du haut. Oui.

As he says here, most people answer without any hesitation.

Comme il le dit alors, la plupart des gens répondent sans hésiter.

So what we're really seeing here is a phenomenon

Ce phénomène auquel nous assistons

called phonaesthesia,

s'appelle la phonesthésie.

which is a kind of synesthesia that all of you have.

C'est un genre de synesthésie que nous possédons tous.

And so, whereas Dr. Oliver Sacks has talked about

Le Dr Oliver Sacks estime

how perhaps one person in a million

que peut-être une personne sur un million

actually has true synesthesia,

est un vrai synesthète,

where they hear colors or taste shapes, and things like this,

qui entend les couleurs ou goûte les formes, et ainsi de suite.

phonaesthesia is something we can all experience to some extent.

La phonesthésie est une expérience que nous pouvons tous avoir.

It's about mappings between different perceptual domains,

Il s'agit de relier différents domaines de perception,

like hardness, sharpness, brightness and darkness,

comme la dureté, la finesse, la luminosité ou l'obscurité,

and the phonemes that we're able to speak with.

et les phonèmes que nous utilisons pour parler.

So 70 years on, there's been some research where

Il y a 70 ans, des recherches ont été faites

cognitive psychologists have actually sussed out

par des psychologues cognitifs qui ont fini

the extent to which, you know,

par découvrir à quel point

L, M and B are more associated with shapes that look like this,

L, M et B sont associées à des formes comme celles-ci.

and P, T and K are perhaps more associated with shapes like this.

Et P, T et K à celles-là.

And here we suddenly begin to have a mapping between curvature

Ici on commence à à avoir un lien entre des courbes

that we can exploit numerically,

que l'on peut exploiter numériquement,

a relative mapping between curvature and shape.

un lien entre des courbes et des formes.

So it occurred to me, what happens if we could run these backwards?

Je me suis donc demandé ce qui arriverait si on procédait à l'envers ?

And thus was born the project called Remark,

Le projet Remark était né.

which is a collaboration with Zachary Lieberman

C'est une collaboration entre Zachary Lieberman

and the Ars Electronica Futurelab.

et le Futurelab d'Ars Electronica.

And this is an interactive installation which presents

Voici une installation interactive qui représente

the fiction that speech casts visible shadows.

le concept que le langage projette des ombres visibles.

So the idea is you step into a kind of a magic light.

L'idée est que vous êtes placés dans une sorte de lumière magique,

And as you do, you see the shadows of your own speech.

où vous pouvez voir les ombres de vos propres paroles.

And they sort of fly away, out of your head.

On dirait qu'elles s'envolent depuis votre bouche.

If a computer speech recognition system

Si le système de reconnaissance vocale

is able to recognize what you're saying, then it spells it out.

parvient à reconnaître ce que vous dites, alors il l'épelle.

And if it isn't then it produces a shape which is very phonaesthetically

Si ce n'est pas le cas, une forme phonesthésique est produite

tightly coupled to the sounds you made.

intimement liée aux sons que vous émettez.

So let's bring up a video of that.

En voici une démonstration.

(Applause)

(Applaudissements)

Thanks. So. And this project here,

Merci. Pour cet autre projet,

I was working with the great abstract vocalist, Jaap Blonk.

j'ai travaillé avec le grand chanteur abstrait, Jaap Blonk.

And he is a world expert in performing "The Ursonate,"

C'est un expert mondial dans l'interprétation de "l'Ursonate",

which is a half-an-hour nonsense poem

qui consiste en une demi-heure d'absurdités poétiques

by Kurt Schwitters, written in the 1920s,

écrite par Kurt Schwitters dans les années 20.

which is half an hour of very highly patterned nonsense.

C'est une demi-heure d'absurdités extrêmement schématisées.

And it's almost impossible to perform.

C'est presque impossible à interpréter.

But Jaap is one of the world experts in performing it.

Mais Jaap est l'un des experts mondiaux de son interprétation.

And in this project we've developed

Dans ce projet nous avons développé

a form of intelligent real-time subtitles.

une forme de sous-titrage intelligent en temps réel.

So these are our live subtitles,

Voici nos sous-titres en direct,

that are being produced by a computer that knows the text of "The Ursonate" --

produits par un ordinateur qui connaît le texte de "l'Ursonate",

fortunately Jaap does too, very well --

et heureusement Jaap le connaît tout aussi bien.

and it is delivering that text at the same time as Jaap is.

L'ordinateur transmet le texte en même temps que Jaap.

So all the text you're going to see

Donc tous les textes que vous allez voir

is real-time generated by the computer,

sont générés par l'ordinateur en temps réel,

visualizing what he's doing with his voice.

visualisant ce qu'il fait avec sa voix.

Here you can see the set-up where there is a screen with the subtitles behind him.

Vous pouvez voir derrière lui l'installation avec un écran et les sous-titres.

Okay. So ...

Ok. Voilà...

(Applause)

(Applaudissements)

The full videos are online if you are interested.

Les vidéos complètes sont en ligne si cela vous intéresse.

I got a split reaction to that during the live performance,

J'ai reçu une réaction mitigée lors de ce spectacle en direct.

because there is some people who understand

Parce qu'il y a des personnes qui comprennent que

live subtitles are a kind of an oxymoron,

le sous-titrage en direct est une espèce d'oxymore.

because usually there is someone making them afterwards.

Parce que normalement, les sous-titres sont réalisés après l'événement.

And then a bunch of people who were like, "What's the big deal?

Il y avait quelques personnes qui s'écriaient "C'est tout?

I see subtitles all the time on television."

Je vois des sous-titres tout le temps à la télévision."

You know? They don't imagine the person in the booth, typing it all.

Ils ne pensent pas à la personne dans sa cabine qui les tape.

So in addition to the full body, and in addition to the voice,

Et, en plus du corps ou de la voix,

another thing that I've been really interested in,

je me suis beaucoup intéressé récemment

most recently, is the use of the eyes,

à l'utilisation des yeux,

or the gaze, in terms of how people relate to each other.

ou du regard, dans la manière qu'ont les gens de communiquer.

It's a really profound amount of nonverbal information

C'est une quantité considérable d'informations non verbales

that's communicated with the eyes.

que nous transmettons avec nos yeux.

And it's one of the most interesting technical challenges

C'est l'un des challenges techniques les plus intéressants

that's very currently active in the computer sciences:

sur lequel se penchent les sciences informatiques.

being able to have a camera that can understand,

Être capable de fabriquer une caméra qui peut comprendre

from a fairly big distance away,

à une distance assez éloignée,

how these little tiny balls are actually pointing in one way or another

comment ces petits globes se comportent,

to reveal what you're interested in,

pour révéler ce à quoi vous vous intéressez,

and where your attention is directed.

et ce vers quoi votre attention est dirigée.

So there is a lot of emotional communication that happens there.

Une masse importante de communication émotionnelle se produit de cette manière.

And so I've been beginning, with a variety of different projects,

J'ai commencé, via différents projets,

to understand how people can relate to machines with their eyes.

à comprendre comment les gens pouvaient parler aux machines avec leurs yeux.

And basically to ask the questions:

Je posais en fait les questions suivantes :

What if art was aware that we were looking at it?

Que se passerait-il si l'art était conscient que nous le regardons ?

How could it respond, in a way,

Comment pourrait-il réagir,

to acknowledge or subvert the fact that we're looking at it?

pour rendre compte du fait que nous le regardons ?

And what could it do if it could look back at us?

Et que pourrait-il faire s'il nous renvoyait notre regard ?

And so those are the questions that are happening in the next projects.

Voici les questions auxquelles nous avons répondu dans les projets suivants.

In the first one which I'm going to show you, called Eyecode,

Dans le premier, que je vais vous montrer, intitulé Eyecode,

it's a piece of interactive software

il s'agit d'un logiciel interactif

in which, if we read this little circle,

dans lequel, si nous lisons ce petit cercle,

"the trace left by the looking of the previous observer

la trace laissée par le regard du spectateur précédent

looks at the trace left by the looking of previous observer."

regarde la trace laissée par le regard du spectateur précédent.

The idea is that it's an image wholly constructed

C'est une image construite entièrement

from its own history of being viewed

par tous les précédents regards

by different people in an installation.

de différentes personnes dans une installation.

So let me just switch over so we can do the live demo.

Permettez-moi de faire une petite manipulation pour voir la démonstration.

So let's run this and see if it works.

Voyons si ça marche.

Okay. Ah, there is lots of nice bright video.

Ok. Ah, quelle jolie vidéo...

There is just a little test screen that shows that it's working.

C'est juste un petit test pour voir si ça fonctionne.

And what I'm just going to do is -- I'm going to hide that.

Et je vais juste cacher ça

And you can see here that what it's doing

pour que vous puissiez voir ce qui se passe :

is it's recording my eyes every time I blink.

le programme m'enregistre à chaque fois que je cligne des yeux.

Hello? And I can ... hello ... okay.

Coucou ? Et je peux... coucou... Ok.

And no matter where I am, what's really going on here

Quel que soit l'endroit où je me trouve, le système

is that it's an eye-tracking system that tries to locate my eyes.

essaye de localiser mes yeux.

And if I get really far away I'm blurry.

Si je m'éloigne, je deviens flou.

You know, you're going to have these kind of blurry spots like this

Vous allez obtenir ces taches floues comme celle-ci

that maybe only resemble eyes in a very very abstract way.

qui ne ressemblent à des yeux que d'un point de vue très, très abstrait.

But if I come up really close and stare directly at the camera

Mais si je me rapproche et que je fixe directement la caméra

on this laptop then you'll see these nice crisp eyes.

sur ce portable, alors vous obtenez ces petits yeux craquants.

You can think of it as a way of, sort of, typing, with your eyes.

Vous pouvez considérer ça comme un moyen de taper au clavier avec vos yeux.

And what you're typing are recordings of your eyes

Ce que vous tapez sont les enregistrements de vos yeux

as you're looking at other peoples' eyes.

tandis que vous fixez les yeux d'autres personnes.

So each person is looking at the looking

Donc chaque personne regarde le regard

of everyone else before them.

de tous ceux qui ont regardé avant elle.

And this exists in larger installations

On a reproduit ce schéma dans des installations plus grandes

where there are thousands and thousands of eyes

où il y a des milliers et des milliers d'yeux

that people could be staring at,

que les gens peuvent fixer,

as you see who's looking at the people looking

et vous pouvez voir qui regarde les gens regardant

at the people looking before them.

les gens qui ont regardé avant eux.

So I'll just add a couple more. Blink. Blink.

Je vais juste en rajouter deux ou trois. Clic. Clic.

And you can see, just once again, how it's sort of finding my eyes

Vous pouvez voir, une fois de plus, que l'ordinateur trouve mes yeux

and doing its best to estimate when it's blinking.

et fait de son mieux pour prévoir quand je vais ciller.

Alright. Let's leave that.

Très bien. Arrêtons là.

So that's this kind of recursive observation system.

Voilà un genre de système d'observation répétée indéfiniment.

(Applause)

(Applaudissements)

Thank you.

Merci.

The last couple pieces I'm going to show

Les œuvres que je vais vous montrer pour finir

are basically in the new realm of robotics -- for me, new for me.

viennent du monde nouveau de la robotique, ou nouveau pour moi du moins.

It's called Opto-Isolator.

Ça appelle l'Opto-Isolator.

And I'm going to show a video of the older version of it,

Voilà une vidéo d'une plus ancienne version,

which is just a minute long. Okay.

qui ne dure qu'une minute. Ok.

In this case, the Opto-Isolator is blinking

Dans ce cas-là, l'Opto-Isolator cligne

in response to one's own blinks.

en réponse à quelqu'un qui cligne des yeux.

So it blinks one second after you do.

Donc il cille une seconde après vous.

This is a device which is intended to reduce

Le but de ce dispositif est de réduire

the phenomenon of gaze down to the simplest possible materials.

le phénomène du regard au matériau le plus simple possible.

Just one eye,

Un seul œil,

looking at you, and eliminating everything else about a face,

qui vous regarde, en éliminant tout ce qui est visage.

but just to consider gaze in an isolated way

De façon à considérer le regard de façon isolée,

as a kind of, as an element.

comme une sorte d'élément.

And at the same time, it attempts to engage in what you might call

Et en même temps, il vous engage dans

familiar psycho-social gaze behaviors.

des comportements psycho-sociaux familiers.

Like looking away if you look at it too long

Par exemple détourner son regard si on regarde trop longtemps

because it gets shy,

parce qu'on devient timide.

or things like that.

Ou des trucs comme ça.

Okay. So the last project I'm going to show

Ok. Le dernier projet que je vais vous montrer

is this new one called Snout.

est nouveau et s'appelle Snout.

(Laughter)

(Rires)

It's an eight-foot snout,

C'est un tuyau de deux mètres quarante,

with a googly eye.

avec un œil en plastique.

(Laughter)

(Rires)

And inside it's got an 800-pound robot arm

A l'intérieur, il y a un bras mécanique de 360 kilos

that I borrowed,

que j'ai emprunté,

(Laughter)

(Rires)

from a friend.

à un ami.

(Laughter)

(Rires)

It helps to have good friends.

Ça peut aider d'avoir de bons amis.

I'm at Carnegie Mellon; we've got a great Robotics Institute there.

Je travaille à Carnegie Mellon. Il y a un super institut de robotique là-bas.

I'd like to show you thing called Snout, which is --

J'aimerai vous montrer Snout, qui est...

The idea behind this project is to

L'idée derrière ce projet est de

make a robot that appears as if it's continually surprised to see you.

fabriquer un robot qui a l'air toujours surpris de vous voir.

(Laughter)

(Rires)

The idea is that basically --

L'idée est qu'en fait...

if it's constantly like "Huh? ... Huh?"

il soit toujours en train de faire "Oh ?... Oh ?"

That's why its other name is Doubletaker, Taker of Doubles.

C'est pourquoi son autre nom est Je-vois-double, puisqu'il y regarde à deux fois.

It's always kind of doing a double take: "What?"

Il est toujours en train de s'y reprendre à deux fois : "Qu'est-ce qu'il y a ?"

And the idea is basically, can it look at you

L'idée c'est qu'il vous regarde

and make you feel as if like,

et que vous ressentiez le besoin de vous dire,

"What? Is it my shoes?"

"Qu'est-ce qu'il y a ? Ce sont mes chaussures ?

"Got something on my hair?" Here we go. Alright.

J'ai un truc dans les cheveux ?" Nous y voilà. Très bien.

Checking him out ...

Il le regarde de haut en bas.

For you nerds, here's a little behind-the-scenes.

Pour les geeks, voici un petit aperçu des coulisses.

It's got a computer vision system,

Il y a un système de vision informatique.

and it tries to look at the people who are moving around the most.

Il regarde les gens qui bougent le plus.

Those are its targets.

Ce sont ses cibles.

Up there is the skeleton,

Ici, c'est le squelette.

which is actually what it's trying to do.

Et le but en fait

It's really about trying to create a novel body language for a new creature.

c'est vraiment de créer un langage du corps novateur pour une nouvelle créature.

Hollywood does this all the time, of course.

Hollywood fait ça tout le temps, bien sûr.

But also have the body language communicate something

Le but est aussi que le langage corporel communique quelque chose

to the person who is looking at it.

à la personne qui le regarde.

This language is communicating that it is surprised to see you,

Le message qu'il transmet est qu'il est surpris de vous voir,

and it's interested in looking at you.

et qu'il s'intéresse à vous.

(Laughter)

(Rires)

(Applause)

(Applaudissements)

Thank you very much. That's all I've got for today.

Merci beaucoup. Ce sera tout pour moi aujourd'hui.

And I'm really happy to be here. Thank you so much.

Et je suis très content d'être ici. Merci beaucoup.

(Applause)

(Applaudissements)