Golan Levin makes art that looks back at you

Traduttore: Paola Lucciola Revisore: Giacomo Boschi

Hello! My name is Golan Levin.

Ciao! Mi chiamo Golan Levin.

I'm an artist and an engineer,

Sono un artista ed un ingegnere

which is, increasingly, a more common kind of hybrid.

che è una forma di ibrido sempre più diffusa.

But I still fall into this weird crack

Ma rientro ancora in questa strana categoria

where people don't seem to understand me.

che le persone non sembrano riuscire a comprendere.

And I was looking around and I found this wonderful picture.

E mi stavo guardando intorno e ho trovato questa fantastica fotografia.

It's a letter from "Artforum" in 1967

È una lettera dell' "Artforum" del 1967

saying "We can't imagine ever doing a special issue

che dice "Non possiamo assolutamente immaginare di fare un'edizione speciale

on electronics or computers in art." And they still haven't.

sull'elettronica o i computer nell'arte." E ancora non l'hanno fatta.

And lest you think that you all, as the digerati, are more enlightened,

E siccome uno pensa che voi gente, in quanto digerati, siate più illuminati,

I went to the Apple iPhone app store the other day.

l'altro giorno sono andato nell'application store dell'iPhone della Apple.

Where's art? I got productivity. I got sports.

Dov'è la voce arte? Ho trovato produttività. Ho trovato sport.

And somehow the idea that one would want to make art for the iPhone,

E in qualche modo l'idea che uno possa voler fare arte per l'iPhone,

which my friends and I are doing now,

come io e i miei amici stiamo facendo,

is still not reflected in our understanding

non è ancora contemplata nel nostro modo di concepire

of what computers are for.

l'utilizzo dei computer.

So, from both directions, there is kind of, I think, a lack of understanding

Così, da entrambe le direzioni, c'è una certa, io credo, mancanza di comprensione

about what it could mean to be an artist who uses the materials

su cosa possa significare essere un artista che usa materiali

of his own day, or her own day,

di tutti i giorni.

which I think artists are obliged to do,

Ciò che io credo gli artisti siano obbligati a fare

is to really explore the expressive potential of the new tools that we have.

è esplorare realmente il potenziale espressivo dei nuovi strumenti che abbiamo.

In my own case, I'm an artist,

Nel mio caso specifico, sono un artista

and I'm really interested in

e sono veramente interessato a

expanding the vocabulary of human action,

espandere il vocabolario dell'azione umana

and basically empowering people through interactivity.

e fondamentalmente dare potere alle persone attraverso l'interattività.

I want people to discover themselves as actors,

Voglio che le persone si scoprano attori,

as creative actors, by having interactive experiences.

nel senso di attori creativi, attraverso queste esperienze interattive.

A lot of my work is about trying to get away from this.

Gran parte del mio lavoro consiste nel tentare di liberarmi di questo.

This a photograph of the desktop of a student of mine.

Questa è la fotografia della scrivania di un mio studente.

And when I say desktop, I don't just mean

E quando dico scrivania non in intendo solo

the actual desk where his mouse has worn away the surface of the desk.

il piano effettivo su cui il mouse ha consumato la superficie.

If you look carefully, you can even see

Se guardate attentamente potete vedere anche

a hint of the Apple menu, up here in the upper left,

un accenno del menu Apple, qui in alto a sinistra,

where the virtual world has literally

dove il mondo virtuale ha letteralmente

punched through to the physical.

perforato quello fisico.

So this is, as Joy Mountford once said,

Questo è, come disse una volta Joy Mountford,

"The mouse is probably the narrowest straw

"Il mouse è probabilmente la cannuccia più stretta

you could try to suck all of human expression through."

da cui si possa provare a succhiare le espressioni umane"

(Laughter)

(Risate)

And the thing I'm really trying to do is enabling people to have more rich

E ciò che sto realmente tentando di fare è fare in modo che le persone abbiano

kinds of interactive experiences.

delle esperienze interattive più ricche.

How can we get away from the mouse and use our full bodies

Come possiamo liberarci del mouse e usare tutto il nostro corpo

as a way of exploring aesthetic experiences,

come mezzo per esplorare esperienze estetiche,

not necessarily utilitarian ones.

non necessariamente quelle utilitarie?

So I write software. And that's how I do it.

Io scrivo dei software. È così che lo faccio.

And a lot of my experiences

E molte delle mie esperienze

resemble mirrors in some way.

assomigliano a degli specchi in qualche modo.

Because this is, in some sense, the first way,

Perché questo è, in qualche maniera, il primo modo

that people discover their own potential as actors,

in cui le persone scoprono il proprio potenziale

and discover their own agency.

come attori e la propria energia.

By saying "Who is that person in the mirror? Oh it's actually me."

Chiedendosi "Chi è quella persona nello specchio? Oh sono io."

And so, to give an example,

Quindi, per darvi un esempio,

this is a project from last year,

questo è un progetto dello scorso anno.

which is called the Interstitial Fragment Processor.

Chiamato Interstitial Fragment Processor.

And it allows people to explore the negative shapes that they create

E permette alle persone di esplorare le forme negative che creano

when they're just going about their everyday business.

mentre svolgono le loro faccende quotidiane.

So as people make shapes with their hands or their heads

Perciò quando le persone creano delle forme con le mani o la testa

and so forth, or with each other,

eccetera, o le una con le altre,

these shapes literally produce sounds and drop out of thin air --

queste forme producono letteralmente dei suoni e vengono fuori dal nulla.

basically taking what's often this, kind of, unseen space,

Fondamentalmente prendendo ciò che spesso è una specie di spazio invisibile

or this undetected space, and making it something real,

o che passa inosservato, e rendendolo qualcosa di reale,

that people then can appreciate and become creative with.

che le persone possono apprezzare e usare in modo creativo.

So again, people discover their creative agency in this way.

Quindi di nuovo, le persone in questo modo scoprono il loro lato creativo.

And their own personalities come out

E la loro personalità viene fuori

in totally unique ways.

in modi totalmente unici.

So in addition to using full-body input,

Poi oltre all'uso dell'intero corpo come input,

something that I've explored now, for a while,

qualcosa che ho esplorato già da un po'

has been the use of the voice,

è stato l'uso della voce.

which is an immensely expressive system for us, vocalizing.

Che è un sistema immensamente espressivo per noi, la vocalizzazione.

Song is one of our oldest ways

Cantare è uno dei modi più antichi che abbiamo

of making ourselves heard and understood.

per farci sentire e capire.

And I came across this fantastic research by Wolfgang Köhler,

E mi sono imbattuto in questa fantastica ricerca di Wolfgang Köhler,

the so-called father of gestalt psychology, from 1927,

il cosiddetto padre della psicologia della Gestalt, del 1927,

who submitted to an audience like yourselves

che ha mostrato ad un pubblico come voi

the following two shapes.

queste due forme.

And he said one of them is called Maluma.

E ha detto loro che una si chiamava Maluma

And one of them is called Taketa. Which is which?

e un'altra si chiamava Taketa. Qual è quale?

Anyone want to hazard a guess?

Qualcuno vuole provare ad indovinare?

Maluma is on top. Yeah. So.

Maluma è quella di sopra. Sì. Quindi

As he says here, most people answer without any hesitation.

come lui afferma qui, la maggior parte delle persone risponde senza esitazioni.

So what we're really seeing here is a phenomenon

Quindi ciò che stiamo vedendo davvero qui è un fenomeno

called phonaesthesia,

chiamato fonestesia,

which is a kind of synesthesia that all of you have.

che è un tipo di sinestesia che ognuno di voi possiede.

And so, whereas Dr. Oliver Sacks has talked about

E quindi, mentre il Dr. Oliver Sacks ha spiegato

how perhaps one person in a million

come forse una persona su un milione

actually has true synesthesia,

ha in effetti una vera sinestesia,

where they hear colors or taste shapes, and things like this,

nel caso in cui sentano dei colori o assaporino delle forme, e cose del genere,

phonaesthesia is something we can all experience to some extent.

la fonestesia è qualcosa che tutti possiamo sperimentare ad un certo livello.

It's about mappings between different perceptual domains,

Si tratta di mappature tra diversi dominii percettivi,

like hardness, sharpness, brightness and darkness,

come durezza, affilatura, luminosità e oscurità,

and the phonemes that we're able to speak with.

e i fonemi con cui siamo capaci di parlare.

So 70 years on, there's been some research where

Quindi negli ultimi 70 anni ci sono state ricerche in cui

cognitive psychologists have actually sussed out

gli psicologi cognitivi hanno in effetti intuito

the extent to which, you know,

fino a che punto, ad esempio,

L, M and B are more associated with shapes that look like this,

la L, la M e la B sono associate maggiormente con forme come queste,

and P, T and K are perhaps more associated with shapes like this.

e la P, la T e la K sono generalmente più associate a forme come queste.

And here we suddenly begin to have a mapping between curvature

E a questo punto iniziamo ad avere una mappatura tra curvature

that we can exploit numerically,

che possiamo sfruttare numericamente,

a relative mapping between curvature and shape.

una mappatura relativa tra curvatura e discorso.

So it occurred to me, what happens if we could run these backwards?

Perciò mi sono chiesto, che succederebbe se potessimo scorrerle all'indietro?

And thus was born the project called Remark,

E di conseguenza è nato il progetto chiamato Remark

which is a collaboration with Zachary Lieberman

che è una collaborazione con Zachary Lieberman

and the Ars Electronica Futurelab.

e l'Ars Electronica Futurelab.

And this is an interactive installation which presents

E questa è un'installazione interattiva che presenta

the fiction that speech casts visible shadows.

la finzione di un discorso che proietta ombre visibili.

So the idea is you step into a kind of a magic light.

Quindi l'idea è che tu entri in una specie di luce magica.

And as you do, you see the shadows of your own speech.

E quando lo fai vedi le ombre del tuo stesso discorso.

And they sort of fly away, out of your head.

Ed è come se volassero via, fuori dalla tua testa.

If a computer speech recognition system

Se il sistema di riconoscimento vocale del computer

is able to recognize what you're saying, then it spells it out.

è capace di capire quello che dici, allora lo scandisce.

And if it isn't then it produces a shape which is very phonaesthetically

E se non lo è allora produce una forma molto fonesteticamente

tightly coupled to the sounds you made.

vicina al suono che hai prodotto.

So let's bring up a video of that.

Mostriamone un video.

(Applause)

(Applausi)

Thanks. So. And this project here,

Grazie. E su questo progetto qui,

I was working with the great abstract vocalist, Jaap Blonk.

stavo lavorando con il grande vocalist astratto, Jaap Blonk.

And he is a world expert in performing "The Ursonate,"

E lui è un esperto mondiale nell'eseguire la "Ursonate",

which is a half-an-hour nonsense poem

che è una poesia di mezz'ora senza senso

by Kurt Schwitters, written in the 1920s,

di Kurt Schwitters, scritta negli anni 20.

which is half an hour of very highly patterned nonsense.

È una mezzora di non senso molto fantasioso.

And it's almost impossible to perform.

Ed è quasi impossibile da eseguire.

But Jaap is one of the world experts in performing it.

Ma Jaap è uno dei più grandi esperti del mondo di questa recitazione.

And in this project we've developed

Ed in questo progetto abbiamo sviluppato

a form of intelligent real-time subtitles.

una forma di sottotoli intelligenti in tempo reale.

So these are our live subtitles,

Questi sono quindi i nostri sottotitoli in diretta

that are being produced by a computer that knows the text of "The Ursonate" --

prodotti da un computer che conosce il testo della "Ursonate",

fortunately Jaap does too, very well --

fortunatamente anche Jaap lo conosce bene.

and it is delivering that text at the same time as Jaap is.

E il computer riproduce il testo esattamente mentre Jaap lo recita.

So all the text you're going to see

Per cui tutto il testo che state per vedere

is real-time generated by the computer,

è generato in tempo reale dal computer

visualizing what he's doing with his voice.

che visualizza ciò che lui fa con la voce.

Here you can see the set-up where there is a screen with the subtitles behind him.

Qui potete vedere l'allestimento in cui c'è uno schermo con i sottotitoli dietro di lui.

Okay. So ...

Ok. Quindi...

(Applause)

(Applausi)

The full videos are online if you are interested.

I video interi sono online se siete interessati.

I got a split reaction to that during the live performance,

Ho avuto diverse reazioni durante l'esecuzione live.

because there is some people who understand

Perché c'è gente che si rende conto

live subtitles are a kind of an oxymoron,

che i sottotitoli in diretta sono una specie di ossimoro

because usually there is someone making them afterwards.

dal momento che normalmente c'è qualcuno che li produce successivamente.

And then a bunch of people who were like, "What's the big deal?

E poi c'è stato un gruppo di persone che hanno reagito tipo "Cosa c'è di tanto speciale?

I see subtitles all the time on television."

Vedo sempre i sottotitoli in televisione."

You know? They don't imagine the person in the booth, typing it all.

Capite? Non si immaginano la persona nella cabina che li batte al computer.

So in addition to the full body, and in addition to the voice,

Quindi oltre al corpo, e oltre alla voce,

another thing that I've been really interested in,

un'altra cosa alla quale mi sono molto interessato

most recently, is the use of the eyes,

recentemente è l'uso degli occhi,

or the gaze, in terms of how people relate to each other.

o dello sguardo, in termini di come le persone si relazionano le une alle altre.

It's a really profound amount of nonverbal information

C'è una grossa quantità di informazioni non verbali

that's communicated with the eyes.

che viene comunicata con gli occhi.

And it's one of the most interesting technical challenges

Ed è una delle sfide tecniche più interessanti

that's very currently active in the computer sciences:

tra quelle presenti al momento nella disciplina informatica,

being able to have a camera that can understand,

potere avere una telecamera capace di capire,

from a fairly big distance away,

da una distanza abbastanza grande,

how these little tiny balls are actually pointing in one way or another

come queste piccole palline stiano in effetti guardando da una parte piuttosto che un'altra,

to reveal what you're interested in,

per rivelare ciò a cui siete veramente interessati,

and where your attention is directed.

e a cosa la vostra attenzione sia diretta.

So there is a lot of emotional communication that happens there.

C'è quindi una forte componente di comunicazione emozionale qui.

And so I've been beginning, with a variety of different projects,

Ed ho quindi iniziato, con una serie di diversi progetti,

to understand how people can relate to machines with their eyes.

a capire come le persone si possano relazionare alle macchine attraverso gli occhi.

And basically to ask the questions:

E fondamentalmente a domandarmi,

What if art was aware that we were looking at it?

Cosa succederebbe se l'arte fosse cosciente che la stiamo guardando?

How could it respond, in a way,

Come potrebbe rispondere, in qualche modo,

to acknowledge or subvert the fact that we're looking at it?

per far capire o sabotare il fatto che la stiamo guardando?

And what could it do if it could look back at us?

E cosa potrebbe fare se potesse guardarci a sua volta?

And so those are the questions that are happening in the next projects.

Queste sono quindi le domande che mi sono posto nei progetti successivi.

In the first one which I'm going to show you, called Eyecode,

Nel primo, che sto per mostrarvi, chiamato Eyecode,

it's a piece of interactive software

abbiamo un pezzo di software interattivo

in which, if we read this little circle,

nel quale, se leggiamo questo piccolo cerchio,

"the trace left by the looking of the previous observer

"la traccia lasciata dallo sguardo dell'osservatore precedente

looks at the trace left by the looking of previous observer."

guarda alla traccia lasciata dallo sguardo dell'osservatore precedente."

The idea is that it's an image wholly constructed

L'idea è che si tratti di un'immagine costruita completamente

from its own history of being viewed

dalla sua stessa esperienza cronologica dell'essere osservata

by different people in an installation.

da diverse persone durante un'installazione.

So let me just switch over so we can do the live demo.

Allora passiamo alla dimostrazione del vivo.

So let's run this and see if it works.

Facciamo partire questo e vediamo se funziona.

Okay. Ah, there is lots of nice bright video.

Ok. Ah, ci sono un sacco di begli schermi luminosi.

There is just a little test screen that shows that it's working.

C'è prima un piccolo test screen che mostra che funziona.

And what I'm just going to do is -- I'm going to hide that.

Adesso lo nascondo

And you can see here that what it's doing

così potete vedere che ciò che fa

is it's recording my eyes every time I blink.

è registrare i miei occhi ogni volta che sbatto le palpebre.

Hello? And I can ... hello ... okay.

Ciao? E posso... ciao... ok.

And no matter where I am, what's really going on here

E a prescindere da dove sono, ciò che abbiamo qui

is that it's an eye-tracking system that tries to locate my eyes.

è un sistema di tracciamento degli occhi che cerca di trovare i miei occhi.

And if I get really far away I'm blurry.

E se mi allontano molto sono sfocato.

You know, you're going to have these kind of blurry spots like this

Vedete, abbiano questi puntini sfocati tipo questi

that maybe only resemble eyes in a very very abstract way.

che magari assomigliano agli occhi solo in modo molto astratto.

But if I come up really close and stare directly at the camera

Ma se mi avvicino molto e guardo diritto nella camera

on this laptop then you'll see these nice crisp eyes.

di questo computer allora vedrete questi begl'occhi nitidi.

You can think of it as a way of, sort of, typing, with your eyes.

Potete pensarlo come una sorta di modo di battere a macchina con i vostri occhi.

And what you're typing are recordings of your eyes

E ciò che battete sono registrazioni dei vostri occhi

as you're looking at other peoples' eyes.

come se steste guardando gli occhi di altre persone.

So each person is looking at the looking

Perciò ogni persona guarda gli sguardi

of everyone else before them.

di tutti quelli venuti prima di loro.

And this exists in larger installations

E ciò è possibile anche in installazioni più grandi

where there are thousands and thousands of eyes

in cui ci sono migliaia e migliaia di occhi

that people could be staring at,

che le persone possono guardare,

as you see who's looking at the people looking

in modo che uno veda chi guarda le persone che guardano

at the people looking before them.

le persone che hanno guardato prima di loro.

So I'll just add a couple more. Blink. Blink.

Aggiungo solo un paio di occhiate in più.

And you can see, just once again, how it's sort of finding my eyes

E potete vedere come, ancora una volta, cerca in qualche modo di trovare i miei occhi

and doing its best to estimate when it's blinking.

e prevedere come meglio può quando sbatterò le palpebre.

Alright. Let's leave that.

Bene. Togliamo questo.

So that's this kind of recursive observation system.

Perciò questo è questa specie di sistema di osservazione ricorsivo.

(Applause)

(Applausi)

Thank you.

Grazie.

The last couple pieces I'm going to show

L'ultimo paio di pezzi che sto per mostrarvi

are basically in the new realm of robotics -- for me, new for me.

fanno parte fondamentalmente nel nuovo regno della robotica, nuovo per me.

It's called Opto-Isolator.

è chiamato Opto-Isolator.

And I'm going to show a video of the older version of it,

Sto per mostrarvi un video della vecchia versione.

which is just a minute long. Okay.

Che dura solo un minuto. Ok.

In this case, the Opto-Isolator is blinking

In questo caso, l'Opto-Isolator sbatte la palpebra

in response to one's own blinks.

in risposta al battito di palpebra di qualcun'altro.

So it blinks one second after you do.

Per cui sbatte la palpebra un secondo dopo di voi.

This is a device which is intended to reduce

Questo è un dispositivo che serve a ridurre

the phenomenon of gaze down to the simplest possible materials.

il fenomeno del fissare fino ai materiali più semplici possibili.

Just one eye,

Un solo occhio,

looking at you, and eliminating everything else about a face,

che ti guarda, eliminando qualsiasi altra cosa faccia parte della faccia.

but just to consider gaze in an isolated way

Per considerare lo sguardo in modo isolato

as a kind of, as an element.

come una specie di elemento a sé stante.

And at the same time, it attempts to engage in what you might call

E allo stesso tempo, cerca di impegnarsi in ciò che potreste chiamare

familiar psycho-social gaze behaviors.

comuni comportamenti psico-sociali di sguardi.

Like looking away if you look at it too long

Tipo distogliere lo sguardo se lo fissi troppo a lungo

because it gets shy,

perché diventa timido.

or things like that.

O cose del genere.

Okay. So the last project I'm going to show

Ok. Allora l'ultimo progetto che vado a mostrarvi

is this new one called Snout.

è questo nuovo chiamato Snout.

(Laughter)

(Risate)

It's an eight-foot snout,

Si tratta di un muso alto otto piedi,

with a googly eye.

con un occhio mobile.

(Laughter)

(Risate)

And inside it's got an 800-pound robot arm

E all'interno ha un braccio robotico di 800 libbre

that I borrowed,

che ho preso in prestito

(Laughter)

(Risate)

from a friend.

da un amico.

(Laughter)

(Risate)

It helps to have good friends.

È utile avere buoni amici.

I'm at Carnegie Mellon; we've got a great Robotics Institute there.

Sono al Carnegie Mellon. Abbiamo un fantastico Istituto di Robotica lì.

I'd like to show you thing called Snout, which is --

Vorrei mostrarvi questa cosa chiamata Snout che è...

The idea behind this project is to

L'idea alla base di questo progetto è di

make a robot that appears as if it's continually surprised to see you.

costruire un robot che sembri continuamente sorpreso di vederti.

(Laughter)

(Risate)

The idea is that basically --

L'idea è fondamentalmente che...

if it's constantly like "Huh? ... Huh?"

se fa costantemente tipo "Huh?... Huh?"

That's why its other name is Doubletaker, Taker of Doubles.

È per questo che il suo secondo nome è Doubletaker, colui che prende due volte.

It's always kind of doing a double take: "What?"

È sempre come se facesse un doppio: "Che?"

And the idea is basically, can it look at you

L'idea è praticamente che ti guardi

and make you feel as if like,

e ti faccia sentire tipo,

"What? Is it my shoes?"

"Cos'ho che non va? Sono le mie scarpe?"

"Got something on my hair?" Here we go. Alright.

"Ho qualcosa tra i capelli?" Eccoci. Bene.

Checking him out ...

Lo osserva...

For you nerds, here's a little behind-the-scenes.

Per voi capoccioni, ecco un piccolo dietro le quinte.

It's got a computer vision system,

Ha un sistema visivo computerizzato

and it tries to look at the people who are moving around the most.

e cerca di guardare le persone che si muovono di più.

Those are its targets.

Questi sono i suoi target.

Up there is the skeleton,

Quassù c'è lo scheletro,

which is actually what it's trying to do.

che è quello che in effetti sta cercando di fare.

It's really about trying to create a novel body language for a new creature.

Si tratta davvero di creare un linguaggio del corpo nuovo per una creatura nuova.

Hollywood does this all the time, of course.

Hollywood lo fa tutto il tempo naturalmente.

But also have the body language communicate something

Ma anche di usare il linguaggio del corpo per comunicare qualcosa

to the person who is looking at it.

alla persona che lo sta guardando.

This language is communicating that it is surprised to see you,

Questo linguaggio sta comunicando che è sorpreso di vedervi,

and it's interested in looking at you.

e gli interessa guardarvi.

(Laughter)

(Risate)

(Applause)

(Applausi)

Thank you very much. That's all I've got for today.

Grazie mille. Questo è tutto per oggi.

And I'm really happy to be here. Thank you so much.

E sono molto felice di essere qui. Grazie mille.

(Applause)

(Applausi)