Golan Levin makes art that looks back at you

Голан Левин создает искусство, которое смотрит на вас

Переводчик: Irina Makarova Редактор: Maxim Pshater

Hello! My name is Golan Levin.

Привет! Я Голан Левин.

I'm an artist and an engineer,

Я художник и инженер.

which is, increasingly, a more common kind of hybrid.

Что, все более становится обычным видом гибрида.

But I still fall into this weird crack

Но я всё ещё попадаю в эту параллельную реальность,

where people don't seem to understand me.

где люди, кажется, не понимают меня.

And I was looking around and I found this wonderful picture.

Я поискал и обнаружил вот эту замечательную фотографию.

It's a letter from "Artforum" in 1967

Это документ с "Форума искусства" 1967 года,

saying "We can't imagine ever doing a special issue

в котором сказано, что "Мы даже представить себе не можем, что когда-нибудь выпустим специальное издание

on electronics or computers in art." And they still haven't.

по электронике или компьютерам в искусстве." И они до сих пор не выпустили.

And lest you think that you all, as the digerati, are more enlightened,

И только не думайте, что, будучи компьютерными экспертами, вы более просвещены.

I went to the Apple iPhone app store the other day.

Я тут на днях в магазин Apple iPhone зашёл.

Where's art? I got productivity. I got sports.

Где же здесь искусство? Так, вот производительность. Вот спорт.

And somehow the idea that one would want to make art for the iPhone,

И как-то идея, что кто-то захотел бы создать программу для искусства для iPhone,

which my friends and I are doing now,

чем я с друзьями сейчас занимаюсь,

is still not reflected in our understanding

не укладывается в нашем понимании

of what computers are for.

того, для чего нужны компьютеры.

So, from both directions, there is kind of, I think, a lack of understanding

Таким образом, обе стороны, я полагаю, не до конца понимают,

about what it could mean to be an artist who uses the materials

что значит быть художником, который использует материалы

of his own day, or her own day,

из его или ее настоящего.

which I think artists are obliged to do,

Что, как я думаю, художники просто обязаны делать,

is to really explore the expressive potential of the new tools that we have.

так это исследовать выразительный потенциал новых инструментов, которые есть в нашем распоряжении.

In my own case, I'm an artist,

В моем случае, я художник,

and I'm really interested in

и я в самом деле заинтересован

expanding the vocabulary of human action,

в расширении лексики человеческих действий

and basically empowering people through interactivity.

и в предоставлении людям больших возможностей посредством интерактивности.

I want people to discover themselves as actors,

Я хочу, чтобы люди раскрывали себя как актёры,

as creative actors, by having interactive experiences.

как созидательные актёры, переживая интерактивный опыт.

A lot of my work is about trying to get away from this.

Большая часть моей работы связана с тем, чтобы избавиться вот от этого.

This a photograph of the desktop of a student of mine.

Это фотография рабочего стола моего студента.

And when I say desktop, I don't just mean

Говоря "рабочий стол", я подразумеваю не

the actual desk where his mouse has worn away the surface of the desk.

обычный стол, поверхность которого истёрта его "мышкой".

If you look carefully, you can even see

Если вы приглядитесь внимательнее, вы даже можете увидеть

a hint of the Apple menu, up here in the upper left,

намёк на меню Apple, вот здесь вверху, в левом верхнем углу,

where the virtual world has literally

где виртуальный мир в прямом смысле

punched through to the physical.

проник в физический.

So this is, as Joy Mountford once said,

Как сказал Джой Маунтфорд,

"The mouse is probably the narrowest straw

"Мышь" - это, вероятно, самая узкая соломинка,

you could try to suck all of human expression through."

через которую вы могли бы попытаться засосать всю экспрессию и эмоции человека."

(Laughter)

(Смех)

And the thing I'm really trying to do is enabling people to have more rich

Я же пытаюсь пытаюсь дать людям возможность иметь более насыщеные

kinds of interactive experiences.

виды интерактивных впечатлений.

How can we get away from the mouse and use our full bodies

Как оторваться от "мышки" и задействовать всё тело

as a way of exploring aesthetic experiences,

для постижения эстетического опыта,

not necessarily utilitarian ones.

не обязательно практического.

So I write software. And that's how I do it.

Итак, я пишу программу. И вот как я это делаю.

And a lot of my experiences

В основном, мои впечатления

resemble mirrors in some way.

чем-то напоминают зеркала.

Because this is, in some sense, the first way,

Так как это, в некотором роде, первый опыт,

that people discover their own potential as actors,

с котором люди открывают в себе потенциал актёров,

and discover their own agency.

и обнаруживают свою силу.

By saying "Who is that person in the mirror? Oh it's actually me."

Спрашивая "Что это за человек в зеркале? Да это же я!"

And so, to give an example,

И так, например,

this is a project from last year,

это проект прошлого года.

which is called the Interstitial Fragment Processor.

который называется "Процессор внутренних форм".

And it allows people to explore the negative shapes that they create

Он позволяет людям изучать негативные формы, которые они создают,

when they're just going about their everyday business.

когда просто заняты своими обычными делами.

So as people make shapes with their hands or their heads

Итак, люди создают эти формы руками, головами

and so forth, or with each other,

и так далее, или друг с другом,

these shapes literally produce sounds and drop out of thin air --

эти формы в буквальном смысле производят звуки и падают из воздуха.

basically taking what's often this, kind of, unseen space,

В общем, это как взять невидимое

or this undetected space, and making it something real,

или неопределенное пространство и сделать его вполне видимым и определенным,

that people then can appreciate and become creative with.

так люди могут воспринимать и созидать.

So again, people discover their creative agency in this way.

То есть, таким образом люди раскрывают свои творческие способности.

And their own personalities come out

И их собственное "Я" проявляется

in totally unique ways.

абсолютно уникальными способами.

So in addition to using full-body input,

Кроме использования тела для ввода информации,

something that I've explored now, for a while,

я исследую также

has been the use of the voice,

использование голоса.

which is an immensely expressive system for us, vocalizing.

Чрезвычайно выразительной системой для нас является пение.

Song is one of our oldest ways

Песня - один из самых древних способов

of making ourselves heard and understood.

добиться того, чтобы тебя услышали и поняли.

And I came across this fantastic research by Wolfgang Köhler,

Мне встретилось фантастическое исследование 1927 г.

the so-called father of gestalt psychology, from 1927,

Вольфанга Кохлера, отца гештальт-психологии,

who submitted to an audience like yourselves

который представил на рассмотрение таким же как вы зрителям

the following two shapes.

следующие две фигуры.

And he said one of them is called Maluma.

И сказал, что одна из них называется Малума,

And one of them is called Taketa. Which is which?

а другая - Такета. Что есть что?

Anyone want to hazard a guess?

У кого-нибудь есть догадки?

Maluma is on top. Yeah. So.

Правильно. Малума наверху.

As he says here, most people answer without any hesitation.

Он говорит, что большинство людей отвечают без колебания.

So what we're really seeing here is a phenomenon

Это феномен называется

called phonaesthesia,

звуковой символизм,

which is a kind of synesthesia that all of you have.

что является видом синестезии, которая есть у всех вас.

And so, whereas Dr. Oliver Sacks has talked about

Итак, как сказал профессор Оливер Сакс,

how perhaps one person in a million

возможно, у одного человека на миллион

actually has true synesthesia,

имеется настоящая синестезия,

where they hear colors or taste shapes, and things like this,

когда он слышит цвета или чувствует формы и тому подобное.

phonaesthesia is something we can all experience to some extent.

Звуковой символизм - это то, что все мы способны испытывать в какой-то мере.

It's about mappings between different perceptual domains,

Это как бы построение соответствий между различными воспринимаемыми областями

like hardness, sharpness, brightness and darkness,

такими, как твердость, острота, яркость и темнота,

and the phonemes that we're able to speak with.

и фонемами, которые мы используем в речи.

So 70 years on, there's been some research where

Около 70 лет когнитивные психологи

cognitive psychologists have actually sussed out

проводили исследования, в результате которых обнаружили,

the extent to which, you know,

в какой степени,

L, M and B are more associated with shapes that look like this,

звуки Л, М и Б больше ассоциируются с такими фигурами,

and P, T and K are perhaps more associated with shapes like this.

а звуки П, Т и К, вероятно, больше ассоциируются с этими фигурами.

And here we suddenly begin to have a mapping between curvature

Так, мы внезапно обнаруживаем соответствие между кривизной,

that we can exploit numerically,

которую мы можем выразить численно,

a relative mapping between curvature and shape.

относительное соответствие между кривизной и формой.

So it occurred to me, what happens if we could run these backwards?

И я подумал: "А что, если мы смогли бы сделать всё наоборот?"

And thus was born the project called Remark,

Так был рождён проект "Ремарк",

which is a collaboration with Zachary Lieberman

в сотрудничестве с Захарием Лиеберманом

and the Ars Electronica Futurelab.

и "Ars Electronica Futurelab"

And this is an interactive installation which presents

Этa интерактивная установка создаёт

the fiction that speech casts visible shadows.

ощущение, будто речь производит видимые тени.

So the idea is you step into a kind of a magic light.

Итак, идея состоит в том, что вы становитесь в "волшебный свет".

And as you do, you see the shadows of your own speech.

И пока говорите, вы можете видеть тени собственной речи.

And they sort of fly away, out of your head.

Они как бы вылетают из вашей головы.

If a computer speech recognition system

Если компьютерная система распознования речи

is able to recognize what you're saying, then it spells it out.

узнает, что вы произносите, она выдаёт звуки на экране.

And if it isn't then it produces a shape which is very phonaesthetically

Если же нет, то она производит форму, которая, с точки зрения звукового символизма,

tightly coupled to the sounds you made.

точно ассоциируется с воспроизводимыми вами звуками.

So let's bring up a video of that.

Давайте посмотрим видеосюжет.

(Applause)

(Апплодисменты)

Thanks. So. And this project here,

Спасибо. Над следующим проектом

I was working with the great abstract vocalist, Jaap Blonk.

я работал с величайшим абстрактным вокалистом, Яапом Блонком.

And he is a world expert in performing "The Ursonate,"

Он является экспертом мирового масштаба по исполнению "Урсонаты",

which is a half-an-hour nonsense poem

получасовой абракадабры,

by Kurt Schwitters, written in the 1920s,

написанной Куртом Швиттером в 1920е.

which is half an hour of very highly patterned nonsense.

Это действительно полчаса высокообразцовой бессмыслицы.

And it's almost impossible to perform.

И её практически невозможно исполнять.

But Jaap is one of the world experts in performing it.

Однако Яап - один из мировых специалистов по ёё исполнению.

And in this project we've developed

В этом проекте мы разработали

a form of intelligent real-time subtitles.

интеллектуальные субтитры в режиме реального времени.

So these are our live subtitles,

Итак, это реальные субтитры,

that are being produced by a computer that knows the text of "The Ursonate" --

производимые компьютером, который знает текст "Урсонаты".

fortunately Jaap does too, very well --

К счастью, Яап тоже прекрасно его знает.

and it is delivering that text at the same time as Jaap is.

Текст появляется одновременно с тем, как Яап говорит.

So all the text you're going to see

То есть весь текст, который вы увидите,

is real-time generated by the computer,

в реальном времени произодится компьютером,

visualizing what he's doing with his voice.

визуализируя речь Яапа.

Here you can see the set-up where there is a screen with the subtitles behind him.

Здесь вы видите устройство с экраном, на котором появляются субтитры.

Okay. So ...

Итак...

(Applause)

(Апплодисменты)

The full videos are online if you are interested.

Если вам интересно, полное видео доступно в интернете.

I got a split reaction to that during the live performance,

Во время представления я получил неоднозначную реакцию,

because there is some people who understand

так как некоторые люди думают,

live subtitles are a kind of an oxymoron,

что субтитры в режиме реального времени - это нечто странное.

because usually there is someone making them afterwards.

Ведь обычно кто-то делает их после представления.

And then a bunch of people who were like, "What's the big deal?

А другие подумали: "И что здесь такого особенного?

I see subtitles all the time on television."

Я по телевизору постоянно вижу субтитры."

You know? They don't imagine the person in the booth, typing it all.

Знаете, они представить себе не могут, что сидит человек в кабинке и печатает их.

So in addition to the full body, and in addition to the voice,

В дополнение к телу и голосу,

another thing that I've been really interested in,

я заинтересовался

most recently, is the use of the eyes,

использованием глаз,

or the gaze, in terms of how people relate to each other.

или взгляда, с точки зрения того, как люди реагируют друг на друга.

It's a really profound amount of nonverbal information

Огромное количество невербальной информации

that's communicated with the eyes.

передаётся посредством зрительного контакта.

And it's one of the most interesting technical challenges

И это один из самых интересных технических аспектов,

that's very currently active in the computer sciences:

который на данный момент активно развивается в компьютерной науке.

being able to have a camera that can understand,

Так как у меня есть камера, способная понять

from a fairly big distance away,

с достаточно большого расстояния,

how these little tiny balls are actually pointing in one way or another

в какую сторону указывают эти крошечные шарики,

to reveal what you're interested in,

чтобы определить, что тебя интересует

and where your attention is directed.

и на что направлено твоё внимание.

So there is a lot of emotional communication that happens there.

Таким образом, наблюдается эмоциональное общение.

And so I've been beginning, with a variety of different projects,

И, проводя множество различных проектов, я начал понимать,

to understand how people can relate to machines with their eyes.

как люди могут установить контакт с машинами с помощью своих глаз.

And basically to ask the questions:

Задавая вопросы,

What if art was aware that we were looking at it?

а что если бы искусство знало, что мы смотрим на него?

How could it respond, in a way,

Как оно могло бы отреагировать,

to acknowledge or subvert the fact that we're looking at it?

чтобы подтвердить или опровергнуть тот факт, что мы смотрим на него?

And what could it do if it could look back at us?

И как оно могло бы посмотреть на нас в ответ?

And so those are the questions that are happening in the next projects.

Все эти вопросы возникают в следующих проектах.

In the first one which I'm going to show you, called Eyecode,

Первый из них, который я вам покажу, названный "Глазной код", -

it's a piece of interactive software

это интерактивная программа,

in which, if we read this little circle,

где, если мы читаем по маленькому кругу,

"the trace left by the looking of the previous observer

след, оставленный взглядом предыдущего зрителя,

looks at the trace left by the looking of previous observer."

смотрит на след, оставленный взглядом предыдущего зрителя.

The idea is that it's an image wholly constructed

Идея состоит в том, то изображение полностью составляется

from its own history of being viewed

на основе истории его просмотра

by different people in an installation.

на стенде разными людьми.

So let me just switch over so we can do the live demo.

Так, позвольте мне переключиться, для демонстрации эксперимента.

So let's run this and see if it works.

Включаем и смотрим, работает ли это.

Okay. Ah, there is lots of nice bright video.

В порядке. Да, прекрасное яркое изображение.

There is just a little test screen that shows that it's working.

Это небольшой тест, показывающий, что программа работает.

And what I'm just going to do is -- I'm going to hide that.

Теперь я это закрою,

And you can see here that what it's doing

и вы можете видеть, что она

is it's recording my eyes every time I blink.

"записывает" мои глаза всякий раз, как я моргаю.

Hello? And I can ... hello ... okay.

Приве-е-ет. Или так: привет.

And no matter where I am, what's really going on here

И неважно, где я. В любом случае

is that it's an eye-tracking system that tries to locate my eyes.

система отслеживания глаз пытается определить местонахождение моих глаз.

And if I get really far away I'm blurry.

Если же я отойду подальше, то получаюсь расплывчато.

You know, you're going to have these kind of blurry spots like this

Да, у вас будет получаться что-то вроде этих смазанных пятен,

that maybe only resemble eyes in a very very abstract way.

которые лишь отдалённо напоминают глаза.

But if I come up really close and stare directly at the camera

Но если подойти поближе и смотреть прямо в камеру

on this laptop then you'll see these nice crisp eyes.

этого ноутбука, то вы увидите очень чёткое изображение глаз.

You can think of it as a way of, sort of, typing, with your eyes.

Вы можете назвать это, что то типа, отпечатками глаз.

And what you're typing are recordings of your eyes

И вы записываете отпечатки ваши глаза,

as you're looking at other peoples' eyes.

когда смотрите на глаза других людей.

So each person is looking at the looking

То есть каждый смотрит на взгляд

of everyone else before them.

тех, кто смотрел до него.

And this exists in larger installations

Подобное есть на больших стендах,

where there are thousands and thousands of eyes

где есть тысячи и тысячи глаз,

that people could be staring at,

на которые могли бы смотреть люди,

as you see who's looking at the people looking

как вы смотрите на людей, смотрящих

at the people looking before them.

на людей, которые смотрели до них.

So I'll just add a couple more. Blink. Blink.

Просто добавлю ещё парочку морганий.

And you can see, just once again, how it's sort of finding my eyes

И вы можете видеть, еще раз, как программа обнаруживает мои глаза,

and doing its best to estimate when it's blinking.

интенсивно пытаясь определить, когда они моргают.

Alright. Let's leave that.

Так. Перейдём к следующему.

So that's this kind of recursive observation system.

Это вид рекурсивной наблюдательной системы.

(Applause)

(Апплодисменты)

Thank you.

Спасибо.

The last couple pieces I'm going to show

Пара последних вещей, которые я вам покажу,

are basically in the new realm of robotics -- for me, new for me.

относятся к новой сфере робототехники, для меня, новой для меня.

It's called Opto-Isolator.

Это называется Опто-Изолятор.

And I'm going to show a video of the older version of it,

Сейчас продемонстрирую видео более старой версии этого устройства.

which is just a minute long. Okay.

Оно длится всего минуту. Так.

In this case, the Opto-Isolator is blinking

В этом случае Опто-Изолятор моргает

in response to one's own blinks.

в ответ на чьё-то моргание.

So it blinks one second after you do.

То есть он моргает через секунду после того, как моргнули вы.

This is a device which is intended to reduce

Это изобретение призвано свести

the phenomenon of gaze down to the simplest possible materials.

феномен взгляда к простейшим возможным материалам.

Just one eye,

Это всего лишь один глаз,

looking at you, and eliminating everything else about a face,

смотрящий на вас, и никаких других частей лица.

but just to consider gaze in an isolated way

Только представьте себе взгляд сам по себе

as a kind of, as an element.

как отдельный элемент.

And at the same time, it attempts to engage in what you might call

И в тоже время он пытается вступить в то, что вы называете

familiar psycho-social gaze behaviors.

близкий психо-социологический зрительный контакт.

Like looking away if you look at it too long

Например, глядит в сторону, если вы смотрите на него слишком долго,

because it gets shy,

так как стесняется.

or things like that.

Или делает так.

Okay. So the last project I'm going to show

Последний проект, который я вам продемонстрирую,

is this new one called Snout.

совсем новый, называется Хобот.

(Laughter)

(Смех)

It's an eight-foot snout,

Это восьми-футовый хобот

with a googly eye.

с огромным глазом.

(Laughter)

(Смех)

And inside it's got an 800-pound robot arm

Внутри он напичкан электроникой весом в 800 фунтов,

that I borrowed,

которую я позаимствовал

(Laughter)

(Смех)

from a friend.

у друга.

(Laughter)

(Смех)

It helps to have good friends.

Здорово иметь добрых друзей.

I'm at Carnegie Mellon; we've got a great Robotics Institute there.

Это Карнеги Меллон, где расположен замечательный институт робототехники.

I'd like to show you thing called Snout, which is --

И сейчас я вам покажу Хобот.

The idea behind this project is to

Идея данного проекта заключается в том,

make a robot that appears as if it's continually surprised to see you.

чтобы создать робота, который всякий раз удивлён видеть вас.

(Laughter)

(Смех)

The idea is that basically --

В основном, как если бы

if it's constantly like "Huh? ... Huh?"

он постоянно делал "А?.. Что?"

That's why its other name is Doubletaker, Taker of Doubles.

Поэтому мы его ещё называем "Тормоз".

It's always kind of doing a double take: "What?"

У него всегда как бы замедленная реакция типа "Что?"

And the idea is basically, can it look at you

В общем, идея состоит в том, что он смотрит на вас так,

and make you feel as if like,

и вы начинаете чувствовать себя как,

"What? Is it my shoes?"

"В чём дело? Что-то с моей обувью?

"Got something on my hair?" Here we go. Alright.

Что-то в волосах застряло?" Итак, смотрим.

Checking him out ...

Изучает его.

For you nerds, here's a little behind-the-scenes.

Специально для ботаников, это то, что за кулисами.

It's got a computer vision system,

Это компьютерная система наблюдения.

and it tries to look at the people who are moving around the most.

Она определяет людей, которые наиболее подвижны.

Those are its targets.

Эти вот её цели.

Up there is the skeleton,

А это сам каркас.

which is actually what it's trying to do.

Вот что он пытается сделать.

It's really about trying to create a novel body language for a new creature.

Он и в самом деле стремиться сотворить новый язык тела для новых созданий.

Hollywood does this all the time, of course.

Конечно, так всегда делают в Голливуде.

But also have the body language communicate something

Но его язык тела пытается что-то сказать

to the person who is looking at it.

человеку, который смотрит на него.

This language is communicating that it is surprised to see you,

Он пытается сказать, что удивлён видеть тебя

and it's interested in looking at you.

и ему интересно глядеть на тебя.

(Laughter)

(Смех)

(Applause)

(Аплодисменты)

Thank you very much. That's all I've got for today.

Большое спасибо. Это всё на сегодня.

And I'm really happy to be here. Thank you so much.

Я очень счастлив быть здесь. Огромное спасибо.

(Applause)

(Аплодисменты)