How we can teach computers to make sense of our emotions | Raphael Arar

Translator: Ivana Korom Reviewer: Joanna Pietrulewicz

번역: Sojeong KIM 검토: JY Kang

I consider myself one part artist and one part designer.

저는 저 자신을 예술가이자

디자이너라고 생각합니다.

And I work at an artificial intelligence research lab.

전 인공지능 연구소에서 일합니다.

We're trying to create technology

우리가 개발 중인 기술은

that you'll want to interact with in the far future.

먼 미래에 인간과 상호작용할 수 있는 AI입니다.

Not just six months from now, but try years and decades from now.

현재로부터 6개월이 아닌

수년, 수십 년 후를 준비하고 있습니다.

And we're taking a moonshot

우리의 획기적이고 야심 찬 목표는

that we'll want to be interacting with computers

깊이 있는 감정교류가 가능한

in deeply emotional ways.

인공지능 개발에 있습니다.

So in order to do that,

이를 위해서

the technology has to be just as much human as it is artificial.

인공지능에 인간성이 필요합니다.

It has to get you.

인간의 감정을 이해해야 하죠.

You know, like that inside joke that'll have you and your best friend

친한 친구와 배꼽이 빠지도록 웃을 수 있는

on the floor, cracking up.

둘만의 은밀한 농담도 이해하고

Or that look of disappointment that you can just smell from miles away.

상대방의 실망감을

멀리서 전해지는 분위기 만으로 눈치챌 수 있어야 합니다.

I view art as the gateway to help us bridge this gap between human and machine:

제가 보기에 예술이야말로

인간과 기계의 간극을 좁혀주는 관문입니다.

to figure out what it means to get each other

이를 통해 서로를 이해하고

so that we can train AI to get us.

AI가 인간을 제대로 이해하도록 훈련할 수 있습니다.

See, to me, art is a way to put tangible experiences

무형의 생각과 느낌, 감정에

to intangible ideas, feelings and emotions.

유형의 경험을 선사하는 방법이 예술이라고 생각합니다.

And I think it's one of the most human things about us.

감정은 사람을 가장 인간적이게 하죠.

See, we're a complicated and complex bunch.

인간은 복합적인 존재입니다.

We have what feels like an infinite range of emotions,

인간의 감정은 무한하고

and to top it off, we're all different.

무엇보다도 모든 사람이 다릅니다.

We have different family backgrounds,

개개인의 가정환경이 다르고,

different experiences and different psychologies.

경험과 심리상태도 다릅니다.

And this is what makes life really interesting.

삶이 흥미로운 이유도 이 때문입니다.

But this is also what makes working on intelligent technology

반면, 바로 이 점이 인공지능 기술 개발을

extremely difficult.

매우 어렵게 만듭니다.

And right now, AI research, well,

현재 AI 연구는

it's a bit lopsided on the tech side.

기술 측면으로 치우친 편입니다.

And that makes a lot of sense.

물론 타당한 이유가 있습니다.

See, for every qualitative thing about us --

그러니까 인간의 질적인 면모인

you know, those parts of us that are emotional, dynamic and subjective --

감정적, 역동적이며 주관적인 자질을

we have to convert it to a quantitative metric:

측정 가능한 형태로 변환해야 하기 때문입니다.

something that can be represented with facts, figures and computer code.

실체화, 수치화하거나 프로그래밍 언어로 구현해야 하죠.

The issue is, there are many qualitative things

그런데 문제는

도무지 손댈 수 없는 정성적 요소가 많다는 것이죠.

that we just can't put our finger on.

So, think about hearing your favorite song for the first time.

좋아하는 노래를 처음 들었던 순간을 떠올려봅시다.

What were you doing?

무엇을 하고 있었나요?

How did you feel?

기분이 어땠나요?

Did you get goosebumps?

닭살이 돋았나요?

Or did you get fired up?

감정이 북받쳤나요?

Hard to describe, right?

형언하기 어렵지 않나요?

See, parts of us feel so simple,

단순한 감정이라 할지라도

but under the surface, there's really a ton of complexity.

그 이면에는 굉장히 복합적인 감정이 깔려습니다.

And translating that complexity to machines

그 복합성을 기계로 옮기는 작업은

is what makes them modern-day moonshots.

현대의 꿈같은 계획일 수밖에 없습니다.

And I'm not convinced that we can answer these deeper questions

솔직히 저는 이 심오한 질문에 대해

0과 1로 대답할 수 있을지 확신이 들지 않아요.

with just ones and zeros alone.

So, in the lab, I've been creating art

그래서 저는

더 나은 경험을 선사하는 최첨단 기술을 설계하기 위해

as a way to help me design better experiences

for bleeding-edge technology.

예술 창작을 연구해왔습니다.

And it's been serving as a catalyst

예술은 기술과 인간을 잇는 촉매제로서

to beef up the more human ways that computers can relate to us.

컴퓨터의 인간적 면모를 채워주는 역할을 했습니다.

Through art, we're tacking some of the hardest questions,

예술을 통해 가장 어려운 질문에 다가갈 수 있습니다.

like what does it really mean to feel?

느낌이란 무엇을 뜻하는가?

Or how do we engage and know how to be present with each other?

관계를 맺고 서로를 위해 어떻게 존재할 수 있을까?

And how does intuition affect the way that we interact?

그리고..

직감은 상호작용에 어떤 영향을 줄까?

So, take for example human emotion.

인간의 감정을 예를 들어봅시다.

Right now, computers can make sense of our most basic ones,

현재 인공지능은 인간의 기초적 감정이라 할 수 있는

like joy, sadness, anger, fear and disgust,

기쁨, 슬픔, 화, 두려움, 혐오를

by converting those characteristics to math.

수학적으로 변환하여 이해합니다.

But what about the more complex emotions?

더 복잡미묘한 감정은 어떨까요?

You know, those emotions

말로 설명하기 어려운 감정들 말이지요.

that we have a hard time describing to each other?

Like nostalgia.

예를 들어, '그리움' 같은 거죠.

So, to explore this, I created a piece of art, an experience,

'그리움'의 감정을 살펴보기 위해 저희는 예술 작품 하나를 만들고

that asked people to share a memory,

사람들이 어떤 기억을 떠올리는지 물었습니다.

and I teamed up with some data scientists

몇몇 데이터 과학자들과 팀을 이루어

to figure out how to take an emotion that's so highly subjective

매우 주관적인 그리움의 감정을

and convert it into something mathematically precise.

수학적으로 정확하게 변환할 방법을 알아냈습니다.

So, we created what we call a nostalgia score

우리는 예술장치의 핵심인 '그리움 점수'를 만들었습니다.

and it's the heart of this installation.

To do that, the installation asks you to share a story,

예술장치가 당신에게 추억 이야기를 들려달라고 청합니다.

the computer then analyzes it for its simpler emotions,

컴퓨터는 이야기를 분석하여 더 간단한 감정으로 정리하고

it checks for your tendency to use past-tense wording

당신이 과거시제를 사용하는 경향을 확인합니다.

and also looks for words that we tend to associate with nostalgia,

'그리움'을 떠올릴 때 함께 쓰는

like "home," "childhood" and "the past."

"집", "어린 시절", "과거" 등의 연관 단어도 확인하지요.

It then creates a nostalgia score

그 후 그리움 점수가 나타납니다.

to indicate how nostalgic your story is.

이렇게 과거를 그리워하는 정도를 파악할 수 있죠.

And that score is the driving force behind these light-based sculptures

빛을 소재로 한 이 작품은 그 점수에 따라 만들어집니다.

that serve as physical embodiments of your contribution.

여러분의 참여로 감정이 물리적으로 구현되는 것이죠.

And the higher the score, the rosier the hue.

그리움 점수가 높을수록 더욱 장밋빛 색조를 띄게 됩니다.

You know, like looking at the world through rose-colored glasses.

장밋빛 안경으로 세상을 바라보듯 말이죠.

So, when you see your score

그리움 점수와 함께

and the physical representation of it,

물리적으로 표현된 결과를 보며

sometimes you'd agree and sometimes you wouldn't.

우리는 때로는 동의하고 때로는 동의하지 않습니다.

It's as if it really understood how that experience made you feel.

우리의 감정을 정말 이해한 듯 보일 때도 있습니다.

But other times it gets tripped up

그러나 헛다리를 짚고

and has you thinking it doesn't understand you at all.

당신을 전혀 이해하지 못할 때도 있습니다.

But the piece really serves to show

이 작품이 우리에게 말하는 것은

that if we have a hard time explaining the emotions that we have to each other,

우리도 설명하기 어려운 감정들을

how can we teach a computer to make sense of them?

어떻게 컴퓨터가 이해할 수 있도록 가르치냐의 문제입니다.

So, even the more objective parts about being human are hard to describe.

객관적인 영역도 설명하기 어렵긴 마찬가지입니다.

Like, conversation.

예를 들어, 대화를 봅시다.

Have you ever really tried to break down the steps?

대화법을 분석해보신 적 있나요?

So think about sitting with your friend at a coffee shop

카페에서 친구와 수다를 떠는 상황을 생각해보세요.

and just having small talk.

How do you know when to take a turn?

자신이 말할 차례를 어떻게 아시나요?

How do you know when to shift topics?

주제를 바꿔야 할 타이밍은요?

And how do you even know what topics to discuss?

어떤 주제로 이야기할지는 어떻게 알죠?

See, most of us don't really think about it,

대다수 사람들은 이런 걸 생각하지 않습니다.

because it's almost second nature.

제2의 천성에 가깝기 때문이죠.

And when we get to know someone, we learn more about what makes them tick,

우리는 누군가를 만나면 상대방의 행동을 살핍니다.

and then we learn what topics we can discuss.

그리고 토론할만한 주제가 무엇인지 파악합니다.

But when it comes to teaching AI systems how to interact with people,

그러나 인공지능을 상대로 인간과 교감하는 법을 가르칠 때는

we have to teach them step by step what to do.

해야 할 일을 단계적으로 가르쳐야 해요.

And right now, it feels clunky.

현재 AI는 투박한 감이 있어요.

If you've ever tried to talk with Alexa, Siri or Google Assistant,

알렉사, 시리, 구글 어시스턴트와 대화해본 적 있으시다면

you can tell that it or they can still sound cold.

차갑다는 인상을 받으셨을 겁니다.

And have you ever gotten annoyed

AI에 음악 재생을 명령했는데

when they didn't understand what you were saying

말을 못 알아듣는 탓에

and you had to rephrase what you wanted 20 times just to play a song?

20번이나 다시 말하여 짜증 났던 기억이 있으신가요?

Alright, to the credit of the designers, realistic communication is really hard.

디자이너를 대변하자면, 현실적인 의사소통 구현은 정말 어렵습니다.

And there's a whole branch of sociology,

실제로 사회학 분야의 하나인 대화 분석 분야에서는

called conversation analysis,

that tries to make blueprints for different types of conversation.

다양한 대화 유형의 구조를 청사진으로 보여줍니다.

Types like customer service or counseling, teaching and others.

고객 서비스, 상담, 교육 등의 대화 유형을 분석하죠.

I've been collaborating with a conversation analyst at the lab

저는 저희 연구실의 대화 분석가와 협업하며

to try to help our AI systems hold more human-sounding conversations.

인간에 가깝게 대화할 수 있는 AI를 개발하고 있습니다.

This way, when you have an interaction with a chatbot on your phone

스마트폰의 챗봇을 이용하거나

or a voice-based system in the car,

차량의 음성기반 시스템과 대화할 때

it sounds a little more human and less cold and disjointed.

좀 더 인간에 가깝게 일관성 있고, 덜 차갑게 말하도록 하려는 것입니다.

So I created a piece of art

따라서 저는 AI의 기계적이고 투박한 면을 부각시킨 작품을 만들어서

that tries to highlight the robotic, clunky interaction

to help us understand, as designers,

AI의 말이 부자연스러운 이유를 디자이너의 관점에서 이해하고

why it doesn't sound human yet and, well, what we can do about it.

개선 방안을 생각해보고자 했습니다.

The piece is called Bot to Bot

이 작품은 봇투봇(Bot to Bot)입니다.

and it puts one conversational system against another

두 개의 대화 시스템이 서로 대화하도록 하고

and then exposes it to the general public.

이 과정을 일반 대중에게 공개합니다.

And what ends up happening is that you get something

결국, 여기서 확인할 수 있는 것은

that tries to mimic human conversation,

인간의 대화를 모방하고 있지만

but falls short.

어디인지 미흡한 대화입니다.

Sometimes it works and sometimes it gets into these, well,

때에 따라 자연스러울 때도 있지만

loops of misunderstanding.

오해의 늪에 빠지기도 합니다.

So even though the machine-to-machine conversation can make sense,

기계 대 기계의 대화는

grammatically and colloquially,

문법, 회화적인 측면에서 자연스러워도

it can still end up feeling cold and robotic.

여전히 기계적이고 차가울 수 있습니다.

And despite checking all the boxes, the dialogue lacks soul

이론적으로 성립되어도

대화에는 여전히 영혼이 없고

and those one-off quirks that make each of us who we are.

인간만이 가지는 유일한 특징이 빠져 있죠.

So while it might be grammatically correct

따라서 문법적으로 정확하고

and uses all the right hashtags and emojis,

정확한 해시 태그와 이모티콘을 사용해도

it can end up sounding mechanical and, well, a little creepy.

여전히 기계적이고, 심지어 오싹하게 들리기도 합니다.

And we call this the uncanny valley.

이를 '불쾌한 골짜기'라고 부릅니다.

You know, that creepiness factor of tech

인간과 매우 유사하지만 약간의 차이로 인해서 느껴지는

where it's close to human but just slightly off.

오싹한 거부감을 의미하죠.

And the piece will start being

이 작품을 통해서 대화 속의 인간성을 체험하고

one way that we test for the humanness of a conversation

and the parts that get lost in translation.

통역할 수 없는 비언어적 요소를 알 수 있습니다.

So there are other things that get lost in translation, too,

통역할 수 없는 부분이 또 있습니다.

like human intuition.

인간의 직관력이죠.

Right now, computers are gaining more autonomy.

현재 컴퓨터는 더 큰 자율권을 갖습니다.

They can take care of things for us,

인간을 위해 자체적으로 판단을 내리기도 해요.

like change the temperature of our houses based on our preferences

평소 선호도를 파악하여 집 안 온도를 바꾸거나

and even help us drive on the freeway.

고속도로 주행을 돕기도 합니다.

But there are things that you and I do in person

그러나 사람 사이에 일대일로 이루어지는 행위는

that are really difficult to translate to AI.

AI에게 가르치기가 어렵습니다.

So think about the last time that you saw an old classmate or coworker.

동창과 옛 동료를 마지막으로 만났을 때를 떠올려보세요.

Did you give them a hug or go in for a handshake?

그들과 포옹을 했나요? 아니면 악수를 했나요?

You probably didn't think twice

두 번 생각하지 않으셨을 겁니다.

because you've had so many built up experiences

이미 축적된 경험이 있기 때문에

that had you do one or the other.

자연스럽게 둘 중 하나를 선택했을 테니까요.

And as an artist, I feel that access to one's intuition,

예술가의 입장에서 볼 때

인간의 직감을 이용하고 무의식적 자각의 영역에 접근하는 것이

your unconscious knowing,

is what helps us create amazing things.

놀라운 창조를 이끈다고 생각합니다.

Big ideas, from that abstract, nonlinear place in our consciousness

모든 경험의 총집합인 비선형 세계의 추상성에서

that is the culmination of all of our experiences.

위대한 발상들이 출발합니다.

And if we want computers to relate to us and help amplify our creative abilities,

컴퓨터와 인간을 연계하여 창의력을 확장하고 싶다면

I feel that we'll need to start thinking about how to make computers be intuitive.

직관적인 컴퓨터를 개발할 방법을 고안해야 합니다.

So I wanted to explore how something like human intuition

저는 직감과 같은 인간의 특징이

could be directly translated to artificial intelligence.

어떻게 직접 인공지능에 반영되는지 알고 싶었습니다.

And I created a piece that explores computer-based intuition

그래서 실제 공간에서 컴퓨터 직관을 탐구할 수 있는

in a physical space.

작품을 만들었습니다.

The piece is called Wayfinding,

웨이파인딩(Wayfinding)입니다.

and it's set up as a symbolic compass that has four kinetic sculptures.

움직이는 4개의 조각상으로 된 상징적 나침반인데요.

Each one represents a direction,

각각의 조각은 동서남북의 일정한 방향을 나타냅니다.

north, east, south and west.

And there are sensors set up on the top of each sculpture

조각 상단에는 감지 센서가 탑재되어 있어

that capture how far away you are from them.

사람이 떨어져 있는 거리를 파악합니다.

And the data that gets collected

자료가 수집되면

ends up changing the way that sculptures move

조각이 움직이는 방향이 바뀌고

and the direction of the compass.

결국 나침반의 방향도 달라집니다.

The thing is, the piece doesn't work like the automatic door sensor

이 설치물의 각각의 조각은 사람이 걸어들어올 때 열리는

that just opens when you walk in front of it.

자동문 센서처럼 작동하지 않습니다.

See, your contribution is only a part of its collection of lived experiences.

여러분의 참여는 총체적 체험의 일부입니다.

And all of those experiences affect the way that it moves.

축적된 모든 경험이 방향 결정에 영향을 줍니다.

So when you walk in front of it,

그래서 누군가 그 앞을 지나가면

it starts to use all of the data

전시 기간 동안 축적된 모든 데이터를 이용하거나

that it's captured throughout its exhibition history --

or its intuition --

직감을 발휘하여

to mechanically respond to you based on what it's learned from others.

그동안 습득한 체험에 바탕을 둔 기계적 반응을 보이게 되죠.

And what ends up happening is that as participants

이 체험에 참여한 사람들은

we start to learn the level of detail that we need

예측을 관리하기 위해

정밀한 과정이 필요하다는 점을 이해하게 됩니다.

in order to manage expectations

from both humans and machines.

인간과 기계 모두에 해당하죠.

We can almost see our intuition being played out on the computer,

컴퓨터가 인간의 직관을 실행하고 있음을 확인하고

picturing all of that data being processed in our mind's eye.

마음속에서 모든 데이터가 처리되고 있음을 알 수 있습니다.

My hope is that this type of art

저는 이런 유형의 예술을 접함으로써 우리가 직관에 대해 다르게 생각하고

will help us think differently about intuition

and how to apply that to AI in the future.

이를 미래의 AI에 적용하기를 바랍니다.

So these are just a few examples of how I'm using art to feed into my work

인공지능 디자이너이자 연구원으로

예술을 활용한 연구 사례 몇 가지를 말씀드렸습니다.

as a designer and researcher of artificial intelligence.

And I see it as a crucial way to move innovation forward.

저는 이 방법이 혁신으로 나아가는 중요한 길이라 믿습니다.

현재 AI에 대한 극단적인 생각들이 많이 자리 잡고 있죠.

Because right now, there are a lot of extremes when it comes to AI.

Popular movies show it as this destructive force

인기 영화는 AI의 파괴력을 강조하고

while commercials are showing it as a savior

광고는 AI가 마치 구세주라도 된 듯

to solve some of the world's most complex problems.

세계의 복잡한 문제를 해결할 것이라 말합니다.

But regardless of where you stand,

하지만 우리가 어디에 있든

it's hard to deny that we're living in a world

매 순간 더욱 디지털화하는

세상 속에 살고 있음을 부정하기는 어렵습니다.

that's becoming more and more digital by the second.

Our lives revolve around our devices, smart appliances and more.

기계, 스마트 기기를 중심으로 삶이 돌아가고 있습니다.

And I don't think this will let up any time soon.

당분간 이 추세가 누그러질 것 같지 않고요.

So, I'm trying to embed more humanness from the start.

저는 시작 단계에서부터 더 많은 인간성을 부여하고자 합니다.

And I have a hunch that bringing art into an AI research process

그리고 예술을 통한 AI 연구가

이 목표를 실현할 방법이라는 예감이 듭니다.

is a way to do just that.

Thank you.

감사합니다.

(Applause)

(박수)