How we can teach computers to make sense of our emotions | Raphael Arar

Translator: Ivana Korom Reviewer: Joanna Pietrulewicz

翻訳: Hiroshi Uchiyama 校正: Masaki Yanagishita

I consider myself one part artist and one part designer.

私は自分をある意味では芸術家であり ある意味ではデザイナーだと思っています

And I work at an artificial intelligence research lab.

私の勤め先は ある人工知能研究所です

We're trying to create technology

私たちが創造しようとしているのは

that you'll want to interact with in the far future.

遠い将来に皆さんが 交流したくなるような技術です

Not just six months from now, but try years and decades from now.

これから６ヶ月という将来ではなく 何年も何十年も先の将来です

And we're taking a moonshot

人がコンピュータと

that we'll want to be interacting with computers

深い感情のこもった交流を したくなる未来を目指すという

in deeply emotional ways.

壮大な取り組みです

So in order to do that,

それが実現する技術は

the technology has to be just as much human as it is artificial.

人工でありながら人間らしさも 備えていなくてはならず

It has to get you.

人を理解しなくてはなりません

You know, like that inside joke that'll have you and your best friend

ほら 親友と二人で 笑い転げてしまうような

on the floor, cracking up.

内輪ネタの冗談だったり

Or that look of disappointment that you can just smell from miles away.

何キロ離れていても感じ取れる 失望の表情だったりです

I view art as the gateway to help us bridge this gap between human and machine:

私は人間と機械のギャップを取り持つためには 芸術が役立つと見ています

to figure out what it means to get each other

相互に理解するということが 何かを見いだせれば

so that we can train AI to get us.

私たちを理解する方法を AIに訓練できます

See, to me, art is a way to put tangible experiences

実体的な体験を 実体のないアイデアや感覚や感情に

to intangible ideas, feelings and emotions.

付け加える方法の１つが 芸術だと私は思います

And I think it's one of the most human things about us.

人間らしさが最も現れるのが 芸術だと思うのです

See, we're a complicated and complex bunch.

私たちは複雑で複合的な集団です

We have what feels like an infinite range of emotions,

限り無く広がる感情を 私たちは持っており

and to top it off, we're all different.

なおその上 誰もが みな違うのです

We have different family backgrounds,

異なる家庭環境があり

different experiences and different psychologies.

異なる経験をして 異なる心理を持っています

And this is what makes life really interesting.

だからこそ人生は実に面白いのですが

But this is also what makes working on intelligent technology

一方で この多様性があるからこそ 人工知能技術に取り組むのは

extremely difficult.

この上なく困難なのです

And right now, AI research, well,

現在人工知能の研究は

it's a bit lopsided on the tech side.

技術的側面に偏っています

And that makes a lot of sense.

それはその通りなのです

See, for every qualitative thing about us --

私たちに関する 定性的なものを―

you know, those parts of us that are emotional, dynamic and subjective --

私たちの感情的、動的 主観的な部分ですが―

we have to convert it to a quantitative metric:

すべて定量的な形に 変換しなければなりません

something that can be represented with facts, figures and computer code.

事実や数字やコンピュータプログラム等に 表せるものに変換するのです

The issue is, there are many qualitative things

これらの中には どうしても扱いきれない

that we just can't put our finger on.

多くの定性的な物が あることが問題です

So, think about hearing your favorite song for the first time.

あなたのお気に入りの曲を 最初に聞いたときのことを考えて下さい

What were you doing?

何をしている時でしたか？

どんな感じがしましたか？

How did you feel?

Did you get goosebumps?

鳥肌が立ちましたか？

Or did you get fired up?

情熱が燃え上がりましたか？

Hard to describe, right?

表現しにくいでしょう？

See, parts of us feel so simple,

感覚はとても単純です

but under the surface, there's really a ton of complexity.

でも 表面下には 膨大な複雑さが存在しています

And translating that complexity to machines

その複雑さを機械向きに翻訳するのは

is what makes them modern-day moonshots.

現代版 「月ロケット打ち上げ」 （壮大な取り組み）なのです

And I'm not convinced that we can answer these deeper questions

このような深い質問に １と０の組み合わせだけで答えられるか

with just ones and zeros alone.

確信はありません

So, in the lab, I've been creating art

私は最先端技術の体験を改善する—

as a way to help me design better experiences

設計に役立てる方法として

for bleeding-edge technology.

研究所で芸術作品を作ってきました

And it's been serving as a catalyst

それはコンピュータが私たちに

to beef up the more human ways that computers can relate to us.

より人間的に関わる方法を強化する 触媒のように作用してきました

Through art, we're tacking some of the hardest questions,

芸術を介して 例えば「感じる」とは どういう意味かといったような

like what does it really mean to feel?

答えに窮する質問の意味を 教えています

Or how do we engage and know how to be present with each other?

あるいは 人はどのように関わり合い 触れ合う方法を知るのか？

And how does intuition affect the way that we interact?

そして 直感はどのように 私たちの交流に影響するのか？

So, take for example human emotion.

人間の感情を例に取ってみましょう

Right now, computers can make sense of our most basic ones,

現時点でコンピュータは 私たちの基礎的な感情

like joy, sadness, anger, fear and disgust,

喜び、悲しみ、怒り、恐怖 それから嫌悪感といったものを

by converting those characteristics to math.

その性質を数式に変換することで 理解できます

But what about the more complex emotions?

ではさらに複雑な感情では どうでしょうか？

You know, those emotions

互いに説明するのに

that we have a hard time describing to each other?

苦労するような感情のことです

Like nostalgia.

例えばノスタルジアとかです

So, to explore this, I created a piece of art, an experience,

これを探求するため 人々に記憶を共有するような

that asked people to share a memory,

ちょっとした芸術 ちょっとした体験を作り

and I teamed up with some data scientists

データ科学者とチームを組んで

to figure out how to take an emotion that's so highly subjective

高度に主観的な感情を 数学的に正確なものに

and convert it into something mathematically precise.

変換する方法を考案しようとしました

So, we created what we call a nostalgia score

「ノスタルジア指標」というものを作り

and it's the heart of this installation.

これがこの装置の要となります

To do that, the installation asks you to share a story,

指標の計算のために この装置は 体験談の共有を求めてきます

the computer then analyzes it for its simpler emotions,

コンピュータは より単純な感情の集合として分析し

it checks for your tendency to use past-tense wording

過去時制の使用傾向を調べると同時に

and also looks for words that we tend to associate with nostalgia,

ノスタルジアによく関連付けられる単語

like "home," "childhood" and "the past."

たとえば「故郷」 「子供の頃」 「過去」などの単語を探します

It then creates a nostalgia score

そして その話がどのくらい ノスタルジックかという

to indicate how nostalgic your story is.

ノスタルジア指標をはじき出します

And that score is the driving force behind these light-based sculptures

その指標こそが この光を使った芸術作品の核心で

that serve as physical embodiments of your contribution.

実体を持って表現された形として あなたの気持ちを代弁するのです

And the higher the score, the rosier the hue.

点数が高くなるほど 濃いバラ色になります

You know, like looking at the world through rose-colored glasses.

バラ色のメガネを通して 世界を見ているようなものです

So, when you see your score

出てきた自分の指標や

and the physical representation of it,

それを実体化した表現を見た時

sometimes you'd agree and sometimes you wouldn't.

結果に同意できることもあれば できないこともあるかもしれません

It's as if it really understood how that experience made you feel.

話した体験から生まれた感情を あたかも理解しているように思えたり

But other times it gets tripped up

逆に 見当違いの答えを出して あなたを全然理解していないと

and has you thinking it doesn't understand you at all.

思うこともあるでしょう

But the piece really serves to show

でもこの作品から はっきりわかるのです

that if we have a hard time explaining the emotions that we have to each other,

人同士でさえ お互いの感情を 説明するのに苦労するのならば

how can we teach a computer to make sense of them?

機械に感情を理解する方法を 教えるのがどれだけ難しいか

So, even the more objective parts about being human are hard to describe.

人間らしさの中で比較的客観的な要素でさえ 説明するのは難しいのです

Like, conversation.

例えば会話です

Have you ever really tried to break down the steps?

会話の段階を分析したことはありますか？

So think about sitting with your friend at a coffee shop

喫茶店で友達と 他愛もない話をしていると

and just having small talk.

想像してください

How do you know when to take a turn?

自分が話す番だと どうやって見極めるか？

How do you know when to shift topics?

話題を変えるタイミングは？

And how do you even know what topics to discuss?

そもそも どんな話題にしようか？

See, most of us don't really think about it,

ほとんどの人はそんなことを考えませんね

because it's almost second nature.

習慣化しているからです

And when we get to know someone, we learn more about what makes them tick,

誰かのことをもっと知ろうという時 まず 何が相手の興味を引くかを知り

and then we learn what topics we can discuss.

そうして何を話題にするかがわかります

But when it comes to teaching AI systems how to interact with people,

しかしAIに人間との交流方法を 教えるとなると

we have to teach them step by step what to do.

何をすべきか段階を踏んで 教えなければなりません

And right now, it feels clunky.

現在はまだ ぎこちないですよね

If you've ever tried to talk with Alexa, Siri or Google Assistant,

アレクサ、シリ、グーグルアシスタントなどと 話したことがある方は

you can tell that it or they can still sound cold.

どれも まだまだ冷淡な話し方をすると お分かりだと思います

And have you ever gotten annoyed

そして あなたの言ったことを

when they didn't understand what you were saying

理解できないと言われてイラついたり

音楽を流すために 20回も言い換えるはめに なったりしたことはありませんか？

and you had to rephrase what you wanted 20 times just to play a song?

Alright, to the credit of the designers, realistic communication is really hard.

設計者の名誉のために言えば 自然な コミュニケーションは本当に難しいのです

And there's a whole branch of sociology,

社会学のれっきとした一部門である

called conversation analysis,

会話分析と呼ばれる分野では

that tries to make blueprints for different types of conversation.

いろいろなタイプの会話の 設計図を作ろうとしています

Types like customer service or counseling, teaching and others.

カスタマーサービス、カウンセリングや 教育といったタイプです

I've been collaborating with a conversation analyst at the lab

私は研究所で会話分析家と協働して

to try to help our AI systems hold more human-sounding conversations.

AIがもっと自然な会話ができるような 支援を試みています

This way, when you have an interaction with a chatbot on your phone

この方法ならスマホの チャットボットや

or a voice-based system in the car,

車内音声システムとの会話に

it sounds a little more human and less cold and disjointed.

冷淡さや支離滅裂さが減り より人間らしく響くようになります

So I created a piece of art

そこで芸術作品を作りました

that tries to highlight the robotic, clunky interaction

ロボットっぽくぎこちない会話を あえて目立たせて

to help us understand, as designers,

なぜ人間らしく聞こえないのか

why it doesn't sound human yet and, well, what we can do about it.

それに対して何をすればいいかについて 私たち設計者の理解を促す作品です

The piece is called Bot to Bot

Bot to Bot（ボットからボットへ） という作品で

and it puts one conversational system against another

チャットボット同士で会話させ

and then exposes it to the general public.

その内容を一般に公開するシステムです

And what ends up happening is that you get something

チャットボットは 人間の会話を

that tries to mimic human conversation,

模倣しようと試みますが

but falls short.

何か物足りないものになります

Sometimes it works and sometimes it gets into these, well,

時々はうまく行きますが 時々は

loops of misunderstanding.

誤解の連鎖が起こるのです

So even though the machine-to-machine conversation can make sense,

機械と機械の会話が 文法上正しく

grammatically and colloquially,

口語として意味をなしたとしても

it can still end up feeling cold and robotic.

まだ冷淡でロボットぽく なることがあります

And despite checking all the boxes, the dialogue lacks soul

条件は満たしているのですが 会話に魂が宿りません

and those one-off quirks that make each of us who we are.

人間らしい 偶発性もないのです

So while it might be grammatically correct

文法的には正しいものであって

and uses all the right hashtags and emojis,

正しいハッシュタグや 絵文字を使っていても

it can end up sounding mechanical and, well, a little creepy.

機械的に聞こえたり 気味の悪いものになったりします

And we call this the uncanny valley.

「不気味の谷現象」と呼んでおり

You know, that creepiness factor of tech

科学技術の気味悪さです

where it's close to human but just slightly off.

人間に近づいているのですが 何か違和感があるのです

And the piece will start being

そしてその作品は

one way that we test for the humanness of a conversation

会話の人間らしさと 翻訳によって失われる部分を評価する

and the parts that get lost in translation.

ひとつの手法になろうとしています

So there are other things that get lost in translation, too,

翻訳で失われるものは他にもあって

like human intuition.

たとえば 人間の直感です

Right now, computers are gaining more autonomy.

現在コンピュータが 自立し始めていて

They can take care of things for us,

私たちの好みに会わせた 家の温度調節や

like change the temperature of our houses based on our preferences

高速道路での運転の補助まで

and even help us drive on the freeway.

身の回りの世話を任せることができます

But there are things that you and I do in person

でも 人と人が 直接会ってすることの中には

that are really difficult to translate to AI.

AIに対する翻訳が 本当に難しいものもあります

So think about the last time that you saw an old classmate or coworker.

昔のクラスメイトや同僚に 最後に会った時のことを思い出してください

Did you give them a hug or go in for a handshake?

ハグしましたか？ それとも握手しましたか？

You probably didn't think twice

いちいち迷いませんでしたよね

because you've had so many built up experiences

なぜなら あなたに ハグか握手かを選択させる

that had you do one or the other.

多くの経験の蓄積があるからです

And as an artist, I feel that access to one's intuition,

芸術家として感じているのは 人の直感に訴え

your unconscious knowing,

無意識の認知に訴えることが

is what helps us create amazing things.

素晴らしい創造活動の 手助けになるということです

Big ideas, from that abstract, nonlinear place in our consciousness

人間の意識内にある 抽象的で 非線形な部分から生まれる壮大なアイデアは

that is the culmination of all of our experiences.

積み重なる経験の賜物なのです

And if we want computers to relate to us and help amplify our creative abilities,

コンピュータに私たちの気持ちを理解させ 創造力を増幅する助けになってほしいなら

I feel that we'll need to start thinking about how to make computers be intuitive.

どうしたらコンピュータに直感力を 与えられるかを考え始める必要があります

So I wanted to explore how something like human intuition

人間の直感のようなものを どうやって

could be directly translated to artificial intelligence.

AIに直接翻訳できるかを 探求したいと思い

And I created a piece that explores computer-based intuition

コンピュータが生み出す直感を 物理的な空間の中で探求する作品を

in a physical space.

製作しました

The piece is called Wayfinding,

「道程探求(Wayfinding)」という作品で

and it's set up as a symbolic compass that has four kinetic sculptures.

４つの動的彫刻を持つ 象徴的なコンパスとして制作されました

Each one represents a direction,

それぞれの部分が方位を表します

north, east, south and west.

北、東、南、西です

And there are sensors set up on the top of each sculpture

４つの彫刻の頂上部に あなたとの距離を計測する

that capture how far away you are from them.

センサーが取り付けられています

And the data that gets collected

計測されたデータは

ends up changing the way that sculptures move

その彫刻の動きと コンパスの向きに

and the direction of the compass.

反映されます

The thing is, the piece doesn't work like the automatic door sensor

ただし この作品は 正面に歩いて行くと開くだけの

that just opens when you walk in front of it.

自動ドアのセンサーの様な ものではありません

See, your contribution is only a part of its collection of lived experiences.

あなたの関与はその作品が収集する 実体験の一部でしかないのです

And all of those experiences affect the way that it moves.

そのような体験すべてが 作品の動きに影響します

So when you walk in front of it,

正面に歩いて行くと

it starts to use all of the data

これまで出してきた展示会で 取り込んだデータ全て

that it's captured throughout its exhibition history --

or its intuition --

というか「直感」を活用し始め

to mechanically respond to you based on what it's learned from others.

他の人々から学んだことを踏まえて 機械的な動きであなたに反応します

And what ends up happening is that as participants

こうして参加者としての私たちは

we start to learn the level of detail that we need

人間と機械両方の期待を 裏切らないためには

in order to manage expectations

どの程度の具体性が必要なのか

from both humans and machines.

理解し始めます

We can almost see our intuition being played out on the computer,

あらゆるデータが頭の中で処理されていく その様子が目に浮かび

picturing all of that data being processed in our mind's eye.

人の直感の働きがコンピュータにより 再現される様子が見えるかのようです

My hope is that this type of art

このような芸術は

will help us think differently about intuition

直感についての 違った見方を提供し そして

and how to apply that to AI in the future.

それを将来のAIに適用できると 期待しています

So these are just a few examples of how I'm using art to feed into my work

これらの作品は人工知能の デザイナーかつ研究者である私が

as a designer and researcher of artificial intelligence.

芸術作品を仕事に使う ほんのいくつかの例ですが

And I see it as a crucial way to move innovation forward.

イノベーションを推進する 極めて重要な方法であると考えています

Because right now, there are a lot of extremes when it comes to AI.

現在 AIに関しては極端な面が 多くあるからです

Popular movies show it as this destructive force

大衆映画では 破壊兵器として描かれる一方で

while commercials are showing it as a savior

宣伝広告では 世界の最も複雑な問題を解決する—

to solve some of the world's most complex problems.

救世主であるかのように 取り扱っています

But regardless of where you stand,

しかし 皆さんがどうお考えであろうが

it's hard to deny that we're living in a world

毎秒毎秒 デジタル化が 進行している世界で

that's becoming more and more digital by the second.

暮らしていることは否定できません

Our lives revolve around our devices, smart appliances and more.

私たちの生活はデバイスや スマート機器などを中心に廻っています

And I don't think this will let up any time soon.

このような状況が落ち着くことは しばらくないでしょう

So, I'm trying to embed more humanness from the start.

だからこそ始めから人間味を 埋め込みたいと思うのです

And I have a hunch that bringing art into an AI research process

芸術をAI研究の手法に取り込むことが まさにその道筋だと

is a way to do just that.

予感しているのです

Thank you.

ありがとう

(Applause)

（拍手）