Ajit Narayanan: A word game to communicate in any language

アジト・ナラヤナン: 言語を問わない単語ゲーム

翻訳: Kaori Abe 校正: Makoto Ikeo

I work with children with autism.

私は自閉症の子供たちに関する 仕事をしています

Specifically, I make technologies

具体的には 技術開発により

to help them communicate.

コミュニケーションの お手伝いをしています

Now, many of the problems that children

自閉症の子供たちが

with autism face, they have a common source,

直面する問題には 共通のものがあります

and that source is that they find it difficult

抽象概念や象徴的意味を

to understand abstraction, symbolism.

理解するのが困難である ということです

And because of this, they have a lot of difficulty with language.

そのため 言葉に苦労することが 多いのです

Let me tell you a little bit about why this is.

少し 詳しく説明をします

You see that this is a picture of a bowl of soup.

これがスープの絵だということは 分かりますよね

All of us can see it. All of us understand this.

そのように見えますし そう理解できます

These are two other pictures of soup,

さらに２つのスープの絵があります

but you can see that these are more abstract

ただ もっと抽象的です

These are not quite as concrete.

最初のほど 具体的ではありません

And when you get to language,

言語となると

you see that it becomes a word

今度は単語になります

whose look, the way it looks and the way it sounds,

単語は その見た目も音も

has absolutely nothing to do with what it started with,

最初の スープという物とも

or what it represents, which is the bowl of soup.

それが意味することとも 無関係です

So it's essentially a completely abstract,

つまり 完全に抽象的で 恣意的な

a completely arbitrary representation of something

現実世界にある物の

which is in the real world,

表象なのです

and this is something that children with autism

自閉症を持つ子供たちは

have an incredible amount of difficulty with.

これを理解するのに とても苦しみます

Now that's why most of the people that work with children with autism --

このような子供たちに関する 仕事をする人々―

speech therapists, educators --

スピーチ・セラピストや教育者は

what they do is, they try to help children with autism

彼らは 自閉症を抱える子供たちが

communicate not with words, but with pictures.

言葉ではなく 絵で会話できるよう努めています

So if a child with autism wanted to say,

ある自閉症の子供が

"I want soup," that child would pick

「私はスープが欲しい」と言いたかったら

three different pictures, "I," "want," and "soup,"

「私」 「スープ」 「欲しい」という ３つの絵を

and they would put these together,

選んでつなぎあわせます

and then the therapist or the parent would

すると セラピストや親は

understand that this is what the kid wants to say.

子供が言いたいことがわかります

And this has been incredibly effective;

この手法はとても有効で

for the last 30, 40 years

過去30､40年間

people have been doing this.

実践されてきました

In fact, a few years back,

実際 私は数年前に

I developed an app for the iPad

このためのiPad用アプリを

which does exactly this. It's called Avaz,

開発しました Avaz と言います

and the way it works is that kids select

この仕組みは 子供たちが

different pictures.

異なる絵を選び

These pictures are sequenced together to form sentences,

選ばれた絵がつながり 文になり

and these sentences are spoken out.

その文が読み上げられます

So Avaz is essentially converting pictures,

つまり Avaz は絵を変換するアプリ

it's a translator, it converts pictures into speech.

絵を言葉に変換する 翻訳機なのです

Now, this was very effective.

アプリは効果的でした

There are thousands of children using this,

何千人もの子供たちが

you know, all over the world,

世界中で使っています

and I started thinking about

私は このアプリにできることと―

what it does and what it doesn't do.

できないことについて考え始めました

And I realized something interesting:

すると 興味深いことに気づきました

Avaz helps children with autism learn words.

Avaz は単語を学ぶのに 役立っていますが

What it doesn't help them do is to learn

単語のパターンを学ぶ

word patterns.

助けにはなっていないと

Let me explain this in a little more detail.

もう少し詳しく説明します

Take this sentence: "I want soup tonight."

「今夜はスープが飲みたい」 を例文とします

Now it's not just the words here that convey the meaning.

ここで意味を伝達するのは 単語だけではありません

It's also the way in which these words are arranged,

どう単語が並んでいるか

the way these words are modified and arranged.

どう修飾されているかも 重要です

And that's why a sentence like "I want soup tonight"

だからこそ 「今夜はスープが飲みたい」は

is different from a sentence like

「飲みたいスープ今夜」のように 意味不明の文から区別されるのです

"Soup want I tonight," which is completely meaningless.

「飲みたいスープ今夜」のように 意味不明の文から区別されるのです

So there is another hidden abstraction here

ここにもう一つ 自閉症の子供たちが

which children with autism find a lot of difficulty coping with,

理解するのが難しい抽象表現があります

and that's the fact that you can modify words

それは 単語の修飾や並び替えで

and you can arrange them to have

異なる意味や考えを

different meanings, to convey different ideas.

伝えることが出来るということです

Now, this is what we call grammar.

これが文法と呼ばれるものです

And grammar is incredibly powerful,

文法は大きな影響力を持ちます

because grammar is this one component of language

文法は言語の構成要素の中でも

which takes this finite vocabulary that all of us have

私たちが有する 有限の語彙をもとに

and allows us to convey an infinite amount of information,

無限の情報とアイディアを 伝達することを

an infinite amount of ideas.

可能にします

It's the way in which you can put things together

別々のものをつなぎあわせて

in order to convey anything you want to.

どんなことでも伝えられる 仕組みです

And so after I developed Avaz,

Avazを開発してから

I worried for a very long time

自閉症の子供たちに

about how I could give grammar to children with autism.

どうやって文法を伝えられるか 長い間悩みました

The solution came to me from a very interesting perspective.

答えは意外な視点から見えました

I happened to chance upon a child with autism

あるとき 自閉症の子供が お母さんと

conversing with her mom,

会話をしているのを見かけました

and this is what happened.

そうするとなんと

Completely out of the blue, very spontaneously,

子供が突然立ち上がり

the child got up and said, "Eat."

こう言いました 「食べる」

Now what was interesting was

興味深かったのは

the way in which the mom was trying to tease out

お母さんは 子供が言いたがっていることを

the meaning of what the child wanted to say

探り出すため 質問形式で

by talking to her in questions.

子供に話していたことです

So she asked, "Eat what? Do you want to eat ice cream?

「何を食べるの？」 「アイスが食べたいの？」

You want to eat? Somebody else wants to eat?

「あなたが食べたいの？」 「誰かが食べたいの？」

You want to eat cream now? You want to eat ice cream in the evening?"

「今食べたいの？」 「夕方食べたいの？」

And then it struck me that

そして ハッとしました

what the mother had done was something incredible.

このお母さんの行動は天才的だと

She had been able to get that child to communicate

彼女は文法なしで子供との

an idea to her without grammar.

コミュニケーションを 可能にしたのです

And it struck me that maybe this is what

これが探していた答えかもしれない

I was looking for.

そう感じました

Instead of arranging words in an order, in sequence,

文として単語を 順に並べるのではなく

as a sentence, you arrange them

要素同士がつながっている

in this map, where they're all linked together

このようなマップ上で配列する

not by placing them one after the other

要素同士を横に並べるのではなく

but in questions, in question-answer pairs.

質問形式に つまり 問いと答えのペアで並べる

And so if you do this, then what you're conveying

こうして伝えられるのは

is not a sentence in English,

英語の文ではなく

but what you're conveying is really a meaning,

意味を伝えています

the meaning of a sentence in English.

英語の文の意味なのです

Now, meaning is really the underbelly, in some sense, of language.

意味とは 言語の急所とも言えます

It's what comes after thought but before language.

思考の後 言語の前に 生成されます

And the idea was that this particular representation

マップ形式では意味を

might convey meaning in its raw form.

直接伝えられるのでは と考えました

So I was very excited by this, you know,

とてもワクワクしました

hopping around all over the place,

さまざまな場所に行き

trying to figure out if I can convert

耳にするありとあらゆる文を

all possible sentences that I hear into this.

この形に変換しようと試みました

And I found that this is not enough.

すると これでは不十分だと気づきました

Why is this not enough?

何が不十分なのでしょうか？

This is not enough because if you wanted to convey

それは 例えば「否定」を

something like negation,

伝えたいときに言うのは

you want to say, "I don't want soup,"

「スープを飲みたくない」で

then you can't do that by asking a question.

質問では引き出せません

You do that by changing the word "want."

「飲みたい」を変える必要があります

Again, if you wanted to say,

「昨日スープが飲みたかった」

"I wanted soup yesterday,"

と言いたい場合は

you do that by converting the word "want" into "wanted."

「飲みたい」を 「飲みたかった」と

It's a past tense.

過去形に変えます

So this is a flourish which I added

この機能を足すことで

to make the system complete.

システムが完成しました

This is a map of words joined together

この単語のマップは問いと答えの

as questions and answers,

関係でつながっています

and with these filters applied on top of them

さらに フィルターをかけることで

in order to modify them to represent

特定のニュアンスに合わせて

certain nuances.

変更できます

Let me show you this with a different example.

違う例文で説明しましょう

Let's take this sentence:

「私は大工に 私は彼に支払えない と言った」

"I told the carpenter I could not pay him."

「私は大工に 私は彼に支払えない と言った」

It's a fairly complicated sentence.

かなり複雑な文です

The way that this particular system works,

このシステムの仕組みでは

you can start with any part of this sentence.

文のどの部分から始めてもいいので

I'm going to start with the word "tell."

「言う」から始めてみます

So this is the word "tell."

この「言う」という単語は

Now this happened in the past,

過去の出来事ですから

so I'm going to make that "told."

これを「言った」にします

Now, what I'm going to do is,

では次に

I'm going to ask questions.

いくつか質問をします

So, who told? I told.

「誰が言ったの？」 「私が言った」

I told whom? I told the carpenter.

「誰に言ったの？」 「大工に言った」

Now we start with a different part of the sentence.

次は文の違う部分から

We start with the word "pay,"

「支払う」という単語に

and we add the ability filter to it to make it "can pay."

能力フィルターをかけて 「支払える」にします

Then we make it "can't pay,"

それから「支払えない」とします

and we can make it "couldn't pay"

最後に「支払えなかった」と

by making it the past tense.

過去形にします

So who couldn't pay? I couldn't pay.

「誰が支払えなかったの？」 「私が支払えなかった」

Couldn't pay whom? I couldn't pay the carpenter.

「誰に支払えなかったの？」 「大工に支払えなかった」

And then you join these two together

結果をつなげるために

by asking this question:

この質問をします

What did I tell the carpenter?

「大工になんと言ったの？」

I told the carpenter I could not pay him.

「私は大工に 私は彼に支払えない と言った」

Now think about this. This is

考えてみてください これは

—(Applause)—

―（拍手）―

this is a representation of this sentence

これは言語に頼らない

without language.

文の表象なのです

And there are two or three interesting things about this.

そして 興味深い点がいくつかあります

First of all, I could have started anywhere.

第一に どの部分から始めても 良かったということ

I didn't have to start with the word "tell."

「言う」から始める必要は無く

I could have started anywhere in the sentence,

どこから始めても

and I could have made this entire thing.

同じ結果に至ります

The second thing is, if I wasn't an English speaker,

第二に 私が英語話者でなく

if I was speaking in some other language,

他の言語を話していたとしても

this map would actually hold true in any language.

このマップは同様に機能した ということ

So long as the questions are standardized,

質問が統一されていさえすれば

the map is actually independent of language.

マップは言語に 左右されないのです

So I call this FreeSpeech,

これをFreeSpeech（自由言語）と名づけ

and I was playing with this for many, many months.

何か月も試してみました

I was trying out so many different combinations of this.

ありとあらゆるパターンを試し

And then I noticed something very interesting about FreeSpeech.

非常に興味深い点を発見しました

I was trying to convert language,

言葉を変換しようとしていたときです

convert sentences in English into sentences in FreeSpeech,

英文を「自由言語」に変換したり

and vice versa, and back and forth.

その逆を繰り返していたら

And I realized that this particular configuration,

特有の構造に気づきました

this particular way of representing language,

この特有の言語の表象方法からは

it allowed me to actually create very concise rules

「自由言語」と英語という 両極の間に

that go between FreeSpeech on one side

とても簡潔な法則を導き出すことが

and English on the other.

可能でした

So I could actually write this set of rules

表象から英語に変換する法則を

that translates from this particular representation into English.

実際に書き出すこともできます

And so I developed this thing.

こうして開発したのが

I developed this thing called the FreeSpeech Engine

「自由言語」エンジンです

which takes any FreeSpeech sentence as the input

どんな「自由言語」の文を インプットしても

and gives out perfectly grammatical English text.

正しい文法の英文を アウトプット出来ます

And by putting these two pieces together,

表象とエンジンの

the representation and the engine,

二つを組み合わせることで

I was able to create an app, a technology for children with autism,

自閉症の子供たちのための 技術となるアプリが出来ました

that not only gives them words

それは 彼らに単語だけでなく

but also gives them grammar.

文法も与えるものでした

So I tried this out with kids with autism,

自閉症を抱える子供たちに

and I found that there was an incredible amount of identification.

試してもらうと その効果は一目瞭然でした

They were able to create sentences in FreeSpeech

彼らは「自由言語」を使い 英語よりも

which were much more complicated but much more effective

複雑かつ かなり分かりやすい

than equivalent sentences in English,

文を作ることが出来ました

and I started thinking about

なぜこうなるのか

why that might be the case.

考えたところ

And I had an idea, and I want to talk to you about this idea next.

一つの仮説をたてました それを今から説明します

In about 1997, about 15 years back,

1997年頃 約15年前ですが

there were a group of scientists that were trying

脳の言語処理方法を

to understand how the brain processes language,

解明しようとする科学者のグループが

and they found something very interesting.

とても興味深いことを発見しました

They found that when you learn a language

人間は言語を

as a child, as a two-year-old,

幼少期に学ぶとき

you learn it with a certain part of your brain,

脳のとある部分で習得します

and when you learn a language as an adult --

一方 大人として学ぶとき

for example, if I wanted to learn Japanese right now —

例えば 私が今から 日本語を勉強するとなると

a completely different part of my brain is used.

脳のまったく別の部分で習得します

Now I don't know why that's the case,

その理由は分かりませんが

but my guess is that that's because

私が思うには

when you learn a language as an adult,

大人として言語を学ぶときは

you almost invariably learn it

ほぼ必然的に

through your native language, or through your first language.

母語か第一言語を通して 学びます

So what's interesting about FreeSpeech

「自由言語」の面白いところは

is that when you create a sentence

文や言語を生成するとき―

or when you create language,

ちなみに自閉症の子供たちは

a child with autism creates language with FreeSpeech,

「自由言語」でことばを作りますが―

they're not using this support language,

補助的な言語に頼りません

they're not using this bridge language.

言語の橋渡しが無いのです

They're directly constructing the sentence.

文を直接構築しているのです

And so this gave me this idea.

そしてあるアイディアが浮かびました

Is it possible to use FreeSpeech

「自由言語」を

not for children with autism

自閉症の子供たちではなく

but to teach language to people without disabilities?

障害を持たない人々への 言語教育にも利用できないだろうか？

And so I tried a number of experiments.

いくつかの実験を試みました

The first thing I did was I built a jigsaw puzzle

まず ジグソーパズルを作りました

in which these questions and answers

このパズルは問いと答えが

are coded in the form of shapes,

形や色として埋め込まれ

in the form of colors,

皆にはこれを

and you have people putting these together

組み立てることで 仕組みを

and trying to understand how this works.

理解してもらいました

And I built an app out of it, a game out of it,

これをもとに ゲームアプリを開発しました

in which children can play with words

子供たちが単語で遊ぶなか

and with a reinforcement,

視覚的な構造が

a sound reinforcement of visual structures,

聴覚的に補助されることで

they're able to learn language.

言語を習得できるのです

And this, this has a lot of potential, a lot of promise,

この技術は 大きな可能性を秘めています

and the government of India recently

先日 インド政府にこの技術を

licensed this technology from us,

ライセンス供与しました

and they're going to try it out with millions of different children

政府は 何百万人もの子供たちに

trying to teach them English.

英語を教えるのに試用します

And the dream, the hope, the vision, really,

私の夢、希望、展望は

is that when they learn English this way,

この方法で英語を学ぶことで

they learn it with the same proficiency

母語と同様に

as their mother tongue.

英語に堪能になってくれることです

All right, let's talk about something else.

では 次は

Let's talk about speech.

発話について話しましょう

This is speech.

これは発話です

So speech is the primary mode of communication

人の間で交わされる コミュニケーションの

delivered between all of us.

最も主要な形態です

Now what's interesting about speech is that

発話の興味深いところは

speech is one-dimensional.

一次元だという点です

Why is it one-dimensional?

なぜ一次元なのでしょうか？

It's one-dimensional because it's sound.

音声だからです

It's also one-dimensional because

また 人間の口が

our mouths are built that way.

そういう構造だからです

Our mouths are built to create one-dimensional sound.

一次元の音を発するよう 造られています

But if you think about the brain,

でも 脳について考えると

the thoughts that we have in our heads

頭の中の思考は

are not one-dimensional.

一次元ではありません

I mean, we have these rich,

というのも 思考は

complicated, multi-dimensional ideas.

豊かで 複雑で 複数次元です

Now, it seems to me that language

すると 言語は実は

is really the brain's invention

脳の発明であり

to convert this rich, multi-dimensional thought

それは この豊かで 複数次元の思考を

on one hand

発話に変換するための

into speech on the other hand.

ものだと思えてきます

Now what's interesting is that

面白いことに 最近は

we do a lot of work in information nowadays,

情報分野の仕事が多いですが

and almost all of that is done in the language domain.

ほとんどが言語の領域で行われています

Take Google, for example.

例えばグーグルは

Google trawls all these countless billions of websites,

数え切れないほどの 英語のウェブサイトを

all of which are in English, and when you want to use Google,

徹底的に探し出し グーグルを使うときは

you go into Google search, and you type in English,

グーグル検索で英語で入力すると

and it matches the English with the English.

その英語とウェブサイトの英語を 合致させてくれる

What if we could do this in FreeSpeech instead?

これを「自由言語」でもできたら どうでしょう？

I have a suspicion that if we did this,

私の予想では そうすることで

we'd find that algorithms like searching,

検索行為や結果取得における

like retrieval, all of these things,

アルゴリズムはもっと単純で

are much simpler and also more effective,

効果的なものになると思います

because they don't process the data structure of speech.

それは発話のデータ構造を処理せずに

Instead they're processing the data structure of thought.

思考のデータ構造を 処理するものになるからです

The data structure of thought.

思考のデータ構造

That's a provocative idea.

刺激的な発想ですよね

But let's look at this in a little more detail.

もう少し詳しく見てみましょう

So this is the FreeSpeech ecosystem.

これが「自由言語」の生態系です

We have the Free Speech representation on one side,

一方では「自由言語」があり そして―

and we have the FreeSpeech Engine, which generates English.

英語を生成するエンジンがあります

Now if you think about it,

改めて考えてみると

FreeSpeech, I told you, is completely language-independent.

「自由言語」は 言語から独立しています

It doesn't have any specific information in it

英語に関する特定の情報は

which is about English.

一切入っていない

So everything that this system knows about English

つまり このシステムが持つ 英語に関する情報は

is actually encoded into the engine.

すべてエンジン内にコード化されています

That's a pretty interesting concept in itself.

これ自体が面白い概念です

You've encoded an entire human language

人間の言語というものを ソフトウェアプログラムに

into a software program.

記号化してしまったのです

But if you look at what's inside the engine,

しかし エンジンの中身を見てみると

it's actually not very complicated.

それほど複雑ではありません

It's not very complicated code.

難しいコードではないのです

And what's more interesting is the fact that

さらに面白いことに

the vast majority of the code in that engine

コードの大部分が

is not really English-specific.

英語固有のものではありません

And that gives this interesting idea.

そこで考えたのです

It might be very easy for us to actually

このようなエンジンを簡単に

create these engines in many, many different languages,

さまざまな言語に対して 作成できるのではないかと

in Hindi, in French, in German, in Swahili.

例えば ヒンディー語､ フランス語､ ドイツ語､ スワヒリ語

And that gives another interesting idea.

そこから こうも考えられます

For example, supposing I was a writer,

例えば 私が新聞や雑誌の

say, for a newspaper or for a magazine.

ライターだとします

I could create content in one language, FreeSpeech,

コンテンツを「自由言語」という 一つの言語で書けば

and the person who's consuming that content,

そのコンテンツの消費者

the person who's reading that particular information

つまり情報の読者は

could choose any engine,

どのエンジンでも選べ

and they could read it in their own mother tongue,

コンテンツを母語で

in their native language.

読むことができる

I mean, this is an incredibly attractive idea,

これは 大変魅力的な アイディアです

especially for India.

特にインドでは 多くの言語が

We have so many different languages.

存在しますからね

There's a song about India, and there's a description

インドについて歌っている曲では

of the country as, it says,

国をこう表しています

(in Sanskrit).

（サンスクリット語）

That means "ever-smiling speaker

「いつも笑顔の

of beautiful languages."

美しい言語たちの話者」と言っています

Language is beautiful.

言語は美しいものです

I think it's the most beautiful of human creations.

最も美しい 人間の創造物だと思います

I think it's the loveliest thing that our brains have invented.

最も愛しい 脳の発明品だと思います

It entertains, it educates, it enlightens,

私たちを楽しませ 教育し 啓発してくれます

but what I like the most about language

でも 最も好きなところは

is that it empowers.

力を与えてくれることです

I want to leave you with this.

最後にお見せしたいものがあります

This is a photograph of my collaborators,

これは私の協力者の写真です

my earliest collaborators

私が仕事で 言語や自閉症に 取り組み始めたころの協力者です

when I started working on language

私が仕事で 言語や自閉症に 取り組み始めたころの協力者です

and autism and various other things.

私が仕事で 言語や自閉症に 取り組み始めたころの協力者です

The girl's name is Pavna,

彼女はパヴナ

and that's her mother, Kalpana.

お母さんはカルパナ

And Pavna's an entrepreneur,

パヴナは起業家です

but her story is much more remarkable than mine,

弱冠23歳ですから

because Pavna is about 23.

彼女のストーリーは 私のよりもすごいです

She has quadriplegic cerebral palsy,

彼女は脳性四肢麻痺を抱えています

so ever since she was born,

生まれたときから

she could neither move nor talk.

動くことも話すこともできなかったのです

And everything that she's accomplished so far,

彼女がこれまで達成してきたこと―

finishing school, going to college,

義務教育修了 大学進学

starting a company,

会社の起業

collaborating with me to develop Avaz,

Avazの開発協力―

all of these things she's done

これらはすべて

with nothing more than moving her eyes.

目を動かすことだけで 成し遂げてきたのです

Daniel Webster said this:

ダニエル・ウェブスターは こう言いました

He said, "If all of my possessions were taken

「もし私の所有物を 一つを除いて

from me with one exception,

すべて失ってしまうとなったら

I would choose to keep the power of communication,

コミュニケーション能力を残したい

for with it, I would regain all the rest."

それで他を取り返せるから」 と

And that's why, of all of these incredible applications of FreeSpeech,

だからこそ「自由言語」の 数ある応用方法のうち

the one that's closest to my heart

今でも変わらず

still remains the ability for this

最も重要だと感じるのは

to empower children with disabilities

障害をもつ子供たちに

to be able to communicate,

コミュニケーションという

the power of communication,

力を与えることです

to get back all the rest.

それで全てを取り返せます

Thank you.

ありがとうございました

(Applause)

（拍手）

Thank you. (Applause)

どうもありがとう　（拍手）

Thank you. Thank you. Thank you. (Applause)

どうも　ありがとうございます　（拍手）

Thank you. Thank you. Thank you. (Applause)

（拍手）