How we teach computers to understand pictures | Fei Fei Li

翻訳: Yasushi Aoki 校正: Tadashi Koyama

Let me show you something.

まずこのビデオを ご覧ください

(Video) Girl: Okay, that's a cat sitting in a bed.

(女の子の声) ネコがベッドに座ってる

The boy is petting the elephant.

男の子が象をなでてる

Those are people that are going on an airplane.

飛行機へ行く人たち

That's a big airplane.

大きな飛行機よ

Fei-Fei Li: This is a three-year-old child

(講演者) これは３歳児が

describing what she sees in a series of photos.

見た写真を 説明しているところです

She might still have a lot to learn about this world,

彼女にはこの世界で学ぶことが まだまだあるかもしれませんが

but she's already an expert at one very important task:

ひとつの重要な作業については すでにエキスパートです

to make sense of what she sees.

見たものを理解する ということです

Our society is more technologically advanced than ever.

私たちの社会は技術的に かつてなく進歩しています

We send people to the moon, we make phones that talk to us

月へと人を送り込み 人に話しかける電話を作り

or customize radio stations that can play only music we like.

自分の好きな曲だけがかかるように ラジオをカスタマイズしています

Yet, our most advanced machines and computers

しかしながら最先端の コンピュータでも

still struggle at this task.

まだこの作業には 手こずっているんです

So I'm here today to give you a progress report

私は今日コンピュータビジョンの

on the latest advances in our research in computer vision,

最新動向について お伝えするために来ました

one of the most frontier and potentially revolutionary

これはコンピュータサイエンスの中でも 先端にあって

technologies in computer science.

画期的なものになる 可能性のある技術です

Yes, we have prototyped cars that can drive by themselves,

自分で運転する車の プロトタイプが作られていますが

but without smart vision, they cannot really tell the difference

知的な視覚処理能力がなかったら

between a crumpled paper bag on the road, which can be run over,

踏みつぶしても問題のない 道路上の丸めた紙袋と

and a rock that size, which should be avoided.

避けて通るべき同じ大きさの石とを 見分けることもできません

We have made fabulous megapixel cameras,

すごいメガピクセルの カメラが作られていますが

but we have not delivered sight to the blind.

盲目の人に視力を与えることは できていません

Drones can fly over massive land,

無人機を広大な土地の上に 飛ばすことはできても

but don't have enough vision technology

熱帯雨林の変化を 追跡できるだけの

to help us to track the changes of the rainforests.

画像技術はまだありません

Security cameras are everywhere,

監視カメラが至る所に 設置されていますが

but they do not alert us when a child is drowning in a swimming pool.

プールで溺れている子がいても 警告してはくれません

Photos and videos are becoming an integral part of global life.

写真やビデオは世界において 生活に不可欠な一部をなしています

They're being generated at a pace that's far beyond what any human,

どんな個人であれ チームであれ 見切れないほどのペースで

or teams of humans, could hope to view,

映像が量産されています

and you and I are contributing to that at this TED.

そして私たちも ここTEDで それに貢献しています

Yet our most advanced software is still struggling at understanding

しかし最も進んだ ソフトウェアでさえ

この膨大な映像を理解し管理するのに 手こずっています

and managing this enormous content.

So in other words, collectively as a society,

言ってみれば

私たちの社会は 集合的に盲目であり

we're very much blind,

それは最も知的な機械が いまだ盲目だからです

because our smartest machines are still blind.

"Why is this so hard?" you may ask.

なぜそんなに難しいのかと 思うかもしれません

Cameras can take pictures like this one

カメラはこのような写真を撮って

by converting lights into a two-dimensional array of numbers

光をピクセルと呼ばれる

数字の２次元配列へと 変換しますが

known as pixels,

but these are just lifeless numbers.

これは死んだ数字の列に 過ぎません

They do not carry meaning in themselves.

数字自体に意味はありません

単に音が耳に入ってくるのと 「聴く」のとは違うように

Just like to hear is not the same as to listen,

to take pictures is not the same as to see,

「写真を撮る」のと「見る」のとは 同じではありません

and by seeing, we really mean understanding.

「見る」ということには 理解することが含まれているのです

In fact, it took Mother Nature 540 million years of hard work

実際この仕事を 成し遂げられるようにするために

母なる自然は 5億4千万年という 長い歳月を必要としたのです

to do this task,

and much of that effort

そしてその努力の多くは

went into developing the visual processing apparatus of our brains,

目そのものではなく

脳の視覚処理能力を発達させるために 費やされました

not the eyes themselves.

So vision begins with the eyes,

視覚というのは 目から始まりますが

but it truly takes place in the brain.

それが本当に起きているのは 脳の中なのです

So for 15 years now, starting from my Ph.D. at Caltech

これまで15年間 カリフォルニア工科大学の博士課程の頃から

スタンフォード大でコンピュータビジョン研究室を 率いている今に到るまで

and then leading Stanford's Vision Lab,

I've been working with my mentors, collaborators and students

私は指導教官や共同研究者や 学生達とともに

to teach computers to see.

コンピュータに見ることを 教えようとしてきました

Our research field is called computer vision and machine learning.

私たちの研究領域は コンピュータビジョンと機械学習で

It's part of the general field of artificial intelligence.

これは人工知能の分野の一部です

So ultimately, we want to teach the machines to see just like we do:

最終的に私たちがしたいのは 機械も人間のようにものを見られるようにすることです

naming objects, identifying people, inferring 3D geometry of things,

物が何か言い当て 人を識別し ３次元的な配置を推量し

understanding relations, emotions, actions and intentions.

関係や感情や行動や意図を 理解するということです

You and I weave together entire stories of people, places and things

私たち人間は一目見ただけで

人 場所 物の織りなす物語全体を 捉えることができます

the moment we lay our gaze on them.

The first step towards this goal is to teach a computer to see objects,

この目標に向けた第一歩は

コンピュータに視覚世界の構成要素である物を 見られるようにすることです

the building block of the visual world.

In its simplest terms, imagine this teaching process

簡単に言うと

ネコのような特定の物の

as showing the computers some training images

訓練用画像を コンピュータに与えて

of a particular object, let's say cats,

and designing a model that learns from these training images.

それらの画像から学習する モデルを設計するんです

How hard can this be?

簡単そうに聞こえますよね？

After all, a cat is just a collection of shapes and colors,

ネコの画像は色と形の 集まりに過ぎません

and this is what we did in the early days of object modeling.

これは初期のオブジェクト・モデリングで 私たちがやっていたことでした

We'd tell the computer algorithm in a mathematical language

数学的な言語を使って コンピュータアルゴリズムに

that a cat has a round face, a chubby body,

ネコには 丸い顔と ぽっちゃりした体と

two pointy ears, and a long tail,

２つのとがった耳と 長いしっぽがあると教え

and that looked all fine.

それでうまくいきそうでした

But what about this cat?

でもこのネコはどうでしょう？

(Laughter)

(笑)

It's all curled up.

体がすっかり反り返っています

Now you have to add another shape and viewpoint to the object model.

オブジェクトモデルに新しい形と視点を 追加する必要があります

But what if cats are hidden?

でもネコが一部隠れていたら どうでしょう？

What about these silly cats?

このおかしなネコたちはどうでしょう？

Now you get my point.

言いたいこと分かりますよね？

Even something as simple as a household pet

身近なペットのネコという シンプルなものでさえ

can present an infinite number of variations to the object model,

オブジェクトモデルに 無数のバリエーションを定義する必要があり

and that's just one object.

しかもこれは沢山あるものの １つに過ぎないんです

So about eight years ago,

８年ほど前

a very simple and profound observation changed my thinking.

とてもシンプルながら本質的なある観察が 私の考え方を変えました

No one tells a child how to see,

子供は教えられなくても

成長の初期に ものの見方を身に付けるということです

especially in the early years.

They learn this through real-world experiences and examples.

子供は現実の世界における 経験と例を通して学ぶのです

If you consider a child's eyes

子供の目が 生きたカメラで

200ミリ秒ごとに１枚

as a pair of biological cameras,

they take one picture about every 200 milliseconds,

写真を撮っていると 考えてみましょう

the average time an eye movement is made.

これは目が動く 平均時間です

So by age three, a child would have seen hundreds of millions of pictures

すると子供は３歳になるまでに 何億枚という

現実世界の写真を 見ていることになります

of the real world.

That's a lot of training examples.

膨大な量の訓練例です

So instead of focusing solely on better and better algorithms,

それで気が付いたのは アルゴリズムの改良ばかりに集中するのではなく

my insight was to give the algorithms the kind of training data

子供が経験を通じて 受け取るような

that a child was given through experiences

量と質の訓練データを

in both quantity and quality.

アルゴリズムに与えてはどうか ということでした

Once we know this,

このことに気付いた時

we knew we needed to collect a data set

私たちが持っているよりも 遙かに多くの画像データを

that has far more images than we have ever had before,

集めなければならないことが 明らかでした

perhaps thousands of times more,

何千倍も必要です

and together with Professor Kai Li at Princeton University,

それで私はプリンストン大学の カイ・リー教授と一緒に

we launched the ImageNet project in 2007.

2007年にImageNetプロジェクトを 立ち上げました

Luckily, we didn't have to mount a camera on our head

幸い私たちは 頭にカメラを付けて

and wait for many years.

何年も歩き回る必要は ありませんでした

We went to the Internet,

人類がかつて作った 最大の画像の宝庫

the biggest treasure trove of pictures that humans have ever created.

インターネットに 向かったのです

We downloaded nearly a billion images

私たちは10億枚近い画像を ダウンロードし

and used crowdsourcing technology like the Amazon Mechanical Turk platform

アマゾン・メカニカル・タークのような クラウドソーシング技術を使って

to help us to label these images.

それらの画像に ラベル付けをしました

At its peak, ImageNet was one of the biggest employers

最盛期にはImageNetは アマゾン・メカニカル・ターク作業者の

of the Amazon Mechanical Turk workers:

最大の雇用者の１つに なっていました

together, almost 50,000 workers

167カ国の

from 167 countries around the world

５万人近い作業者が

helped us to clean, sort and label

10億枚近い画像を 整理しラベル付けする作業に

nearly a billion candidate images.

携わりました

That was how much effort it took

子供がその成長の初期に 受け取るのに

to capture even a fraction of the imagery

匹敵する量の画像を 用意するためには

a child's mind takes in in the early developmental years.

それほどの労力が 必要だったのです

In hindsight, this idea of using big data

コンピュータアルゴリズムの訓練に ビッグデータを使うというアイデアは

to train computer algorithms may seem obvious now,

今からすると 自明なものに見えるでしょうが

but back in 2007, it was not so obvious.

2007年当時は そうではありませんでした

We were fairly alone on this journey for quite a while.

かなり長い間 こんなことをやっている人は 私たち以外にいませんでした

Some very friendly colleagues advised me to do something more useful for my tenure,

親切な同僚が将来の職のためにもう少し有用なことを した方がいいとアドバイスしてくれたくらいです

and we were constantly struggling for research funding.

研究資金には いつも困っていました

Once, I even joked to my graduate students

ImageNetの資金調達のために クリーニング屋をまた開こうかしらと

that I would just reopen my dry cleaner's shop to fund ImageNet.

学生に冗談で言ったくらいです

After all, that's how I funded my college years.

私が学生の頃 学費のために やっていたことです

So we carried on.

私たちは進み続け

In 2009, the ImageNet project delivered

2009年に ImageNetプロジェクトは

a database of 15 million images

日常的な英語を使って 2万2千のカテゴリに分類した

across 22,000 classes of objects and things

1500万枚の画像の データベースを

organized by everyday English words.

完成させました

In both quantity and quality,

これは量という点でも 質という点でも

this was an unprecedented scale.

かつてないスケールのものでした

As an example, in the case of cats,

一例を挙げると

ネコの画像は 6万2千点以上あって

we have more than 62,000 cats

of all kinds of looks and poses

様々な見かけや ポーズのネコがいて

and across all species of domestic and wild cats.

飼い猫から山猫まで あらゆる種類を網羅しています

We were thrilled to have put together ImageNet,

私たちはImageNetが できあがったことを喜び

and we wanted the whole research world to benefit from it,

世界の研究者にも その恩恵を受けて欲しいと思い

so in the TED fashion, we opened up the entire data set

TEDの流儀で データセットをまるごと

to the worldwide research community for free.

無償で世界の研究者コミュニティに 公開しました

(拍手)

(Applause)

Now that we have the data to nourish our computer brain,

こうしてコンピュータの脳を 育てるためのデータができ

we're ready to come back to the algorithms themselves.

アルゴリズムに取り組む 用意が整いました

As it turned out, the wealth of information provided by ImageNet

それで分かったのは ImageNetが提供する豊かな情報に適した

was a perfect match to a particular class of machine learning algorithms

機械学習アルゴリズムがあることです

called convolutional neural network,

畳み込みニューラルネットワークと言って

pioneered by Kunihiko Fukushima, Geoff Hinton, and Yann LeCun

福島邦彦 ジェフリー・ヒントン ヤン・ルカンといった人たちが

back in the 1970s and '80s.

1970年代から1980年代にかけて 開拓した領域です

Just like the brain consists of billions of highly connected neurons,

脳が何十億という高度に結合し合った ニューロンからできているように

a basic operating unit in a neural network

ニューラルネットワークの 基本要素となっているのは

is a neuron-like node.

ニューロンのようなノードです

It takes input from other nodes

他のノードからの入力を受けて

and sends output to others.

他のノードへ出力を渡します

Moreover, these hundreds of thousands or even millions of nodes

何十万 何百万という このようなノードが

are organized in hierarchical layers,

これも脳と同様に

階層的に組織化されています

also similar to the brain.

In a typical neural network we use to train our object recognition model,

物を認識するモデルを訓練するために 私たちが通常使うニューラルネットワークには

it has 24 million nodes,

2千4百万のノード

140 million parameters,

1億4千万のパラメータ

and 15 billion connections.

150億の結合があります

That's an enormous model.

ものすごく大きなモデルです

Powered by the massive data from ImageNet

ImageNetの膨大なデータと

and the modern CPUs and GPUs to train such a humongous model,

現代のCPUやGPUの性能を使って このような巨大なモデルを訓練することで

the convolutional neural network

畳み込みニューラルネットワークは

blossomed in a way that no one expected.

誰も予想しなかったくらいに 大きく花開きました

It became the winning architecture

これは物の認識において 目覚ましい結果を出す

to generate exciting new results in object recognition.

大当たりのアーキテクチャとなっています

This is a computer telling us

ここではコンピュータが

this picture contains a cat

写真の中にネコがいることと

and where the cat is.

その場所を示しています

Of course there are more things than cats,

もちろんネコ以外のものも 認識できます

so here's a computer algorithm telling us

こちらではコンピュータアルゴリズムが

the picture contains a boy and a teddy bear;

写真の中に男の子とテディベアが 写っていることを教えています

a dog, a person, and a small kite in the background;

犬と 人物と 後方に小さな凧が あることを示しています

or a picture of very busy things

とても沢山のものが 写った写真から

like a man, a skateboard, railings, a lampost, and so on.

男性 スケートボード 手すり 街灯などを見分けています

Sometimes, when the computer is not so confident about what it sees,

写っているものが何なのか コンピュータが そんなに自信を持てない場合もあります [動物]

we have taught it to be smart enough

コンピュータには 当て推量をするよりは

to give us a safe answer instead of committing too much,

確かなところを答えるよう 教えています

just like we would do,

ちょうど私たち自身がするように

but other times our computer algorithm is remarkable at telling us

一方で何が写っているかについて コンピュータアルゴリズムが

what exactly the objects are,

驚くほど正確に 言い当てることもあります

like the make, model, year of the cars.

たとえば自動車の車種や モデルや年式のような

We applied this algorithm to millions of Google Street View images

このアルゴリズムを アメリカの数百都市の

across hundreds of American cities,

何百万という Googleストリートビュー画像に適用した結果

and we have learned something really interesting:

面白い発見がありました

first, it confirmed our common wisdom

まず 車の値段は

that car prices correlate very well

家計収入とよく相関しているという

with household incomes.

予想が裏付けられました

But surprisingly, car prices also correlate well

でも驚いたことに 車の値段は

街の犯罪率とも よく相関していたんです

with crime rates in cities,

それはまた郵便番号区域ごとの 投票傾向とも相関しています

or voting patterns by zip codes.

So wait a minute. Is that it?

それでは コンピュータは

Has the computer already matched or even surpassed human capabilities?

既に人間の能力に追いつき 追い越しているのでしょうか？

Not so fast.

結論を急がないで

So far, we have just taught the computer to see objects.

これまでのところ 私たちは コンピュータに物の見方を教えただけです

This is like a small child learning to utter a few nouns.

小さな子供が名詞をいくつか 言えるようになったようなものです

It's an incredible accomplishment,

ものすごい成果ですが

but it's only the first step.

まだ第一歩にすぎず

Soon, another developmental milestone will be hit,

次の開発目標があります

and children begin to communicate in sentences.

子供は文章でコミュニケーションを するようになります

So instead of saying this is a cat in the picture,

だから写真を見て小さな女の子が 単にネコと言わずに

you already heard the little girl telling us this is a cat lying on a bed.

ネコがベッドに座っていると 言うのを聞いたわけです

So to teach a computer to see a picture and generate sentences,

コンピュータが写真を見て 文章を作れるよう教えるために

the marriage between big data and machine learning algorithm

このビッグデータと 機械学習の結びつきが

has to take another step.

新たなステップを 踏む必要があります

Now, the computer has to learn from both pictures

コンピュータは 写真だけでなく

as well as natural language sentences

人が発する自然言語の文章も

generated by humans.

学ぶ必要があります

Just like the brain integrates vision and language,

脳が視覚と言語を 結びつけるように

we developed a model that connects parts of visual things

画像の断片のような 視覚的なものの一部と

like visual snippets

文章の中の単語やフレーズを 繋ぎ合わせるモデルを

with words and phrases in sentences.

私たちは開発しました

About four months ago,

４ヶ月ほど前

we finally tied all this together

ついに私たちは すべてをまとめ

and produced one of the first computer vision models

初めて見た写真について

人が書いたような 記述文を生成できる

that is capable of generating a human-like sentence

when it sees a picture for the first time.

最初のコンピュータ・ビジョン・ モデルを作り上げました

Now, I'm ready to show you what the computer says

冒頭で小さな女の子が説明したのと 同じ写真を見て

when it sees the picture

そのコンピュータが何と言ったか

that the little girl saw at the beginning of this talk.

お見せしましょう

(Video) Computer: A man is standing next to an elephant.

「ゾウの横に立っている男」

A large airplane sitting on top of an airport runway.

「空港の滑走路にいる大きな飛行機」

FFL: Of course, we're still working hard to improve our algorithms,

私たちは今もアルゴリズムを改良しようと 熱心に取り組んでいて

and it still has a lot to learn.

学ぶべきことは まだまだあります

(Applause)

(拍手)

And the computer still makes mistakes.

コンピュータは まだ間違いを犯します

(Video) Computer: A cat lying on a bed in a blanket.

「ベッドの上の毛布の中のネコ」

FFL: So of course, when it sees too many cats,

ネコを沢山見過ぎたせいで

it thinks everything might look like a cat.

何でもネコみたいに 見えるのかもしれません

(Video) Computer: A young boy is holding a baseball bat.

「野球バットを持つ小さな男の子」

(Laughter)

(笑)

FFL: Or, if it hasn't seen a toothbrush, it confuses it with a baseball bat.

歯ブラシを見たことがないと 野球バットと混同してしまいます

(Video) Computer: A man riding a horse down a street next to a building.

「建物脇の道を馬に乗って行く男」

(Laughter)

(笑)

FFL: We haven't taught Art 101 to the computers.

美術はまだコンピュータに 教えていませんでした

(Video) Computer: A zebra standing in a field of grass.

「草原に立つシマウマ」

FFL: And it hasn't learned to appreciate the stunning beauty of nature

私たちのように 自然の美を慈しむことは

like you and I do.

まだ学んでいません

So it has been a long journey.

長い道のりでした

To get from age zero to three was hard.

０歳から３歳まで行くのは 大変でした

The real challenge is to go from three to 13 and far beyond.

でも本当の挑戦は３歳から13歳 さらにその先へと行くことです

Let me remind you with this picture of the boy and the cake again.

あの男の子とケーキの写真を もう一度見てみましょう

So far, we have taught the computer to see objects

私たちはコンピュータに 物を識別することを教え

or even tell us a simple story when seeing a picture.

写真を簡単に説明することさえ 教えました

(Video) Computer: A person sitting at a table with a cake.

「ケーキのあるテーブルにつく人」

FFL: But there's so much more to this picture

しかしこの写真には 単に人とケーキというよりも

than just a person and a cake.

遙かに多くのものがあります

What the computer doesn't see is that this is a special Italian cake

コンピュータが見なかったのは このケーキが特別なイタリアのケーキで

that's only served during Easter time.

イースターの時に 食べるものだということです

The boy is wearing his favorite t-shirt

男の子が着ているのは お気に入りのTシャツで

given to him as a gift by his father after a trip to Sydney,

お父さんがシドニー旅行の おみやげにくれたものだということ

and you and I can all tell how happy he is

私たちはみんな この男の子がどんなに喜んでいるか

and what's exactly on his mind at that moment.

何を思っているかが分かります

This is my son Leo.

これは息子のレオです

On my quest for visual intelligence,

視覚的な知性を 追い求める探求の中で

I think of Leo constantly

私はいつもレオのことや

and the future world he will live in.

レオが住むであろう 未来の世界のことを考えています

When machines can see,

機械に見ることが できるようになれば

doctors and nurses will have extra pairs of tireless eyes

医師や看護師は疲れを知らない 別の目を手に入れて

to help them to diagnose and take care of patients.

患者の診断や世話に 役立てられるでしょう

Cars will run smarter and safer on the road.

自動車は道路をより賢明に 安全に走行するようになるでしょう

Robots, not just humans,

人間だけでなくロボットも

will help us to brave the disaster zones to save the trapped and wounded.

災害地域に取り残され負傷した人々を救出する 手助けができるようになるでしょう

We will discover new species, better materials,

私たちは機械の助けを借りて 新種の生物やより優れた素材を発見し

and explore unseen frontiers with the help of the machines.

未だ見ぬフロンティアを 探検するようになるでしょう

Little by little, we're giving sight to the machines.

私たちは少しずつ機械に 視覚を与えています

First, we teach them to see.

最初に私たちが 機械に見ることを教え

それから機械が より良く見られるよう 私たちを助けてくれることでしょう

Then, they help us to see better.

For the first time, human eyes won't be the only ones

歴史上初めて 人間以外の目が

pondering and exploring our world.

世界について考察し 探求するようになるのです

We will not only use the machines for their intelligence,

私たちは機械の知性を 利用するだけでなく

we will also collaborate with them in ways that we cannot even imagine.

想像もできないような方法で 機械と人間が協力し合うようになるでしょう

This is my quest:

私が追い求めているのは

to give computers visual intelligence

コンピュータに視覚的な知性を与え

and to create a better future for Leo and for the world.

レオや世界のために より良い未来を作り出すということです

Thank you.

ありがとうございました

(Applause)

(拍手)