What we learned from 5 million books

5百万冊の本から学んだこと

翻訳: Yasushi Aoki 校正: Yuki Okada

Erez Lieberman Aiden: Everyone knows

(エレズ) ご存じと思いますが

that a picture is worth a thousand words.

１枚の絵は千の言葉に値すると言います

But we at Harvard

しかしハーバード大学では

were wondering if this was really true.

この点について疑問を抱きました

(Laughter)

(笑)

So we assembled a team of experts,

それで専門家のチームが編成されました

spanning Harvard, MIT,

ハーバード大学 MIT

The American Heritage Dictionary, The Encyclopedia Britannica

アメリカン・ヘリテージ英語辞典 ブリタニカ百科事典

and even our proud sponsors,

それに我らがスポンサー

the Google.

Googleも参加しています

And we cogitated about this

そして４年間に渡って

for about four years.

詳細な研究が続けられ

And we came to a startling conclusion.

驚くべき結論が得られました

Ladies and gentlemen, a picture is not worth a thousand words.

皆さん １枚の絵は千の言葉に値するのではありません

In fact, we found some pictures

我々の発見によれば

that are worth 500 billion words.

１枚の絵は5千億の言葉に値するのです

Jean-Baptiste Michel: So how did we get to this conclusion?

(ジャン) いかにしてその結論に至ったのか？

So Erez and I were thinking about ways

エレズと私は 人類の文化と歴史が

to get a big picture of human culture

時とともにどう遷移してきたのか

and human history: change over time.

概観できる方法に 考えを巡らせていました

So many books actually have been written over the years.

長年に渡り多くの本が書かれています

So we were thinking, well the best way to learn from them

それらの本をすべて読むのが

is to read all of these millions of books.

最良の方法だろうと考えました

Now of course, if there's a scale for how awesome that is,

もし「いかしてる」度合いを測る単位があったとしたら

that has to rank extremely, extremely high.

これは非常に高い値になるでしょう

Now the problem is there's an X-axis for that,

問題は X軸に

which is the practical axis.

実現性を取ると

This is very, very low.

それがごく低くなるということです

(Applause)

(拍手)

Now people tend to use an alternative approach,

それで多くの人は違ったアプローチを取っています

which is to take a few sources and read them very carefully.

一握りの文献を熟読するのです

This is extremely practical, but not so awesome.

現実的ですが そんなにいかしてはいません

What you really want to do

本当にやりたいのは

is to get to the awesome yet practical part of this space.

いかしていながら現実的なことです

So it turns out there was a company across the river called Google

川向こうのGoogleという会社が それを可能にするような

who had started a digitization project a few years back

デジタル化プロジェクトを

that might just enable this approach.

数年前からやっていると聞き及びました

They have digitized millions of books.

何百万という本がデジタル化され

So what that means is, one could use computational methods

それらの本をボタンひとつで

to read all of the books in a click of a button.

コンピュータに読み取らせることができます

That's very practical and extremely awesome.

これはとても現実的でありながら すごくいかしています

ELA: Let me tell you a little bit about where books come from.

(エレズ) 本の由来についてお話ししましょう

Since time immemorial, there have been authors.

大昔から本を書く人々がいて

These authors have been striving to write books.

著者たちは苦労して本を書いていました

And this became considerably easier

数世紀前の印刷術の発明により

with the development of the printing press some centuries ago.

それが格段に容易になりました

Since then, the authors have won

それ以来行われてきた出版の機会というのは

on 129 million distinct occasions,

1億2千9百万回にも

publishing books.

及びます

Now if those books are not lost to history,

それらの本は 失われていなければ

then they are somewhere in a library,

どこかの図書館にあります

and many of those books have been getting retrieved from the libraries

その多くがGoogleにより図書館から借り出され

and digitized by Google,

デジタルデータ化されました

which has scanned 15 million books to date.

既に千5百万冊がスキャンされています

Now when Google digitizes a book, they put it into a really nice format.

Googleはデジタル化された本を有用な形式で保存します

Now we've got the data, plus we have metadata.

データだけでなく メタデータも手に入ります

We have information about things like where was it published,

どこで出版されたのか 誰が書いたのか

who was the author, when was it published.

いつ発行されたのか

And what we do is go through all of those records

私たちがしたのは それらすべてのレコードをチェックして

and exclude everything that's not the highest quality data.

クオリティが最高のもの以外除外するということです

What we're left with

残ったのは

is a collection of five million books,

5百万冊の本

500 billion words,

5千億語というデータです

a string of characters a thousand times longer

ヒトゲノムよりも

than the human genome --

千倍も長い文字列

a text which, when written out,

書き出したなら

would stretch from here to the Moon and back

地球と月の間を10回以上

10 times over --

往復する—

a veritable shard of our cultural genome.

紛れもない 我々の文化ゲノムのかけらです

Of course what we did

そのような

when faced with such outrageous hyperbole ...

誇大広告に直面して･･･

(Laughter)

(笑)

was what any self-respecting researchers

私たちがしたのは もちろん

would have done.

自尊心ある研究者なら誰でもするであろうことです

We took a page out of XKCD,

XKCDの漫画の1ページを

and we said, "Stand back.

引用して言ったのです

We're going to try science."

「下がれ 我は科学するものなり」

(Laughter)

(笑)

JM: Now of course, we were thinking,

(ジャン) 私たちが考えたのは

well let's just first put the data out there

まずデータをみんなに公開して

for people to do science to it.

それで科学できるようにしようということです

Now we're thinking, what data can we release?

どんなデータが公開できるでしょう？

Well of course, you want to take the books

もちろん5百万冊の本の

and release the full text of these five million books.

全文を公開したいと思いました

Now Google, and Jon Orwant in particular,

でもGoogleのジョン・オーワントが

told us a little equation that we should learn.

ちょっとした方程式を教えてくれました

So you have five million, that is, five million authors

5百万冊の本 = 5百万人の著者 =

and five million plaintiffs is a massive lawsuit.

5百万の原告からなる巨大な訴訟

So, although that would be really, really awesome,

全文公開は

again, that's extremely, extremely impractical.

ものすごくいかしているにしても 極めて非現実的なのです

(Laughter)

(笑)

Now again, we kind of caved in,

それで再び折れて

and we did the very practical approach, which was a bit less awesome.

いかしている度合いを下げて 現実的なアプローチを取り

We said, well instead of releasing the full text,

全文の代わりに 本の統計データを

we're going to release statistics about the books.

公開することにしたのです

So take for instance "A gleam of happiness."

たとえば “a gleam of happiness”のような

It's four words; we call that a four-gram.

４語からなる“4-gram”が

We're going to tell you how many times a particular four-gram

本の中に何度現れるかわかります

appeared in books in 1801, 1802, 1803,

1801年 1802年 1803年から

all the way up to 2008.

2008年に至るまで

That gives us a time series

時とともに そのフレーズが

of how frequently this particular sentence was used over time.

どれほどの頻度で使われているかわかるのです

We do that for all the words and phrases that appear in those books,

これを本に現れるあらゆる語やフレーズに対して行い

and that gives us a big table of two billion lines

20億行からなる膨大な表が得られました

that tell us about the way culture has been changing.

それは文化がいかに変わってきたか教えてくれます

ELA: So those two billion lines,

(エレズ) 20億行ですから

we call them two billion n-grams.

「20億のn-gram」と呼んでいます

What do they tell us?

それは何を教えてくれるのでしょう？

Well the individual n-grams measure cultural trends.

個々のn-gramは文化のトレンドを示します

Let me give you an example.

例を見てみましょう

Let's suppose that I am thriving,

私が今 “thrive”していて(うまくやっていて)

then tomorrow I want to tell you about how well I did.

明日そのことを話したいと思ったとしましょう

And so I might say, "Yesterday, I throve."

私は “Yesterday, I throve.”と言うかもしれません

Alternatively, I could say, "Yesterday, I thrived."

あるいは “Yesterday, I thrived.”と言うかもしれません

Well which one should I use?

どちらの形を使うべきでしょう？

How to know?

どうすればわかるのか？

As of about six months ago,

半年前であれば

the state of the art in this field

この分野における最先端の方法は

is that you would, for instance,

たとえば

go up to the following psychologist with fabulous hair,

この見事な髪をした心理学者の所に

and you'd say,

聞きに行くことだったでしょう

"Steve, you're an expert on the irregular verbs.

「ピンカーさん あなた不規則動詞の専門家ですよね

What should I do?"

どう言うべきでしょう？」

And he'd tell you, "Well most people say thrived,

彼は「たいていの人はthrivedと言いますが

but some people say throve."

throveと言う人もたまにいます」と答えるでしょう

And you also knew, more or less,

ご存じかもしれませんが

that if you were to go back in time 200 years

200年ほど遡って

and ask the following statesman with equally fabulous hair,

この同じように見事な髪をした政治家の所に行って

(Laughter)

(笑)

"Tom, what should I say?"

「ジェファーソンさん どう言うべきでしょう？」

He'd say, "Well, in my day, most people throve,

と聞いたなら「私の頃には 多くの人はthroveと言い

but some thrived."

たまにthrivedと言う人がいましたね」と言うでしょう

So now what I'm just going to show you is raw data.

では生のデータをご覧に入れましょう

Two rows from this table of two billion entries.

20億行の表の中の２つの行です

What you're seeing is year by year frequency

ご覧いただいているのは

of "thrived" and "throve" over time.

“thrived”と“throve”の年ごとの使用頻度です

Now this is just two

これは20億行の中の

out of two billion rows.

２行に過ぎません

So the entire data set

ですからデータの全体は

is a billion times more awesome than this slide.

このスライドの10億倍いかしていると言えるでしょう

(Laughter)

(笑)

(Applause)

(拍手)

JM: Now there are many other pictures that are worth 500 billion words.

(ジャン) 5千億語に値する絵は

For instance, this one.

他にもあります たとえばこれ

If you just take influenza,

「インフルエンザ」を取り上げてみると

you will see peaks at the time where you knew

大きな流行が起きて

big flu epidemics were killing people around the globe.

世界中でたくさんの人が死んだ年に山があります

ELA: If you were not yet convinced,

(エレズ) もしまだ信じられないなら

sea levels are rising,

「海面」「大気中CO2」

so is atmospheric CO2 and global temperature.

「地球気温」は ご覧のように上昇しています

JM: You might also want to have a look at this particular n-gram,

(ジャン) このn-gramもご覧になりたいかもしれません

and that's to tell Nietzsche that God is not dead,

これはニーチェに神は死んでいないことを教えるものです

although you might agree that he might need a better publicist.

もっとも 神様はもっといい広報担当者を雇うべきかもしれません

(Laughter)

(笑)

ELA: You can get at some pretty abstract concepts with this sort of thing.

(エレズ) 抽象概念について見ることもできます

For instance, let me tell you the history

たとえば「1950年」の

of the year 1950.

歴史を見てみましょう

Pretty much for the vast majority of history,

歴史上の大部分の時代において

no one gave a damn about 1950.

誰も1950年に注意を払ってはいませんでした

In 1700, in 1800, in 1900,

1700年 1800年 1900年

no one cared.

誰も関心を持っていません

Through the 30s and 40s,

1930〜40年代になっても

no one cared.

誰も関心を持っていません

Suddenly, in the mid-40s,

40年代半ばになって

there started to be a buzz.

突然 はやり出します

People realized that 1950 was going to happen,

みんな1950年はやってきて

and it could be big.

それがすごいかもしれないと気づいたのです

(Laughter)

(笑)

But nothing got people interested in 1950

しかし1950年ほど 1950年への関心の

like the year 1950.

高かったときはありません

(Laughter)

(笑)

People were walking around obsessed.

みんな取り付かれたようです

They couldn't stop talking

みんな話しやめることができません

about all the things they did in 1950,

1950年にしたいろんなことや

all the things they were planning to do in 1950,

1950年にしよう思っているいろんなこと

all the dreams of what they wanted to accomplish in 1950.

1950年に達成したいと思っているいろんな夢

In fact, 1950 was so fascinating

実際 1950年はあまりに素晴らしく

that for years thereafter,

その後何年も人々は

people just kept talking about all the amazing things that happened,

その年の素晴らしい出来事について話し続けました

in '51, '52, '53.

51年 52年 53年

Finally in 1954,

1954年になって

someone woke up and realized

ようやく目を覚まし

that 1950 had gotten somewhat passé.

1950年がもう時代遅れなことに気づいたのです

(Laughter)

(笑)

And just like that, the bubble burst.

そうやってバブルははじけました

(Laughter)

(笑)

And the story of 1950

同じことが 記録のある

is the story of every year that we have on record,

他のすべての年についても見られます

with a little twist, because now we've got these nice charts.

このような素敵なチャートを描くことができ

And because we have these nice charts, we can measure things.

このチャートから様々なことを測定できます

We can say, "Well how fast does the bubble burst?"

「バブルがはじけるのにどれくらいかかるか？」

And it turns out that we can measure that very precisely.

実際非常に正確に測れることがわかります

Equations were derived, graphs were produced,

方程式を導出し グラフを描いて

and the net result

結果として

is that we find that the bubble bursts faster and faster

バブルがはじけるまでの時間は

with each passing year.

年々短くなっていることがわかります

We are losing interest in the past more rapidly.

私たちは過去への興味を失うのが早くなっているのです

JM: Now a little piece of career advice.

(ジャン) キャリアについてひとつアドバイスしましょう

So for those of you who seek to be famous,

有名になりたいという人は

we can learn from the 25 most famous political figures,

25人の最も有名な政治家 作家

authors, actors and so on.

俳優 といった人々から学べます

So if you want to become famous early on, you should be an actor,

若いときに有名になりたいなら 俳優(紫)になるべきです

because then fame starts rising by the end of your 20s --

20代が終わる前に名声が上がっていきます

you're still young, it's really great.

まだまだ若く 素敵なことです

Now if you can wait a little bit, you should be an author,

もう少し待てるのなら 作家(青)がおすすめです

because then you rise to very great heights,

すごい高みまで行くことができます

like Mark Twain, for instance: extremely famous.

マーク・トウェインなんてすごく有名ですよね

But if you want to reach the very top,

しかし本当の高みにまで行く気なら

you should delay gratification

ご褒美は遅らせて

and, of course, become a politician.

政治家(赤)になるべきでしょう

So here you will become famous by the end of your 50s,

有名になるのは50代の終わりですが

and become very, very famous afterward.

その後はものすごく有名になります

So scientists also tend to get famous when they're much older.

科学者も一般に年を取ってから有名になる傾向があります

Like for instance, biologists and physics

生物学者(緑)や物理学者(灰)は

tend to be almost as famous as actors.

俳優と同じくらい有名になります

One mistake you should not do is become a mathematician.

避けるべき誤りは 数学者(黄)になることです

(Laughter)

(笑)

If you do that,

「20代で最高の仕事をしてやるんだ」と

you might think, "Oh great. I'm going to do my best work when I'm in my 20s."

意気込んでいるかもしれませんが

But guess what, nobody will really care.

誰も関心を持ってくれないのです

(Laughter)

(笑)

ELA: There are more sobering notes

(エレズ) n-gramについては

among the n-grams.

もっと暗い話もあります

For instance, here's the trajectory of Marc Chagall,

これは1887年生まれの画家

an artist born in 1887.

「マルク・シャガール」の曲線です

And this looks like the normal trajectory of a famous person.

有名人に典型的な曲線に見えます

He gets more and more and more famous,

年を追うごとに有名になっていきますが

except if you look in German.

ドイツ語圏は例外です

If you look in German, you see something completely bizarre,

まったく奇妙なことが起きています

something you pretty much never see,

見たことのないようなことです

which is he becomes extremely famous

非常に有名になった後

and then all of a sudden plummets,

突如としてどん底まで下落します

going through a nadir between 1933 and 1945,

1933年から1945年まで落ちていて

before rebounding afterward.

その後復帰します

And of course, what we're seeing

お察しの通り

is the fact Marc Chagall was a Jewish artist

マルク・シャガールは ナチスドイツ下の

in Nazi Germany.

ユダヤ人画家だったということです

Now these signals

このシグナルは

are actually so strong

あまりに強いので

that we don't need to know that someone was censored.

誰か検閲していたのかと訝るまでもないでしょう

We can actually figure it out

実際ごく基本的な信号処理で

using really basic signal processing.

そのことを示せます

Here's a simple way to do it.

どうやるのかというと

Well, a reasonable expectation

ある期間における

is that somebody's fame in a given period of time

誰かの有名度の期待値は

should be roughly the average of their fame before

大まかに言って その前後における

and their fame after.

有名度の平均になります

So that's sort of what we expect.

それが予想される値です

And we compare that to the fame that we observe.

その値を 実際の観測値と比較します

And we just divide one by the other

その２つの比は

to produce something we call a suppression index.

いわば「弾圧指数」とでも言うべきものです

If the suppression index is very, very, very small,

弾圧指数がごく小さいなら

then you very well might be being suppressed.

弾圧されている可能性が高く

If it's very large, maybe you're benefiting from propaganda.

逆に大きい場合には プロパガンダに助けられているのかもしれません

JM: Now you can actually look at

(ジャン) あらゆる人の

the distribution of suppression indexes over whole populations.

弾圧指数の分布を見ることもできます

So for instance, here --

たとえばこれは

this suppression index is for 5,000 people

英語で書かれた本から選んだ

picked in English books where there's no known suppression --

弾圧の形跡のない5千人の弾圧指数です

it would be like this, basically tightly centered on one.

中心にまとまったグラフになり

What you expect is basically what you observe.

期待値と観察値がほぼ一致します

This is distribution as seen in Germany --

こちらはドイツ語での分布ですが

very different, it's shifted to the left.

非常に異なっており 左に寄っています

People talked about it twice less as it should have been.

本来よりも半分しか話題になっていません

But much more importantly, the distribution is much wider.

しかも分布が横に広がっています

There are many people who end up on the far left on this distribution

本来の十分の一しか取り上げられていない

who are talked about 10 times fewer than they should have been.

ずっと左の方に来ている人がたくさんいます

But then also many people on the far right

一方でプロパガンダの恩恵を受けているらしい

who seem to benefit from propaganda.

ずっと右の方にいる人もいます

This picture is the hallmark of censorship in the book record.

この図は本における検閲の存在を明らかに示しています

ELA: So culturomics

(エレズ) この手法を

is what we call this method.

カルチュロミクス(culturomics)と呼んでいます

It's kind of like genomics.

ゲノミクスみたいなものです

Except genomics is a lens on biology

ゲノミクスは

through the window of the sequence of bases in the human genome.

ゲノムの塩基配列を通して生物学を見るレンズですが

Culturomics is similar.

カルチュロミクスは同様に

It's the application of massive-scale data collection analysis

人間の文化を研究するための

to the study of human culture.

大規模データ分析の応用です

Here, instead of through the lens of a genome,

ゲノムのレンズの代わりに

through the lens of digitized pieces of the historical record.

デジタル化された歴史記録のレンズを使うのです

The great thing about culturomics

カルチュロミクスの素晴らしいところは

is that everyone can do it.

誰でもできるということです

Why can everyone do it?

なぜかというと

Everyone can do it because three guys,

Googleの３人

Jon Orwant, Matt Gray and Will Brockman over at Google,

ジョン・オーワント マット・グレイ ウィル・ブロックマンが

saw the prototype of the Ngram Viewer,

開発中のNgram Viewerを見て

and they said, "This is so fun.

「これは楽しい みんな使えるようにすべきだ」

We have to make this available for people."

と考えたからです

So in two weeks flat -- the two weeks before our paper came out --

私たちの論文が出版される2週間前に

they coded up a version of the Ngram Viewer for the general public.

彼らは一般の人も使えるNgram Viewerを作り上げました

And so you too can type in any word or phrase that you're interested in

だから皆さんも興味のある言葉を打ち込んで

and see its n-gram immediately --

そのn-gramを即座に見ることができます

also browse examples of all the various books

そのn-gramが現れる様々な文献の

in which your n-gram appears.

例を見ることもできます

JM: Now this was used over a million times on the first day,

(ジャン) 公開初日に百万回以上使われましたが

and this is really the best of all the queries.

これは中でもbestなクエリです

So people want to be their best, put their best foot forward.

みんなbestでありたい 向上したいと思っています

But it turns out in the 18th century, people didn't really care about that at all.

しかし18世紀には誰もそんなこと気にかけていなかったようです

They didn't want to be their best, they wanted to be their beft.

彼らはbestであろうとはせず beftであろうとしていたのです

So what happened is, of course, this is just a mistake.

もっともこれは単なる間違いです

It's not that strove for mediocrity,

みんな月並みでいいと思っていたわけではなく

it's just that the S used to be written differently, kind of like an F.

かつては s が違った形で書かれていて f に見えたのです

Now of course, Google didn't pick this up at the time,

Googleは以前そのことに気づいておらず

so we reported this in the science article that we wrote.

私たちは科学記事の中でそのことを報告しました

But it turns out this is just a reminder

しかしこれはまた

that, although this is a lot of fun,

使うのがいかに楽しいにせよ

when you interpret these graphs, you have to be very careful,

グラフを解釈するときには十分注意を払い

and you have to adopt the base standards in the sciences.

科学的方法の基本に従う必要があることを思い起こさせてくれます

ELA: People have been using this for all kinds of fun purposes.

(エレズ) みんなこれをあらゆる楽しいことに使っています

(Laughter)

(「ウガー^n！」のグラフ) (笑)

Actually, we're not going to have to talk,

説明するまでもありませんね

we're just going to show you all the slides and remain silent.

スライドを出して黙っていましょうか

This person was interested in the history of frustration.

この人はフラストレーションの歴史に興味があるようです

There's various types of frustration.

フラストレーションにもいろいろ種類があります

If you stub your toe, that's a one A "argh."

つま先をぶつけた時は a が１つの“argh”です

If the planet Earth is annihilated by the Vogons

星間バイパスの邪魔になるからと

to make room for an interstellar bypass,

地球がヴォゴン星人に滅ぼされたときは

that's an eight A "aaaaaaaargh."

a が８つの“aaaaaaaargh”です

This person studies all the "arghs,"

この人は a が１～８個の

from one through eight A's.

“argh”を調べていて

And it turns out

それでわかるのは

that the less-frequent "arghs"

よりフラトレーションの強い“argh”の方が

are, of course, the ones that correspond to things that are more frustrating --

使われる頻度が少ないということですが

except, oddly, in the early 80s.

80年代初期には例外が見られます

We think that might have something to do with Reagan.

これは何かレーガンが関係していると

(Laughter)

考えられます (笑)

JM: There are many usages of this data,

(ジャン) このデータは様々な使い方ができますが

but the bottom line is that the historical record is being digitized.

重要なのは歴史の記録がデジタル化されたということです

Google has started to digitize 15 million books.

Googleは千5百万冊デジタル化しました

That's 12 percent of all the books that have ever been published.

かつて出版された本の12%に相当します

It's a sizable chunk of human culture.

人類の文化の大きな塊です

There's much more in culture: there's manuscripts, there newspapers,

文化には違った形のものとして 手稿や新聞があり

there's things that are not text, like art and paintings.

テキストではない芸術作品や絵画があります

These all happen to be on our computers,

これらすべてが 世界中のコンピュータの

on computers across the world.

中にあるところを考えてください

And when that happens, that will transform the way we have

そうなったとき 私たちが過去 現在 未来や

to understand our past, our present and human culture.

文化について理解する方法は変わるでしょう

Thank you very much.

どうもありがとうございました

(Applause)

(拍手)