Big Data - Tim Smith

ビッグデータの歴史を探る — ティム・スミス

Translator: Andrea McDonough Reviewer: Jessica Ruby

翻訳: Tomoshige Ohno 校正: Takahiro Shimpo

Big data is an elusive concept.

ビッグデータは とらえ所のない概念です

It represents an amount of digital information,

大量のデジタル情報のことを表しますが

which is uncomfortable to store,

保存したり

transport,

転送したり

or analyze.

分析することは困難です

Big data is so voluminous

ビッグデータは大容量なので

that it overwhelms the technologies of the day

現在の技術では扱い切れず

and challenges us to create the next generation

次世代のデータ保存ツールや技術を

of data storage tools and techniques.

創るという課題を突き付けてきます

So, big data isn't new.

ビッグデータは新しいわけではありません

In fact, physicists at CERN have been rangling

実際 CERNの物理学者は 数十年にも渡って

with the challenge of their ever-expanding big data for decades.

拡大を続けるビッグデータの挑戦に 立ち向かってきました

Fifty years ago, CERN's data could be stored

50年前 CERNのデータは

in a single computer.

１台のコンピュータに保存可能でした

OK, so it wasn't your usual computer,

通常のコンピュータではなく

this was a mainframe computer

１つの建物を埋め尽くすほどの

that filled an entire building.

メインフレームという コンピュータを使っていました

To analyze the data,

データを分析するために

physicists from around the world traveled to CERN

世界中の物理学者がCERNにやって来て

to connect to the enormous machine.

この巨大なマシンに接続していたのです

In the 1970's, our ever-growing big data

1970年代には 増殖を続けるビッグデータは

was distributed across different sets of computers,

CERNのあちこちにある 別々のコンピュータに

which mushroomed at CERN.

分散して保存されていました

Each set was joined together

それぞれのコンピュータは

in dedicated, homegrown networks.

専用の自家製ネットワークで 接続されていました

But physicists collaborated without regard

しかし物理学者は コンピュータ同士の 境界を越えて作業をしていたため

for the boundaries between sets,

しかし物理学者は コンピュータ同士の 境界を越えて作業をしていたため

hence needed to access data on all of these.

あらゆるコンピュータのデータに アクセスする必要がありました

So, we bridged the independent networks together

そこで私たちは 独立した ネットワークをまとめ

in our own CERNET.

CERNETという独自の ネットワークを構築したのです

In the 1980's, islands of similar networks

1980年代には ヨーロッパやアメリカの至る所で

speaking different dialects

異なる方言を持つ 同様のネットワークが

sprung up all over Europe and the States,

増殖・拡大するようになり

making remote access possible but torturous.

遠隔アクセス自体は可能でしたが ひどく面倒でした

To make it easy for our physicists across the world

世界中の物理学者が CERNに保存された —

to access the ever-expanding big data

増殖を続けるビッグデータへのアクセスを

stored at CERN without traveling,

現地に行くこと無く 実現するためには

the networks needed to be talking

あらゆるネットワークが

with the same language.

同じ言語を使う必要がありました

We adopted the fledgling internet working standard from the States,

私たちは アメリカで標準となり ヨーロッパがそれに続いた

followed by the rest of Europe,

当時まだ未成熟なインターネットを採用し

and we established the principal link at CERN

1989年に CERNで

between Europe and the States in 1989,

初めてヨーロッパと アメリカをつなぎました

and the truly global internet took off!

これが本当の意味での グローバルインターネットの始まりです

Physicists could easily then access

それにより 物理学者は 何テラバイトものビッグデータに

the terabytes of big data

それにより 物理学者は 何テラバイトものビッグデータに

remotely from around the world,

容易に遠隔アクセスできるようになり 結果を出したり —

generate results,

出張無しで 研究所での論文執筆が 可能になりました

and write papers in their home institutes.

出張無しで 研究所での論文執筆が 可能になりました

Then, they wanted to share their findings

新たな知見を 同僚と共有したいという ニーズが出てきました

with all their colleagues.

新たな知見を 同僚と共有したいという ニーズが出てきました

To make this information sharing easy,

情報共有を容易にするために

we created the web in the early 1990's.

1990年代初頭にウェブを開発しました

Physicists no longer needed to know

物理学者は もう情報がどこに 保存されているのか

where the information was stored

知る必要がなくなりました

in order to find it and access it on the web,

ウェブ上で情報を見つけ アクセスするために

an idea which caught on across the world

世界中で話題となったアイデアは

and has transformed the way we communicate

日常生活におけるコミュニケーションを

in our daily lives.

一変させました

During the early 2000's,

2000年代初頭にも

the continued growth of our big data

ビッグデータは増殖を続けており

outstripped our capability to analyze it at CERN,

CERNは建物一杯のコンピュータを 所有していたにも関わらず

despite having buildings full of computers.

解析能力を超えてしまい

We had to start distributing the petabytes of data

何百もの施設でローカルに データを計算・保存させるため

to our collaborating partners

何百もの施設でローカルに データを計算・保存させるため

in order to employ local computing and storage

ペタバイト級のデータを パートナーのコンピュータに

at hundreds of different institutes.

分散させる必要が出てきました

In order to orchestrate these interconnected resources

これらの相互接続されたリソースを

with their diverse technologies,

様々な技術を用いて 協調させるために

we developed a computing grid,

グリッドコンピューティング技術を開発し

enabling the seamless sharing

世界中の計算資源を

of computing resources around the globe.

シームレスに共有できるようにしました

This relies on trust relationships and mutual exchange.

信頼関係と相互交流に依存しますが

But this grid model could not be transferred

このグリッドモデルでは コミュニティ外への

out of our community so easily,

データ転送は容易ではありませんでした

where not everyone has resources to share

全員が共有できるだけのリソースを 持っていなかったり

nor could companies be expected

企業に同レベルの信頼を置けるとは

to have the same level of trust.

限らないからです

Instead, an alternative, more business-like approach

最近では 必要に応じてリソースに アクセスするための代替案として

for accessing on-demand resources

クラウドコンピューティングという

has been flourishing recently,

よりビジネスライクなアプローチが

called cloud computing,

盛んに用いられています

which other communities are now exploiting

これは今では 他のコミュニティーでも

to analyzing their big data.

ビッグデータを分析するために 用いられています

It might seem paradoxical for a place like CERN,

逆説的ですが 想像もつかない程小さな素粒子の

a lab focused on the study

逆説的ですが 想像もつかない程小さな素粒子の

of the unimaginably small building blocks of matter,

研究に特化したCERNのような場が

to be the source of something as big as big data.

ビッグデータのような 大きなものの源となっているのです

But the way we study the fundamental particles,

しかし 素粒子や その相互作用力を研究するには

as well as the forces by which they interact,

ほんの一瞬の間だけ素粒子を生成したり

involves creating them fleetingly,

加速器で陽子を衝突させたり

colliding protons in our accelerators

光速に近い速度まで加速する —

and capturing a trace of them

素粒子の軌道を観測したり

as they zoom off near light speed.

しなければなりません

To see those traces,

軌道を観測するために

our detector, with 150 million sensors,

1.5億個のセンサーが付いた検出器が

acts like a really massive 3-D camera,

大規模3Dカメラのように振る舞い

taking a picture of each collision event -

１秒間に最大1400万回発生する

that's up to 14 millions times per second.

衝突のそれぞれを撮影するため

That makes a lot of data.

大量のデータが生成されます

But if big data has been around for so long,

しかしビッグデータが これほど長く存在していたのなら

why do we suddenly keep hearing about it now?

最近 突然その言葉をよく聞くように なったのはなぜでしょう？

Well, as the old metaphor explains,

昔からの比喩にあるように

the whole is greater than the sum of its parts,

集団は部分の総和より大きな力を発揮します

and this is no longer just science that is exploiting this.

これは科学に限ったことではありません

The fact that we can derive more knowledge

関連した情報をまとめたり

by joining related information together

相関を見抜いたりすることで

and spotting correlations

より多くの知識が得られ

can inform and enrich numerous aspects of everyday life,

それが日常生活を様々な面で 豊かにしてくれるのです

either in real time,

渋滞や経済状況など

such as traffic or financial conditions,

リアルタイムのことであったり

in short-term evolutions,

医療や気象といった

such as medical or meteorological,

短期間の変化であったり

or in predictive situations,

ビジネスや犯罪 病気の流行などを

such as business, crime, or disease trends.

予測するといった場面でも有効です

Virtually every field is turning to gathering big data,

事実上全ての分野が ビッグデータを集めるようになってきています

with mobile sensor networks spanning the globe,

モバイルセンサーネットワークは 地球全体に広がり

cameras on the ground and in the air,

カメラが地上や空中に存在しており

archives storing information published on the web,

またウェブ上の情報はアーカイブに保存され

and loggers capturing the activities

世界中のインターネット利用者の

of Internet citizens the world over.

活動記録は全てログに 記録されるようになっています

The challenge is on to invent new tools and techniques

課題となるのは 新たなツールや技術を開発し

to mine these vast stores,

大量のデータから情報を集め

to inform decision making,

意思決定に役立てたり

to improve medical diagnosis,

医療診断を改善したり

and otherwise to answer needs and desires

今日では想像もできない —

of tomorrow's society in ways that are unimagined today.

未来の社会のニーズや要求に応えることです