Big Data - Tim Smith

빅 데이터 탐구 - 팀 스미스(Tim Smith)

Translator: Andrea McDonough Reviewer: Jessica Ruby

번역: Gemma Lee 검토: Sujin Byeon

Big data is an elusive concept.

빅 데이터는 어려운 개념입니다.

It represents an amount of digital information,

빅 데이터는 디지털 정보의 양을 나타내는데,

which is uncomfortable to store,

그 양은 저장하기에도,

transport,

전송하기에도,

or analyze.

분석하기도 힘들 만큼 큽니다.

Big data is so voluminous

빅 데이터는 너무 커서

that it overwhelms the technologies of the day

오늘날의 기술로 감당하기 어렵고

and challenges us to create the next generation

데이터를 저장하는 도구와 기술을

of data storage tools and techniques.

새롭게 만들어야 합니다.

So, big data isn't new.

그런데 빅 데이터는 새로운 것이 아닙니다.

In fact, physicists at CERN have been rangling

사실 유럽 원자핵 공동연구소(CERN)의 물리학자들은

with the challenge of their ever-expanding big data for decades.

계속 늘어만가는 큰 데이터를 처리하기 위해 수십년동안 도전해 왔습니다.

Fifty years ago, CERN's data could be stored

50년 전 유럽 원자핵 공동연구소(CERN)의 자료는

in a single computer.

컴퓨터 1 대에 저장할 수 있었습니다.

OK, so it wasn't your usual computer,

하지만 그건 보통 컴퓨터가 아니라

this was a mainframe computer

건물 전체를 다 채우는

that filled an entire building.

대형 컴퓨터였습니다.

To analyze the data,

데이터를 분석하기 위해서

physicists from around the world traveled to CERN

전세계의 과학자들은 CERN에 와서

to connect to the enormous machine.

대형 컴퓨터에 접속했습니다.

In the 1970's, our ever-growing big data

1970년대에 계속 늘어만 가는 데이터는

was distributed across different sets of computers,

서로 다른 컴퓨터 무리로 분산되었는데

which mushroomed at CERN.

각각의 무리는 모두 CERN에 몰려 있었습니다.

Each set was joined together

하나의 무리는

in dedicated, homegrown networks.

자체적인 네트워크 상에서 정밀하게 연결되었습니다.

But physicists collaborated without regard

하지만 물리학자들은 무리 사이의 경계를

for the boundaries between sets,

넘어서 일하기 때문에

hence needed to access data on all of these.

모든 데이터에 접속해야 할 필요가 있었습니다.

So, we bridged the independent networks together

그래서 독립된 네크워크를 함께 연결해

in our own CERNET.

자체적인 CERNET를 만들었습니다.

In the 1980's, islands of similar networks

1980년대에는 서로 다른 언어를 사용하는

speaking different dialects

비슷한 네트워크의 섬들이

sprung up all over Europe and the States,

유럽과 미국 전역에 생겨나

making remote access possible but torturous.

원거리 접속을 가능하게 했지만 고생이 많았습니다.

To make it easy for our physicists across the world

전세계의 과학자들이 CERN에 저장되어

to access the ever-expanding big data

계속 늘어만 가는 데이터에 쉽게 접속하게 하려면,

stored at CERN without traveling,

CERN에 오지 않고도 접속하려면,

the networks needed to be talking

네트워크끼리 같은 언어를

with the same language.

사용할 필요가 있습니다.

We adopted the fledgling internet working standard from the States,

우리는 미국에서 나온 초기 단계의 인터넷 표준을 적용했고

followed by the rest of Europe,

나머지 유럽이 그 뒤를 따랐습니다.

and we established the principal link at CERN

주된 링크를 CERN에 세웠고

between Europe and the States in 1989,

1989년에 유럽과 미국 사이에 링크를 세워

and the truly global internet took off!

진정한 전세계의 인터넷이 시작되었죠!

Physicists could easily then access

그제서야 물리학자들은

the terabytes of big data

테라바이트에 달하는 큰 데이터에

remotely from around the world,

전세계 어디서나 접속할 수 있었고

generate results,

결과를 볼 수 있고

and write papers in their home institutes.

그들이 속한 기관에서 논문을 쓸 수 있었습니다.

Then, they wanted to share their findings

이후 과학자들이 알아낸 결과를

with all their colleagues.

동료들과 공유하고 싶어했습니다.

To make this information sharing easy,

이런 정보를 쉽게 공유하기 위해서

we created the web in the early 1990's.

1990년대 초반에 웹을 만들었습니다.

Physicists no longer needed to know

물리학자들은 더이상

where the information was stored

정보가 어디에 저장되었는지 알 필요가 없이

in order to find it and access it on the web,

웹에서 찾아 접속하면 됩니다.

an idea which caught on across the world

이 아이디어는 전세계에서 인기를 얻었고

and has transformed the way we communicate

우리가 일상 생활에서

in our daily lives.

소통하는 방식을 바꾸었습니다.

During the early 2000's,

2000년대 초반

the continued growth of our big data

계속 늘어난 빅 데이터는

outstripped our capability to analyze it at CERN,

건물마다 컴퓨터로 꽉 찬 CERN에서조차

despite having buildings full of computers.

분석이 불가능할 만큼 늘어났습니다.

We had to start distributing the petabytes of data

페타바이트에 이르는 데이터를

to our collaborating partners

함께 일하는 협력 기관에 나눠주기 시작했습니다.

in order to employ local computing and storage

다른 기관에 있는 수백 개의

at hundreds of different institutes.

컴퓨터와 저장 공간을 이용하기 위해서죠.

In order to orchestrate these interconnected resources

이렇게 서로 연결된 자원을

with their diverse technologies,

다양한 기술로 관리하기 위해서

we developed a computing grid,

전산망을 개발해서

enabling the seamless sharing

전세계의 컴퓨터 자원들을

of computing resources around the globe.

경계없이 공유할 수 있게 되었습니다.

This relies on trust relationships and mutual exchange.

이는 서로의 신뢰와 상호 교류를 바탕으로 합니다.

But this grid model could not be transferred

하지만 이런 전산망 모델은

out of our community so easily,

쉽게 이전할 수 없습니다.

where not everyone has resources to share

공유할 자원을 누구나 가진 것도 아니고

nor could companies be expected

회사들이 똑같은 수준의 신뢰를

to have the same level of trust.

갖도록 기대할 수도 없습니다.

Instead, an alternative, more business-like approach

대신에 그 대안으로서

for accessing on-demand resources

필요할 때 자원에 접속할 수 있는 사업 모델이

has been flourishing recently,

최근에 번성하고 있으며

called cloud computing,

그것은 클라우드 컴퓨팅이라고 하는데

which other communities are now exploiting

다른 공동체에서는 빅 데이터를 분석하기 위해

to analyzing their big data.

클라우드 컴퓨팅을 연구하고 있습니다.

It might seem paradoxical for a place like CERN,

CERN과 같은 곳에서,

a lab focused on the study

물질을 이루는 아주 작은 구조를

of the unimaginably small building blocks of matter,

연구하는 곳이

to be the source of something as big as big data.

빅 데이터를 다루는 원천이라는 점이 좀 역설적입니다.

But the way we study the fundamental particles,

근본 입자와

as well as the forces by which they interact,

근본 입자가 서로 교류하는 힘을 연구하는데는

involves creating them fleetingly,

근본 입자를 순간적으로 생성시켜야 합니다.

colliding protons in our accelerators

가속기에서 양성자를 충돌시켜

and capturing a trace of them

빛의 속도로 사라지는

as they zoom off near light speed.

흔적을 잡아내야 합니다.

To see those traces,

그 흔적을 보려면

our detector, with 150 million sensors,

1억 5천만 개의 센서가 달린 감지기가

acts like a really massive 3-D camera,

아주 거대한 3D 카메라처럼 작동해서

taking a picture of each collision event -

입자가 충돌할 때마다 사진을 찍는데

that's up to 14 millions times per second.

초당 1천 4백만 번을 찍습니다.

That makes a lot of data.

그게 아주 많은 데이터를 만듭니다.

But if big data has been around for so long,

빅 데이터는 오래 전부터 있었는데

why do we suddenly keep hearing about it now?

왜 갑자기 지금에서야 듣게 되는 걸까요?

Well, as the old metaphor explains,

글쎄요, 오래된 비유를 들자면

the whole is greater than the sum of its parts,

전체는 부분의 총합보다 큽니다.

and this is no longer just science that is exploiting this.

이것을 탐구하는 것은 과학뿐만이 아닙니다.

The fact that we can derive more knowledge

서로 관련이 있는 정보를 연결하여

by joining related information together

더 많은 지식을 얻을 수 있고

and spotting correlations

상관 관계를 알아낼 수 있다는 사실은

can inform and enrich numerous aspects of everyday life,

일상 생활의 여러 측면을 풍부하게 하고 정보를 알릴 수 있습니다.

either in real time,

실시간으로

such as traffic or financial conditions,

교통 정보나 금융 상태를 알리거나,

in short-term evolutions,

단기적으로

such as medical or meteorological,

의료나 기상 정보를 알릴 수 있고

or in predictive situations,

또는 예측 가능한 상황에서

such as business, crime, or disease trends.

사업, 범죄, 또는 질병의 동향 따위를 알릴 수 있습니다.

Virtually every field is turning to gathering big data,

거의 모든 분야가 빅 데이터를 모으려고 합니다.

with mobile sensor networks spanning the globe,

전세계에 퍼져 있는 휴대용 센서 네트워크,

cameras on the ground and in the air,

지상과 대기에 있는 카메라,

archives storing information published on the web,

웹에 나온 정보를 저장하는 기록물,

and loggers capturing the activities

전세계 인터넷 시민들의

of Internet citizens the world over.

활동을 수집하는 기록기.

The challenge is on to invent new tools and techniques

이렇게 거대한 저장고에서 자료를 뽑는

to mine these vast stores,

새로운 도구와 기술을 개발해야 합니다.

to inform decision making,

그래서 의사 결정에 필요한 정보를 알리고

to improve medical diagnosis,

의료 진단을 개선하고

and otherwise to answer needs and desires

오늘날에는 상상할 수 없었던 방법으로

of tomorrow's society in ways that are unimagined today.

미래 사회의 수요와 요구에 답하기 위해서 말이죠.