Big Data - Tim Smith

На рубеже эры больших данных — Тим Смит

Translator: Andrea McDonough Reviewer: Jessica Ruby

Переводчик: Pauline Hortman Редактор: Aliaksandr Autayeu

Big data is an elusive concept.

Большие данные — это сложное понятие.

It represents an amount of digital information,

Это объём электронных данных,

which is uncomfortable to store,

неудобный для хранения,

transport,

передачи

or analyze.

или анализа.

Big data is so voluminous

Большие данные настолько объёмные,

that it overwhelms the technologies of the day

что для работы с ними недостаточно современных технологий,

and challenges us to create the next generation

поэтому нам приходится разрабатывать новое поколение инструментов

of data storage tools and techniques.

и способов для хранения данных.

So, big data isn't new.

Большие данные появились давно.

In fact, physicists at CERN have been rangling

На самом деле, физики в ЦЕРН пытаются решить проблему

with the challenge of their ever-expanding big data for decades.

растущего объёма больших данных десятилетиями.

Fifty years ago, CERN's data could be stored

Пятьдесят лет назад все данные ЦЕРН

in a single computer.

помещались на один компьютер.

OK, so it wasn't your usual computer,

Конечно, это был не просто компьютер,

this was a mainframe computer

а большой суперкомпьютер,

that filled an entire building.

занимавший целое здание.

To analyze the data,

Чтобы проанализировать данные,

physicists from around the world traveled to CERN

физики со всего мира приезжали в ЦЕРН

to connect to the enormous machine.

и подключались к гигантской машине.

In the 1970's, our ever-growing big data

В 1970-е постоянно растущий объём больших данных

was distributed across different sets of computers,

распределялся между несколькими группами компьютеров,

which mushroomed at CERN.

созданных в ЦЕРН.

Each set was joined together

Компьютеры в группах были соединены между собой

in dedicated, homegrown networks.

как в специализированной домашней сети.

But physicists collaborated without regard

Однако совместная работа физиков

for the boundaries between sets,

часто выходила за пределы таких групп

hence needed to access data on all of these.

и требовала доступа к данным на всех компьютерах.

So, we bridged the independent networks together

Было решено объединить независимые сети

in our own CERNET.

в общую сеть CERNET.

In the 1980's, islands of similar networks

В 1980-е по всей Европе и в США

speaking different dialects

появилось множество сетей,

sprung up all over Europe and the States,

использовавших разные протоколы.

making remote access possible but torturous.

Удалённый доступ стал возможным, но всё ещё оставался затруднительным.

To make it easy for our physicists across the world

Чтобы физикам со всего мира

to access the ever-expanding big data

могли легко получать доступ к растущим большим данным,

stored at CERN without traveling,

не приезжая в ЦЕРН,

the networks needed to be talking

сети должны были общаться между собой

with the same language.

на одном «языке».

We adopted the fledgling internet working standard from the States,

Был принят молодой рабочий стандарт для сети Интернет,

followed by the rest of Europe,

появившийся в США и подхваченный Европой.

and we established the principal link at CERN

Основное соединение между Европой и США

between Europe and the States in 1989,

было установлено в ЦЕРН в 1989-м году.

and the truly global internet took off!

С этого начался мировой Интернет.

Physicists could easily then access

Физики со всего мира получили удалённый доступ

the terabytes of big data

к терабайтам больших данных,

remotely from around the world,

и теперь могли

generate results,

получать результаты

and write papers in their home institutes.

и писать статьи, находясь в своих университетах.

Then, they wanted to share their findings

Затем учёные захотели делиться своими открытиями

with all their colleagues.

с коллегами.

To make this information sharing easy,

Чтобы помочь им в этом,

we created the web in the early 1990's.

в начале 90-х мы создали сеть.

Physicists no longer needed to know

Физикам больше не нужно было знать,

where the information was stored

где храниться информация,

in order to find it and access it on the web,

чтобы найти и получить доступ к ней в сети.

an idea which caught on across the world

Эта идея распространилась по миру

and has transformed the way we communicate

и преобразила наше

in our daily lives.

повседневное общение.

During the early 2000's,

В начале 2000-х

the continued growth of our big data

растущий объём больших данных

outstripped our capability to analyze it at CERN,

превзошёл возможности ЦЕРН по их анализу,

despite having buildings full of computers.

несмотря на целые ангары компьютеров в его распоряжении.

We had to start distributing the petabytes of data

Мы перешли к распределению петабайтов данных

to our collaborating partners

между нашими партнёрами,

in order to employ local computing and storage

чтобы воспользоваться мощностью компьютеров

at hundreds of different institutes.

в сотнях различных институтов.

In order to orchestrate these interconnected resources

Чтобы взаимосвязанные, но разнообразные ресурсы

with their diverse technologies,

могли работать слаженно,

we developed a computing grid,

мы разработали вычислительную систему,

enabling the seamless sharing

которая позволяла беспрепятственно пользоваться

of computing resources around the globe.

вычислительными ресурсами по всему миру.

This relies on trust relationships and mutual exchange.

Работа такой структуры опирается на доверие и взаимный обмен.

But this grid model could not be transferred

Однако такую модель довольно сложно привить

out of our community so easily,

для использования в глобальной сети,

where not everyone has resources to share

где не каждый может предоставить такие ресурсы,

nor could companies be expected

и не все компании обладают

to have the same level of trust.

должным уровнем доверия.

Instead, an alternative, more business-like approach

Альтернативой стал более прагматичный и популярный

for accessing on-demand resources

в последнее время подход

has been flourishing recently,

к решению проблемы доступа к ресурсам по запросу —

called cloud computing,

облачные вычисления,

which other communities are now exploiting

которые теперь используются многими сообществами

to analyzing their big data.

для анализа больших данных.

It might seem paradoxical for a place like CERN,

Кажется парадоксальным, что ЦЕРН,

a lab focused on the study

лаборатория для исследования

of the unimaginably small building blocks of matter,

мельчайших частиц материи,

to be the source of something as big as big data.

могла породить что-то настолько массивное, как большие данные.

But the way we study the fundamental particles,

Мы изучаем фундаментальные частицы

as well as the forces by which they interact,

и силы их взаимодействия

involves creating them fleetingly,

путём их кратковременного воссоздания

colliding protons in our accelerators

с помощью столкновения протонов в ускорителях

and capturing a trace of them

и регистрации следов, оставляемых ими,

as they zoom off near light speed.

когда они проносятся мимо со скоростью света.

To see those traces,

Чтобы увидеть такие следы наш детектор частиц,

our detector, with 150 million sensors,

оборудованный 150 миллионами датчиков,

acts like a really massive 3-D camera,

работает как гигантская трёхмерная камера,

taking a picture of each collision event -

регистрируя все столкновения —

that's up to 14 millions times per second.

то есть около 14 миллионов раз в секунду.

That makes a lot of data.

Это огромный объём данных.

But if big data has been around for so long,

Но раз о больших данных известно так давно,

why do we suddenly keep hearing about it now?

почему вдруг все стали говорить о них сейчас?

Well, as the old metaphor explains,

Как говорится, целое есть нечто большее,

the whole is greater than the sum of its parts,

чем сумма его частей.

and this is no longer just science that is exploiting this.

Более того большими данными теперь оперирует не только наука.

The fact that we can derive more knowledge

То, что мы теперь можем узнать больше,

by joining related information together

объединяя данные в одной области

and spotting correlations

и выявляя взаимосвязи,

can inform and enrich numerous aspects of everyday life,

может обогатить самые разные сферы жизни.

either in real time,

Например, в режиме реального времени

such as traffic or financial conditions,

при анализе дорожно-транспортной или финансовой систем;

in short-term evolutions,

при решении краткосрочных задач —

such as medical or meteorological,

в медицине и метеорологии;

or in predictive situations,

при прогнозировании —

such as business, crime, or disease trends.

в бизнесе, криминалистике и эпидемиологии.

Virtually every field is turning to gathering big data,

Большие данные теперь применяются почти во всех областях.

with mobile sensor networks spanning the globe,

Для их сбора земной шар окутывают паутины мобильных датчиков;

cameras on the ground and in the air,

на земле и в воздухе размещены камеры;

archives storing information published on the web,

архивы хранят информацию, опубликованную в сети;

and loggers capturing the activities

программы регистрации фиксируют

of Internet citizens the world over.

активность интернет-пользователей по всему миру.

The challenge is on to invent new tools and techniques

Перед нами снова стоит нелёгкая задача — нужны новые инструменты и методы

to mine these vast stores,

для обработки данных в архивах,

to inform decision making,

чтобы принимать взвешенные решения,

to improve medical diagnosis,

улучшать качество медицинской диагностики;

and otherwise to answer needs and desires

иными словами, найти такие способы удовлетворить нужды общества будущего,

of tomorrow's society in ways that are unimagined today.

о которых мы не смеем даже помыслить сегодня.