Kenneth Cukier: Big data is better data

Кеннет Кукьер: Большие данные — лучшие данные

Переводчик: Andrea Wang Редактор: Aliaksandr Autayeu

America's favorite pie is?

Излюбленный пирог американцев?

Audience: Apple. Kenneth Cukier: Apple. Of course it is.

Аудитория: Яблочный. Кеннет Кукьер: Яблочный. Конечно же.

How do we know it?

Как мы это знаем?

Because of data.

Благодаря данным.

You look at supermarket sales.

Смотрим на продажи супермаркетов.

You look at supermarket sales of 30-centimeter pies

Смотрим на продажи 30-сантиметровых замороженных пирогов,

that are frozen, and apple wins, no contest.

и яблочный пирог лидирует, вне конкуренции.

The majority of the sales are apple.

Большинство продаж — яблочный пирог.

But then supermarkets started selling

Но потом супермаркеты стали продавать

smaller, 11-centimeter pies,

пироги поменьше, 11-сантиметровые,

and suddenly, apple fell to fourth or fifth place.

и внезапно яблочный пирог переместился на 4 или 5 место.

Why? What happened?

Почему? Что случилось?

Okay, think about it.

Хорошо, задумайтесь.

When you buy a 30-centimeter pie,

При покупке 30-сантиметрового пирога

the whole family has to agree,

вся семья должна прийти к согласию,

and apple is everyone's second favorite.

и яблочный пирог второй по предпочтению каждого человека.

(Laughter)

(Смех)

But when you buy an individual 11-centimeter pie,

Но при покупке отдельного 11-сантиметрового пирога

you can buy the one that you want.

вы можете купить то, чего вы желаете.

You can get your first choice.

Ваш первый выбор.

You have more data.

У вас больше данных.

You can see something

Вы можете увидеть то,

that you couldn't see

чего не могли раньше,

when you only had smaller amounts of it.

когда у вас были лишь маленькие части этого.

Now, the point here is that more data

Здесь важно то, что больше данных

doesn't just let us see more,

не только позволяет нам

more of the same thing we were looking at.

видеть больше в самом обозреваемом.

More data allows us to see new.

Больше данных позволяет нам видеть новое.

It allows us to see better.

Позволяет видеть лучше.

It allows us to see different.

Позволяет видеть по-другому.

In this case, it allows us to see

В данном случае, позволяет понять

what America's favorite pie is:

какой пирог излюбленный у американцев:

not apple.

не яблочный.

Now, you probably all have heard the term big data.

Вы, вероятно, слышали термин «большие данные».

In fact, you're probably sick of hearing the term

Вы, вероятно, уже устали слышать термин

big data.

«большие данные».

It is true that there is a lot of hype around the term,

Действительно, термин разрекламирован,

and that is very unfortunate,

что очень печально,

because big data is an extremely important tool

потому что большие данные — это очень важный инструмент,

by which society is going to advance.

благодаря которому общество прогрессирует.

In the past, we used to look at small data

Раньше мы смотрели на малые данные

and think about what it would mean

и думали о том, что бы это значило:

to try to understand the world,

попробовать понять мир;

and now we have a lot more of it,

а сейчас у нас намного больше данных,

more than we ever could before.

больше, чем мы могли добыть раньше.

What we find is that when we have

И когда у нас

a large body of data, we can fundamentally do things

большой корпус данных, мы можем делать то,

that we couldn't do when we only had smaller amounts.

чего не могли делать, когда данные были меньше.

Big data is important, and big data is new,

Большие данные важны, и большие данные — новинка,

and when you think about it,

и если задуматься,

the only way this planet is going to deal

для нашей планеты единственным путём справиться

with its global challenges —

с мировыми проблемами:

to feed people, supply them with medical care,

накормить людей, предоставить им медицинскую помощь,

supply them with energy, electricity,

снабдить их энергией, электричеством,

and to make sure they're not burnt to a crisp

да чтобы не поджарились до корочки

because of global warming —

с глобальным потеплением, —

is because of the effective use of data.

является результативное использование данных.

So what is new about big data? What is the big deal?

Так что же ново в больших данных? Что же в них так важно?

Well, to answer that question, let's think about

Чтобы ответить на этот вопрос, давайте подумаем о том,

what information looked like,

как информация выглядела,

physically looked like in the past.

физически выглядела в прошлом.

In 1908, on the island of Crete,

В 1908 году на острове Крит

archaeologists discovered a clay disc.

археологи нашли глиняный диск.

They dated it from 2000 B.C., so it's 4,000 years old.

Он датировался 2000 годом до н.э., то есть ему 4000 лет.

Now, there's inscriptions on this disc,

На диске есть надписи,

but we actually don't know what it means.

но нам неизвестно их значение.

It's a complete mystery, but the point is that

Полная загадка, но главное то,

this is what information used to look like

что так раньше выглядела информация,

4,000 years ago.

4000 лет назад.

This is how society stored

Так общество хранило

and transmitted information.

и передавало информацию.

Now, society hasn't advanced all that much.

Общество не так уж и продвинулось с тех пор.

We still store information on discs,

Мы до сих пор храним информацию на дисках,

but now we can store a lot more information,

только теперь мы можем хранить намного больше информации,

more than ever before.

больше, чем когда-либо.

Searching it is easier. Copying it easier.

Её поиск легче. Копирование легче.

Sharing it is easier. Processing it is easier.

Обмен ею легче. Её обработка легче.

And what we can do is we can reuse this information

И мы можем использовать её повторно

for uses that we never even imagined

для целей, которых и не представляли,

when we first collected the data.

при первоначальном сборе информации.

In this respect, the data has gone

В этом отношении информация прошла путь

from a stock to a flow,

от залежи до сели,

from something that is stationary and static

от чего-то стационарного, статичного

to something that is fluid and dynamic.

до чего-то текучего и динамичного.

There is, if you will, a liquidity to information.

Свойство ликвидности информации, если хотите.

The disc that was discovered off of Crete

Диск, найденный на Крите,

that's 4,000 years old, is heavy,

которому 4000 лет, тяжёлый,

it doesn't store a lot of information,

не хранит много информации,

and that information is unchangeable.

и эта информация неизменяема.

By contrast, all of the files

Напротив, все файлы,

that Edward Snowden took

которые Эдвард Сноуден взял

from the National Security Agency in the United States

из Агентства национальной безопасности США

fits on a memory stick

умещаются на карте памяти

the size of a fingernail,

размером с ноготь,

and it can be shared at the speed of light.

и она может быть распространена со скоростью света.

More data. More.

Больше информации. Больше.

Now, one reason why we have so much data in the world today

Одна из причин такого большого объёма данных —

is we are collecting things

это сбор информации о том,

that we've always collected information on,

о чём мы всегда её собирали;

but another reason why is we're taking things

но другой причиной является то, что мы собираем данные,

that have always been informational

которые всегда были информационны,

but have never been rendered into a data format

но никогда не были переведены в информационный формат,

and we are putting it into data.

а сейчас мы это документируем.

Think, for example, the question of location.

Подумайте, например, о проблеме местоположения.

Take, for example, Martin Luther.

Возьмём, например, Мартина Лютера.

If we wanted to know in the 1500s

Если вы, будучи в 1500-х хотели узнать,

where Martin Luther was,

где находится Мартин Лютер,

we would have to follow him at all times,

вам пришлось бы ходить за ним всё время,

maybe with a feathery quill and an inkwell,

может с пером и чернильницей,

and record it,

и записывать;

but now think about what it looks like today.

а теперь, подумайте как это выглядит сегодня.

You know that somewhere,

Вы понимаете, что где-то

probably in a telecommunications carrier's database,

в базе данных поставщика телекоммуникационных услуг

there is a spreadsheet or at least a database entry

есть таблица или, по крайней мере, запись в базе данных

that records your information

с информацией о том,

of where you've been at all times.

где вы бываете.

If you have a cell phone,

Если у вас есть мобильный телефон,

and that cell phone has GPS, but even if it doesn't have GPS,

и в телефоне есть система GPS, да даже если нет,

it can record your information.

он может записывать информацию о вас.

In this respect, location has been datafied.

В этом отношении, местоположение стало документировано.

Now think, for example, of the issue of posture,

Теперь подумайте, например, о проблеме осанки,

the way that you are all sitting right now,

о том, как вы сейчас сидите:

the way that you sit,

как сидите вы,

the way that you sit, the way that you sit.

как сидите вы, как сидите вы.

It's all different, and it's a function of your leg length

Все сидят по-разному в зависимости от длины ног,

and your back and the contours of your back,

спины и формы спины;

and if I were to put sensors, maybe 100 sensors

и если бы я установил сотни сенсоров

into all of your chairs right now,

во все сиденья,

I could create an index that's fairly unique to you,

я бы смог вывести индивидуальный индекс для каждого из вас,

sort of like a fingerprint, but it's not your finger.

что-то вроде отпечатков пальцев, только это не пальцы.

So what could we do with this?

Так что же мы с этим можем сделать?

Researchers in Tokyo are using it

Учёные в Токио используют это

as a potential anti-theft device in cars.

как потенциальную противоугонную систему для машин.

The idea is that the carjacker sits behind the wheel,

Идея в том, что угонщик садится за руль,

tries to stream off, but the car recognizes

пытается удрать, но машина опознает,

that a non-approved driver is behind the wheel,

что за рулём водитель без доступа,

and maybe the engine just stops, unless you

и, может, двигатель не заработает,

type in a password into the dashboard

пока вы не введёте пароль на приборной панели и скажете:

to say, "Hey, I have authorization to drive." Great.

«Привет, у меня есть доступ к вождению данного автомобиля». Прекрасно.

What if every single car in Europe

Что если бы в каждой машине в Европе

had this technology in it?

была такая технология?

What could we do then?

Что бы мы тогда могли сделать?

Maybe, if we aggregated the data,

Может, если бы мы собрали данные,

maybe we could identify telltale signs

может, мы бы смогли определить индикаторы приборной панели,

that best predict that a car accident

лучше всего оповещающие

is going to take place in the next five seconds.

о возможной аварии в следующие 5 секунд.

And then what we will have datafied

И тогда у нас была бы задокументирована

is driver fatigue,

усталость водителя,

and the service would be when the car senses

и тогда машина смогла бы опознавать,

that the person slumps into that position,

когда водитель проваливается в эту позу,

automatically knows, hey, set an internal alarm

автоматически определять и посылать внутренний сигнал:

that would vibrate the steering wheel, honk inside

вибрация руля, салонный гудок,

to say, "Hey, wake up,

и говорить: «Эй, просыпайся,

pay more attention to the road."

внимательней следи за дорогой».

These are the sorts of things we can do

Такого типа вещи мы сможем делать,

when we datafy more aspects of our lives.

при документировании всё больших аспектов нашей жизни.

So what is the value of big data?

Так в чём же ценность больших данных?

Well, think about it.

Что ж, подумайте.

You have more information.

У вас больше информации.

You can do things that you couldn't do before.

Вы можете делать то, чего раньше не могли.

One of the most impressive areas

Одной из самых впечатляющих областей,

where this concept is taking place

использующих этот концепт,

is in the area of machine learning.

это область машинного обучения.

Machine learning is a branch of artificial intelligence,

Машинное обучение — это подвид искусственного интеллекта,

which itself is a branch of computer science.

который сам является подвидом информатики.

The general idea is that instead of

Основная идея состоит в том,

instructing a computer what do do,

что вместо задания алгоритма действий

we are going to simply throw data at the problem

мы просто закидываем проблему данными

and tell the computer to figure it out for itself.

и даём компьютеру додуматься самому.

And it will help you understand it

Понять это поможет

by seeing its origins.

взгляд на истоки.

In the 1950s, a computer scientist

В 1950-х учёный-информатик

at IBM named Arthur Samuel liked to play checkers,

компании IBM, Артур Самуэль, любил играть в шашки,

so he wrote a computer program

и он написал программу,

so he could play against the computer.

чтобы играть против компьютера.

He played. He won.

Он играл. Он выигрывал.

He played. He won.

Играл. Выигрывал.

He played. He won,

Играл. Выигрывал,

because the computer only knew

потому что компьютер знал

what a legal move was.

лишь правильные ходы.

Arthur Samuel knew something else.

Артур Самуэль знал кое-что ещё.

Arthur Samuel knew strategy.

Артур Самуэль знал стратегию.

So he wrote a small sub-program alongside it

Поэтому он написал маленькую под-программу,

operating in the background, and all it did

работающую в фоновом режиме,

was score the probability

и она лишь высчитывала вероятность

that a given board configuration would likely lead

победы при данной ситуации

to a winning board versus a losing board

на доске

after every move.

после каждого хода.

He plays the computer. He wins.

Он играет против компьютера. Он выигрывает.

He plays the computer. He wins.

Играет против компьютера. Выигрывает.

He plays the computer. He wins.

Играет против компьютера. Выигрывает.

And then Arthur Samuel leaves the computer

А потом Артур Самуэль даёт компьютеру

to play itself.

играть с самим собой.

It plays itself. It collects more data.

Он играет сам с собой. Собирает больше данных.

It collects more data. It increases the accuracy of its prediction.

Собирает больше данных. Увеличивает точность прогнозов.

And then Arthur Samuel goes back to the computer

А потом Артур Самуэль снова садится за компьютер.

and he plays it, and he loses,

Он играет и проигрывает.

and he plays it, and he loses,

Играет и проигрывает,

and he plays it, and he loses,

играет и проигрывает.

and Arthur Samuel has created a machine

Артур Самуэль создал механизм,

that surpasses his ability in a task that he taught it.

превосходящий его собственные возможности в упражнении, которому он его обучил.

And this idea of machine learning

И эта идея машинного обучения

is going everywhere.

теперь проникает всюду.

How do you think we have self-driving cars?

Как вы думаете, как появились беспилотные машины?

Are we any better off as a society

Стали ли мы более продвинутым обществом,

enshrining all the rules of the road into software?

доверяя все правила дорожного движения программному обеспечению?

No. Memory is cheaper. No.

Нет. Дешевле память? Нет.

Algorithms are faster. No. Processors are better. No.

Алгоритмы быстрее? Нет. Лучше процессоры? Нет.

All of those things matter, but that's not why.

Все эти вещи важны, но не главны.

It's because we changed the nature of the problem.

Всё потому, что мы поменяли подход к проблеме.

We changed the nature of the problem from one

Мы перешли от проблемы,

in which we tried to overtly and explicitly

где вы пытались ясно и чётко

explain to the computer how to drive

объяснить компьютеру как водить машину,

to one in which we say,

к проблеме, где мы говорим:

"Here's a lot of data around the vehicle.

«Вот кипа данных про автомобиль.

You figure it out.

Думай сам.

You figure it out that that is a traffic light,

Пойми сам, что это светофор,

that that traffic light is red and not green,

что он красный, а не зелёный,

that that means that you need to stop

что это значит, что нужно остановиться,

and not go forward."

а не проезжать».

Machine learning is at the basis

Машинное обучение лежит в основе

of many of the things that we do online:

многих действий, совершаемых нами в сети:

search engines,

поисковые системы,

Amazon's personalization algorithm,

алгоритм персонализации Amazon,

computer translation,

машинный перевод,

voice recognition systems.

системы распознавания речи.

Researchers recently have looked at

Исследователи недавно

the question of biopsies,

задались вопросом биопсий,

cancerous biopsies,

биопсий раковых образований,

and they've asked the computer to identify

и задали компьютеру определить,

by looking at the data and survival rates

анализируя данные и процент выживаемости,

to determine whether cells are actually

клетки раковые

cancerous or not,

или нет.

and sure enough, when you throw the data at it,

И, конечно же, при наличии достаточного количества данных,

through a machine-learning algorithm,

посредством алгоритма машинного обучения

the machine was able to identify

машина смогла определить

the 12 telltale signs that best predict

12 признаков, лучше всего прогнозирующих,

that this biopsy of the breast cancer cells

что данный биоптат клеток рака груди

are indeed cancerous.

действительно раковый.

The problem: The medical literature

Проблема — в медицинской литературе

only knew nine of them.

упоминалось лишь о 9 из них.

Three of the traits were ones

3 признака

that people didn't need to look for,

не были известны ранее,

but that the machine spotted.

но машина их нашла.

Now, there are dark sides to big data as well.

Но есть и тёмные стороны больших данных.

It will improve our lives, but there are problems

Они сделают нашу жизнь лучше, но есть и проблемы,

that we need to be conscious of,

о которых не стоит забывать,

and the first one is the idea

и первая из них — это идея того,

that we may be punished for predictions,

что мы можем быть наказаны за прогнозы,

that the police may use big data for their purposes,

что полиция может использовать информацию в своих интересах,

a little bit like "Minority Report."

примерно как в «Особом мнении».

Now, it's a term called predictive policing,

Есть термин «предиктивная безопасность»

or algorithmic criminology,

или «алгоритмическая криминология»,

and the idea is that if we take a lot of data,

и идея в том, что если взять много данных,

for example where past crimes have been,

например, места совершения преступлений,

we know where to send the patrols.

мы будем знать, куда посылать патрули.

That makes sense, but the problem, of course,

Это логично, но проблема, конечно же, в том,

is that it's not simply going to stop on location data,

что дело не закончится лишь данными местоположения,

it's going to go down to the level of the individual.

это пойдёт до уровня частного лица.

Why don't we use data about the person's

Почему бы не использовать информацию

high school transcript?

об аттестате?

Maybe we should use the fact that

Может, нам пригодится информация

they're unemployed or not, their credit score,

о наличии работы, кредитоспособности,

their web-surfing behavior,

что человек смотрит в интернете,

whether they're up late at night.

бодрствует ли поздно ночью.

Their Fitbit, when it's able to identify biochemistries,

Устройства, измеряющие биологические данные

will show that they have aggressive thoughts.

покажут присутствие агрессивных мыслей.

We may have algorithms that are likely to predict

Мы можем выработать алгоритмы, прогнозирующие

what we are about to do,

что мы собираемся сделать,

and we may be held accountable

и нас могут

before we've actually acted.

привлечь к ответственности ещё до момента действия.

Privacy was the central challenge

Конфиденциальность

in a small data era.

была главной проблемой во времена малых данных.

In the big data age,

В эпоху больших данных

the challenge will be safeguarding free will,

проблемой будет охрана свободы воли,

moral choice, human volition,

свободы выбора, желаний,

human agency.

свободы действий.

There is another problem:

Есть ещё одна проблема.

Big data is going to steal our jobs.

Большие данные сократят количество рабочих мест.

Big data and algorithms are going to challenge

Большие данные и алгоритмы изменят

white collar, professional knowledge work

работу белых воротничков, профессиональные знания

in the 21st century

в 21 веке

in the same way that factory automation

так же, как автоматизация фабрик

and the assembly line

и конвейеризация

challenged blue collar labor in the 20th century.

бросили вызов синим воротничкам в 20 веке.

Think about a lab technician

Подумайте о лаборанте,

who is looking through a microscope

смотрящем через микроскоп

at a cancer biopsy

на биоптат ракового новообразования

and determining whether it's cancerous or not.

и определяющем, рак это или нет.

The person went to university.

Этот человек окончил университет.

The person buys property.

Этот человек покупает вещи.

He or she votes.

Он или она голосует.

He or she is a stakeholder in society.

Он или она участвует в деятельности общества.

And that person's job,

И работа этого человека,

as well as an entire fleet

так же как и целая флотилия

of professionals like that person,

таких же профессионалов,

is going to find that their jobs are radically changed

столкнётся с радикальными изменениями в их работе

or actually completely eliminated.

или даже полным её устранением.

Now, we like to think

Нам нравится думать,

that technology creates jobs over a period of time

что технологии создают рабочие места в долгосрочной перспективе

after a short, temporary period of dislocation,

после короткого временного периода дезорганизации,

and that is true for the frame of reference

и это имеет место быть в реалиях,

with which we all live, the Industrial Revolution,

в которых мы живём, Индустриальной революции,

because that's precisely what happened.

потому что так как раз и случилось.

But we forget something in that analysis:

Но мы кое-что забываем, анализируя это:

There are some categories of jobs

есть некоторые категории деятельности,

that simply get eliminated and never come back.

которые просто исчезают и никогда не возвращаются.

The Industrial Revolution wasn't very good

Индустриальная революция вам не посодействовала,

if you were a horse.

если вы были лошадью.

So we're going to need to be careful

Так что нам нужно быть внимательными

and take big data and adjust it for our needs,

и использовать большие данные

our very human needs.

для социальных целей.

We have to be the master of this technology,

Нам нужно быть хозяевами этой технологии,

not its servant.

а не её прислугой.

We are just at the outset of the big data era,

Мы лишь на подступах к эре больших данных,

and honestly, we are not very good

и, честно говоря, у нас не очень получается

at handling all the data that we can now collect.

управлять всей получаемой информацией.

It's not just a problem for the National Security Agency.

Это проблема не только для Агентства национальной безопасности.

Businesses collect lots of data, and they misuse it too,

Коммерция собирает много информации и ею также злоупотребляет,

and we need to get better at this, and this will take time.

и нам нужно стать более умелыми в этом, и это займёт какое-то время.

It's a little bit like the challenge that was faced

Это, примерно, как проблема огня

by primitive man and fire.

для первобытного человека.

This is a tool, but this is a tool that,

Это орудие, но это орудие, которое,

unless we're careful, will burn us.

если мы не будем осторожны, нас обожжёт.

Big data is going to transform how we live,

Большие данные преобразуют нашу жизнь,

how we work and how we think.

нашу работу и наше мышление.

It is going to help us manage our careers

Они помогут нам развивать карьеру

and lead lives of satisfaction and hope

и вести жизнь, полную радости и надежд,

and happiness and health,

счастья и благополучия;

but in the past, we've often looked at information technology

но в прошлом мы часто, смотря на информационные технологии,

and our eyes have only seen the T,

видели только «Т»,

the technology, the hardware,

технологии, технику,

because that's what was physical.

потому что это вещественно.

We now need to recast our gaze at the I,

Сейчас нам нужно устремить взор на «И»,

the information,

информацию,

which is less apparent,

которая менее видима,

but in some ways a lot more important.

но в какой-то мере намного более важна.

Humanity can finally learn from the information

Человечество, наконец-то, может извлекать знания

that it can collect,

из собираемой информации,

as part of our timeless quest

как часть наших вечных поисков

to understand the world and our place in it,

в понимании мира и нашего места в нём,

and that's why big data is a big deal.

и поэтому большие данные — дело большое.

(Applause)

(Аплодисменты)