The era of blind faith in big data must end | Cathy O'Neil

Переводчик: Lana Zapolskykh Редактор: Yulia Kallistratova

Algorithms are everywhere.

Алгоритмы повсюду.

They sort and separate the winners from the losers.

Они сортируют людей, отделяя победителей от проигравших.

The winners get the job

Победители получают желаемую работу

or a good credit card offer.

или выгодное кредитное предложение.

The losers don't even get an interview

Неудачники даже не получают шанса на собеседование

or they pay more for insurance.

или платят больше за страхование.

We're being scored with secret formulas that we don't understand

Нас «считывают» по секретным формулам, которые мы зачастую не понимаем,

that often don't have systems of appeal.

без возможности обжалования решения.

That begs the question:

Назревает вопрос:

What if the algorithms are wrong?

что, если эти алгоритмы ошибочны?

To build an algorithm you need two things:

Для построения алгоритма вам нужны две вещи:

you need data, what happened in the past,

вам нужны данные о прошлых событиях

and a definition of success,

и определение понятия «успех» —

the thing you're looking for and often hoping for.

того, к чему вы стремитесь и на что надеетесь.

You train an algorithm by looking, figuring out.

Вы обучаете алгоритм, наблюдая за результатом.

The algorithm figures out what is associated with success.

Алгоритм вычисляет всё то, что связано с успехом.

What situation leads to success?

Какая ситуация приводит к успеху?

Actually, everyone uses algorithms.

Каждый из нас использует алгоритмы.

They just don't formalize them in written code.

Мы просто не записываем их в виде формул и кодов.

Let me give you an example.

Приведу пример.

I use an algorithm every day to make a meal for my family.

Я использую алгоритм каждый день, когда готовлю еду для своей семьи.

The data I use

Данные, которые я использую, —

is the ingredients in my kitchen,

это ингредиенты у меня на кухне,

the time I have,

моё время,

the ambition I have,

мои цели,

and I curate that data.

и я организовываю эти данные.

I don't count those little packages of ramen noodles as food.

Я не считаю эти пакетики лапши пищей.

(Laughter)

(Смех)

My definition of success is:

Вот моё определение успеха:

a meal is successful if my kids eat vegetables.

блюдо удалось, если мои дети едят овощи.

It's very different from if my youngest son were in charge.

Мой младший сын думает по-другому.

He'd say success is if he gets to eat lots of Nutella.

Для него успех — это если он получит много Нутеллы.

But I get to choose success.

Но определяю успех я.

I am in charge. My opinion matters.

Я главная. Именно моё мнение имеет значение.

That's the first rule of algorithms.

Это первое правило алгоритмов.

Algorithms are opinions embedded in code.

Алгоритмы — это мнения, встроенные в код.

It's really different from what you think most people think of algorithms.

Это отличается от того, как большинство людей воспринимают алгоритмы.

They think algorithms are objective and true and scientific.

Алгоритмы для них объективны, истинны и научны.

That's a marketing trick.

Это маркетинговый трюк.

It's also a marketing trick

Этот трюк используют

to intimidate you with algorithms,

для того, чтобы запугать вас алгоритмами,

to make you trust and fear algorithms

чтобы вы доверяли им и боялись их,

because you trust and fear mathematics.

как вы доверяете математике и боитесь еë.

A lot can go wrong when we put blind faith in big data.

Опасно вкладывать слепую веру в «большие данные».

This is Kiri Soares. She's a high school principal in Brooklyn.

Это Кири Соареш. Она директор средней школы в Бруклине.

In 2011, she told me her teachers were being scored

В 2011 году она рассказала, что её учителей оценивали

with a complex, secret algorithm

с помощью сложного секретного алгоритма —

called the "value-added model."

«модели добавленной стоимости».

I told her, "Well, figure out what the formula is, show it to me.

Я сказала ей: «Выясни-ка, что это за формула и покажи мне,

I'm going to explain it to you."

я попробую объяснить еë тебе».

She said, "Well, I tried to get the formula,

Она сказала: «Ну, я хотела получить формулу,

but my Department of Education contact told me it was math

но в отделе образования мне сказали, что это математика,

and I wouldn't understand it."

и я не ничего пойму».

It gets worse.

Ситуация ухудшается.

The New York Post filed a Freedom of Information Act request,

Газета «Нью-Йорк Пост», согласно Закона о свободе информации,

got all the teachers' names and all their scores

опубликовала инфо с именами всех учителей и их баллами

and they published them as an act of teacher-shaming.

в попытке пристыдить их.

When I tried to get the formulas, the source code, through the same means,

Когда я сама попыталась получить формулы и исходный код,

I was told I couldn't.

мне их не дали.

I was denied.

Мне отказали.

I later found out

Позже я узнала,

that nobody in New York City had access to that formula.

что никто в Нью-Йорке не имеет доступа к этой формуле.

No one understood it.

Никто её не понимал.

Then someone really smart got involved, Gary Rubinstein.

Пока за дело не взялся кто-то умный — Гари Рубинштейн.

He found 665 teachers from that New York Post data

Он обнаружил, что 665 учителей в базе данных Нью-Йорка

that actually had two scores.

имели две оценки.

That could happen if they were teaching

Это могло бы быть, если они преподают

seventh grade math and eighth grade math.

математику в седьмом и восьмом классах.

He decided to plot them.

Он решил создать график.

Each dot represents a teacher.

Каждая точка представляет собой учителя.

(Laughter)

(Смех)

What is that?

Что это?

(Laughter)

(Смех)

That should never have been used for individual assessment.

Это нельзя было использовать для индивидуального оценивания.

It's almost a random number generator.

Это почти что генератор случайных чисел.

(Applause)

(Аплодисменты)

But it was.

Однако так и было.

This is Sarah Wysocki.

Это Сара Высоцки.

She got fired, along with 205 other teachers,

Её уволили вместе с 205 другими учителями

from the Washington, DC school district,

из школы в Вашингтоне округа Колумбия,

even though she had great recommendations from her principal

даже не смотря на отличные рекомендации от директора её школы

and the parents of her kids.

и родителей учеников.

I know what a lot of you guys are thinking,

Я знаю, о чём думают многие из вас,

especially the data scientists, the AI experts here.

особенно специалисты ИТ, ИИ-эксперты.

You're thinking, "Well, I would never make an algorithm that inconsistent."

Вы думаете: «Ну, я бы никогда не создал такой непоследовательный алгоритм».

But algorithms can go wrong,

Но алгоритм может не сработать,

even have deeply destructive effects with good intentions.

и даже благие намерения могут иметь глубоко разрушительный эффект.

And whereas an airplane that's designed badly

И в то время как самолёт с ошибками в проекте

crashes to the earth and everyone sees it,

упадëт на землю, и все это увидят,

an algorithm designed badly

алгоритм с ошибками

can go on for a long time, silently wreaking havoc.

может работать долгое время, бесшумно давая волю хаосу.

This is Roger Ailes.

Это Роджер Айлз.

(Laughter)

(Смех)

He founded Fox News in 1996.

Он основал Fox News в 1996 году.

More than 20 women complained about sexual harassment.

Более 20 женщин жаловались на сексуальные домогательства.

They said they weren't allowed to succeed at Fox News.

Они сказали, что им не дали возможности преуспеть в Fox News.

He was ousted last year, but we've seen recently

Его сняли и в прошлом году, но понятно,

that the problems have persisted.

что проблемы так и остались нерешёнными.

That begs the question:

Это вызывает вопрос:

What should Fox News do to turn over another leaf?

что должны делать Fox News, чтобы начать всё сначала?

Well, what if they replaced their hiring process

Что, если бы они заменили процесс найма

with a machine-learning algorithm?

машинным алгоритмом?

That sounds good, right?

Неплохо, не так ли?

Think about it.

Подумайте об этом.

The data, what would the data be?

Данные, какими будут данные?

A reasonable choice would be the last 21 years of applications to Fox News.

Разумно было бы проанализировать 21 год опыта приёма на работу в Fox News.

Reasonable.

Разумно.

What about the definition of success?

Как насчёт определения успеха?

Reasonable choice would be,

Разумным было бы выбрать

well, who is successful at Fox News?

тех, кто преуспевает в Fox News?

I guess someone who, say, stayed there for four years

Я думаю, тех, кто скажем, проработал там четыре года

and was promoted at least once.

и получил продвижение хотя бы один раз.

Sounds reasonable.

Звучит разумно.

And then the algorithm would be trained.

А затем алгоритм можно было бы натренировать.

It would be trained to look for people to learn what led to success,

Он мог бы искать людей, которые способны достичь успеха,

what kind of applications historically led to success

узнать, какие из претендентов на должность были успешными в прошлом.

by that definition.

По этому определению.

Now think about what would happen

Подумайте о том, что произошло бы,

if we applied that to a current pool of applicants.

если применить эту формулу ко всем претендентам.

It would filter out women

Женщин можно сразу исключить,

because they do not look like people who were successful in the past.

потому что среди них немного тех, кто достиг успеха в прошлом.

Algorithms don't make things fair

Алгоритмы не обеспечивают справедливости.

if you just blithely, blindly apply algorithms.

Если вы безропотно, слепо применяете алгоритмы,

They don't make things fair.

они не обеспечат честность.

They repeat our past practices,

Они повторяют наш прошлый опыт,

our patterns.

наши шаблоны.

They automate the status quo.

Они автоматизируют статус-кво.

That would be great if we had a perfect world,

Было бы здорово, если бы у нас был идеальный мир,

but we don't.

но у нас его нет.

And I'll add that most companies don't have embarrassing lawsuits,

Кстати, большинство компаний обошлись без судебных процессов,

but the data scientists in those companies

но учёным в данных компаниях

are told to follow the data,

велено следить за данными,

to focus on accuracy.

чтобы сосредоточиться на их точности.

Think about what that means.

Подумайте, что это значит.

Because we all have bias, it means they could be codifying sexism

Поскольку все мы не лишены предвзятости, данные могут кодифицировать сексизм

or any other kind of bigotry.

или другие формы дискриминации.

Thought experiment,

Вот мысленный эксперимент,

because I like them:

потому что мне они нравятся:

an entirely segregated society --

общество с полной сегрегацией —

racially segregated, all towns, all neighborhoods

расовое разделение во всех городах, всех районах.

and where we send the police only to the minority neighborhoods

Мы отправляем полицию только в окрестности меньшинств

to look for crime.

расследовать преступления.

The arrest data would be very biased.

Данные об аресте будут очень предвзятыми.

What if, on top of that, we found the data scientists

А что, если, мы нашли бы специалистов

and paid the data scientists to predict where the next crime would occur?

и заплатили им за прогноз места следующего преступления?

Minority neighborhood.

Окрестность меньшинств.

Or to predict who the next criminal would be?

Или же за прогнозирование следующего преступника?

A minority.

Кто-то из меньшинств.

The data scientists would brag about how great and how accurate

Специалисты обработки данных хвалятся тем, насколько гениальны и точны

their model would be,

их модели,

and they'd be right.

и они правы.

Now, reality isn't that drastic, but we do have severe segregations

Теперь реальность не настолько радикальна, но у нас есть серьёзное разделение

in many cities and towns,

во многих городах,

and we have plenty of evidence

и у нас есть много доказательств

of biased policing and justice system data.

предвзятости в политической и судебной системах.

And we actually do predict hotspots,

И мы прогнозируем горячие точки —

places where crimes will occur.

места преступлений.

And we do predict, in fact, the individual criminality,

И мы на самом деле предсказываем преступления отдельных лиц,

the criminality of individuals.

преступные действия индивидов.

The news organization ProPublica recently looked into

Новостной ресурс ProPublica недавно рассмотрел

one of those "recidivism risk" algorithms,

один из алгоритмов — «риск рецидива»,

as they're called,

как его называют,

being used in Florida during sentencing by judges.

который используется во Флориде при вынесения приговора судьями.

Bernard, on the left, the black man, was scored a 10 out of 10.

Бернар, чернокожий человек слева, получил 10 из 10.

Dylan, on the right, 3 out of 10.

Дилан, справа, — 3 из 10.

10 out of 10, high risk. 3 out of 10, low risk.

10 из 10 — это высокий риск. 3 из 10 — низкий риск.

They were both brought in for drug possession.

Они оба были привлечены за хранение наркотиков.

They both had records,

Они оба имели аресты,

but Dylan had a felony

но у Дилана было уголовное преступление,

but Bernard didn't.

а у Бернарда нет.

This matters, because the higher score you are,

Это имеет значение, потому что чем выше оценка,

the more likely you're being given a longer sentence.

тем больше вероятность того, что вам дадут более длительный срок.

What's going on?

Что происходит?

Data laundering.

«Отмывание» данных.

It's a process by which technologists hide ugly truths

Это процесс сокрытия правды

inside black box algorithms

в «чёрном ящике» алгоритмов,

and call them objective;

алгоритмов объективных

call them meritocratic.

и заслуживающих одобрения.

When they're secret, important and destructive,

Они секретны, важны и разрушительны.

I've coined a term for these algorithms:

Я придумала термин для них:

"weapons of math destruction."

«оружие математического уничтожения».

(Laughter)

(Смех)

(Applause)

(Аплодисменты)

They're everywhere, and it's not a mistake.

Они повсюду, и это не ошибка.

These are private companies building private algorithms

Частные компании строят

for private ends.

частные алгоритмы для себя.

Even the ones I talked about for teachers and the public police,

Даже алгоритмы для учителей и полиции

those were built by private companies

были построены частными компаниями

and sold to the government institutions.

и проданы государственным учреждениям.

They call it their "secret sauce" --

Они называют это своим «секретом» —

that's why they can't tell us about it.

вот почему они не рассказывают ничего.

It's also private power.

Это также частная власть.

They are profiting for wielding the authority of the inscrutable.

Они пользуются преимуществом, обеспеченным секретностью.

Now you might think, since all this stuff is private

Так как всё частное

and there's competition,

и присутствует конкуренция,

maybe the free market will solve this problem.

свободный рынок — это выход.

It won't.

Но это не так.

There's a lot of money to be made in unfairness.

В этой несправедливости — куча денег.

Also, we're not economic rational agents.

И мы не рациональны с точки зрения экономики.

We all are biased.

Мы все предвзяты.

We're all racist and bigoted in ways that we wish we weren't,

Мы все расисты и фанатики, к сожалению,

in ways that we don't even know.

часто подсознательно.

We know this, though, in aggregate,

Мы это знаем, но, в совокупности,

because sociologists have consistently demonstrated this

социологи демонстрируют это

with these experiments they build,

своими экспериментами.

where they send a bunch of applications to jobs out,

Они рассылают заявки квалифицированных работников,

equally qualified but some have white-sounding names

и по их именам можно понять,

and some have black-sounding names,

белые они или чернокожие.

and it's always disappointing, the results -- always.

И результаты всегда разочаровывают.

So we are the ones that are biased,

Мы предвзяты

and we are injecting those biases into the algorithms

и внедряем предубеждения в алгоритмы,

by choosing what data to collect,

отбирая данные.

like I chose not to think about ramen noodles --

Вот я решила не думать о лапше,

I decided it was irrelevant.

я решила, что это неприемлемо.

But by trusting the data that's actually picking up on past practices

Но, доверяя собранным ранее данным

and by choosing the definition of success,

и выбирая своё определение успеха,

how can we expect the algorithms to emerge unscathed?

можно ли ожидать, что алгоритмы окажутся непредвзятыми?

We can't. We have to check them.

Нет. Мы должны их проверять.

We have to check them for fairness.

Мы должны проверять их на справедливость.

The good news is, we can check them for fairness.

Хорошей новостью является то, что мы можем это сделать.

Algorithms can be interrogated,

Алгоритмы можно допросить,

and they will tell us the truth every time.

и они всегда скажут нам правду.

And we can fix them. We can make them better.

И мы можем их исправить. Мы можем их улучшить.

I call this an algorithmic audit,

Это алгоритмический аудит,

and I'll walk you through it.

и я вам сейчас объясню.

First, data integrity check.

Во-первых — проверка целостности данных.

For the recidivism risk algorithm I talked about,

Для алгоритма определения риска рецидива, о котором я говорила ранее,

a data integrity check would mean we'd have to come to terms with the fact

проверка целостности данных означает принятие факта о том,

that in the US, whites and blacks smoke pot at the same rate

что в США белые и чёрные курят марихуану одинаково,

but blacks are far more likely to be arrested --

но чернокожих чаще задерживают.

four or five times more likely, depending on the area.

Вероятность ареста в 4–5 раз выше, в зависимости от района.

What is that bias looking like in other crime categories,

Как это выглядит в других сферах права,

and how do we account for it?

и как это можно объяснить?

Second, we should think about the definition of success,

Во-вторых — успех,

audit that.

проверьте его.

Remember -- with the hiring algorithm? We talked about it.

Помните? Алгоритм принятия на работу?

Someone who stays for four years and is promoted once?

У кого стаж четыре года и одно продвижение?

Well, that is a successful employee,

Это — успешный сотрудник,

but it's also an employee that is supported by their culture.

но это и тот, кого поддерживает культура компании.

That said, also it can be quite biased.

И это может быть довольно предвзятым.

We need to separate those two things.

Нам нужно разделять эти две вещи.

We should look to the blind orchestra audition

Вот слепое cобеседование

as an example.

для примера.

That's where the people auditioning are behind a sheet.

Прослушивают людей, не видя их.

What I want to think about there

Я думаю о том,

is the people who are listening have decided what's important

что прослушивающие люди решили, что важно

and they've decided what's not important,

для них, а что нет.

and they're not getting distracted by that.

И больше они не отвлекаются на эту тему.

When the blind orchestra auditions started,

Когда начались «слепые оркестровые прослушивания»,

the number of women in orchestras went up by a factor of five.

число женщин в оркестрах выросло в пять раз.

Next, we have to consider accuracy.

Затем мы должны учитывать точность.

This is where the value-added model for teachers would fail immediately.

Тут модель добавленной стоимости для учителей провалилась бы сразу.

No algorithm is perfect, of course,

Конечно, нет идеальных алгоритмов,

so we have to consider the errors of every algorithm.

поэтому мы должны учитывать ошибки всех алгоритмов.

How often are there errors, and for whom does this model fail?

Когда бывают ошибки, к кому эта модель не подходит?

What is the cost of that failure?

Какова цена этой неудачи?

And finally, we have to consider

И, наконец, мы должны рассмотреть

the long-term effects of algorithms,

долгосрочные эффекты алгоритмов,

the feedback loops that are engendering.

петли обратной связи.

That sounds abstract,

Это звучит абстрактно,

but imagine if Facebook engineers had considered that

но представьте, если бы об этом подумали творцы Facebook,

before they decided to show us only things that our friends had posted.

прежде чем они решили показать нам публикации наших друзей.

I have two more messages, one for the data scientists out there.

У меня есть ещё два сообщения, одно для ИТ специалистов.

Data scientists: we should not be the arbiters of truth.

Ребята, мы не должны быть судьями правды,

We should be translators of ethical discussions that happen

мы должны передавать этику

in larger society.

широкой общественности.

(Applause)

(Аплодисменты)

And the rest of you,

А для остальных,

the non-data scientists:

не специалистов ИТ:

this is not a math test.

это не математический тест.

This is a political fight.

Это политическая борьба.

We need to demand accountability for our algorithmic overlords.

Нужна отчётность собственников алгоритмов.

(Applause)

(Аплодисменты)

The era of blind faith in big data must end.

Эре слепой веры в «большие данные» конец!

Thank you very much.

Спасибо большое.

(Applause)

(Аплодисменты)