The era of blind faith in big data must end | Cathy O'Neil

Перекладач: Tanya Avramenko Утверджено: Khrystyna Romashko

Algorithms are everywhere.

Алгоритми є повсюди.

They sort and separate the winners from the losers.

Вони сортують і відрізняють переможців від переможених.

The winners get the job

Переможці отримують роботу

or a good credit card offer.

чи вигідні умови оформлення кредитки.

The losers don't even get an interview

Переможені не доходять навіть до співбесіди,

or they pay more for insurance.

або платять більше за страхування.

We're being scored with secret formulas that we don't understand

Нас обчислюють секретними формулами, які ми не розуміємо,

that often don't have systems of appeal.

і до яких часто не можна подати апеляційні скарги.

That begs the question:

Тому виникає питання:

What if the algorithms are wrong?

а якщо припустити, що алгоритми неправильні?

To build an algorithm you need two things:

Для побудови алгоритму потрібні дві речі:

you need data, what happened in the past,

потрібні дані про те, що сталося у минулому,

and a definition of success,

і визначення успіху,

the thing you're looking for and often hoping for.

те, чого ви прагнете і на що часто сподіваєтеся.

You train an algorithm by looking, figuring out.

Ви навчаєте алгоритм, розмірковуючи, з'ясовуючи.

The algorithm figures out what is associated with success.

Алгоритм з'ясовує, що асоціюється із успіхом.

What situation leads to success?

Яка ситуація призводить до успіху?

Actually, everyone uses algorithms.

Усі люди вживають алгоритми.

They just don't formalize them in written code.

Вони просто не записують їх у вигляді коду.

Let me give you an example.

Я наведу вам приклад.

I use an algorithm every day to make a meal for my family.

Я щодня вживаю алгоритм, щоб приготувати їсти для сім'ї.

The data I use

Дані, що я використовую,

is the ingredients in my kitchen,

це інгредієнти в мене на кухні,

the time I have,

скільки часу я маю,

the ambition I have,

наскільки я захоплена,

and I curate that data.

і я - куратор цих даних.

I don't count those little packages of ramen noodles as food.

Я не зараховую маленькі пакетики локшини рамен до їжі.

(Laughter)

(Сміх)

My definition of success is:

Ось моє визначення успіху:

a meal is successful if my kids eat vegetables.

страва успішна, якщо мої діти їдять овочі.

It's very different from if my youngest son were in charge.

Дайте вирішувати моєму молодшому синові, і все буде інакше.

He'd say success is if he gets to eat lots of Nutella.

Для нього успіх - це якщо вдається з'їсти багато Нутелли.

But I get to choose success.

Але я визначаю, що таке успіх.

I am in charge. My opinion matters.

Я вирішую. Моя точка зору має значення.

That's the first rule of algorithms.

Ось таким є перше правило алгоритмів.

Algorithms are opinions embedded in code.

Алгоритми - це точки зору, вбудовані у код.

It's really different from what you think most people think of algorithms.

Це дуже відрізняється від того, що більшість людей думає про алгоритми.

They think algorithms are objective and true and scientific.

Вони думають, що алгоритми об'єктивні, правдиві і науково обґрунтовані.

That's a marketing trick.

Це маркетингові хитрощі.

It's also a marketing trick

Це також будуть маркетингові хитрощі,

to intimidate you with algorithms,

якщо вам будуть погрожувати алгоритмами,

to make you trust and fear algorithms

будуть примушувати вас довіряти алгоритмам та боятися їх,

because you trust and fear mathematics.

бо ви довіряєте математиці та боїтеся її.

A lot can go wrong when we put blind faith in big data.

Чимало речей може піти не так, як треба, коли ми сліпо довіряємо великим даним.

This is Kiri Soares. She's a high school principal in Brooklyn.

Це Кірі Соарс. Вона - директор школи старших класів у Брукліні.

In 2011, she told me her teachers were being scored

У 2011 р. вона розповіла мені, що її вчителів оцінювали

with a complex, secret algorithm

за складним секретним алгоритмом

called the "value-added model."

під назвою "модель з розширеними функціями".

I told her, "Well, figure out what the formula is, show it to me.

Я сказала їй: "З'ясуй, що це за формула, покажи її мені.

I'm going to explain it to you."

Я тобі її поясню".

She said, "Well, I tried to get the formula,

Вона сказала: "Я намагалася отримати формулу,

but my Department of Education contact told me it was math

але моя знайома у міносвіти сказала мені, що то математика,

and I wouldn't understand it."

і що мені цього не зрозуміти".

It gets worse.

Далі буде гірше.

The New York Post filed a Freedom of Information Act request,

"Нью-Йорк Пост" надіслала запит згідно із Законом про свободу інформації,

got all the teachers' names and all their scores

отримала імена усіх вчителів та усі їх оцінки,

and they published them as an act of teacher-shaming.

і потім вони опублікували це задля присоромлення вчителів.

When I tried to get the formulas, the source code, through the same means,

Коли я намагалася тими ж методами одержати формули, початковий код,

I was told I couldn't.

мені сказали, що я не можу цього зробити.

I was denied.

Мені відмовили.

I later found out

Пізніше я дізналася,

that nobody in New York City had access to that formula.

що ніхто у місті Нью-Йорк не мав доступу до цієї формули.

No one understood it.

Ніхто її не розумів.

Then someone really smart got involved, Gary Rubinstein.

Потім до цього долучилася одна мудра людина, Гері Рубінштейн.

He found 665 teachers from that New York Post data

Він знайшов 665 вчителів з тої статті у "Нью-Йорк Пост",

that actually had two scores.

вчителів, що, власне, мали дві оцінки.

That could happen if they were teaching

Так могло статися, якщо вони викладали

seventh grade math and eighth grade math.

математику у сьомому класі і математику у восьмому.

He decided to plot them.

Він вирішив відобразити їх дані.

Each dot represents a teacher.

Кожна крапка репрезентує вчителя.

(Laughter)

(Сміх)

What is that?

Що це таке?

(Laughter)

(Сміх)

That should never have been used for individual assessment.

Це ніколи не слід було використовувати для індивідуальної оцінки.

It's almost a random number generator.

Це майже як генератор випадкових чисел.

(Applause)

(Оплески)

But it was.

Але це було використано.

This is Sarah Wysocki.

Це - Сара Висоцкі.

She got fired, along with 205 other teachers,

Її звільнили, разом із 205 іншими вчителями,

from the Washington, DC school district,

зі шкільного району м.Вашингтон в окрузі Колумбія,

even though she had great recommendations from her principal

хоча вона мала прекрасні рекомендації від її директора

and the parents of her kids.

та батьків її дітей.

I know what a lot of you guys are thinking,

Я знаю, про що зараз думає багато із вас,

especially the data scientists, the AI experts here.

зокрема фахівці з обробки даних і штучного інтелекту.

You're thinking, "Well, I would never make an algorithm that inconsistent."

Ви думаєте: "Ну, я б ніколи не створив алгоритм з такими протиріччями".

But algorithms can go wrong,

Але алгоритми можуть піти не за планом,

even have deeply destructive effects with good intentions.

навіть мати надзвичайно нищівні наслідки, незважаючи на добрі наміри.

And whereas an airplane that's designed badly

В той час, як літак, що був погано спроектований,

crashes to the earth and everyone sees it,

врізається у землю, і всі це бачать,

an algorithm designed badly

алгоритм, що був погано розроблений,

can go on for a long time, silently wreaking havoc.

може довго функціонувати і тихенько завдавати шкоди.

This is Roger Ailes.

Це - Роджер Ейлс.

(Laughter)

(Сміх)

He founded Fox News in 1996.

Він заснував Fox News у 1996 р.

More than 20 women complained about sexual harassment.

Понад 20 жінок поскаржилися на сексуальні домагання.

They said they weren't allowed to succeed at Fox News.

Вони казали, що їм не дозволяли досягати успіхів у Fox News.

He was ousted last year, but we've seen recently

Минулого року його вигнали, але ми нещодавно побачили,

that the problems have persisted.

що проблеми все одно існують.

That begs the question:

Виникає питання:

What should Fox News do to turn over another leaf?

що повинна зробити Fox News, щоб почати нову сторінку?

Well, what if they replaced their hiring process

А якщо б вони замість свого процесу найму працівників вживали

with a machine-learning algorithm?

алгоритм машинного навчання?

That sounds good, right?

Непогана ідея, правда?

Think about it.

Подумайте про це.

The data, what would the data be?

Дані, які в нас були б дані?

A reasonable choice would be the last 21 years of applications to Fox News.

Резонно розглянути відгуки на вакансії у Fox News за останній 21 рік.

Reasonable.

Резонно.

What about the definition of success?

А як ми визначимо успіх?

Reasonable choice would be,

Резонно було б обрати,

well, who is successful at Fox News?

ну, хто є успішним у Fox News?

I guess someone who, say, stayed there for four years

Скажімо, та людина, що пробула там чотири роки,

and was promoted at least once.

і яка хоч раз отримала підвищення.

Sounds reasonable.

Резонне визначення.

And then the algorithm would be trained.

А потім ми б навчали алгоритм.

It would be trained to look for people to learn what led to success,

Його б навчали шукати людей, вивчати, що призвело до успіху,

what kind of applications historically led to success

якого роду відгуки про вакансії призводили до успіху

by that definition.

за цим визначенням.

Now think about what would happen

Подумайте, що сталося би по відношенню

if we applied that to a current pool of applicants.

до теперішнього банку даних про кандидатів.

It would filter out women

Алгоритм відфільтрував би жінок,

because they do not look like people who were successful in the past.

бо вони не виглядають, як люди, що були успішними у минулому.

Algorithms don't make things fair

Алгоритми не забезпечують справедливість,

if you just blithely, blindly apply algorithms.

якщо ви застосовуєте алгоритми безтурботно і всліпу.

They don't make things fair.

Це не гарантія справедливості.

They repeat our past practices,

Вони повторюють наші минулі методики роботи,

our patterns.

наші шаблони.

They automate the status quo.

Вони автоматизують статус-кво.

That would be great if we had a perfect world,

Як було б добре, якщо б ми жили в ідеальному світі,

but we don't.

але ми в ньому не живемо.

And I'll add that most companies don't have embarrassing lawsuits,

Додам, що більшість компаній не має прикрих правових спорів,

but the data scientists in those companies

але науковцям з даних у тих компаніях

are told to follow the data,

кажуть слідкувати за даними,

to focus on accuracy.

концентруватися на точності.

Think about what that means.

Подумайте, що це означає.

Because we all have bias, it means they could be codifying sexism

Оскільки усі ми маємо упередження, вони можуть кодувати сексизм

or any other kind of bigotry.

чи інший вид нетерпимості.

Thought experiment,

Інтелектуальний експеримент,

because I like them:

бо вони мені подобаються:

an entirely segregated society --

повністю сегреговане суспільство -

racially segregated, all towns, all neighborhoods

расова сегрегація в усіх містах, усіх кварталах,

and where we send the police only to the minority neighborhoods

і поліцію посилають лиш до кварталів, де проживає меншість,

to look for crime.

щоб шукати там злочинців.

The arrest data would be very biased.

Дані про арешти були б дуже упередженими.

What if, on top of that, we found the data scientists

А якщо, окрім того, ми знайшли б науковців з даних

and paid the data scientists to predict where the next crime would occur?

і платили б науковцям за передбачення, де буде скоєно наступний злочин?

Minority neighborhood.

У кварталі, де проживає меншість.

Or to predict who the next criminal would be?

Чи передбачити, хто буде наступним злочинцем?

A minority.

Людина з меншості.

The data scientists would brag about how great and how accurate

Науковці хвалилися б про те, наскільки чудовою і точною

their model would be,

є їх модель,

and they'd be right.

і вони були б праві.

Now, reality isn't that drastic, but we do have severe segregations

В реальному житті немає таких крайнощів, але ми маємо суттєву сегрегацію

in many cities and towns,

у великих і малих містах,

and we have plenty of evidence

і маємо досить доказів

of biased policing and justice system data.

щодо упередженості поліції і судової системи.

And we actually do predict hotspots,

І ми справді передбачаємо гарячі точки,

places where crimes will occur.

місця, де буде скоєно злочини.

And we do predict, in fact, the individual criminality,

І це факт, що ми передбачаємо індивідуальні злочинні дії,

the criminality of individuals.

злочинність окремих людей.

The news organization ProPublica recently looked into

Інформагентство ProPublica нещодавно провело розслідування щодо

one of those "recidivism risk" algorithms,

одного з алгоритмів "ризику рецидивізму",

as they're called,

так вони називаються,

being used in Florida during sentencing by judges.

що використовують судді у Флориді, коли виносять вирок.

Bernard, on the left, the black man, was scored a 10 out of 10.

Бернард, зліва, темношкірий, отримав рейтинг 10 з 10.

Dylan, on the right, 3 out of 10.

Ділан, справа, 3 з 10.

10 out of 10, high risk. 3 out of 10, low risk.

10 з 10, високий ризик. 3 з 10, низький ризик.

They were both brought in for drug possession.

Їх обох заарештували за зберігання наркотиків.

They both had records,

В них кримінальне минуле,

but Dylan had a felony

але Ділан скоїв тяжкий злочин,

but Bernard didn't.

а Бернард - ні.

This matters, because the higher score you are,

Це має значення, бо чим вищий в тебе ризик,

the more likely you're being given a longer sentence.

тим ймовірніше, що ти отримаєш довший термін покарання.

What's going on?

Що ж відбувається?

Data laundering.

Відмивання даних.

It's a process by which technologists hide ugly truths

Це процес, коли технологи ховають неприємну правду

inside black box algorithms

всередині алгоритмів типу "чорний ящик"

and call them objective;

і називають їх об'єктивними;

call them meritocratic.

називають їх меритократичними.

When they're secret, important and destructive,

Коли ці алгоритми секретні, важливі та нищівні,

I've coined a term for these algorithms:

я створила для них термін:

"weapons of math destruction."

"зброя математичного знищення".

(Laughter)

(Сміх)

(Applause)

(Оплески)

They're everywhere, and it's not a mistake.

Вони повсюди, і це не помилково.

These are private companies building private algorithms

Це приватні компанії, що будують приватні алгоритми

for private ends.

для приватного зиску.

Even the ones I talked about for teachers and the public police,

Навіть приклади, що я навела, для вчителів і державної поліції,

those were built by private companies

приватні компанії побудували їх

and sold to the government institutions.

і продали державним установам.

They call it their "secret sauce" --

Вони кажуть, що це їх "секретний соус",

that's why they can't tell us about it.

тому вони не можуть розповісти нам про нього.

It's also private power.

Це також вплив приватних інтересів.

They are profiting for wielding the authority of the inscrutable.

Вони отримують зиск, маючи владу над незбагненним.

Now you might think, since all this stuff is private

Позаяк це все приватні компанії, ви можете припустити,

and there's competition,

що існує конкуренція,

maybe the free market will solve this problem.

можливо, вільний ринок вирішить цю проблему.

It won't.

Ні, не вирішить.

There's a lot of money to be made in unfairness.

На несправедливості можна заробити чимало грошей.

Also, we're not economic rational agents.

До того ж, ми не є економічними раціональними агентами.

We all are biased.

У нас у всіх є упередження.

We're all racist and bigoted in ways that we wish we weren't,

Ми всі до певної міри нетерпимі расисти, хоч нам це і не подобається,

in ways that we don't even know.

ми самі не знаємо, до якої міри.

We know this, though, in aggregate,

Однак ми знаємо, що так загалом і є,

because sociologists have consistently demonstrated this

бо соціологи систематично демонструють це

with these experiments they build,

у експериментах, що вони проводять,

where they send a bunch of applications to jobs out,

коли вони надсилають низку відгуків на вакансії,

equally qualified but some have white-sounding names

однакові кваліфікації, але у деяких "білі" імена,

and some have black-sounding names,

а в інших імена, як у темношкірих,

and it's always disappointing, the results -- always.

і результати завжди невтішні, завжди.

So we are the ones that are biased,

Отже, ми маємо упередження,

and we are injecting those biases into the algorithms

і ми вбудовуємо ці упередження в алгоритми,

by choosing what data to collect,

обираючи, які дани потрібно збирати,

like I chose not to think about ramen noodles --

так само, як я вирішила не думати про локшину рамен -

I decided it was irrelevant.

я вирішила, що це малозначуще.

But by trusting the data that's actually picking up on past practices

Але коли ми довіряємо даним, що вловлюють практику, що склалася,

and by choosing the definition of success,

і обираємо визначення успіху,

how can we expect the algorithms to emerge unscathed?

як ми можемо очікувати, що алгоритми будуть без несправностей?

We can't. We have to check them.

Не можемо. Ми повинні перевіряти їх.

We have to check them for fairness.

Перевіряти їх на справедливість.

The good news is, we can check them for fairness.

На щастя, ми можемо перевіряти їх на справедливість.

Algorithms can be interrogated,

Алгоритми можна розпитувати,

and they will tell us the truth every time.

і вони щоразу казатимуть нам правду.

And we can fix them. We can make them better.

І ми можемо виправити їх. Ми можемо покращити їх.

I call this an algorithmic audit,

Я називаю це "алгоритмічним аудитом",

and I'll walk you through it.

і я вам зараз його поясню.

First, data integrity check.

По-перше, перевірка цілісності даних.

For the recidivism risk algorithm I talked about,

Повертаючись до алгоритму риску рецидивізму,

a data integrity check would mean we'd have to come to terms with the fact

перевірка цілісності даних означала б, що нам довелося б змиритися із фактом,

that in the US, whites and blacks smoke pot at the same rate

що у США білі і темношкірі обкурені однаково,

but blacks are far more likely to be arrested --

однак темношкірих заарештовують набагато частіше -

four or five times more likely, depending on the area.

у чотири-п'ять разів частіше, залежно від району.

What is that bias looking like in other crime categories,

Як ця упередженість виглядає в інших кримінальних категоріях,

and how do we account for it?

і як ми приймаємо її до уваги?

Second, we should think about the definition of success,

По-друге, нам слід подумати про визначення успіху,

audit that.

проводити аудит визначення.

Remember -- with the hiring algorithm? We talked about it.

Пригадуєте алгоритм щодо прийняття на роботу?

Someone who stays for four years and is promoted once?

Той, хто утримується на роботі чотири роки і раз отримує підвищення?

Well, that is a successful employee,

Ну так, це успішний працівник,

but it's also an employee that is supported by their culture.

але це також працівник, котрого підтримує організаційна культура.

That said, also it can be quite biased.

Однак і тут може бути багато упередження.

We need to separate those two things.

Нам треба розрізняти тих дві речі.

We should look to the blind orchestra audition

Давайте брати приклад з прослуховування всліпу

as an example.

на роль в окрестрі,

That's where the people auditioning are behind a sheet.

Це коли люди на прослуховуванні є за листом паперу.

What I want to think about there

На чому я хочу тут зосередитись:

is the people who are listening have decided what's important

люди, котрі прослуховують кандидатів, вирішили, що важливе,

and they've decided what's not important,

і вирішили, що неважливе,

and they're not getting distracted by that.

і їх це не відволікає.

When the blind orchestra auditions started,

Коли розпочалися прослуховування вліпу,

the number of women in orchestras went up by a factor of five.

кількість жінок в оркестрах зросла у п'ять разів.

Next, we have to consider accuracy.

Потім нам потрібно розглянути точність.

This is where the value-added model for teachers would fail immediately.

Ось тут модель з розширеними функціями для вчителів одразу б провалилася.

No algorithm is perfect, of course,

Звісно, що не існує ідеальних алгоритмів,

so we have to consider the errors of every algorithm.

тому нам треба приймати до уваги помилки у кожному алгоритмі.

How often are there errors, and for whom does this model fail?

Як часто там трапляються помилки, і кого підведе ця модель?

What is the cost of that failure?

Якою є ціна цього провалу?

And finally, we have to consider

І наприкінці, нам потрібно прийняти до уваги

the long-term effects of algorithms,

довготермінові ефекти алгоритмів,

the feedback loops that are engendering.

ланцюги зворотного зв'язку, що виникають.

That sounds abstract,

Звучить абстрактно,

but imagine if Facebook engineers had considered that

але уявіть, якщо інженери Facebook прийняли б це до уваги,

before they decided to show us only things that our friends had posted.

перш ніж вони вирішили показувати нам лише те, що постять наші друзі.

I have two more messages, one for the data scientists out there.

В мене є ще дві думки, що я хочу донести, одна для науковців з даних.

Data scientists: we should not be the arbiters of truth.

Науковці з даних: нам не слід бути арбітрами правди.

We should be translators of ethical discussions that happen

Нам слід бути перекладачами етичних дискусій, що відбуваються

in larger society.

у ширшому суспільстві.

(Applause)

(Оплески)

And the rest of you,

А щодо решти з вас,

the non-data scientists:

не-науковців з даних:

this is not a math test.

це не тест з математики.

This is a political fight.

Це політична боротьба.

We need to demand accountability for our algorithmic overlords.

Ми повинні вимагати підзвітності від наших алгоритмічних можновладців.

(Applause)

(Оплески)

The era of blind faith in big data must end.

Епоха сліпої віри у великі дані має підійти до кінця.

Thank you very much.

Дуже вам дякую.

(Applause)

(Оплески)