The era of blind faith in big data must end | Cathy O'Neil

Fordító: Péter Pallós Lektor: Beatrix Turán

Algorithms are everywhere.

Algoritmusok mindenhol vannak.

They sort and separate the winners from the losers.

Azok rendezik és különítik el a győzteseket a vesztesektől.

The winners get the job

A győztesek kapják az állásokat

or a good credit card offer.

s a jó hitelkártya-ajánlatokat.

The losers don't even get an interview

A vesztesek még az interjúig sem jutnak,

or they pay more for insurance.

és a biztosítás is drágább nekik.

We're being scored with secret formulas that we don't understand

Titkos, érthetetlen képletekkel pontoznak minket,

that often don't have systems of appeal.

amelyek ellen gyakran nincs fellebbezés.

That begs the question:

Fölvetődik a kérdés:

What if the algorithms are wrong?

mi van, ha az algoritmusok hibásak?

To build an algorithm you need two things:

Algoritmus kialakításához két dolog kell:

you need data, what happened in the past,

múltról szóló adatok

and a definition of success,

meg a keresett s gyakorta remélt

the thing you're looking for and often hoping for.

siker meghatározása.

You train an algorithm by looking, figuring out.

Idomítjuk az algoritmust, közben figyeljük, számolgatunk.

The algorithm figures out what is associated with success.

Az algoritmus kiszámolja, mi minősül sikernek.

What situation leads to success?

Milyen helyzet vezet sikerre?

Actually, everyone uses algorithms.

Mindenki használ algoritmust,

They just don't formalize them in written code.

csak nem formalizálja leírt kód alakjában.

Let me give you an example.

Mondok egy példát.

I use an algorithm every day to make a meal for my family.

Naponta algoritmust használok, amikor főzök a családomnak.

The data I use

A fölhasznált adatok:

is the ingredients in my kitchen,

hozzávalók a konyhában,

the time I have,

a rendelkezésre álló idő,

the ambition I have,

milyen kedvem van.

and I curate that data.

Ezeket az adatokat rendszerezem.

I don't count those little packages of ramen noodles as food.

A zacskós leveseket nem tartom ételnek.

(Laughter)

(Nevetés)

My definition of success is:

A sikert így határozom meg:

a meal is successful if my kids eat vegetables.

sikeres az étel, ha srácaim esznek zöldséget.

It's very different from if my youngest son were in charge.

Legkisebb fiam szerint más a siker mércéje.

He'd say success is if he gets to eat lots of Nutella.

Szerinte az, ha sok Nutellát ehetne.

But I get to choose success.

De én választom meg a sikert.

I am in charge. My opinion matters.

Én döntök. Az én véleményem mérvadó.

That's the first rule of algorithms.

Ez az algoritmusok első szabálya.

Algorithms are opinions embedded in code.

Az algoritmusok kódba ágyazott vélemények.

It's really different from what you think most people think of algorithms.

Eltér attól, amit önök, a legtöbben az algoritmusról gondolnak.

They think algorithms are objective and true and scientific.

Azt hiszik, hogy az algoritmus objektív, igaz és tudományos jószág.

That's a marketing trick.

Ez csak marketingfogás.

It's also a marketing trick

Az is marketingfogás,

to intimidate you with algorithms,

hogy algoritmusokkal riogatják önöket,

to make you trust and fear algorithms

hogy bízzanak bennük, és féljenek tőlük,

because you trust and fear mathematics.

mert önök bíznak a matekban, s félnek tőle.

A lot can go wrong when we put blind faith in big data.

Sokuk hibásnak bizonyulhat, ha vakon hiszünk a big datában.

This is Kiri Soares. She's a high school principal in Brooklyn.

Ő Kiri Soares, középiskolai igazgató Brooklynban.

In 2011, she told me her teachers were being scored

2011-ben elmondta nekem, hogy tanárait

with a complex, secret algorithm

komplex, titkos algoritmussal

ún. "hozzáadott érték modell"-lel pontozták,

called the "value-added model."

I told her, "Well, figure out what the formula is, show it to me.

"Nézz utána a képletnek, mutasd meg nekem,

majd elmagyarázom" – feleltem.

I'm going to explain it to you."

"Próbáltam megszerezni,

She said, "Well, I tried to get the formula,

de az oktatási minisztériumi ember azt mondta, hogy az matek,

but my Department of Education contact told me it was math

and I wouldn't understand it."

és úgysem érteném" – válaszolta.

It gets worse.

De ez még semmi!

The New York Post filed a Freedom of Information Act request,

Az információszabadsági törvény alapján a New York Post kérvényt nyújtott be,

got all the teachers' names and all their scores

megszerezte a tanárok nevét és pontszámát,

and they published them as an act of teacher-shaming.

és a tanárok megszégyenítéséül közzétette.

When I tried to get the formulas, the source code, through the same means,

Amikor ugyanezzel a módszerrel meg akartam szerezni a képletet, a forráskódot,

I was told I couldn't.

azt mondták, nem lehet.

I was denied.

Megtagadták.

I later found out

Később megtudtam,

that nobody in New York City had access to that formula.

hogy senkinek sincs meg a képlet New Yorkban.

No one understood it.

Senki sem ismerte.

Then someone really smart got involved, Gary Rubinstein.

Aztán Gary Rubenstein, egy okos ember, elkezdett vele foglalkozni.

He found 665 teachers from that New York Post data

A New York Post adataiban talált 665 tanárt,

that actually had two scores.

akiknek két különböző pontjuk volt.

That could happen if they were teaching

Ez úgy lehet, ha a tanárok

seventh grade math and eighth grade math.

hetedikes és nyolcadikas matekot is tanítottak.

He decided to plot them.

Úgy döntött, hogy ábrát készít.

Each dot represents a teacher.

Minden pötty egy tanárnak felel meg.

(Laughter)

(Nevetés)

What is that?

Mi ez?

(Laughter)

(Nevetés)

That should never have been used for individual assessment.

Egyéni értékelés esetén ilyen sohasem történt volna.

It's almost a random number generator.

Majdhogynem egy véletlenszám-generátor.

(Applause)

(Taps)

But it was.

Az is volt.

This is Sarah Wysocki.

Ő Sarah Wysocki.

She got fired, along with 205 other teachers,

Kirúgták 205 tanártársával együtt

from the Washington, DC school district,

a washingtoni iskolakörzetből,

even though she had great recommendations from her principal

bár kitűnő véleménye volt róla az igazgatójának,

and the parents of her kids.

a szülőknek és a gyerekeknek.

I know what a lot of you guys are thinking,

Tudom, a jelenlévők mire gondolnak,

különösen az adattudósok és az MI-szakértők.

especially the data scientists, the AI experts here.

You're thinking, "Well, I would never make an algorithm that inconsistent."

Erre: "Én aztán soha nem csinálnék olyan következetlen algoritmust!"

But algorithms can go wrong,

De az algoritmusok hibázhatnak,

even have deeply destructive effects with good intentions.

és erős romboló hatásuk is lehet jó szándékból adódóan.

And whereas an airplane that's designed badly

Egy rosszul tervezett repülő

crashes to the earth and everyone sees it,

földre zuhan mindenki szeme láttára,

an algorithm designed badly

de egy rosszul tervezett algoritmus

can go on for a long time, silently wreaking havoc.

sokáig működhet, csöndes rombolást okozva.

This is Roger Ailes.

Ő Roger Ailes.

(Laughter)

(Nevetés)

He founded Fox News in 1996.

1996-ban ő alapította a Fox Newst.

More than 20 women complained about sexual harassment.

Több mint 20 nő panaszkodott szexuális zaklatás miatt.

They said they weren't allowed to succeed at Fox News.

Mondták, hogy nem számíthattak sikerre a Fox Newsnál.

He was ousted last year, but we've seen recently

2016-ban Ailest kirúgták, de látható,

that the problems have persisted.

hogy a helyzet nem változik.

That begs the question:

Adódik a kérdés:

What should Fox News do to turn over another leaf?

Mit kell a Fox Newsnak tennie, hogy a helyzet javuljon?

Well, what if they replaced their hiring process

Mi lenne, ha felvételi rendszerüket

gépi tanulási algoritmusra cserélnék le?

with a machine-learning algorithm?

That sounds good, right?

Jól hangzik, ugye?

Think about it.

De gondoljunk bele!

The data, what would the data be?

Milyen adatok állnak rendelkezésre?

A reasonable choice would be the last 21 years of applications to Fox News.

Az észszerű választás az utóbbi 21 évben a Fox Newshoz beadott jelentkezési lapok.

Reasonable.

Észszerű.

What about the definition of success?

Mi van a siker meghatározásával?

Reasonable choice would be,

Az észszerű válasz ez lenne:

well, who is successful at Fox News?

aki sikeres volt a Fox Newsnál?

I guess someone who, say, stayed there for four years

Mondjuk, aki négy évet ott töltött,

and was promoted at least once.

és legalább egyszer előléptették.

Sounds reasonable.

Észszerűnek hangzik.

And then the algorithm would be trained.

Aztán idomítjuk az algoritmust arra,

It would be trained to look for people to learn what led to success,

hogy olyanokat keressen, akik sikeresnek bizonyultak,

what kind of applications historically led to success

hogy megtudjuk, idővel mely jelentkezők lettek sikeresek

by that definition.

meghatározásunk szerint.

Now think about what would happen

De gondoljunk most arra, mi lenne,

if we applied that to a current pool of applicants.

ha ezt alkalmaznánk a mostani jelentkezőkre,

It would filter out women

és kiszűrnénk a nőket,

because they do not look like people who were successful in the past.

mert a nők nem voltak sikeresek a múltban?

Algorithms don't make things fair

Az algoritmusoktól a dolgok nem válnak korrektté,

if you just blithely, blindly apply algorithms.

ha gondatlanul, vakon alkalmazzuk őket.

They don't make things fair.

Tőlük semmi sem válik korrektté.

They repeat our past practices,

A múlt gyakorlatát ismétlik,

our patterns.

a mi sémáinkat,

They automate the status quo.

Automatizálják a status quót.

That would be great if we had a perfect world,

Tökéletes világban ez nagyszerű is lenne,

but we don't.

de a világ nem olyan.

And I'll add that most companies don't have embarrassing lawsuits,

Hozzáteszem, hogy a legtöbb cégnek nincsenek kínos perei,

but the data scientists in those companies

de azoknál a cégeknél az adattudósoknak azt mondják,

are told to follow the data,

hogy tartsák magukat az adatokhoz,

to focus on accuracy.

a precizitás minden előtt.

Think about what that means.

Mit jelent ez?

Because we all have bias, it means they could be codifying sexism

Mivel mindannyian elfogultak vagyunk, ezért esetleg szexizmust

or any other kind of bigotry.

vagy más fanatizmust kódolhatnak be.

Thought experiment,

Gondolatkísérlet.

because I like them:

Szeretem a gondolatkísérletet.

an entirely segregated society --

Teljesen szegregált társadalom,

racially segregated, all towns, all neighborhoods

rasszok szerint minden város, minden környék szegregált,

and where we send the police only to the minority neighborhoods

és csak kisebbségi környékre küldjük ki a rendőrséget

to look for crime.

bűnüldözés céljából.

The arrest data would be very biased.

A letartóztatási adatok igen torzak lesznek.

What if, on top of that, we found the data scientists

Mi lenne, ha adattudósokat kérnénk,

and paid the data scientists to predict where the next crime would occur?

jelezzék előre, hol lesz a következő bűntett.

Minority neighborhood.

A kisebbségi környéken.

Or to predict who the next criminal would be?

Vagy jósolják meg, ki lesz a következő bűnöző.

A minority.

Egy kisebbségi.

The data scientists would brag about how great and how accurate

Az adattudósok azzal fognak kérkedni,

milyen nagyszerű és precíz a modelljük,

their model would be,

and they'd be right.

és igazuk lesz.

Now, reality isn't that drastic, but we do have severe segregations

A valóság nem ily végletes, de azért sok helyen

in many cities and towns,

súlyos szegregációt tapasztalunk,

and we have plenty of evidence

rengeteg a bizonyíték

of biased policing and justice system data.

elfogult intézkedésekre és jogrendszeri adatokra.

And we actually do predict hotspots,

De azért megjósoljuk a gócokat,

places where crimes will occur.

bűntettek előfordulási helyeit.

And we do predict, in fact, the individual criminality,

Megjósoljuk az egyéni bűnözést,

the criminality of individuals.

egyesek bűnelkövetését.

The news organization ProPublica recently looked into

A ProPublica hírügynökség nemrég megnézett

one of those "recidivism risk" algorithms,

egy "visszaesési kockázat" algoritmust,

as they're called,

ahogy ők hívják, Floridában,

being used in Florida during sentencing by judges.

bírói ítélethozatal közben.

Bernard, on the left, the black man, was scored a 10 out of 10.

Bernard, fekete férfi balról, tízből 10 pontot kapott.

Dylan, on the right, 3 out of 10.

Dylan a jobb oldalon, tízből hármat.

10 out of 10, high risk. 3 out of 10, low risk.

Tízből 10 – nagy kockázat, tízből három – kis kockázat.

They were both brought in for drug possession.

Mindkettőt kábszer-birtoklásért kapták el.

They both had records,

Mindketten visszaesők,

but Dylan had a felony

Dylannak volt súlyos bűntette,

but Bernard didn't.

de Bernardnak nem.

This matters, because the higher score you are,

Ez számít, mert magasabb pontszám esetén

the more likely you're being given a longer sentence.

súlyosabb ítéletet szabnak ki.

What's going on?

Mi történik?

Data laundering.

Adatmosás.

It's a process by which technologists hide ugly truths

Ezzel a folyamattal rejtik el a technikusok a csúnya igazságot

inside black box algorithms

a feketedoboz-algoritmusba,

and call them objective;

s eztán már objektívnak

call them meritocratic.

és érdemeken alapulónak hívják.

When they're secret, important and destructive,

Mivel titkosak, fontosak és rombolók,

I've coined a term for these algorithms:

alkottam rájuk egy fogalmat:

"weapons of math destruction."

"a matematika tömegpusztító fegyverei".

(Laughter)

(Nevetés)

(Applause)

(Taps)

They're everywhere, and it's not a mistake.

Mindenhol vannak, nem tévedés.

These are private companies building private algorithms

Magáncégek magánalgoritmusokat készítenek

for private ends.

magáncélokra.

Even the ones I talked about for teachers and the public police,

Még az említett, tanároknak és a rendőrségnek szántakat is

those were built by private companies

magáncégek készítették,

and sold to the government institutions.

majd adták el állami intézményeknek.

They call it their "secret sauce" --

"Titkos szósznak" hívják őket,

that's why they can't tell us about it.

ezért nem fedik föl őket.

It's also private power.

Ez is magánhatalom.

They are profiting for wielding the authority of the inscrutable.

Profitálnak a kiismerhetetlen hatalom gyakorlásából.

Now you might think, since all this stuff is private

Fölvethetik: mivel ez mind magántermék,

and there's competition,

verseny van,

maybe the free market will solve this problem.

talán a szabadpiac megoldja a nehézséget.

It won't.

Nem fogja.

There's a lot of money to be made in unfairness.

Tisztességtelenséggel sokat lehet keresni.

Also, we're not economic rational agents.

Ráadásul nem vagyunk gazdaságilag racionális egyedek.

We all are biased.

Mind elfogultak vagyunk.

We're all racist and bigoted in ways that we wish we weren't,

Mind rasszisták és bigottak vagyunk, még ha nem akarjuk is,

in ways that we don't even know.

még ha nem tudunk is róla.

We know this, though, in aggregate,

De összességében mégis tudunk róla,

because sociologists have consistently demonstrated this

mert szociológiai kísérletek

ezt következetesen alátámasztják.

with these experiments they build,

where they send a bunch of applications to jobs out,

Beküldik egy csomó egyformán alkalmas személy állásjelentkezését,

equally qualified but some have white-sounding names

de egyeseknek "fehéres" nevük van,

and some have black-sounding names,

másoknak feketének hangzó.

and it's always disappointing, the results -- always.

Az eredmény mindig elkeserítő.

So we are the ones that are biased,

Tehát mind elfogultak vagyunk,

and we are injecting those biases into the algorithms

és elfogultságunkat azzal ojtjuk be az algoritmusokba,

by choosing what data to collect,

hogy megválasztjuk, milyen adatot gyűjtsünk,

like I chose not to think about ramen noodles --

ahogy én sem vettem tudomást a zacskós levesről,

I decided it was irrelevant.

mert nem tartottam lényegesnek.

But by trusting the data that's actually picking up on past practices

De ha múltbéli gyakorlaton alapuló adatokban bízva

and by choosing the definition of success,

határozzuk meg a sikert,

how can we expect the algorithms to emerge unscathed?

hogyan remélhetjük, hogy megbízhatók lesznek az algoritmusok?

We can't. We have to check them.

Sehogy. Ellenőriznünk kell őket!

We have to check them for fairness.

Ellenőrizni, hogy pártatlanok-e.

The good news is, we can check them for fairness.

A jó hír, hogy lehet ezt ellenőrizni.

Algorithms can be interrogated,

Az algoritmusok vizsgálhatók.

and they will tell us the truth every time.

Mindig megmondják az igazat.

And we can fix them. We can make them better.

Javíthatunk rajtuk.

I call this an algorithmic audit,

Ezt hívom algoritmus-auditálásnak,

and I'll walk you through it.

s megmutatom lépésenként, hogyan.

First, data integrity check.

Első az adatintegritás vizsgálata.

For the recidivism risk algorithm I talked about,

Az említett visszaesési kockázat algoritmusánál

a data integrity check would mean we'd have to come to terms with the fact

az adatintegritás azt jelenti, hogy el kell fogadnunk a tényt,

that in the US, whites and blacks smoke pot at the same rate

hogy feketék s fehérek azonos arányban szívnak füvet az USA-ban,

but blacks are far more likely to be arrested --

ám a feketéket sokkal gyakrabban tartóztatják le,

four or five times more likely, depending on the area.

a körzettől függően négy-ötször gyakrabban.

What is that bias looking like in other crime categories,

Hogy néz ki az elfogultság más bűnügyi területen,

and how do we account for it?

és mivel magyarázható?

Second, we should think about the definition of success,

Másodszor, foglalkoznunk kell a siker meghatározásával,

audit that.

auditálnunk kell.

Remember -- with the hiring algorithm? We talked about it.

Emlékeznek a felvételi algoritmusra?

Someone who stays for four years and is promoted once?

Sikeres, aki négy éve dolgozik, és egyszer léptették elő?

Well, that is a successful employee,

Ő sikeres munkatárs,

but it's also an employee that is supported by their culture.

de azért, mert belesimult a cég kultúrájába.

That said, also it can be quite biased.

Ez is elfogultság lehet.

We need to separate those two things.

A két dolgot el kell választanunk.

We should look to the blind orchestra audition

Példának ott van

a vak zenekari meghallgatás:

as an example.

That's where the people auditioning are behind a sheet.

a zenészek függöny mögött játszanak.

What I want to think about there

A lényeg, hogy akik hallgatják őket,

is the people who are listening have decided what's important

már eldöntötték, mi fontos,

and they've decided what's not important,

s azt is eldöntötték, mi nem,

and they're not getting distracted by that.

s erről semmi nem vonja el a figyelmüket.

When the blind orchestra auditions started,

Amikor megindult a vak zenekari meghallgatás,

the number of women in orchestras went up by a factor of five.

a zenekarban játszó nők száma ötszörösére nőtt.

Next, we have to consider accuracy.

Aztán minősíteni kell a precizitást.

This is where the value-added model for teachers would fail immediately.

Itt rögtön megbukik a tanároknak szóló hozzáadottérték-modell.

No algorithm is perfect, of course,

Persze, nincs tökéletes algoritmus,

so we have to consider the errors of every algorithm.

ezért mérlegelni kell minden algoritmus esetleges hibáját.

How often are there errors, and for whom does this model fail?

Milyen gyakoriak a hibák, és kinél sikertelen a modell?

What is the cost of that failure?

Mi a sikertelenség ára?

And finally, we have to consider

Végezetül, meg kell fontolnunk

the long-term effects of algorithms,

az algoritmusok s a keletkező visszacsatolási hurkok

the feedback loops that are engendering.

hosszú távú kihatásait.

That sounds abstract,

Ez elvontnak hangzik,

but imagine if Facebook engineers had considered that

de képzeljék el, ha a Facebook- mérnökök gondoltak volna rá,

before they decided to show us only things that our friends had posted.

mielőtt eldöntötték, hogy csak a barátaink posztolta dolgokat mutatják nekünk.

I have two more messages, one for the data scientists out there.

Még két megjegyzésem van, egyik az itt ülő adattudósoknak szól.

Data scientists: we should not be the arbiters of truth.

Adattudósok! Nem lehetünk az igazság döntőbírái.

We should be translators of ethical discussions that happen

A szélesebb társadalomban folyó erkölcsi eszmecserét

in larger society.

kell tolmácsolnunk.

(Applause)

(Taps)

And the rest of you,

A többieknek,

the non-data scientists:

a nem adattudósoknak:

this is not a math test.

ez nem matekvizsga.

This is a political fight.

Ez politikai küzdelem.

We need to demand accountability for our algorithmic overlords.

Követelnünk kell, hogy az algoritmusok nagyurai elszámoltathatók legyenek.

(Applause)

(Taps)

The era of blind faith in big data must end.

Vessünk véget a big datába vetett vakhit korszakának!

Thank you very much.

Köszönöm szépen.

(Applause)

(Taps)