The era of blind faith in big data must end | Cathy O'Neil

Vertaald door: Lisette Feenstra Nagekeken door: Peter van de Ven

Algorithms are everywhere.

Algoritmes zijn overal.

They sort and separate the winners from the losers.

Ze scheiden de winnaars van de verliezers.

The winners get the job

De winnaars krijgen de baan

or a good credit card offer.

of een goede creditcard-aanbieding.

The losers don't even get an interview

De verliezers mogen niet eens op gesprek komen

or they pay more for insurance.

of betalen meer voor hun verzekering.

We're being scored with secret formulas that we don't understand

Onze score wordt berekend met geheime formules die we niet begrijpen

that often don't have systems of appeal.

en waar je vaak niet tegen in beroep kan gaan.

That begs the question:

Hierdoor rijst de vraag:

What if the algorithms are wrong?

wat als algoritmes fouten maken?

To build an algorithm you need two things:

Een algoritme vraagt om twee dingen:

you need data, what happened in the past,

data, wat in het verleden gebeurd is,

and a definition of success,

en een definitie voor succes,

the thing you're looking for and often hoping for.

dat wat je hoopt te vinden.

You train an algorithm by looking, figuring out.

Je laat een algoritme data bestuderen

om te ontcijferen wat leidt tot succes.

The algorithm figures out what is associated with success.

What situation leads to success?

Welke factoren spelen daarin mee?

Actually, everyone uses algorithms.

Iedereen gebruikt algoritmes.

They just don't formalize them in written code.

Alleen zetten ze het niet om in computercode.

Let me give you an example.

Een voorbeeld.

I use an algorithm every day to make a meal for my family.

Ik gebruik elke dag een algoritme om een maaltijd te koken voor mijn gezin.

The data I use

De gegevens die ik gebruik

is the ingredients in my kitchen,

zijn de ingrediënten in huis, de hoeveelheid tijd die ik heb,

the time I have,

the ambition I have,

de gewenste inspanning,

and I curate that data.

en daarna orden ik die data.

I don't count those little packages of ramen noodles as food.

Kleine pakjes ramen noedels reken ik niet mee als voedsel.

(Laughter)

(Gelach)

My definition of success is:

Mijn definitie voor succes is:

a meal is successful if my kids eat vegetables.

een maaltijd is succesvol als mijn kinderen groenten eten.

Als mijn zoontje de baas was, zou hij iets heel anders zeggen.

It's very different from if my youngest son were in charge.

He'd say success is if he gets to eat lots of Nutella.

Voor hem is succes als hij onbeperkt Nutella mag eten.

(Gelach)

But I get to choose success.

Maar ik bepaal wat succes is.

I am in charge. My opinion matters.

Ik ben de baas. Mijn mening is belangrijk.

That's the first rule of algorithms.

Dat is de eerste regel van algoritmes.

Algorithms are opinions embedded in code.

Algoritmes zijn meningen vastgelegd in code.

It's really different from what you think most people think of algorithms.

Dat is heel iets anders dan wat de meeste mensen denken dat het zijn.

They think algorithms are objective and true and scientific.

Zij denken dat algoritmes objectief, waar en wetenschappelijk zijn.

That's a marketing trick.

Dat is een marketingtruc.

(Gelach)

It's also a marketing trick

Het is ook een marketingtruc

to intimidate you with algorithms,

om je te intimideren met algoritmes,

to make you trust and fear algorithms

om te zorgen dat je algoritmes vertrouwt én er bang voor bent,

because you trust and fear mathematics.

net zoals je op wiskunde vertrouwt en er bang voor bent.

A lot can go wrong when we put blind faith in big data.

Het kan flink misgaan als we blind vertrouwen op Big Data.

This is Kiri Soares. She's a high school principal in Brooklyn.

Dit is Kiri Soares. Ze is directrice van een middelbare school in Brooklyn.

In 2011, she told me her teachers were being scored

In 2011 werden haar docenten beoordeeld

with a complex, secret algorithm

met behulp van een complex, geheim algoritme,

called the "value-added model."

het zogeheten 'meerwaardemodel'.

I told her, "Well, figure out what the formula is, show it to me.

Ik zei: "Probeer achter de formule te komen, dan leg ik het je uit."

I'm going to explain it to you."

Ze zei: "Dat heb ik geprobeerd,

She said, "Well, I tried to get the formula,

maar op het Ministerie van Onderwijs zeiden ze het wiskunde was

but my Department of Education contact told me it was math

and I wouldn't understand it."

en dat ik dat toch niet zou begrijpen."

(Gelach)

It gets worse.

Het wordt nog erger.

The New York Post filed a Freedom of Information Act request,

De New York Post deed een beroep op de vrijheid van informatie,

got all the teachers' names and all their scores

verzamelde alle namen van docenten en hun scores

and they published them as an act of teacher-shaming.

en publiceerde die om ze publiekelijk terecht te wijzen.

When I tried to get the formulas, the source code, through the same means,

Toen ik zelf probeerde de formules, de broncode, te bemachtigen,

I was told I couldn't.

werd gezegd dat dat onmogelijk was.

I was denied.

Ik werd geweigerd.

Pas later kwam ik erachter

I later found out

that nobody in New York City had access to that formula.

dat niemand in New York toegang had tot de formule.

No one understood it.

Niemand begreep het.

Then someone really smart got involved, Gary Rubinstein.

Toen raakte de intelligente Gary Rubinstein bij de zaak betrokken.

He found 665 teachers from that New York Post data

In de gegevens van de New York Post vond hij 665 docenten

that actually had two scores.

die twee scores bleken te hebben.

That could happen if they were teaching

Dat gebeurde als ze wiskunde gaven aan de brugklas en de tweede klas.

seventh grade math and eighth grade math.

He decided to plot them.

Hij besloot ze in kaart te brengen.

Each dot represents a teacher.

Elke stip is een docent.

(Laughter)

(Gelach)

What is that?

Wat is dat?

(Laughter)

(Gelach)

That should never have been used for individual assessment.

Dat hadden ze nooit mogen gebruiken voor individuele beoordeling.

It's almost a random number generator.

Het lijkt meer op een toevalsgenerator.

(Applause)

(Applaus)

But it was.

En dat was ook zo.

This is Sarah Wysocki.

Dit is Sarah Wysocki.

She got fired, along with 205 other teachers,

Samen met 205 andere docenten werd ze ontslagen

from the Washington, DC school district,

in het schooldistrict van Washington,

even though she had great recommendations from her principal

ondanks de lovende aanbevelingen van de schoolleiding

and the parents of her kids.

en de ouders van haar leerlingen.

I know what a lot of you guys are thinking,

Ik hoor jullie al denken,

vooral de datawetenschappers, de KI-experts hier:

especially the data scientists, the AI experts here.

You're thinking, "Well, I would never make an algorithm that inconsistent."

zo'n onbetrouwbaar algoritme zou ik nooit maken.

But algorithms can go wrong,

Maar het kan fout gaan met algoritmes,

even have deeply destructive effects with good intentions.

soms zelfs met desastreuze gevolgen, ondanks goede bedoelingen.

And whereas an airplane that's designed badly

Maar als een slecht ontworpen vliegtuig neerstort, dan ziet iedereen dat,

crashes to the earth and everyone sees it,

an algorithm designed badly

maar een slecht ontworpen algoritme

can go on for a long time, silently wreaking havoc.

kan lange tijd ongemerkt schade aanrichten.

This is Roger Ailes.

Dit is Roger Ailes.

(Laughter)

(Gelach)

He founded Fox News in 1996.

Hij richtte in 1996 Fox News op.

More than 20 women complained about sexual harassment.

Meer dan 20 vrouwen klaagden over seksuele intimidatie.

They said they weren't allowed to succeed at Fox News.

Ze zeiden dat ze geen promotie kregen bij Fox News.

He was ousted last year, but we've seen recently

Hij is vorig jaar afgezet, maar het blijkt nu

that the problems have persisted.

dat het probleem nog steeds niet is opgelost.

That begs the question:

Dan rijst de vraag:

What should Fox News do to turn over another leaf?

wat moet Fox News doen om dit te veranderen?

Well, what if they replaced their hiring process

Wat als ze voortaan mensen zouden werven met behulp van een zelflerend algoritme?

with a machine-learning algorithm?

That sounds good, right?

Klinkt goed, toch?

Think about it.

Maar wat houdt dat in?

The data, what would the data be?

Welke data ga je gebruiken?

A reasonable choice would be the last 21 years of applications to Fox News.

De sollicitaties van de afgelopen 21 jaar zou redelijk zijn.

Reasonable.

Redelijk.

What about the definition of success?

En wanneer is het een succes?

Reasonable choice would be,

Een redelijke keuze zou zijn:

well, who is successful at Fox News?

wie is succesvol bij Fox News?

I guess someone who, say, stayed there for four years

Iemand die er al vier jaar werkt

and was promoted at least once.

en minstens een keer promotie heeft gemaakt.

Sounds reasonable.

Klinkt redelijk.

And then the algorithm would be trained.

En dan wordt het algoritme getraind.

It would be trained to look for people to learn what led to success,

Het leert zoeken naar mensen om te weten wat tot succes leidt,

what kind of applications historically led to success

welke sollicitaties in het verleden succesvol waren

by that definition.

volgens die definitie.

Now think about what would happen

Wat zou er gebeuren

if we applied that to a current pool of applicants.

als we dit zouden toepassen op de huidige kandidaten?

It would filter out women

Het zou vrouwen eruit filteren,

because they do not look like people who were successful in the past.

want zo te zien waren zij niet succesvol in het verleden.

Algorithms don't make things fair

Algoritmes maken dingen niet eerlijker

if you just blithely, blindly apply algorithms.

als je ze klakkeloos toepast.

They don't make things fair.

Ze maken het niet eerlijker.

They repeat our past practices,

Ze herhalen onze eerdere ervaringen,

our patterns.

onze patronen.

They automate the status quo.

Ze automatiseren de status quo.

That would be great if we had a perfect world,

Dat werkt goed als de wereld perfect zou zijn,

but we don't.

maar dat is niet zo.

And I'll add that most companies don't have embarrassing lawsuits,

Ook hebben de meeste bedrijven geen pijnlijke rechtszaken lopen,

but the data scientists in those companies

maar hun datawetenschappers

are told to follow the data,

worden gedwongen de data te volgen,

to focus on accuracy.

met nadruk op nauwkeurigheid.

Think about what that means.

En wat betekent dat?

Because we all have bias, it means they could be codifying sexism

Want onze vooroordelen zorgen ervoor dat seksisme het systeem binnendringt,

or any other kind of bigotry.

net als andere vormen van onverdraagzaamheid.

Thought experiment,

Even een gedachte-experiment,

because I like them:

want die zijn leuk:

an entirely segregated society --

een volledig gesegregeerde samenleving --

racially segregated, all towns, all neighborhoods

naar ras gescheiden, alle steden, alle wijken --

and where we send the police only to the minority neighborhoods

waar we de politie alleen op wijken met minderheden afsturen

to look for crime.

om criminaliteit op te sporen.

The arrest data would be very biased.

De arrestatiedata zouden sterk bevooroordeeld zijn.

What if, on top of that, we found the data scientists

Wat zou er gebeuren als we datawetenschappers betaalden

and paid the data scientists to predict where the next crime would occur?

om te voorspellen waar de volgende misdaad zou plaatsvinden?

Minority neighborhood.

In de wijk met minderheden.

Or to predict who the next criminal would be?

Of wie de volgende crimineel zou zijn?

A minority.

Iemand uit een minderheidsgroep.

The data scientists would brag about how great and how accurate

De datawetenschappers zouden opscheppen

over hoe geweldig en nauwkeurig hun model was

their model would be,

and they'd be right.

en ze zouden gelijk hebben.

Now, reality isn't that drastic, but we do have severe segregations

Zo erg is het nog niet,

maar ernstige segregatie vindt in de meeste steden plaats

in many cities and towns,

and we have plenty of evidence

en we hebben genoeg bewijzen

of biased policing and justice system data.

van bevooroordeelde politie en rechtssysteem.

And we actually do predict hotspots,

We voorspellen daadwerkelijk gebieden waar zich criminaliteit zal voordoen.

places where crimes will occur.

And we do predict, in fact, the individual criminality,

En ook waar criminele eenmansacties zullen plaatsvinden.

the criminality of individuals.

The news organization ProPublica recently looked into

De nieuwsorganisatie ProPublica

onderzocht onlangs zo'n zogeheten 'recidive risico'-algoritme

one of those "recidivism risk" algorithms,

as they're called,

dat in Florida wordt gebruikt tijdens de veroordeling door de rechter.

being used in Florida during sentencing by judges.

Bernard, on the left, the black man, was scored a 10 out of 10.

Bernard, links, de zwarte man, scoorde tien uit tien.

Dylan, on the right, 3 out of 10.

Dylan, rechts, drie uit tien.

10 out of 10, high risk. 3 out of 10, low risk.

Tien uit tien, hoog risico. Drie uit tien, laag risico.

They were both brought in for drug possession.

Ze werden allebei opgepakt voor drugsbezit.

They both had records,

Ze hadden allebei een strafblad,

but Dylan had a felony

maar Dylan voor een misdrijf

but Bernard didn't.

en Bernard niet.

This matters, because the higher score you are,

Dat maakt uit, want hoe hoger de score,

the more likely you're being given a longer sentence.

des te zwaarder je gestraft wordt.

What's going on?

Hoe kan dit?

Data laundering.

Door het witwassen van data.

It's a process by which technologists hide ugly truths

Dit gebeurt als technologen de lelijke waarheid

inside black box algorithms

in een zwarte doos van algoritmes verbergen

and call them objective;

en ze objectief noemen,

call them meritocratic.

ze meritocratisch noemen.

When they're secret, important and destructive,

Geheime, essentiële en destructieve algoritmes

I've coined a term for these algorithms:

krijgen van mij de naam

"weapons of math destruction."

'datavernietigingswapens'.

(Laughter)

(Gelach)

(Applause)

(Applaus)

They're everywhere, and it's not a mistake.

Ze zijn overal, echt waar.

These are private companies building private algorithms

Dit zijn particuliere bedrijven die eigen algoritmes maken

for private ends.

voor eigen gebruik.

Even the ones I talked about for teachers and the public police,

Zelfs die waar ik het over had voor docenten en politie,

those were built by private companies

kwamen van particuliere bedrijven

en werden verkocht aan overheidsinstellingen.

and sold to the government institutions.

They call it their "secret sauce" --

Ze noemen het hun 'geheime recept' --

that's why they can't tell us about it.

daarom willen ze er niets over zeggen.

It's also private power.

Het gaat ook om private macht.

They are profiting for wielding the authority of the inscrutable.

Ze maken handig gebruik van hun gezag over dingen die onbegrijpelijk zijn.

Now you might think, since all this stuff is private

Omdat alles in particuliere handen is

and there's competition,

en er concurrentie is,

denk je wellicht dat de vrije markt dit probleem wel oplost.

maybe the free market will solve this problem.

It won't.

Onjuist.

There's a lot of money to be made in unfairness.

Er wordt grof geld verdiend met oneerlijke praktijken.

Also, we're not economic rational agents.

Ook zijn wij geen economisch rationele wezens.

We all are biased.

We zijn bevooroordeeld.

We're all racist and bigoted in ways that we wish we weren't,

We zijn racistisch en onverdraagzaam, erger dan we willen toegeven

in ways that we don't even know.

en vaak zonder dat we het doorhebben.

We know this, though, in aggregate,

Dit weten we

because sociologists have consistently demonstrated this

doordat sociologen keer op keer met hun onderzoeken hebben bewezen

with these experiments they build,

where they send a bunch of applications to jobs out,

dat als je sollicitaties verstuurt met dezelfde opleiding,

equally qualified but some have white-sounding names

maar met deels 'witte' namen deels 'zwarte' namen,

and some have black-sounding names,

dat de resultaten altijd zullen tegenvallen.

and it's always disappointing, the results -- always.

So we are the ones that are biased,

Wij zijn degenen met vooroordelen

and we are injecting those biases into the algorithms

en daar injecteren we de algoritmes mee

by choosing what data to collect,

door te kiezen welke data worden verzameld,

like I chose not to think about ramen noodles --

zoals ik besloot ramen noedels uit te sluiten --

I decided it was irrelevant.

omdat ik het niet relevant vond.

But by trusting the data that's actually picking up on past practices

Maar als we vertrouwen op data die uitgaan van eerder gedrag

and by choosing the definition of success,

en een definitie voor succes hanteren,

how can we expect the algorithms to emerge unscathed?

waarom denken we dan dat de algoritmes daar ongeschonden uitkomen?

We can't. We have to check them.

Onmogelijk.

We moeten controleren of ze redelijk zijn.

We have to check them for fairness.

The good news is, we can check them for fairness.

Gelukkig is het mogelijk ze op redelijkheid te testen.

Algorithms can be interrogated,

Algoritmes kan je ondervragen

and they will tell us the truth every time.

en ze zullen steeds eerlijk antwoord geven.

And we can fix them. We can make them better.

We kunnen ze herstellen. We kunnen ze verbeteren.

I call this an algorithmic audit,

Dit noem ik een algoritme-inspectie

and I'll walk you through it.

en ik leg even uit hoe dat werkt.

First, data integrity check.

Allereerst, een data-integriteitscontrole.

For the recidivism risk algorithm I talked about,

Voor het 'recidive risico'-algoritme dat ik eerder noemde,

a data integrity check would mean we'd have to come to terms with the fact

betekent een data-integriteitscontrole dat we moeten accepteren

that in the US, whites and blacks smoke pot at the same rate

dat in de VS

de witte en de zwarte bevolking net zoveel marihuana roken

but blacks are far more likely to be arrested --

maar de zwarte bevolking vaker wordt gearresteerd --

four or five times more likely, depending on the area.

vier tot vijf keer vaker zelfs, afhankelijk van de buurt.

What is that bias looking like in other crime categories,

Hoe ziet die vertekening eruit in andere misdrijfcategorieën

and how do we account for it?

en hoe verantwoorden we dat?

Second, we should think about the definition of success,

Ten tweede, we moeten kijken naar onze definitie voor succes

audit that.

en dat checken.

Remember -- with the hiring algorithm? We talked about it.

Weet je nog het wervingsalgoritme waar we het over hadden?

Someone who stays for four years and is promoted once?

Iemand die vier jaar in dienst is en één keer promotie maakt?

Well, that is a successful employee,

Dat is een succesvolle werknemer,

maar het is ook een werknemer

but it's also an employee that is supported by their culture.

die de goedkeuring krijgt van de bedrijfscultuur.

That said, also it can be quite biased.

Kortom, vooroordelen.

We need to separate those two things.

We moeten die twee dingen uit elkaar houden.

We should look to the blind orchestra audition

Laten we het voorbeeld nemen van de blinde orkestauditie.

as an example.

That's where the people auditioning are behind a sheet.

De mensen die auditie doen, zitten daarbij achter een laken.

What I want to think about there

Wat volgens mij relevant is,

is the people who are listening have decided what's important

is dat de toehoorders hebben besloten wat belangrijk is

and they've decided what's not important,

en daar zullen ze niet vanaf wijken.

and they're not getting distracted by that.

When the blind orchestra auditions started,

Toen de blinde orkestaudities begonnen,

the number of women in orchestras went up by a factor of five.

schoot het aantal vrouwen in orkesten met factor vijf omhoog.

Next, we have to consider accuracy.

Ook moeten we kijken naar nauwkeurigheid.

This is where the value-added model for teachers would fail immediately.

Hier zou het meerwaardemodel voor docenten direct falen.

No algorithm is perfect, of course,

Geen enkel algoritme is perfect,

so we have to consider the errors of every algorithm.

dus we moeten rekening houden met de fouten van ieder algoritme.

How often are there errors, and for whom does this model fail?

Hoe vaak worden fouten gemaakt en wie is daar het slachtoffer van?

What is the cost of that failure?

Wat zijn de gevolgen?

And finally, we have to consider

En tot slot moeten we stilstaan

the long-term effects of algorithms,

bij de gevolgen van algoritmes op de lange termijn,

the feedback loops that are engendering.

de terugkoppeling die het met zich meebrengt.

That sounds abstract,

Dat klinkt vaag,

but imagine if Facebook engineers had considered that

maar stel dat de Facebookontwerpers daar aan hadden gedacht

before they decided to show us only things that our friends had posted.

voordat ze besloten ons alleen te laten zien wat onze vrienden hadden gepost.

I have two more messages, one for the data scientists out there.

Ik wil nog twee dingen kwijt. Allereerst aan de datawetenschappers:

Data scientists: we should not be the arbiters of truth.

wij zijn niet de scheidsrechters die bepalen wat waar is.

We should be translators of ethical discussions that happen

Wij moeten de ethische discussies die zich voordoen,

begrijpelijk maken voor de hele samenleving.

in larger society.

(Applause)

(Applaus)

And the rest of you,

En tegen alle niet-datawetenschappers zeg ik:

the non-data scientists:

this is not a math test.

dit is geen wiskundetest.

This is a political fight.

Dit is een politiek gevecht.

We need to demand accountability for our algorithmic overlords.

We moeten onze algoritmebazen ter verantwoording roepen.

(Applause)

(Applaus)

The era of blind faith in big data must end.

Het wordt tijd dat er een eind komt aan het blinde vertrouwen in Big Data.

Thank you very much.

Dank jullie wel.

(Applause)

(Applaus)