The era of blind faith in big data must end | Cathy O'Neil

Översättare: Anette Smedberg Granskare: Annika Bidner

Algorithms are everywhere.

Algoritmer finns överallt.

They sort and separate the winners from the losers.

De sorterar ut vinnarna från förlorarna.

The winners get the job

Vinnarna får jobbet

or a good credit card offer.

eller ett bra kreditkortserbjudande.

The losers don't even get an interview

Förlorarna får inte ens en intervju

or they pay more for insurance.

eller så får de en dyrare försäkring.

We're being scored with secret formulas that we don't understand

Vi poängsätts av hemliga formler som vi inte förstår

that often don't have systems of appeal.

och som oftast inte går att överklaga.

That begs the question:

Det väcker frågan:

What if the algorithms are wrong?

Tänk om algoritmerna har fel?

To build an algorithm you need two things:

För att bygga en algoritm krävs två saker:

you need data, what happened in the past,

man behöver data, vad har hänt tidigare,

and a definition of success,

och en definition av framgång,

the thing you're looking for and often hoping for.

det man letar efter och ofta hoppas på.

You train an algorithm by looking, figuring out.

Man lär en algoritm genom att titta och fundera.

The algorithm figures out what is associated with success.

Algoritmen räknar ut vad som associeras med framgång.

What situation leads to success?

Vilken situation leder till framgång?

Actually, everyone uses algorithms.

Faktum är att alla använder algoritmer.

They just don't formalize them in written code.

De formulerar dem bara inte i skriftlig kod.

Let me give you an example.

Låt mig ge ett exempel.

I use an algorithm every day to make a meal for my family.

Jag använder en algoritm varje dag för att laga mat.

The data I use

Datan jag använder

is the ingredients in my kitchen,

är ingredienserna jag har hemma,

the time I have,

den tid jag har på mig,

the ambition I have,

min ambitionsnivå,

and I curate that data.

och jag granskar den datan.

I don't count those little packages of ramen noodles as food.

Jag räknar inte småpåsarna med nudlar som mat.

(Laughter)

(Skratt)

My definition of success is:

Min definition av framgång är:

a meal is successful if my kids eat vegetables.

En måltid är lyckad om barnen äter grönsakerna.

It's very different from if my youngest son were in charge.

Den skiljer sig ifrån min yngste sons definition.

He'd say success is if he gets to eat lots of Nutella.

Han skulle säga att framgång är om han får äta mycket Nutella.

But I get to choose success.

Men jag definierar vad framgången är.

I am in charge. My opinion matters.

Jag bestämmer. Mina åsikter har betydelse.

That's the first rule of algorithms.

Det här är den första regeln för en algoritm.

Algorithms are opinions embedded in code.

Algoritmer är åsikter inbäddade i kod.

It's really different from what you think most people think of algorithms.

Det är stor skillnad mot vad man tror att folk tror om algoritmer.

They think algorithms are objective and true and scientific.

Folk tror att algoritmer är objektiva, sanna och vetenskapligt underbyggda.

That's a marketing trick.

Det är ett marknadsföringstrick.

It's also a marketing trick

Det är också ett marknadsföringstrick

to intimidate you with algorithms,

för att skrämma dig med algoritmer,

to make you trust and fear algorithms

få dig att lita på och frukta algoritmerna

because you trust and fear mathematics.

eftersom du litar på och fruktar matematik.

A lot can go wrong when we put blind faith in big data.

Mycket kan gå fel när vi tror blint på big data.

This is Kiri Soares. She's a high school principal in Brooklyn.

Det här är Kiri Soares. Hon är gymnasierektor i Brooklyn.

In 2011, she told me her teachers were being scored

2011 berättade hon att hennes lärare poängsattes

with a complex, secret algorithm

med en komplicerad, hemlig algoritm

called the "value-added model."

som kallades "mervärdesmodellen."

I told her, "Well, figure out what the formula is, show it to me.

Jag sade, "Fundera ut vilken formeln är, och visa mig den.

I'm going to explain it to you."

Jag ska förklara den för dig."

Hon svarade,"Jag försökte få fram formeln,

She said, "Well, I tried to get the formula,

men min kontakt på skolmyndigheten sade att det var matte

but my Department of Education contact told me it was math

and I wouldn't understand it."

och att jag inte skulle förstå."

It gets worse.

Det blir värre.

The New York Post filed a Freedom of Information Act request,

New York Post krävde ut resultatet med stöd av lagen om informationsfrihet,

got all the teachers' names and all their scores

fick alla lärares namn och poäng

and they published them as an act of teacher-shaming.

och publicerade det för att skämma ut lärarna.

When I tried to get the formulas, the source code, through the same means,

När jag försökte få tag i formlerna, källkoden, på samma vis,

I was told I couldn't.

fick jag höra att det inte gick.

I was denied.

Jag nekades.

I later found out

Senare upptäckte jag

that nobody in New York City had access to that formula.

att ingen i New York hade tillgång till formeln.

No one understood it.

Ingen förstod den.

Then someone really smart got involved, Gary Rubinstein.

Sedan blev någon som var riktigt smart inblandad, Gary Rubenstein.

He found 665 teachers from that New York Post data

Han upptäckte att 665 lärare i New York Posts reportage

that actually had two scores.

egentligen hade två resultat.

That could happen if they were teaching

Det kunde hända om de undervisade både sjunde- och åttondeklassare

seventh grade math and eighth grade math.

i matematik.

He decided to plot them.

Han gjorde ett diagram.

Each dot represents a teacher.

Varje prick representerar en lärare.

(Laughter)

(Skratt)

What is that?

Vad är det här?

(Laughter)

(Skratt)

That should never have been used for individual assessment.

Det här skulle aldrig ha använts för individuella bedömningar.

It's almost a random number generator.

Det är nästan som en slumpgenerator.

(Applause)

(Applåder)

But it was.

Men det gjordes.

This is Sarah Wysocki.

Detta är Sarah Wysocki.

She got fired, along with 205 other teachers,

Hon och 205 andra lärare fick sparken,

from the Washington, DC school district,

från Washington DCs skoldistrikt,

even though she had great recommendations from her principal

trots att hon hade strålande omdömen från sin rektor och elevernas föräldrar.

and the parents of her kids.

I know what a lot of you guys are thinking,

Jag vet vad många av er tänker nu,

särskilt dataanalytikerna, AI-experterna här inne.

especially the data scientists, the AI experts here.

You're thinking, "Well, I would never make an algorithm that inconsistent."

Ni tänker, "Jag skulle aldrig skriva en sådan inkonsekvent algoritm."

But algorithms can go wrong,

Men algoritmer kan bli fel,

even have deeply destructive effects with good intentions.

till och med ha djupt destruktiva effekter även om intentionerna är goda.

And whereas an airplane that's designed badly

Medan ett illa konstruerat flygplan

crashes to the earth and everyone sees it,

kraschar och alla kan se det,

an algorithm designed badly

kan en illa skriven algoritm

can go on for a long time, silently wreaking havoc.

användas under lång tid, och i tysthet skapa kaos.

This is Roger Ailes.

Det här är Roger Ailes.

(Laughter)

(Skratt)

He founded Fox News in 1996.

Han grundade Fox News 1996.

More than 20 women complained about sexual harassment.

Fler än tjugo kvinnor anmälde sexuella trakasserier.

They said they weren't allowed to succeed at Fox News.

De menade att de inte tilläts att lyckas på Fox News.

He was ousted last year, but we've seen recently

Han fick sparken förra året, men nyligen såg vi

that the problems have persisted.

att problemen har fortsatt.

That begs the question:

Det leder oss in på frågan:

What should Fox News do to turn over another leaf?

Vad ska Fox News göra för att vända blad?

Well, what if they replaced their hiring process

Tänk om de bytte ut sin anställningsprocess

with a machine-learning algorithm?

med en maskininlärningsalgoritm?

That sounds good, right?

Det låter väl bra?

Think about it.

Fundera på det.

The data, what would the data be?

Data, vilken data skulle användas?

A reasonable choice would be the last 21 years of applications to Fox News.

Ett rimligt val skulle vara de senaste 21 årens ansökningar

till Fox News.

Reasonable.

Det låter rimligt.

What about the definition of success?

Hur skulle framgång definieras?

Reasonable choice would be,

Ett rimligt val vore,

well, who is successful at Fox News?

ja, vem är framgångsrik på Fox News?

I guess someone who, say, stayed there for four years

Jag gissar på någon som, låt säga, stannat där i fyra år

and was promoted at least once.

och befordrats minst en gång.

Sounds reasonable.

Det låter rimligt.

And then the algorithm would be trained.

Därefter skulle algoritmen tränas.

It would be trained to look for people to learn what led to success,

Den skulle tränas i att hitta personer för att lära sig vad som lett till framgång,

what kind of applications historically led to success

vilken typ av ansökningar som historiskt lett till framgång

by that definition.

utifrån den definitionen.

Now think about what would happen

Fundera nu på vad som skulle hända

if we applied that to a current pool of applicants.

om vi applicerade det här på jobbsökare idag.

It would filter out women

Den skulle välja bort kvinnor

because they do not look like people who were successful in the past.

för de liknar inte personer som varit framgångsrika historiskt.

Algorithms don't make things fair

Algoritmer gör inte saker rättvisa

if you just blithely, blindly apply algorithms.

om man tillämpar dem tanklöst och blint.

They don't make things fair.

De skapar inte rättvisa.

They repeat our past practices,

De repeterar det vi gjort tidigare,

our patterns.

våra mönster.

They automate the status quo.

De automatiserar rådande läge.

That would be great if we had a perfect world,

Det skulle vara toppen om världen vore perfekt,

but we don't.

men det är den inte.

And I'll add that most companies don't have embarrassing lawsuits,

Och jag kan tillägga att de flesta företag inte har blivit stämda,

but the data scientists in those companies

men dataanalytikerna i de här företagen

are told to follow the data,

är ålagda att använda datan,

to focus on accuracy.

för att få tillförlitliga resultat.

Think about what that means.

Fundera på vad det betyder.

Because we all have bias, it means they could be codifying sexism

Eftersom vi alla har fördomar, betyder det att de skulle kunna koda in sexism

or any other kind of bigotry.

eller något annat trångsynt.

Thought experiment,

Ett tankeexperiment,

because I like them:

eftersom jag gillar såna:

an entirely segregated society --

Tänk er ett helt segregerat samhälle -

racially segregated, all towns, all neighborhoods

rassegregerat, i alla städer, i alla områden

and where we send the police only to the minority neighborhoods

och där vi bara skickar polisen till minoritetsområdena

to look for crime.

för brottsbekämpning.

The arrest data would be very biased.

Arresteringarna skulle vara väldigt fördomsfulla.

What if, on top of that, we found the data scientists

Tänk om, till råga på allt, vi fann dataanalytikerna

and paid the data scientists to predict where the next crime would occur?

och betalade dem för att tala om var nästa brott skulle ske?

Minority neighborhood.

I minoritetsområdena.

Or to predict who the next criminal would be?

Eller förutspå vem nästa brottsling är?

A minority.

Någon från en minoritet.

The data scientists would brag about how great and how accurate

Dataanalytikerna skulle skryta om hur bra och tillförlitlig

their model would be,

deras modell skulle vara,

and they'd be right.

och de skulle ha rätt.

Now, reality isn't that drastic, but we do have severe segregations

Nu är verkligheten inte så drastisk, men vi har allvarlig segregation

in many cities and towns,

i många städer och områden,

and we have plenty of evidence

och vi har gott om bevis

of biased policing and justice system data.

om fördomsfullt polisarbete och skev straffrättslig data.

And we actually do predict hotspots,

Vi förutspår faktiskt hotspots,

places where crimes will occur.

platser där brott kan ske.

And we do predict, in fact, the individual criminality,

Faktum är, att vi förutspår individers kriminalitet,

the criminality of individuals.

individers brottsbenägenhet.

The news organization ProPublica recently looked into

Nyhetsorganisationen ProPublica undersökte för en tid sedan

one of those "recidivism risk" algorithms,

en av algoritmerna för "återfallsrisk",

as they're called,

som de kallas,

being used in Florida during sentencing by judges.

och som används i Florida när domar ska avkunnas.

Bernard, on the left, the black man, was scored a 10 out of 10.

Bernard, mannen till vänster, fick 10 poäng av 10 möjliga.

Dylan, on the right, 3 out of 10.

Dylan, till höger, 3 poäng av 10 möjliga.

10 out of 10, high risk. 3 out of 10, low risk.

10 av 10, hög risk. 3 av 10, låg risk.

They were both brought in for drug possession.

Båda anhölls för droginnehav.

They both had records,

Båda var dömda tidigare,

but Dylan had a felony

men Dylan hade begått ett grovt brott

but Bernard didn't.

vilket Bernard inte hade.

This matters, because the higher score you are,

Det här har betydelse, för ju högre poäng man har,

the more likely you're being given a longer sentence.

desto troligare är det att man får ett längre straff.

What's going on?

Vad är det som händer?

Data laundering.

Datatvätt.

It's a process by which technologists hide ugly truths

Det är en process där tekniker gömmer fula sanningar

inside black box algorithms

inuti automatiska algoritmer

and call them objective;

som de kallar objektiva;

call them meritocratic.

kallar meritokratiska.

When they're secret, important and destructive,

När de är hemliga, viktiga och destruktiva,

I've coined a term for these algorithms:

myntade jag ett begrepp för dem:

"weapons of math destruction."

"matte-förstörelsevapen."

(Laughter)

(Skratt)

(Applause)

(Applåder)

They're everywhere, and it's not a mistake.

De finns överallt, och det är inte ett misstag.

These are private companies building private algorithms

Det här är privata företag som skapar privata algoritmer

for private ends.

för privata syften.

Even the ones I talked about for teachers and the public police,

Även de för lärare och poliser som jag pratat om,

those were built by private companies

byggdes av privata företag

and sold to the government institutions.

och såldes till statliga myndigheter.

They call it their "secret sauce" --

De kallar dem "hemliga recept" -

that's why they can't tell us about it.

det är därför de inte kan berätta om dem.

It's also private power.

Det är också privat makt.

They are profiting for wielding the authority of the inscrutable.

De skor sig genom att utöva sin ogenomträngliga makt.

Now you might think, since all this stuff is private

Nu kanske du tänker att eftersom allt det här är privat

and there's competition,

och fri konkurrens råder,

maybe the free market will solve this problem.

kommer marknaden kanske lösa problemen.

It won't.

Det gör den inte.

There's a lot of money to be made in unfairness.

Det finns mycket pengar att tjäna på orättvisa.

Also, we're not economic rational agents.

Dessutom, är vi inte ekonomiskt rationella varelser.

We all are biased.

Alla har vi fördomar.

We're all racist and bigoted in ways that we wish we weren't,

Alla är vi rasister och bigotta på sätt som vi önskar att vi inte var,

in ways that we don't even know.

på sätt vi inte ens vet att vi är.

We know this, though, in aggregate,

Det här vet vi dock,

because sociologists have consistently demonstrated this

eftersom sociologer konsekvent visat det

with these experiments they build,

genom olika expriment,

where they send a bunch of applications to jobs out,

där de skickar jobbansökningar,

equally qualified but some have white-sounding names

alla lika kvalificerade men några har "vita" namn

and some have black-sounding names,

och några har "svarta" namn,

and it's always disappointing, the results -- always.

och resultaten är alltid en besvikelse - alltid.

So we are the ones that are biased,

Vi är alltså de som är fördomsfulla,

and we are injecting those biases into the algorithms

och vi lägger in fördomarna i algoritmerna

by choosing what data to collect,

genom att välja datan vi samlar in,

like I chose not to think about ramen noodles --

så som jag valde att inte ta med japanska nudlar.

I decided it was irrelevant.

Jag bestämde att de var oviktiga.

But by trusting the data that's actually picking up on past practices

Men genom att lita på data som bygger på tidigare erfarenheter

and by choosing the definition of success,

och välja definitionen av framgång,

how can we expect the algorithms to emerge unscathed?

hur kan vi då förvänta oss att algoritmerna är harmlösa?

We can't. We have to check them.

Det kan vi inte. Vi måste kontrollera dem.

We have to check them for fairness.

Vi måste kolla att de är rättvisa.

The good news is, we can check them for fairness.

Den goda nyheten är att vi kan kolla rättvisan i dem.

Algorithms can be interrogated,

Algoritmer kan ifrågasättas,

and they will tell us the truth every time.

och de talar om sanningen varenda gång.

And we can fix them. We can make them better.

Vi kan rätta till dem. Vi kan förbättra dem.

I call this an algorithmic audit,

Jag kallar det för revision av algoritmer,

and I'll walk you through it.

och jag ska förklara.

First, data integrity check.

Först, integritetskontroll av datat.

For the recidivism risk algorithm I talked about,

För algoritmen för återfallsrisk som jag pratade om,

a data integrity check would mean we'd have to come to terms with the fact

skulle en integritetstest betyda att vi behöver ta tag i det faktum

that in the US, whites and blacks smoke pot at the same rate

att i USA, röker vita och svarta maruijana i samma utsträckning

but blacks are far more likely to be arrested --

men svarta löper större risk att arresteras -

four or five times more likely, depending on the area.

fyra till fem gånger högre risk beroende på område.

What is that bias looking like in other crime categories,

Hur ser den fördomen ut i andra brottskategorier

and how do we account for it?

och hur hanterar vi det?

Second, we should think about the definition of success,

Två, vi borde tänka över hur vi definierar framgång,

audit that.

granska det.

Remember -- with the hiring algorithm? We talked about it.

Kommer ni ihåg -

anställningsalgoritmen vi pratade om?

Someone who stays for four years and is promoted once?

Någon som stannar fyra år och befordras en gång?

Well, that is a successful employee,

Ja, det är en framgångsrik person,

but it's also an employee that is supported by their culture.

men det är också någon som stöttas av företagskulturen.

That said, also it can be quite biased.

Som sagt, även det kan vara partiskt.

We need to separate those two things.

Vi måste skilja på de här två sakerna.

We should look to the blind orchestra audition

Vi bör titta på blindrekrytering till orkestrar som ett exempel.

as an example.

That's where the people auditioning are behind a sheet.

I en sådan är den sökande bakom en skärm.

What I want to think about there

Det jag vill framhålla är

is the people who are listening have decided what's important

att de som lyssnar har bestämt vad som är viktigt

and they've decided what's not important,

och vad som är oviktigt

and they're not getting distracted by that.

och de distraheras inte av det.

When the blind orchestra auditions started,

När den här typen av rekryteringar startade,

the number of women in orchestras went up by a factor of five.

steg andelen kvinnor i orkestrarna femfalt.

Next, we have to consider accuracy.

Sen måste vi överväga tillförlitligheten.

This is where the value-added model for teachers would fail immediately.

Det är här mervärdesmodellen för lärare skulle misslyckas omedelbart.

No algorithm is perfect, of course,

Självklart är ingen algoritm perfekt,

so we have to consider the errors of every algorithm.

så vi måste överväga felen i varje algoritm.

How often are there errors, and for whom does this model fail?

Hur ofta förekommer fel och för vem misslyckas modellen?

What is the cost of that failure?

Vad är kostnaden för de felen?

And finally, we have to consider

Slutligen, måste vi överväga

the long-term effects of algorithms,

de långsiktiga effekterna av algoritmerna,

the feedback loops that are engendering.

och feedbacken som de medför.

That sounds abstract,

Det låter abstrakt,

but imagine if Facebook engineers had considered that

men tänk om Facebooks ingenjörer övervägt det här

before they decided to show us only things that our friends had posted.

innan de bestämde sig för att bara visa oss det våra vänner lagt upp.

I have two more messages, one for the data scientists out there.

Jag har ytterligare två budskap, ett för dataanalytikerna där ute.

Data scientists: we should not be the arbiters of truth.

Dataanalytiker: Vi bör inte vara sanningens skiljedomare.

We should be translators of ethical discussions that happen

Vi bör vara översättare av de etiska diskussioner som sker

in larger society.

i samhället i stort.

(Applause)

(Applåder)

And the rest of you,

Och ni andra,

the non-data scientists:

som inte är dataanalytiker:

this is not a math test.

Det här är inte ett matteprov.

This is a political fight.

Det här är en politisk kamp.

We need to demand accountability for our algorithmic overlords.

Vi måste kräva ansvarsskyldighet från våra algoritmiska överherrar.

(Applause)

(Applåder)

The era of blind faith in big data must end.

Tiden när vi trodde blint på big data måste få ett slut.

Thank you very much.

Tack så mycket.

(Applause)

(Applåder)