The era of blind faith in big data must end | Cathy O'Neil

Traducător: Mihaela Niță Corector: Bianca-Ioanidia Mirea

Algorithms are everywhere.

Algoritmii sunt pretutindeni.

They sort and separate the winners from the losers.

Sortează și separă învingătorii de învinși.

The winners get the job

Învingătorii obțin locul de muncă

or a good credit card offer.

sau oferta bună pentru cardul de credit.

The losers don't even get an interview

Învinșii n-au parte nici măcar de interviu

or they pay more for insurance.

sau plătesc mai mult pentru asigurare.

We're being scored with secret formulas that we don't understand

Suntem evaluați cu formule secrete pe care nu le înțelegem

that often don't have systems of appeal.

și care, adesea, nu pot fi contestate.

That begs the question:

Asta impune întrebarea: și dacă algoritmii conțin erori?

What if the algorithms are wrong?

To build an algorithm you need two things:

E nevoie de două lucruri pentru algoritmi: date, ce s-a întâmplat în trecut,

you need data, what happened in the past,

and a definition of success,

și o definiție a succesului, a ceea ce cauți și speri să obții.

the thing you're looking for and often hoping for.

You train an algorithm by looking, figuring out.

Algoritmul se formează observând, descifrând.

The algorithm figures out what is associated with success.

Algoritmul deduce ce se asociază cu succesul,

What situation leads to success?

care situație conduce către succes.

Actually, everyone uses algorithms.

De fapt, toată lumea folosește algoritmi, dar nu formalizați în scris.

They just don't formalize them in written code.

Let me give you an example.

Vă dau un exemplu.

I use an algorithm every day to make a meal for my family.

Folosesc zilnic un algoritm ca să pregătesc masa pentru familia mea.

The data I use

Datele pe care le folosesc

is the ingredients in my kitchen,

sunt ingredientele din bucătărie, timpul disponibil,

the time I have,

the ambition I have,

ambiția pe care o am, apoi organizez datele.

and I curate that data.

I don't count those little packages of ramen noodles as food.

Nu consider mâncare pachețelele de tăieței ramen.

(Laughter)

(Râsete)

My definition of success is:

Definiția mea a succesului e:

a meal is successful if my kids eat vegetables.

o masă e reușită când copiii mei mănâncă legume.

It's very different from if my youngest son were in charge.

E foarte diferită de a mezinului meu care, dacă ar fi după el,

He'd say success is if he gets to eat lots of Nutella.

ar zice că succesul înseamnă să mănânce multă Nutella.

But I get to choose success.

Dar eu sunt cea care alege succesul.

I am in charge. My opinion matters.

Eu conduc. Părerea mea contează.

That's the first rule of algorithms.

Asta e prima regulă a algoritmilor.

Algorithms are opinions embedded in code.

Algoritmii sunt păreri încorporate în cod.

It's really different from what you think most people think of algorithms.

E foarte diferit de ce credeți voi că majoritatea crede despre algoritmi.

They think algorithms are objective and true and scientific.

Ei cred că algoritmii sunt obiectivi, adevărați și științifici.

That's a marketing trick.

Ăsta e un truc de marketing.

It's also a marketing trick

Și tot un truc al marketingului

to intimidate you with algorithms,

e să vă intimideze cu algoritmi,

to make you trust and fear algorithms

să vă încredeți și să vă temeți de algoritmi,

because you trust and fear mathematics.

pentru că vă încredeți și vă temeți de matematică.

A lot can go wrong when we put blind faith in big data.

Pot apărea multe probleme când avem încredere oarbă în volume mari de date.

This is Kiri Soares. She's a high school principal in Brooklyn.

Ea e Kiri Soares, directoarea unui liceu din Brooklyn.

In 2011, she told me her teachers were being scored

În 2011 mi-a zis că profesorii ei erau evaluați

with a complex, secret algorithm

cu un algoritm complex și secret,

called the "value-added model."

numit „modelul valoare adăugată”.

I told her, "Well, figure out what the formula is, show it to me.

I-am zis: „Află care e formula, arată-mi-o și ți-o explic.”

I'm going to explain it to you."

She said, "Well, I tried to get the formula,

Ea a zis: „Am încercat să obțin formula, dar la Departamentul de Educație

but my Department of Education contact told me it was math

mi s-a zis că e matematică și n-o să înțeleg.”

and I wouldn't understand it."

It gets worse.

Se poate și mai rău.

The New York Post filed a Freedom of Information Act request,

New York Post a solicitat, conform Legii privind libertatea de informare,

got all the teachers' names and all their scores

și a obținut numele tuturor profesorilor și punctajele lor

and they published them as an act of teacher-shaming.

și le-a publicat pentru a-i blama public.

When I tried to get the formulas, the source code, through the same means,

Când am încercat să obțin formula, codul sursă, cu aceleași mijloace,

I was told I couldn't.

mi s-a zis că nu se poate.

I was denied.

Mi s-a refuzat.

I later found out

Mai târziu am aflat

that nobody in New York City had access to that formula.

că nimeni din New York n-avea acces la acea formulă.

No one understood it.

Nimeni n-o înțelegea.

Then someone really smart got involved, Gary Rubinstein.

Apoi s-a implicat cineva foarte inteligent: Gary Rubinstein.

He found 665 teachers from that New York Post data

A descoperit că 665 de profesori din datele de la New York Post

that actually had two scores.

aveau, de fapt, două punctaje.

That could happen if they were teaching

Asta se putea întâmpla dacă predau

seventh grade math and eighth grade math.

matematică de clasa a șaptea și a opta.

He decided to plot them.

A decis să facă un grafic.

Each dot represents a teacher.

Fiecare punct reprezintă un profesor.

(Laughter)

(Râsete)

What is that?

Ce-i asta?

(Laughter)

(Râsete)

That should never have been used for individual assessment.

N-ar fi trebuit să fie niciodată folosit pentru evaluare personală.

It's almost a random number generator.

E mai degrabă un generator de numere aleatorii.

(Applause)

(Aplauze)

But it was.

Dar a fost.

This is Sarah Wysocki.

Ea e Sarah Wysocki.

She got fired, along with 205 other teachers,

A fost concediată, împreună cu alți 205 profesori,

from the Washington, DC school district,

din districtul școlar al Washington DC,

even though she had great recommendations from her principal

deși avea recomandări excelente de la director și părinții copiilor.

and the parents of her kids.

I know what a lot of you guys are thinking,

Știu ce gândesc mulți dintre voi,

mai ales experții în date și inteligență artificială.

especially the data scientists, the AI experts here.

You're thinking, "Well, I would never make an algorithm that inconsistent."

Vă ziceți: „N-aș face niciodată un algoritm așa de inconsecvent.”

But algorithms can go wrong,

Dar algoritmii pot da greș,

even have deeply destructive effects with good intentions.

pot avea chiar efecte profund distructive în ciuda bunelor intenții.

And whereas an airplane that's designed badly

Dar în timp ce un avion care e prost conceput

crashes to the earth and everyone sees it,

se prăbușește și poate fi văzut de toți,

an algorithm designed badly

un algoritm prost conceput

can go on for a long time, silently wreaking havoc.

poate să funcționeze mult timp făcând ravagii pe ascuns.

This is Roger Ailes.

El e Roger Ailes.

(Laughter)

(Râsete)

He founded Fox News in 1996.

A fondat Fox News în 1996.

More than 20 women complained about sexual harassment.

Peste 20 de femei s-au plâns de hărțuire sexuală.

They said they weren't allowed to succeed at Fox News.

Au zis că nu li s-a permis să aibă succes la Fox News.

He was ousted last year, but we've seen recently

A fost demis anul trecut, dar am văzut recent

that the problems have persisted.

că problemele au persistat.

That begs the question:

Asta impune întrebarea:

What should Fox News do to turn over another leaf?

ce ar trebui să facă Fox News pentru a întoarce pagina?

Well, what if they replaced their hiring process

Cum ar fi dacă ar înlocui procesul de recrutare

with a machine-learning algorithm?

cu algoritmi de învățare automatizată?

That sounds good, right?

Sună bine, nu?

Think about it.

Gândiți-vă la asta.

The data, what would the data be?

Care ar fi datele?

A reasonable choice would be the last 21 years of applications to Fox News.

O alegere rezonabilă ar fi cererile de angajare din ultimii 21 de ani.

Reasonable.

Rezonabilă.

What about the definition of success?

Dar definiția succesului?

Reasonable choice would be,

Alegerea rezonabilă ar fi...

well, who is successful at Fox News?

păi, cine are succes la Fox News?

I guess someone who, say, stayed there for four years

Presupun că cineva care, să zicem, a lucrat acolo patru ani

and was promoted at least once.

și a fost promovat cel puțin o dată.

Sounds reasonable.

Sună rezonabil.

And then the algorithm would be trained.

Apoi algoritmul ar fi instruit.

It would be trained to look for people to learn what led to success,

Va fi instruit să caute oameni, ca să înțeleagă ce a condus la succes,

what kind of applications historically led to success

ce fel de cereri de angajare au condus de-a lungul timpului la succes,

by that definition.

conform definiției.

Now think about what would happen

Acum gândiți-vă ce s-ar întâmpla

if we applied that to a current pool of applicants.

dacă am aplica asta unui grup actual de candidați.

It would filter out women

Ar filtra femeile,

because they do not look like people who were successful in the past.

pentru că ele nu par genul care să fi avut succes în trecut.

Algorithms don't make things fair

Algoritmii nu fac lucrurile echitabile,

if you just blithely, blindly apply algorithms.

dacă-i aplici fără griji și discernământ.

They don't make things fair.

Nu fac lucrurile echitabile.

They repeat our past practices,

Ei repetă procedeele noastre din trecut,

our patterns.

tiparele noastre.

They automate the status quo.

Automatizează status quo-ul.

That would be great if we had a perfect world,

Asta ar fi minunat dacă am trăi într-o lume perfectă,

but we don't.

dar nu trăim.

And I'll add that most companies don't have embarrassing lawsuits,

Adaug că majoritatea companiilor n-au procese de judecată jenante,

but the data scientists in those companies

dar specialiștilor în date din acele companii

are told to follow the data,

li se spune să urmărească datele,

to focus on accuracy.

să se concentreze pe acuratețe.

Think about what that means.

Gândiți-vă ce înseamnă asta.

Because we all have bias, it means they could be codifying sexism

Pentru că toți avem prejudecăți, înseamnă că ar putea codifica

discriminarea sexuală sau orice alt fel de intoleranță.

or any other kind of bigotry.

Thought experiment,

Un experiment de gândire,

because I like them:

pentru că-mi plac:

an entirely segregated society --

o societate complet scindată,

racially segregated, all towns, all neighborhoods

divizată religios, toate orașele, toate cartierele,

and where we send the police only to the minority neighborhoods

și în care trimitem poliția doar în cartierele cu minorități

to look for crime.

pentru a cerceta delicte.

The arrest data would be very biased.

Datele arestărilor ar fi foarte părtinitoare.

What if, on top of that, we found the data scientists

Ce-ar fi dacă, în plus, am găsi specialiștii în date

and paid the data scientists to predict where the next crime would occur?

și i-am plăti ca să prezică unde ar avea loc următoarea infracțiune?

Minority neighborhood.

Cartierul cu minorități.

Or to predict who the next criminal would be?

Sau să prezică cine ar fi următorul infractor?

A minority.

Un cetățean minoritar.

The data scientists would brag about how great and how accurate

Specialiștii în date s-ar lăuda cu cât de grozav și precis

their model would be,

ar fi modelul lor

and they'd be right.

și ar avea dreptate.

Now, reality isn't that drastic, but we do have severe segregations

Realitatea nu-i așa de drastică, dar avem diviziuni profunde

in many cities and towns,

în multe orașe și comune,

and we have plenty of evidence

și avem destule dovezi

of biased policing and justice system data.

în acțiunile părtinitoare ale poliției și datele sistemului judiciar.

And we actually do predict hotspots,

Și chiar prezicem punctele critice,

places where crimes will occur.

locurile unde se desfășoară infracțiunile.

And we do predict, in fact, the individual criminality,

Și chiar prezicem, de fapt, infracțiunile individuale,

the criminality of individuals.

infracțiunile indivizilor.

The news organization ProPublica recently looked into

Organizația de știri ProPublica a analizat recent

one of those "recidivism risk" algorithms,

unul din algoritmii „riscului de recidivă”, cum li se zice,

as they're called,

folosiți în Florida în sentințele judecătorești.

being used in Florida during sentencing by judges.

Bernard, on the left, the black man, was scored a 10 out of 10.

Bernard, în stânga, bărbatul de culoare, a obținut zece puncte din zece.

Dylan, on the right, 3 out of 10.

Dylan, în dreapta, trei din zece.

10 out of 10, high risk. 3 out of 10, low risk.

Zece din zece, risc ridicat. Trei din zece, risc scăzut.

They were both brought in for drug possession.

Au fost acuzați de posesie de droguri.

They both had records,

Amândoi cu antecedente,

but Dylan had a felony

dar Dylan comisese o crimă,

but Bernard didn't.

iar Bernard nu.

This matters, because the higher score you are,

Asta contează, deoarece cu cât ai scorul mai mare,

the more likely you're being given a longer sentence.

cu atât ai mai multe șanse să primești o sentință mai lungă.

What's going on?

Ce se întâmplă?

Data laundering.

Spălare de date.

It's a process by which technologists hide ugly truths

E un proces prin care tehnologii ascund adevăruri neplăcute

inside black box algorithms

în algoritmi de tip cutie neagră,

and call them objective;

pe care-i numesc obiectivi

call them meritocratic.

și meritocratici.

When they're secret, important and destructive,

Când sunt secreți, importanți și distructivi,

I've coined a term for these algorithms:

am inventat o denumire pentru algoritmii ăștia:

"weapons of math destruction."

„arme de distrugere matematică”.

(Laughter)

(Râsete)

(Applause)

(Aplauze)

They're everywhere, and it's not a mistake.

Sunt peste tot și nu din greșeală.

These are private companies building private algorithms

Sunt companii private care construiesc algoritmi privați

for private ends.

pentru scopuri private.

Even the ones I talked about for teachers and the public police,

Chiar și cei de care am vorbit, pentru profesori și poliție,

those were built by private companies

au fost construiți de companii private și vânduți instituțiilor guvernamentale.

and sold to the government institutions.

They call it their "secret sauce" --

Ei numesc asta „sosul lor secret”,

that's why they can't tell us about it.

de asta nu ni-l pot dezvălui.

It's also private power.

E și o putere privată.

They are profiting for wielding the authority of the inscrutable.

Profită de faptul că exercită autoritatea impenetrabilă.

Now you might think, since all this stuff is private

Acum o să vă gândiți că, din moment ce totul e privat,

and there's competition,

și există concurență,

maybe the free market will solve this problem.

poate că piața liberă o să rezolve problema.

It won't.

N-o s-o facă.

There's a lot of money to be made in unfairness.

Sunt mulți bani de câștigat din inechitate.

Also, we're not economic rational agents.

În plus, nu suntem agenți economici raționali.

We all are biased.

Toți suntem părtinitori.

We're all racist and bigoted in ways that we wish we weren't,

Toți suntem rasiști și intoleranți

într-un fel în care ne dorim să nu fi fost și de care nici nu ne dăm seama.

in ways that we don't even know.

We know this, though, in aggregate,

Dar știm asta, în ansamblu,

because sociologists have consistently demonstrated this

pentru că sociologii au demonstrat-o constant

with these experiments they build,

cu experimentele pe care le-au creat,

where they send a bunch of applications to jobs out,

când trimit mai multe cereri la anunțurile de angajare,

equally qualified but some have white-sounding names

cu aceleași calificări, dar unele au nume ca de albi și altele ca de negri,

and some have black-sounding names,

and it's always disappointing, the results -- always.

iar rezultatele sunt mereu dezamăgitoare.

So we are the ones that are biased,

Deci noi suntem cei părtinitori,

and we are injecting those biases into the algorithms

și introducem acele prejudecăți în algoritmi,

by choosing what data to collect,

alegând ce date să fie selectate,

like I chose not to think about ramen noodles --

așa cum aleg eu să nu mă gândesc la tăiețeii ramen,

I decided it was irrelevant.

am decis că nu-i relevant.

But by trusting the data that's actually picking up on past practices

Dar având încredere în datele care reiau practicile din trecut

and by choosing the definition of success,

și alegând definiția succesului,

how can we expect the algorithms to emerge unscathed?

cum să ne putem aștepta ca algoritmii să fie neafectați?

We can't. We have to check them.

Nu putem. Trebuie să-i verificăm.

We have to check them for fairness.

Trebuie să le verificăm echitatea.

The good news is, we can check them for fairness.

Vestea bună e că le putem verifica echitatea.

Algorithms can be interrogated,

Algoritmii pot fi interogați

and they will tell us the truth every time.

și ne vor spune adevărul de fiecare dată.

And we can fix them. We can make them better.

Și putem să-i reparăm. Putem să-i îmbunătățim.

I call this an algorithmic audit,

Eu numesc asta un audit algoritmic

and I'll walk you through it.

și o să vă explic ce presupune.

First, data integrity check.

Mai întâi, verificarea integrității datelor.

For the recidivism risk algorithm I talked about,

Pentru algoritmul riscului de recidivă de care am vorbit,

a data integrity check would mean we'd have to come to terms with the fact

o verificare a integrității datelor ar însemna să acceptăm faptul

that in the US, whites and blacks smoke pot at the same rate

că în SUA, albii și cei de culoare fumează canabis în egală măsură,

but blacks are far more likely to be arrested --

dar cei de culoare au mai multe șanse să fie arestați,

four or five times more likely, depending on the area.

de patru sau cinci ori mai des, în funcție de regiune.

What is that bias looking like in other crime categories,

Cum arată prejudecata asta în alte categorii de infracțiuni

and how do we account for it?

și cum o justificăm?

Second, we should think about the definition of success,

În al doilea rând, ar trebui să ne gândim la definiția succesului, să audităm asta.

audit that.

Remember -- with the hiring algorithm? We talked about it.

Vă amintiți algoritmul pentru angajare? Am vorbit de el.

Someone who stays for four years and is promoted once?

Cineva care lucrează patru ani și e promovat o dată?

Well, that is a successful employee,

Ăsta e un angajat de succes,

but it's also an employee that is supported by their culture.

dar și unul care e susținut de cultura lor.

That said, also it can be quite biased.

Dar și asta poate fi părtinitor.

We need to separate those two things.

Trebuie să separăm aceste două aspecte.

We should look to the blind orchestra audition

Ar trebui să luăm audiția pe nevăzute drept exemplu.

as an example.

That's where the people auditioning are behind a sheet.

Presupune că cei care sunt audiați stau după un paravan.

What I want to think about there

În cazul ăsta vreau să mă gândesc

is the people who are listening have decided what's important

că cei care ascultă au decis ce-i important și ce nu

and they've decided what's not important,

and they're not getting distracted by that.

și nu li se distrage atenția de la asta.

When the blind orchestra auditions started,

Când s-a început cu audițiile pe nevăzute,

the number of women in orchestras went up by a factor of five.

numărul femeilor în orchestre a crescut de cinci ori.

Next, we have to consider accuracy.

Mai departe, trebuie să examinăm acuratețea.

This is where the value-added model for teachers would fail immediately.

În cazul ăsta, modelul valorii adăugate pentru profesori ar eșua imediat.

No algorithm is perfect, of course,

Niciun algoritm nu e perfect, desigur,

so we have to consider the errors of every algorithm.

deci trebuie să ne gândim la erorile fiecărui algoritm.

How often are there errors, and for whom does this model fail?

Cât de des apar erori și pentru cine nu funcționează modelul?

What is the cost of that failure?

Care e costul acestui eșec?

And finally, we have to consider

Și, în sfârșit, trebuie să analizăm

the long-term effects of algorithms,

efectele pe termen lung ale algoritmilor,

the feedback loops that are engendering.

buclele de feedback care se generează.

That sounds abstract,

Sună abstract,

but imagine if Facebook engineers had considered that

dar imaginați-vă că tehnicienii Facebook s-ar fi gândit la asta

before they decided to show us only things that our friends had posted.

înainte să decidă să ne arate doar ce au publicat prietenii noștri.

I have two more messages, one for the data scientists out there.

Mai am două mesaje, unul e pentru specialiștii în date dintre voi.

Data scientists: we should not be the arbiters of truth.

Specialiști în date, nu trebuie să fim arbitrii adevărului.

We should be translators of ethical discussions that happen

Ar trebui să fim traducătorii discuțiilor etice care au loc

in larger society.

în societate la scară largă.

(Applause)

(Aplauze)

And the rest of you,

Iar pentru voi, ceilalți,

the non-data scientists:

nespecializați în date:

this is not a math test.

ăsta nu-i un test de matematică.

This is a political fight.

E o luptă politică.

We need to demand accountability for our algorithmic overlords.

Trebuie să pretindem responsabilizarea suzeranilor noștri algoritmici.

(Applause)

(Aplauze)

The era of blind faith in big data must end.

Vremea încrederii oarbe în volumele mari de date trebuie să ia sfârșit.

Thank you very much.

Mulțumesc mult.

(Applause)

(Aplauze)