The era of blind faith in big data must end | Cathy O'Neil

Traduttore: Gabriella Patricola Revisore: Silvia Fornasiero

Algorithms are everywhere.

Gli algoritmi sono ovunque.

They sort and separate the winners from the losers.

Selezionano e separano i vincitori dai perdenti.

The winners get the job

I vincitori ottengono il lavoro

or a good credit card offer.

o l'offerta di una buona carta di credito.

The losers don't even get an interview

I perdenti non ottengono neanche un colloquio di lavoro

or they pay more for insurance.

o pagano di più per l'assicurazione.

We're being scored with secret formulas that we don't understand

Siamo valutati da formule segrete che non comprendiamo

that often don't have systems of appeal.

che spesso non prevedono sistemi cui poter fare ricorso.

Questo solleva la domanda:

That begs the question:

What if the algorithms are wrong?

e se gli algoritmi si sbagliano?

To build an algorithm you need two things:

Per creare algoritmi servono due cose:

you need data, what happened in the past,

servono dati, cos'è avvenuto in passato,

and a definition of success,

e una definizione di successo,

the thing you're looking for and often hoping for.

ciò che state cercando e spesso sperando di ottenere.

You train an algorithm by looking, figuring out.

L'algoritmo si verifica cercando, risolvendo.

The algorithm figures out what is associated with success.

Gli algoritmi chiariscono con precisione ciò che è associato al successo,

What situation leads to success?

quale situazione porta al successo.

Actually, everyone uses algorithms.

In realtà, tutti usano algoritmi.

They just don't formalize them in written code.

Solo che non li formalizzano attraverso un codice scritto.

Let me give you an example.

Vi faccio un esempio.

I use an algorithm every day to make a meal for my family.

Io uso un algoritmo ogni giorno per cucinare per la mia famiglia.

The data I use

I dati che uso

is the ingredients in my kitchen,

sono ingredienti della mia cucina,

the time I have,

il tempo che ho,

the ambition I have,

l'ambizione che ho,

and I curate that data.

e curo quei dati.

I don't count those little packages of ramen noodles as food.

Non considero cibo quei pacchettini di noodles istantanei.

(Laughter)

(Risate)

My definition of success is:

La mia definizione di successo é:

a meal is successful if my kids eat vegetables.

un pasto è ben riuscito se i miei figli mangiano verdure.

Sarebbe molto diverso se fosse mio figlio più piccolo a decidere.

It's very different from if my youngest son were in charge.

He'd say success is if he gets to eat lots of Nutella.

Lui direbbe che il successo è mangiare tanta Nutella.

But I get to choose success.

Ma sono io a scegliere cos'è il successo.

I am in charge. My opinion matters.

Comando io. È la mia opinione che conta.

That's the first rule of algorithms.

Questa è la prima regola degli algoritmi.

Algorithms are opinions embedded in code.

Gli algoritmi sono opinioni racchiuse in codici.

It's really different from what you think most people think of algorithms.

È molto diverso da ciò che pensate,

che la maggior parte della gente pensa degli algoritmi.

They think algorithms are objective and true and scientific.

Si pensa che gli algoritmi siano oggettivi e realistici e scientifici.

That's a marketing trick.

È un inganno del marketing.

It's also a marketing trick

È un inganno del marketing anche

to intimidate you with algorithms,

quello di minacciarvi con gli algoritmi,

to make you trust and fear algorithms

per convincervi a fidarvi degli algoritmi e a temerli

because you trust and fear mathematics.

perché vi fidate e avete paura delle scienze matematiche.

A lot can go wrong when we put blind faith in big data.

Si può sbagliare tanto se riponiamo una fiducia cieca in grandi masse di dati.

This is Kiri Soares. She's a high school principal in Brooklyn.

Lei è Kiri Soares. È preside in una scuola superiore di Brooklyn.

In 2011, she told me her teachers were being scored

Nel 2011, mi disse che i suoi docenti erano valutati

with a complex, secret algorithm

con un complicato e segreto algoritmo

called the "value-added model."

chiamato "modello di valore aggiunto".

I told her, "Well, figure out what the formula is, show it to me.

Le ho detto: "Trova qual è la formula e mostramela.

I'm going to explain it to you."

Così te la spiego."

She said, "Well, I tried to get the formula,

Mi disse: "Ho provato ad avere la formula,

but my Department of Education contact told me it was math

ma il referente del mio Dipartimento ha detto che era matematica

and I wouldn't understand it."

e non l'avrei capita".

Le cose peggiorano.

It gets worse.

The New York Post filed a Freedom of Information Act request,

Il New York Post ha fatto una richiesta secondo il Freedom of Information Act,

got all the teachers' names and all their scores

ha preso i nomi di tutti gli insegnanti e i loro punteggi

and they published them as an act of teacher-shaming.

e li ha divulgati esponendo gli insegnanti alla pubblica gogna.

When I tried to get the formulas, the source code, through the same means,

Quando ho chiesto le formule, il codice sorgente,

attraverso gli stessi canali,

I was told I couldn't.

mi è stato detto che non potevo averle.

I was denied.

Mi è stato negato.

I later found out

Poi ho scoperto

that nobody in New York City had access to that formula.

che nessuno a New York aveva accesso a quella formula.

No one understood it.

Nessuno la capiva.

Then someone really smart got involved, Gary Rubinstein.

Poi qualcuno molto intelligente è stato coinvolto, Gary Rubenstein.

He found 665 teachers from that New York Post data

Ha scoperto che 665 insegnanti presenti nei dati del New York Post

that actually had two scores.

in realtà avevano due punteggi.

That could happen if they were teaching

Questo può accadere se insegnano

seventh grade math and eighth grade math.

matematica in seconda e in terza media.

He decided to plot them.

Decise di rappresentarli graficamente.

Each dot represents a teacher.

Ogni punto rappresenta un insegnante.

(Laughter)

(Risate)

What is that?

Cos'è questo?

(Laughter)

(Risate)

That should never have been used for individual assessment.

Non avrebbero mai dovuto usarlo per una valutazione individuale.

It's almost a random number generator.

Sembra un generatore casuale di numeri.

(Applause)

(Applauso)

But it was.

E lo era.

This is Sarah Wysocki.

Lei è Sarah Wysocki.

She got fired, along with 205 other teachers,

È stata licenziata con altri 205 insegnanti

from the Washington, DC school district,

dal distretto scolastico di Washington DC,

even though she had great recommendations from her principal

nonostante le referenze altamente positive da parte del preside

and the parents of her kids.

e da parte dei genitori dei suoi alunni.

I know what a lot of you guys are thinking,

So a cosa stanno pensando molti di voi,

especially the data scientists, the AI experts here.

soprattutto analisti, gli esperti di Intelligenza Artificiale.

You're thinking, "Well, I would never make an algorithm that inconsistent."

State pensando: "Io non farei mai degli algoritmi così incoerenti".

But algorithms can go wrong,

Ma gli algoritmi possono sbagliare,

even have deeply destructive effects with good intentions.

perfino causare effetti disastrosi nonostante le buone intenzioni.

And whereas an airplane that's designed badly

E mentre un aeroplano progettato male

crashes to the earth and everyone sees it,

precipita e può essere visto da tutti,

an algorithm designed badly

un algoritmo progettato male

can go on for a long time, silently wreaking havoc.

può essere utilizzato per molto tempo creando silenziosamente il caos.

This is Roger Ailes.

Lui è Roger Ailes.

(Laughter)

(Risate)

He founded Fox News in 1996.

Ha fondato Fox News nel 1996.

More than 20 women complained about sexual harassment.

Più di 20 donne lo hanno accusato di molestie sessuali.

They said they weren't allowed to succeed at Fox News.

Hanno detto che a loro non era permesso fare carriera a Fox News.

He was ousted last year, but we've seen recently

È stato cacciato l'anno scorso, ma di recente abbiamo visto

that the problems have persisted.

che i problemi sono continuati.

That begs the question:

Questo solleva la domanda:

What should Fox News do to turn over another leaf?

cosa dovrebbe fare Fox News per voltare veramente pagina?

Well, what if they replaced their hiring process

E se sostituissero il loro sistema di assunzione

with a machine-learning algorithm?

con un algoritmo intelligente?

That sounds good, right?

Sembra una buona idea, giusto?

Think about it.

Pensateci.

The data, what would the data be?

I dati, come sarebbero i dati?

A reasonable choice would be the last 21 years of applications to Fox News.

Una scelta ragionevole potrebbe essere

gli ultimi 21 anni di domande di assunzione a Fox News.

Reasonable.

Ragionevole.

What about the definition of success?

E come definire il successo?

Reasonable choice would be,

Una scelta ragionevole sarebbe:

well, who is successful at Fox News?

chi ha avuto successo a Fox News?

I guess someone who, say, stayed there for four years

Ad esempio qualcuno che è stato lì, diciamo, per quattro anni

and was promoted at least once.

ed è stato promosso almeno una volta.

Sounds reasonable.

Sembra ragionevole.

And then the algorithm would be trained.

E dopo l'algoritmo dovrebbe essere preparato.

It would be trained to look for people to learn what led to success,

Sarebbe preparato a cercare le persone, capire cosa conduce al successo,

what kind of applications historically led to success

che tipi di candidature hanno storicamente portato al successo

by that definition.

secondo quella definizione.

Now think about what would happen

Ora pensate a cosa succederebbe

if we applied that to a current pool of applicants.

se applicassimo questo a un attuale campione di candidati.

It would filter out women

Verrebbero escluse le donne

because they do not look like people who were successful in the past.

perché non rappresentano le persone che hanno avuto successo in passato.

Algorithms don't make things fair

Gli algoritmi non rendono le cose giuste

if you just blithely, blindly apply algorithms.

se vengono applicati allegramente e ciecamente.

They don't make things fair.

Non rendono le cose giuste.

They repeat our past practices,

Ripetono le nostre prassi del passato,

our patterns.

i nostri modelli.

They automate the status quo.

Automatizzano lo status quo.

That would be great if we had a perfect world,

Sarebbero straordinari se vivessimo in un mondo perfetto,

but we don't.

ma non lo abbiamo.

And I'll add that most companies don't have embarrassing lawsuits,

Aggiungo che gran parte delle aziende non ha cause legali imbarazzanti,

ma agli analisti di quelle aziende

but the data scientists in those companies

are told to follow the data,

viene detto di seguire i dati,

to focus on accuracy.

di focalizzarsi sull'accuratezza del dato.

Think about what that means.

Pensate a cosa significa.

Because we all have bias, it means they could be codifying sexism

Poiché tutti abbiamo pregiudizi, significa che potrebbero codificare il sessismo

or any other kind of bigotry.

o qualsiasi altro tipo di intolleranza.

Thought experiment,

Conduco ricerche,

because I like them:

perché mi piacciono:

an entirely segregated society --

una società interamente segregata,

racially segregated, all towns, all neighborhoods

segregazione razziale, tutte le città, tutti i quartieri,

and where we send the police only to the minority neighborhoods

dove si manda la polizia solo nei quartieri periferici

to look for crime.

a cercare il crimine.

The arrest data would be very biased.

I dati degli arresti sarebbero intrisi di pregiudizi.

What if, on top of that, we found the data scientists

Cosa succederebbe se, oltretutto, trovassimo gli analisti

and paid the data scientists to predict where the next crime would occur?

e li pagassimo per prevedere dove si verificherà il prossimo crimine?

Quartieri periferici abitati dalle minoranze.

Minority neighborhood.

Or to predict who the next criminal would be?

O per prevedere chi sarà il prossimo criminale?

A minority.

Uno della minoranza.

The data scientists would brag about how great and how accurate

Gli analisti si vanterebbero di quanto straordinari e accurati

their model would be,

sono i loro modelli,

and they'd be right.

e avrebbero ragione.

Now, reality isn't that drastic, but we do have severe segregations

La realtà non è così drastica, ma esistono gravi segregazioni

in many cities and towns,

in molte città grandi e piccole,

and we have plenty of evidence

e abbiamo ampia evidenza

of biased policing and justice system data.

di sistemi di dati investigativi e giudiziari basati su pregiudizi.

And we actually do predict hotspots,

In realtà siamo anche in grado di anticipare i luoghi critici,

places where crimes will occur.

in cui si verificheranno i crimini.

And we do predict, in fact, the individual criminality,

Noi prevediamo, di fatto, la criminalità individuale,

the criminality of individuals.

la criminalità dei singoli individui.

The news organization ProPublica recently looked into

La nuova organizzazione ProPublica ha recentemente esaminato

one of those "recidivism risk" algorithms,

uno degli algoritmi sul "rischio recidiva",

as they're called,

come vengono chiamati,

being used in Florida during sentencing by judges.

usati dai giudici in Florida durante le sentenze.

Bernard, on the left, the black man, was scored a 10 out of 10.

Bernard, l'uomo di colore a sinistra, ha avuto un punteggio di 10 su 10.

Dylan, on the right, 3 out of 10.

Dylan, sulla destra, 3 su 10.

10 out of 10, high risk. 3 out of 10, low risk.

10 su 10, rischio elevato. 3 su 10, rischio basso.

They were both brought in for drug possession.

Erano entrambi processati per possesso di droga.

They both had records,

Conosciuti dalla polizia,

but Dylan had a felony

ma Dylan aveva commesso un reato,

but Bernard didn't.

mentre Bernard no.

This matters, because the higher score you are,

Questo è importante, perché più il vostro punteggio è alto,

the more likely you're being given a longer sentence.

più è probabile che la vostra condanna sia lunga.

What's going on?

Cosa sta succedendo?

Data laundering.

Riciclaggio di dati.

It's a process by which technologists hide ugly truths

È un processo con cui gli esperti di tecnologia nascondono tremende verità

inside black box algorithms

dentro la scatola nera degli algoritmi

and call them objective;

e la definiscono oggettività;

call them meritocratic.

la definiscono meritocrazia.

When they're secret, important and destructive,

Quando sono segreti, importanti e distruttivi,

I've coined a term for these algorithms:

ho coniato un termine per questi algoritmi:

"weapons of math destruction."

"Armi di distruzione matematica."

(Laughter)

(Risata)

(Applause)

(Applauso)

They're everywhere, and it's not a mistake.

Sono ovunque e non per errore.

These are private companies building private algorithms

Sono aziende private che costruiscono algoritmi privati

for private ends.

per scopi privati.

Even the ones I talked about for teachers and the public police,

Persino quelli di cui ho parlato per gli insegnanti e la polizia

those were built by private companies

sono stati creati da compagnie private

and sold to the government institutions.

e venduti alle istituzioni governative.

They call it their "secret sauce" --

Li chiamano il loro "ingrediente segreto",

that's why they can't tell us about it.

ecco perché non possono parlarcene.

It's also private power.

È anche un potere privato.

They are profiting for wielding the authority of the inscrutable.

Ne stanno traendo vantaggio per esercitare l'autorità dell'imperscrutabile.

Now you might think, since all this stuff is private

Ora potreste pensare che, visto che è tutto privato

and there's competition,

e c'è la concorrenza,

maybe the free market will solve this problem.

forse il mercato libero risolverà il problema.

It won't.

Invece no.

There's a lot of money to be made in unfairness.

Ci sono un sacco di soldi da fare in modo scorretto.

Also, we're not economic rational agents.

Inoltre, noi non siamo agenti economici razionali.

We all are biased.

Abbiamo tutti dei pregiudizi.

We're all racist and bigoted in ways that we wish we weren't,

Siamo tutti razzisti e faziosi in modi che preferiremmo non essere,

in ways that we don't even know.

in modi che neanche immaginiamo.

We know this, though, in aggregate,

Ma lo sappiamo grazie al complesso dei dati,

because sociologists have consistently demonstrated this

perché i sociologi lo hanno dimostrato

with these experiments they build,

con gli esperimenti che fanno,

where they send a bunch of applications to jobs out,

in cui mandano in giro un mucchio di richieste di lavoro,

equally qualified but some have white-sounding names

con uguali qualifiche, ma alcune con nomi da bianchi,

and some have black-sounding names,

altre con nomi da afro-americani,

and it's always disappointing, the results -- always.

e il risultato è sempre deludente. Sempre.

So we are the ones that are biased,

Quindi, siamo noi ad avere pregiudizi,

and we are injecting those biases into the algorithms

e stiamo iniettando quei pregiudizi negli algoritmi,

by choosing what data to collect,

decidendo quali dati raccogliere,

like I chose not to think about ramen noodles --

come ho scelto di non pensare a quei noodles istantanei,

I decided it was irrelevant.

ho deciso che era irrilevante.

But by trusting the data that's actually picking up on past practices

Lo facciamo fidandoci di dati che si riferiscono a prassi del passato

and by choosing the definition of success,

e scegliendo gli indicatori per valutare il successo

how can we expect the algorithms to emerge unscathed?

Come possiamo aspettarci che gli algoritmi ne escano indenni?

We can't. We have to check them.

Non possiamo. Dobbiamo controllarli.

We have to check them for fairness.

Dobbiamo controllarli per garantirne l'imparzialità.

The good news is, we can check them for fairness.

La buona notizia è che possiamo verificarne l'imparzialità.

Algorithms can be interrogated,

Gli algoritmi possono essere interrogati,

and they will tell us the truth every time.

e ci diranno la verità ogni volta.

And we can fix them. We can make them better.

Possiamo sistemarli. Possiamo renderli migliori.

I call this an algorithmic audit,

Lo definisco un audit algoritmico,

and I'll walk you through it.

e ve lo illustro.

First, data integrity check.

Primo, controllo dell'integrità dei dati.

For the recidivism risk algorithm I talked about,

Per il rischio di recidività degli algoritmi di cui ho parlato,

a data integrity check would mean we'd have to come to terms with the fact

un controllo dell'integrità dei dati significherebbe constatare il fatto

that in the US, whites and blacks smoke pot at the same rate

che negli US, la percentuale di bianchi e neri che fumano erba è uguale

but blacks are far more likely to be arrested --

ma i neri hanno molte più probabilità di essere arrestati,

four or five times more likely, depending on the area.

da 4 o 5 volte di più, a seconda della zona.

Che forma assume quel pregiudizio in altre categorie criminologiche,

What is that bias looking like in other crime categories,

and how do we account for it?

e come possiamo tenerne conto?

Second, we should think about the definition of success,

Secondo, dovremmo considerare la definizione di successo,

audit that.

sottoporla a verifica.

Remember -- with the hiring algorithm? We talked about it.

Ricordate l'algoritmo delle assunzioni che ho illustrato?

Someone who stays for four years and is promoted once?

Uno che mantiene il lavoro per quattro anni ed è promosso una volta?

Well, that is a successful employee,

Quello è un impiegato di successo,

but it's also an employee that is supported by their culture.

ma è anche un impiegato sostenuto dalla loro cultura.

That said, also it can be quite biased.

Detto questo, può esserci anche un lieve pregiudizio.

We need to separate those two things.

Dobbiamo distinguere questi due aspetti.

We should look to the blind orchestra audition

Dovremmo prendere le audizioni d'orchestra alla cieca

as an example.

come esempio.

That's where the people auditioning are behind a sheet.

Quelle in cui chi fa il provino sta dietro uno schermo.

What I want to think about there

Quello a cui voglio pensare

is the people who are listening have decided what's important

è che le persone che stanno ascoltando hanno deciso cosa sia importante

and they've decided what's not important,

e cosa non lo è,

and they're not getting distracted by that.

e non si lasceranno distrarre.

When the blind orchestra auditions started,

da quando le audizioni d'orchestra alla cieca sono iniziate,

the number of women in orchestras went up by a factor of five.

il numero di donne nelle orchestre è quintuplicato.

Next, we have to consider accuracy.

Poi dobbiamo considerare l'accuratezza.

This is where the value-added model for teachers would fail immediately.

È qui che il "modello di valore aggiunto" per insegnanti fallisce immediatamente.

No algorithm is perfect, of course,

Nessun algoritmo è perfetto, certo,

so we have to consider the errors of every algorithm.

quindi dobbiamo considerare gli errori di ogni algoritmo.

How often are there errors, and for whom does this model fail?

Quanto spesso ci sono errori e per chi fallisce questo modello?

What is the cost of that failure?

Qual è il prezzo di quel fallimento?

And finally, we have to consider

Infine, dobbiamo considerare

the long-term effects of algorithms,

gli effetti a lungo termine degli algoritmi,

the feedback loops that are engendering.

i cicli di feedback che stanno generando.

That sounds abstract,

Può sembrarvi un'astrazione,

but imagine if Facebook engineers had considered that

ma immaginate se i tecnici di Facebook lo avessero considerato

before they decided to show us only things that our friends had posted.

prima di decidere di mostrarci solo le cose pubblicate dai nostri amici.

I have two more messages, one for the data scientists out there.

Ho altre due raccomandazioni, una per gli analisti di dati là fuori.

Data scientists: we should not be the arbiters of truth.

Analisti: non dovremmo essere gli arbitri della verità.

We should be translators of ethical discussions that happen

Dovremmo essere i traduttori delle discussioni etiche che accadono

in larger society.

nella società.

(Applause)

(Applausi)

And the rest of you,

E per tutti gli altri,

the non-data scientists:

i non-analisti di dati:

this is not a math test.

questo non è un esame di matematica.

This is a political fight.

Questa è una lotta politica.

We need to demand accountability for our algorithmic overlords.

Dobbiamo pretendere più trasparenza dai signori degli algoritmi.

(Applause)

(Applausi)

The era of blind faith in big data must end.

L'era della fede cieca nelle masse di dati deve finire.

Thank you very much.

Vi ringrazio molto.

(Applause)

(Applausi)