The era of blind faith in big data must end | Cathy O'Neil

Traducteur: Pauline Forêt Relecteur: Shadia Ramsahye

Algorithms are everywhere.

Les algorithmes sont partout.

They sort and separate the winners from the losers.

Ils trient et séparent les vainqueurs des perdants.

The winners get the job

Les vainqueurs obtiennent le poste

or a good credit card offer.

ou une bonne offre de carte de crédit.

The losers don't even get an interview

Les perdants n'obtiennent même pas un entretien

or they pay more for insurance.

ou paient leur assurance plus cher.

We're being scored with secret formulas that we don't understand

On nous classe avec des formules secrètes que nous ne comprenons pas

that often don't have systems of appeal.

qui n'offrent pas souvent de systèmes de recours.

That begs the question:

La question se pose donc :

What if the algorithms are wrong?

et si les algorithmes sont faux ?

To build an algorithm you need two things:

Deux choses constituent un algorithme :

you need data, what happened in the past,

des données historiques,

and a definition of success,

et une définition du succès,

the thing you're looking for and often hoping for.

ce que l'on espère trouver.

You train an algorithm by looking, figuring out.

On forme un algorithme en observant, en comprenant,

The algorithm figures out what is associated with success.

l'algorithme trouve ce que l'on associe au succès,

What situation leads to success?

la situation qui mène au succès.

Actually, everyone uses algorithms.

En fait, tout le monde utilise des algorithmes

They just don't formalize them in written code.

sans forcément les formaliser en les écrivant.

Let me give you an example.

Voici un exemple :

I use an algorithm every day to make a meal for my family.

chaque jour, en cuisinant je me sers d'un algorithme.

The data I use

Les données que j'utilise

sont les ingrédients à disposition,

is the ingredients in my kitchen,

the time I have,

le temps dont je dispose,

the ambition I have,

l'ambition que j'ai,

and I curate that data.

et je conserve ces données.

I don't count those little packages of ramen noodles as food.

Je ne considère pas les paquets de ramen comme de la nourriture.

(Laughter)

(Rires)

My definition of success is:

Ma définition du succès est :

a meal is successful if my kids eat vegetables.

un repas est réussi si mes enfants mangent des légumes.

Si mon fils était aux commandes, ce serait différent.

It's very different from if my youngest son were in charge.

He'd say success is if he gets to eat lots of Nutella.

Pour lui, le succès serait de manger plein de Nutella.

But I get to choose success.

Mais c'est moi qui choisis ce qu'est le succès.

I am in charge. My opinion matters.

Je commande. C'est mon avis qui compte.

That's the first rule of algorithms.

C'est la première règle des algorithmes.

Algorithms are opinions embedded in code.

Les algorithmes sont des opinions intégrées dans du code.

It's really different from what you think most people think of algorithms.

C'est très différent de ce que les gens pensent des algorithmes.

They think algorithms are objective and true and scientific.

Ils pensent que les algorithmes sont objectifs, vrais et scientifiques.

That's a marketing trick.

C'est une astuce marketing.

It's also a marketing trick

C'en est une autre

to intimidate you with algorithms,

de vous intimider avec des algorithmes,

to make you trust and fear algorithms

de vous faire croire et craindre les algorithmes,

car vous croyez et craignez les mathématiques.

because you trust and fear mathematics.

A lot can go wrong when we put blind faith in big data.

Tout peut mal tourner quand on a une foi aveugle dans le Big Data.

Voici Kiri Soares. Elle est directrice d'un lycée à Brooklyn.

This is Kiri Soares. She's a high school principal in Brooklyn.

In 2011, she told me her teachers were being scored

En 2011, elle m'a dit que ses professeurs étaient classés

with a complex, secret algorithm

par un algorithme complexe et secret

called the "value-added model."

appelé le « modèle de valeur ajoutée ».

I told her, "Well, figure out what the formula is, show it to me.

Je lui ai dit : « Trouve la formule, montre-la moi,

I'm going to explain it to you."

et je vais te l'expliquer. »

She said, "Well, I tried to get the formula,

Elle m'a dit : « J'ai essayé de la trouver,

but my Department of Education contact told me it was math

mais le Ministère de l'éducation m'a dit que c'était des "maths"

and I wouldn't understand it."

et que je ne comprendrais pas. »

Il y a pire.

It gets worse.

The New York Post filed a Freedom of Information Act request,

Le New York Post a invoqué la loi sur la liberté d'information,

got all the teachers' names and all their scores

a obtenu les noms des enseignants ainsi que leur classement,

and they published them as an act of teacher-shaming.

et les ont publiés pour humilier les enseignants.

When I tried to get the formulas, the source code, through the same means,

Quand j'ai tenté d'avoir les formules, le code source, par les mêmes moyens,

I was told I couldn't.

on m'a dit que je ne pouvais pas.

I was denied.

On me les a refusés.

I later found out

Plus tard, j'ai découvert

that nobody in New York City had access to that formula.

que personne à New York n'avait accès à cette formule.

No one understood it.

Personne ne la comprenait.

Then someone really smart got involved, Gary Rubinstein.

Puis quelqu'un de très malin s'en est mêlé, Gary Rubinstein.

He found 665 teachers from that New York Post data

Il a trouvé 665 enseignants des données du New York Post

that actually had two scores.

qui avaient deux notes.

That could happen if they were teaching

Cela peut arriver s'ils enseignaient

seventh grade math and eighth grade math.

les maths en cinquième et en quatrième.

He decided to plot them.

Il a décidé d'en faire un graphique.

Each dot represents a teacher.

Chaque point représente un enseignant.

(Laughter)

(Rires)

What is that?

Qu'est-ce que c'est ?

(Laughter)

(Rires)

That should never have been used for individual assessment.

Ça n'aurait jamais dû être utilisé pour des évaluations individuelles.

It's almost a random number generator.

On dirait presque un générateur aléatoire.

(Applause)

(Applaudissements)

But it was.

Mais ça l'a été.

This is Sarah Wysocki.

Voici Sarah Wysocki.

She got fired, along with 205 other teachers,

Elle a été virée avec 205 autres enseignants

from the Washington, DC school district,

du secteur scolaire de Washington,

even though she had great recommendations from her principal

malgré les excellentes recommandations de son directeur

and the parents of her kids.

et des parents de ses élèves.

I know what a lot of you guys are thinking,

Je sais ce que bon nombre d'entre vous pensent,

especially the data scientists, the AI experts here.

surtout les scientifiques de données,

You're thinking, "Well, I would never make an algorithm that inconsistent."

vous vous dites que vous ne feriez jamais un algorithme aussi incohérent.

But algorithms can go wrong,

Mais les algorithmes peuvent mal tourner,

even have deeply destructive effects with good intentions.

voire avoir des effets destructeurs avec de bonnes intentions.

And whereas an airplane that's designed badly

Alors que quand un avion mal conçu s'écrase,

crashes to the earth and everyone sees it,

tout le monde le voit,

an algorithm designed badly

un algorithme mal conçu, lui,

can go on for a long time, silently wreaking havoc.

peut continuer longtemps à faire des ravages en silence.

This is Roger Ailes.

Voici Roger Ailes.

(Laughter)

(Rires)

He founded Fox News in 1996.

Il a fondé Fox News en 1996.

More than 20 women complained about sexual harassment.

Plus de 20 femmes se sont plaintes de harcèlement sexuel,

They said they weren't allowed to succeed at Fox News.

elles ont dit ne pas avoir eu le droit de réussir chez Fox News.

He was ousted last year, but we've seen recently

Il a été viré l'an dernier, mais on a vu récemment

that the problems have persisted.

que ces problèmes persistent.

That begs the question:

On peut se demander :

What should Fox News do to turn over another leaf?

que devrait faire Fox News pour tourner la page ?

Well, what if they replaced their hiring process

Et s'ils remplaçaient leur procédure de recrutement

with a machine-learning algorithm?

par un algorithme ?

That sounds good, right?

Ça a l'air bien, non ?

Think about it.

Pensez-y.

The data, what would the data be?

Les données, quelles seraient les données ?

A reasonable choice would be the last 21 years of applications to Fox News.

Un choix raisonnable serait les candidatures des 21 dernières années.

Reasonable.

Raisonnable.

What about the definition of success?

Et la définition du succès ?

Reasonable choice would be,

Le choix raisonnable serait,

well, who is successful at Fox News?

mais qui a du succès chez Fox News ?

I guess someone who, say, stayed there for four years

À mon avis, quelqu'un qui y est resté au moins quatre ans,

and was promoted at least once.

qui a été promu au moins une fois.

Sounds reasonable.

Ça m'a l'air raisonnable.

And then the algorithm would be trained.

Et puis l'algorithme serait mis au point.

It would be trained to look for people to learn what led to success,

Mis au point pour sonder les gens, apprendre ce qui les a conduits au succès,

what kind of applications historically led to success

quels types de candidatures ont historiquement mené au succès

by that definition.

par cette définition.

Now think about what would happen

Pensez à ce qu'il pourrait se passer

if we applied that to a current pool of applicants.

si on appliquait cela à un groupe actuel de candidats.

It would filter out women

Le filtrage éliminerait les femmes

because they do not look like people who were successful in the past.

car elles ne ressemblent pas aux gens qui ont eu du succès dans le passé.

Algorithms don't make things fair

Les algorithmes ne rendent pas les choses équitables

if you just blithely, blindly apply algorithms.

si on les applique aveuglément, avec négligence.

They don't make things fair.

Ils n'instaurent pas l'équité.

They repeat our past practices,

Ils reproduisent nos pratiques du passé,

our patterns.

nos habitudes.

They automate the status quo.

Ils automatisent le statu quo.

That would be great if we had a perfect world,

Cela aurait été bien si nous avions un monde parfait,

but we don't.

mais ce n'est pas le cas.

And I'll add that most companies don't have embarrassing lawsuits,

De plus, la plupart des sociétés ne font pas l'objet de poursuites honteuses

but the data scientists in those companies

mais les scientifiques de données dans ces sociétés

are told to follow the data,

sont invités à suivre les données,

to focus on accuracy.

à se concentrer sur la précision.

Think about what that means.

Imaginez ce que ça veut dire :

Because we all have bias, it means they could be codifying sexism

parce que nous avons tous un parti pris, cela veut dire qu'ils pourraient coder

or any other kind of bigotry.

des idées sexistes, entre autres.

Thought experiment,

Petit exercice de réflexion

because I like them:

parce que j'aime en faire :

an entirely segregated society --

une société entièrement en proie à la ségrégation --

racially segregated, all towns, all neighborhoods

à la ségrégation raciale, dans toutes les villes, tous les voisinages

and where we send the police only to the minority neighborhoods

et où la police va seulement dans les quartiers de minorité

to look for crime.

à la recherche de crimes.

The arrest data would be very biased.

Les données policières seraient complètement biaisées.

What if, on top of that, we found the data scientists

Et si, en plus, on trouvait des experts en données

and paid the data scientists to predict where the next crime would occur?

et qu'on les payait pour qu'ils nous prédisent le lieu du prochain crime ?

Minority neighborhood.

Le quartier des minorités.

Or to predict who the next criminal would be?

Ou encore qu'ils prédisent qui serait le prochain criminel ?

A minority.

Un membre d'une minorité.

The data scientists would brag about how great and how accurate

Les experts en données se vanteraient de l'excellence et de l'exactitude

their model would be,

de leur modèle,

and they'd be right.

et ils auraient raison.

Now, reality isn't that drastic, but we do have severe segregations

Bien sûr, la réalité n'est pas comme ça, mais la ségrégation existe tout de même

in many cities and towns,

dans beaucoup d'endroits,

and we have plenty of evidence

et nous avons assez de preuves

of biased policing and justice system data.

que les données policières et judiciaires sont biaisées.

And we actually do predict hotspots,

Et nous prédisons vraiment les zones sensibles,

places where crimes will occur.

là où les crimes seront commis,

And we do predict, in fact, the individual criminality,

et nous prédisons aussi, en fait, les infractions individuelles,

the criminality of individuals.

commises par un seul individu.

The news organization ProPublica recently looked into

L'agence de presse « ProPublica » s'est récemment penchée

one of those "recidivism risk" algorithms,

sur l'un de ces algorithmes de « risque de récidive »,

as they're called,

comme on les appelle,

utilisé par les juges en Floride pendant la détermination de la peine.

being used in Florida during sentencing by judges.

Bernard, on the left, the black man, was scored a 10 out of 10.

Bernard, à gauche, l'homme noir, a obtenu un 10 sur 10.

Dylan, on the right, 3 out of 10.

Dylan, à droite, 3 sur 10.

10 out of 10, high risk. 3 out of 10, low risk.

10 sur 10 risque élevé, 3 sur 10, risque faible.

They were both brought in for drug possession.

Tous deux ont été jugés pour possession de drogue.

They both had records,

Tous deux avaient un casier,

but Dylan had a felony

mais Dylan avait déjà commis un crime,

but Bernard didn't.

ce qui n'était pas le cas de Bernard.

This matters, because the higher score you are,

C'est important, car plus le score est élevé,

the more likely you're being given a longer sentence.

plus il est probable que la sentence soit longue.

What's going on?

Qu'est-ce qu'il se passe ?

Data laundering.

Un blanchiment de données.

It's a process by which technologists hide ugly truths

C'est un processus de technologues pour cacher des vérités gênantes

inside black box algorithms

dans des algorithmes « boîte noire »

and call them objective;

soi-disant objectifs,

call them meritocratic.

soi-disant méritocratiques.

When they're secret, important and destructive,

Quand ces algorithmes sont secrets, importants et destructifs,

I've coined a term for these algorithms:

je leur ai inventé un nom :

"weapons of math destruction."

« armes de destruction math-ive ».

(Laughter)

(Rires)

(Applause)

(Applaudissements)

They're everywhere, and it's not a mistake.

Ils sont partout, et ce n'est pas une erreur !

These are private companies building private algorithms

Il s'agit de compagnie privées, qui créent des algorithmes privés,

for private ends.

à des fins privées.

Even the ones I talked about for teachers and the public police,

Même ceux dont j'ai parlé, pour les professeurs et la police,

those were built by private companies

ont été mis au point par des sociétés privées

and sold to the government institutions.

et vendus au gouvernement.

They call it their "secret sauce" --

Ils appellent ça leur « recette secrète »,

that's why they can't tell us about it.

et donc ne peuvent pas nous en parler.

It's also private power.

C'est aussi du pouvoir privé.

They are profiting for wielding the authority of the inscrutable.

Ils tirent profit en donnant de l'autorité à ce qu'on ne comprend pas.

Now you might think, since all this stuff is private

Vous pourriez penser, puisque tout ceci est privé,

and there's competition,

et qu'il y a concurrence,

maybe the free market will solve this problem.

que le marché libre pourrait résoudre ce problème.

It won't.

Eh bien non.

There's a lot of money to be made in unfairness.

Il y a beaucoup d'argent à gagner grâce à l'injustice.

Also, we're not economic rational agents.

De plus, nous ne sommes pas des acteurs économiques rationnels.

We all are biased.

Nous sommes tous partiaux.

We're all racist and bigoted in ways that we wish we weren't,

Nous sommes tous racistes et intolérants sans le vouloir,

in ways that we don't even know.

sans parfois même le savoir.

We know this, though, in aggregate,

Globalement, pourtant, nous le savons,

because sociologists have consistently demonstrated this

car les sociologues l'ont sans cesse démontré

with these experiments they build,

avec ces expériences

where they send a bunch of applications to jobs out,

où ils envoient des candidatures à qualifications égales

equally qualified but some have white-sounding names

mais certaines avec des noms « blancs »

and some have black-sounding names,

et d'autres avec des noms « noirs » :

and it's always disappointing, the results -- always.

les résultats sont toujours décevants. Toujours.

So we are the ones that are biased,

Donc, nous sommes porteurs de préjugés,

and we are injecting those biases into the algorithms

et nous les injectons dans les algorithmes

by choosing what data to collect,

en choisissant les données à collecter

like I chose not to think about ramen noodles --

comme quand j'ai choisi de mettre les ramen de côté,

I decided it was irrelevant.

car ce n'était pas pertinent.

But by trusting the data that's actually picking up on past practices

Mais en se basant sur des données qui reprennent des pratiques passées

and by choosing the definition of success,

et en définissant soi-même la réussite,

how can we expect the algorithms to emerge unscathed?

comment peut-on s'attendre à ce que les algorithmes en sortent indemnes ?

We can't. We have to check them.

On ne peut pas. On doit les contrôler.

We have to check them for fairness.

On doit contrôler leur équité.

The good news is, we can check them for fairness.

La bonne nouvelle, c'est qu'on peut contrôler leur équité.

Algorithms can be interrogated,

Les algorithmes peuvent être interrogés,

and they will tell us the truth every time.

et ils diront la vérité à chaque fois.

And we can fix them. We can make them better.

Et on peut les corriger, les améliorer.

I call this an algorithmic audit,

J'appelle ça un « audit algorithmique »,

and I'll walk you through it.

et je vais vous l'expliquer.

First, data integrity check.

D'abord, vérification de l'intégrité des données.

For the recidivism risk algorithm I talked about,

Pour l'algorithme « risque de récidive » dont j'ai parlé,

a data integrity check would mean we'd have to come to terms with the fact

cette vérification impliquera qu'il faudra se rendre compte du fait

that in the US, whites and blacks smoke pot at the same rate

qu'aux États-Unis, blancs et noirs fument la même quantité de joints,

but blacks are far more likely to be arrested --

mais que les noirs ont bien plus de chance d'être arrêtés,

four or five times more likely, depending on the area.

quatre ou cinq fois plus selon la région.

What is that bias looking like in other crime categories,

A quoi ressemble ce préjugé dans les autres catégories de crime,

and how do we account for it?

et comment en tient-on compte ?

Second, we should think about the definition of success,

Ensuite, on doit réfléchir à la définition du succès,

audit that.

la contrôler.

Remember -- with the hiring algorithm? We talked about it.

Vous vous souvenez, l'algorithme de recrutement ?

Someone who stays for four years and is promoted once?

Quelqu'un qui reste plus de quatre ans et est promu une fois ?

Well, that is a successful employee,

Eh bien, cet employé est performant,

but it's also an employee that is supported by their culture.

mais cet aussi un employé soutenu par sa culture.

That said, also it can be quite biased.

Cela peut donc aussi être biaisé.

We need to separate those two things.

Nous devons séparer ces deux idées.

We should look to the blind orchestra audition

Nous devrions prendre les auditions à l'aveugle

as an example.

comme exemple.

That's where the people auditioning are behind a sheet.

Celles où les gens auditionnent derrière un drap.

What I want to think about there

Ce à quoi je pense ici,

is the people who are listening have decided what's important

c'est que les gens qui écoutent ont décidé de ce qui est important,

and they've decided what's not important,

et de ce qui ne l'est pas,

et ils ne se laissent pas distraire par cela.

and they're not getting distracted by that.

When the blind orchestra auditions started,

Quand les auditions d'orchestre à l'aveugle ont commencé,

the number of women in orchestras went up by a factor of five.

le nombre de femmes dans les orchestres s'est multiplié par 5.

Next, we have to consider accuracy.

Ensuite, nous devons tenir compte de la précision.

This is where the value-added model for teachers would fail immediately.

Le modèle de « valeur-ajoutée » pour professeurs échouerait dans ce cas-là.

No algorithm is perfect, of course,

Aucun algorithme n'est parfait, évidemment,

so we have to consider the errors of every algorithm.

donc nous devons examiner les erreurs de tous les algorithmes.

How often are there errors, and for whom does this model fail?

Reviennent-elles souvent, et pour qui est-ce que le modèle échoue ?

What is the cost of that failure?

Quel est le coût de cet échec ?

And finally, we have to consider

Enfin, nous devons prendre en compte

the long-term effects of algorithms,

l'effet à long terme des algorithmes,

the feedback loops that are engendering.

les boucles de réactions qu'ils engendrent.

That sounds abstract,

Cela semble abstrait,

but imagine if Facebook engineers had considered that

mais imaginez, si les ingénieurs de Facebook y avaient pensé

before they decided to show us only things that our friends had posted.

avant de décider de nous montrer seulement les publications de nos amis.

I have two more messages, one for the data scientists out there.

J'ai encore deux messages, un pour les scientifiques de données ici.

Data scientists: we should not be the arbiters of truth.

Nous ne devrions pas être les arbitres de la vérité.

We should be translators of ethical discussions that happen

Nous devrions être les traducteurs des discussions d'ordre éthique

in larger society.

de la société en général.

(Applause)

(Applaudissements)

And the rest of you,

Et pour le reste d'entre vous,

the non-data scientists:

qui n'êtes pas du milieu,

this is not a math test.

ceci n'est pas un test de math.

This is a political fight.

C'est une bataille politique.

We need to demand accountability for our algorithmic overlords.

Nous devons réclamer des comptes à nos souverains algorithmiques.

(Applause)

(Applaudissements)

The era of blind faith in big data must end.

L'ère de la confiance absolue dans le Big Data doit prendre fin.

Thank you very much.

Merci beaucoup.

(Applause)

(Applaudissements)