Machine intelligence makes human morals more important | Zeynep Tufekci

Traducteur: Morgane Quilfen Relecteur: Claire Ghyselen

So, I started my first job as a computer programmer

Mon premier travail était programmeuse informatique

in my very first year of college --

durant ma première année à l'université --

basically, as a teenager.

quand j'étais adolescente.

Soon after I started working,

Peu après avoir commencé à écrire des programmes en entreprise,

writing software in a company,

a manager who worked at the company came down to where I was,

un responsable de l'entreprise est venu me voir

and he whispered to me,

et m'a murmuré :

"Can he tell if I'm lying?"

« Peut-il dire si je mens ? »

There was nobody else in the room.

Il n'y avait personne d'autre dans la pièce.

"Can who tell if you're lying? And why are we whispering?"

« Qui peut dire si vous mentez ? Et pourquoi chuchotez-vous ? »

The manager pointed at the computer in the room.

Le responsable a pointé du doigt l'ordinateur dans la pièce.

"Can he tell if I'm lying?"

« Peut-il dire si je mens ? »

Well, that manager was having an affair with the receptionist.

Ce responsable avait une aventure avec la réceptionniste.

(Laughter)

(Rires)

And I was still a teenager.

J'étais toujours adolescente.

So I whisper-shouted back to him,

J'ai lui ai murmuré-crié :

"Yes, the computer can tell if you're lying."

« Oui, l'ordinateur peut dire si vous mentez. »

(Laughter)

(Rires)

Well, I laughed, but actually, the laugh's on me.

J'ai rigolé, mais c'est de moi qu'on peut se moquer.

Nowadays, there are computational systems

Il y a aujourd'hui des systèmes informatiques

that can suss out emotional states and even lying

qui peuvent repérer les états émotionnels et les mensonges

from processing human faces.

en traitant les informations du visage humain.

Advertisers and even governments are very interested.

Les publicitaires et les gouvernements sont très intéressés.

I had become a computer programmer

J'étais devenue programmeuse informatique

because I was one of those kids crazy about math and science.

car j'étais l'une de ces gamines folles de maths et de sciences.

But somewhere along the line I'd learned about nuclear weapons,

Mais, en chemin, j'avais découvert les armes nucléaires

and I'd gotten really concerned with the ethics of science.

et je me sentais très concernée par l'éthique de la science.

I was troubled.

J'étais troublée.

However, because of family circumstances,

Cependant, du fait de circonstances familiales,

I also needed to start working as soon as possible.

je devais aussi commencer à travailler aussi vite que possible.

So I thought to myself, hey, let me pick a technical field

Je me suis dit : « Choisis un domaine technique

where I can get a job easily

où tu peux avoir un emploi facilement

and where I don't have to deal with any troublesome questions of ethics.

et où je n'ai pas à gérer des questions d'éthique difficiles. »

So I picked computers.

J'ai donc choisi l'informatique.

(Laughter)

(Rires)

Well, ha, ha, ha! All the laughs are on me.

Eh bien, ah ah ah ! On peut se moquer de moi.

Nowadays, computer scientists are building platforms

Aujourd'hui, les informaticiens construisent des plateformes

that control what a billion people see every day.

qui contrôlent chaque jour ce que voient un milliard de personnes.

They're developing cars that could decide who to run over.

Ils développent des voitures pouvant décider qui écraser.

They're even building machines, weapons,

Ils construisent même des machines, des armes

that might kill human beings in war.

qui pourraient tuer des êtres humains dans une guerre.

It's ethics all the way down.

Il y a de l'éthique partout.

Machine intelligence is here.

L'intelligence artificielle est arrivée.

We're now using computation to make all sort of decisions,

Nous utilisons l'informatique pour prendre toutes sortes de décisions,

but also new kinds of decisions.

y compris de nouvelles décisions.

We're asking questions to computation that have no single right answers,

Nous posons à l'informatique

des questions auxquelles il n'y a pas d'unique bonne réponse,

that are subjective

qui sont subjectives,

and open-ended and value-laden.

ouvertes et reposent sur des valeurs.

We're asking questions like,

Nous posons des questions comme :

"Who should the company hire?"

« Qui devrait-on embaucher ? »

"Which update from which friend should you be shown?"

« Quelles nouvelles de quel ami devrait-on vous montrer ? »

"Which convict is more likely to reoffend?"

« Quel prisonnier va probablement récidiver ? »

"Which news item or movie should be recommended to people?"

« Quel nouvel objet ou film devrait être recommandé aux gens ? »

Look, yes, we've been using computers for a while,

Cela fait un certain temps que nous utilisons des ordinateurs

but this is different.

mais c'est différent.

This is a historical twist,

C'est un changement historique :

because we cannot anchor computation for such subjective decisions

car on ne peut pas utiliser l'informatique pour des décisions si subjectives

the way we can anchor computation for flying airplanes, building bridges,

comme on utilise l'informatique pour piloter un avion, construire un pont,

going to the moon.

aller sur la Lune.

Are airplanes safer? Did the bridge sway and fall?

Les avions sont-ils plus sûrs ? Un pont a-t-il bougé et est tombé ?

There, we have agreed-upon, fairly clear benchmarks,

Là, nous nous accordons sur des repères assez clairs

and we have laws of nature to guide us.

et les lois de la nature nous guident.

We have no such anchors and benchmarks

Nous n'avons pas de tels ancres et repères

for decisions in messy human affairs.

pour les décisions des affaires complexes humaines.

To make things more complicated, our software is getting more powerful,

Pour compliquer encore les choses, nos logiciels gagnent en puissance

but it's also getting less transparent and more complex.

mais sont aussi moins transparents et plus complexes.

Recently, in the past decade,

Récemment, les dix dernières années,

complex algorithms have made great strides.

les algorithmes complexes ont fait de grandes avancées.

They can recognize human faces.

Ils peuvent reconnaître les visages humains,

They can decipher handwriting.

déchiffrer l'écriture,

They can detect credit card fraud

détecter la fraude à la carte bancaire,

and block spam

bloquer le spam,

and they can translate between languages.

traduire d'une langue à une autre,

They can detect tumors in medical imaging.

détecter les tumeurs en imagerie médicale,

They can beat humans in chess and Go.

battre les humains aux échecs et au go.

Much of this progress comes from a method called "machine learning."

Beaucoup de ces progrès découlent d'une méthode :

« l'apprentissage de la machine ».

Machine learning is different than traditional programming,

Cette méthode est différente de la programmation traditionnelle

where you give the computer detailed, exact, painstaking instructions.

où l'on donne des instructions détaillées, exactes, méticuleuses à l'ordinateur.

It's more like you take the system and you feed it lots of data,

Cela ressemble plus à un système nourri de données,

including unstructured data,

dont des données non structurées,

like the kind we generate in our digital lives.

comme celles générées par notre vie numérique.

And the system learns by churning through this data.

Le système apprend en parcourant ces données.

And also, crucially,

Et aussi, c'est crucial,

these systems don't operate under a single-answer logic.

ces systèmes n'utilisent pas la logique de la réponse unique.

They don't produce a simple answer; it's more probabilistic:

Ils ne produisent pas une seule réponse, c'est plus probabiliste :

"This one is probably more like what you're looking for."

« Celle-ci est probablement plus proche de ce que vous cherchez. »

Now, the upside is: this method is really powerful.

L'avantage est que cette méthode est très puissante.

The head of Google's AI systems called it,

Le chef de l'IA chez Google l'a appelée :

"the unreasonable effectiveness of data."

« l'efficacité irraisonnable des données ».

The downside is,

L'inconvénient est :

we don't really understand what the system learned.

nous ne comprenons pas vraiment ce que le système a appris.

In fact, that's its power.

En fait, c'est sa force.

This is less like giving instructions to a computer;

C'est moins comme donner des instructions à un ordinateur ;

it's more like training a puppy-machine-creature

plus comme entraîner une machine-chiot-créature

we don't really understand or control.

que nous ne comprenons ni ne contrôlons vraiment.

So this is our problem.

Voilà notre problème.

It's a problem when this artificial intelligence system gets things wrong.

C'est un problème quand cette intelligence artificielle comprend mal les choses.

It's also a problem when it gets things right,

C'est aussi un problème quand elle comprend les choses

because we don't even know which is which when it's a subjective problem.

car on ne sait pas différencier ces situations pour un problème subjectif.

We don't know what this thing is thinking.

Nous ignorons ce que pense cette chose.

So, consider a hiring algorithm --

Considérez un algorithme d'embauche --

a system used to hire people, using machine-learning systems.

un système utilisé pour embaucher des gens en utilisant l'apprentissage des machines.

Such a system would have been trained on previous employees' data

Un tel système aurait été entraîné sur les données des employés

and instructed to find and hire

et chargé de trouver et embaucher

people like the existing high performers in the company.

des gens similaires à ceux les plus performants de l'entreprise.

Sounds good.

Cela semble bien.

I once attended a conference

Une fois, j'ai assisté à une conférence

qui réunissait responsables des ressources humaines et des dirigeants,

that brought together human resources managers and executives,

high-level people,

des gens de haut niveau,

using such systems in hiring.

avec de tels systèmes d'embauche.

They were super excited.

Ils étaient très excités.

They thought that this would make hiring more objective, less biased,

Ils pensaient que cela rendrait l'embauche plus objective, moins biaisée

and give women and minorities a better shot

et donnerait plus de chances aux femmes et minorités

against biased human managers.

face à des responsables RH partiaux.

And look -- human hiring is biased.

L'embauche humaine est partiale.

I know.

Je sais.

I mean, in one of my early jobs as a programmer,

Dans l'un de mes premiers postes en tant que programmeuse,

my immediate manager would sometimes come down to where I was

ma responsable directe venait parfois me voir

really early in the morning or really late in the afternoon,

très tôt le matin ou très tard l'après-midi

and she'd say, "Zeynep, let's go to lunch!"

et elle disait : « Zeinep, allons déjeuner ! »

I'd be puzzled by the weird timing.

L'heure étrange me laissait perplexe.

It's 4pm. Lunch?

Il est 16h, déjeuner ?

I was broke, so free lunch. I always went.

J'étais fauchée, le déjeuner était gratuit donc j'y allais toujours.

I later realized what was happening.

Plus tard, j'ai réalisé ce qu'il se passait.

My immediate managers had not confessed to their higher-ups

Mes responsables directs n'avaient pas dit à leurs responsables

that the programmer they hired for a serious job was a teen girl

qu'ils avaient embauché pour un travail sérieux une adolescente

who wore jeans and sneakers to work.

qui portait un jeans et des baskets au travail.

I was doing a good job, I just looked wrong

Je faisais du bon travail mais mon allure clochait,

and was the wrong age and gender.

j'avais les mauvais âge et sexe.

So hiring in a gender- and race-blind way

Embaucher d'une manière aveugle à la couleur et au sexe

certainly sounds good to me.

me semble très bien.

But with these systems, it is more complicated, and here's why:

Mais avec ces systèmes, c'est plus compliqué, voici pourquoi :

Currently, computational systems can infer all sorts of things about you

actuellement, les systèmes informatiques peuvent déduire beaucoup vous concernant

from your digital crumbs,

grâce à vos miettes numériques,

even if you have not disclosed those things.

même si vous n'avez rien révélé.

They can infer your sexual orientation,

Ils peuvent déduire votre orientation sexuelle,

your personality traits,

vos traits de personnalité,

your political leanings.

vos tendances politiques.

They have predictive power with high levels of accuracy.

Ils ont des pouvoirs prédictifs ayant une exactitude élevée.

Remember -- for things you haven't even disclosed.

Pour des choses que vous n'avez pas révélées.

This is inference.

C'est de la déduction.

I have a friend who developed such computational systems

J'ai une amie qui a développé de tels systèmes informatiques

to predict the likelihood of clinical or postpartum depression

pour prévoir la probabilité d'une dépression clinique ou post-partum

from social media data.

grâce à vos médias sociaux.

The results are impressive.

Les résultats sont impressionnants.

Her system can predict the likelihood of depression

Son système peut prévoir les risques de dépression

months before the onset of any symptoms --

des mois avant l'apparition de tout symptôme --

months before.

des mois avant.

No symptoms, there's prediction.

Aucun symptôme mais une prédiction.

She hopes it will be used for early intervention. Great!

Elle espère que cela sera utilisé pour des interventions précoces, super !

But now put this in the context of hiring.

Mais mettez cela dans le contexte de l'embauche.

So at this human resources managers conference,

Lors de cette conférence de responsables des ressources humaines,

I approached a high-level manager in a very large company,

j'ai approché une responsable d'une très grande entreprise

and I said to her, "Look, what if, unbeknownst to you,

et lui ai dit : « Et si, à votre insu,

your system is weeding out people with high future likelihood of depression?

votre système éliminait les gens avec de forts risques de dépression ?

They're not depressed now, just maybe in the future, more likely.

Ils ne sont pas en dépression mais ont plus de risques pour l'avenir.

What if it's weeding out women more likely to be pregnant

Et s'il éliminait les femmes ayant plus de chances d'être enceintes

in the next year or two but aren't pregnant now?

dans un ou deux ans mais ne le sont pas actuellement ?

What if it's hiring aggressive people because that's your workplace culture?"

Et s'il embauchait des gens agressifs car c'est la culture de l'entreprise ? »

You can't tell this by looking at gender breakdowns.

On ne peut pas le dire en regardant la répartition par sexe.

Those may be balanced.

Cela peut être équilibré.

And since this is machine learning, not traditional coding,

Puisque c'est de l'apprentissage de la machine, non du code traditionnel,

there is no variable there labeled "higher risk of depression,"

il n'y a pas de variables appelées « plus de risques de dépression »,

"higher risk of pregnancy,"

« plus de risques d'être enceinte »,

"aggressive guy scale."

« échelle d'agressivité d'un mec ».

Not only do you not know what your system is selecting on,

Non seulement vous ignorez ce que votre système utilise pour choisir,

you don't even know where to begin to look.

mais vous ignorez où chercher.

It's a black box.

C'est une boîte noire.

It has predictive power, but you don't understand it.

Elle a un pouvoir prédictif mais vous ne le comprenez pas.

"What safeguards," I asked, "do you have

J'ai demandé : « Quelle garantie avez-vous

to make sure that your black box isn't doing something shady?"

pour vous assurer que votre boîte noire ne fait rien de louche ? »

She looked at me as if I had just stepped on 10 puppy tails.

Elle m'a regardée comme si je venais de l'insulter.

(Laughter)

(Rires)

She stared at me and she said,

Elle m'a fixée et m'a dit :

"I don't want to hear another word about this."

« Je ne veux rien entendre de plus. »

And she turned around and walked away.

Puis elle s'est tournée et est partie.

Mind you -- she wasn't rude.

Elle n'était pas impolie.

It was clearly: what I don't know isn't my problem, go away, death stare.

C'était clairement du :

« ce que j'ignore n'est pas mon problème, allez-vous en, regard meurtrier ».

(Laughter)

(Rires)

Look, such a system may even be less biased

Un tel système pourrait être moins biaisé

than human managers in some ways.

que les responsables humains.

And it could make monetary sense.

Et il pourrait être monétairement censé.

But it could also lead

Mais il pourrait aussi mener

to a steady but stealthy shutting out of the job market

à une fermeture du marché du travail stable mais dissimulée

of people with higher risk of depression.

pour les gens avec plus de risques de dépression.

Is this the kind of society we want to build,

Est-ce le genre de société que nous voulons bâtir,

without even knowing we've done this,

sans même savoir que nous l'avons fait,

because we turned decision-making to machines we don't totally understand?

car nous avons confié la prise de décisions à des machines

que nous ne comprenons pas vraiment ?

Another problem is this:

Un autre problème :

these systems are often trained on data generated by our actions,

ces systèmes sont souvent entraînés sur des données générées par nos actions,

human imprints.

des empreintes humaines.

Well, they could just be reflecting our biases,

Elles pourraient refléter nos préjugés

and these systems could be picking up on our biases

et ces systèmes pourraient apprendre nos préjugés,

and amplifying them

les amplifier

and showing them back to us,

et nous les retourner

while we're telling ourselves,

alors que nous nous disons :

"We're just doing objective, neutral computation."

« Nous ne faisons que de l'informatique neutre et objective. »

Researchers found that on Google,

Des chercheurs chez Google ont découvert

women are less likely than men to be shown job ads for high-paying jobs.

qu'on a moins de chances de montrer aux femmes plutôt qu'aux hommes

des offres d'emploi avec un salaire élevé.

And searching for African-American names

Et chercher des noms afro-américains

is more likely to bring up ads suggesting criminal history,

a plus de chances de retourner

des publicités suggérant un historique criminel,

even when there is none.

même quand il n'y en a pas.

Such hidden biases and black-box algorithms

De tels préjugés cachés et des algorithmes boîte noire

that researchers uncover sometimes but sometimes we don't know,

qui sont parfois découverts par les chercheurs, parfois non,

can have life-altering consequences.

peuvent avoir des conséquences qui changent la vie.

In Wisconsin, a defendant was sentenced to six years in prison

Dans le Wisconsin, un prévenu a été condamné à 6 ans de prison

for evading the police.

pour avoir échappé à la police.

You may not know this,

Vous l'ignorez peut-être

but algorithms are increasingly used in parole and sentencing decisions.

mais des algorithmes sont utilisés pour les probations et les condamnations.

He wanted to know: How is this score calculated?

Nous voulions savoir comment ce score était calculé.

It's a commercial black box.

C'est une boîte noire commerciale.

The company refused to have its algorithm be challenged in open court.

L'entreprise a refusé que l'on conteste son algorithme en audience publique.

But ProPublica, an investigative nonprofit, audited that very algorithm

Mais ProPublica, une organisation d'enquête, a audité cet algorithme

with what public data they could find,

avec des données publiques

and found that its outcomes were biased

et a découvert que les résultats étaient biaisés,

and its predictive power was dismal, barely better than chance,

que son pouvoir prédictif était mauvais, à peine meilleur que la chance,

and it was wrongly labeling black defendants as future criminals

et qu'il étiquetait les prévenus noirs comme de futurs criminels

at twice the rate of white defendants.

avec un taux deux fois plus élevé que pour les prévenus blancs.

So, consider this case:

Considérez ce cas :

This woman was late picking up her godsister

cette femme était en retard pour récupérer sa filleule

from a school in Broward County, Florida,

à une école du comté de Broward, en Floride,

running down the street with a friend of hers.

elle courait dans la rue avec une amie à elle.

They spotted an unlocked kid's bike and a scooter on a porch

Elles ont repéré une bécane et un vélo non attachés sur un porche

and foolishly jumped on it.

et ont bêtement sauté dessus.

As they were speeding off, a woman came out and said,

Alors qu'elles partaient, une femme est sortie et a dit :

"Hey! That's my kid's bike!"

« Hey ! C'est la bécane de mon fils ! »

They dropped it, they walked away, but they were arrested.

Elles l'ont lâchée, sont parties mais ont été arrêtées.

She was wrong, she was foolish, but she was also just 18.

Elle avait tort, elle a été idiote mais elle n'avait que 18 ans.

She had a couple of juvenile misdemeanors.

Adolescente, elle avait commis quelques méfaits.

Meanwhile, that man had been arrested for shoplifting in Home Depot --

Pendant ce temps, cet homme a été arrêté pour vol chez Home Depot --

85 dollars' worth of stuff, a similar petty crime.

pour une valeur de 85$, un crime mineur similaire.

But he had two prior armed robbery convictions.

Mais il avait deux condamnations pour vol à main armée.

But the algorithm scored her as high risk, and not him.

L'algorithme l'a considérée elle, comme étant un risque important, pas lui.

Two years later, ProPublica found that she had not reoffended.

Deux ans plus tard, ProPublica a découvert qu'elle n'avait pas récidivé.

It was just hard to get a job for her with her record.

Son casier judiciaire compliquait sa recherche d'emploi.

He, on the other hand, did reoffend

Lui, d'un autre côté, avait récidivé

and is now serving an eight-year prison term for a later crime.

et avait été condamné à 8 ans pour un autre crime.

Clearly, we need to audit our black boxes

Clairement, nous devons auditer nos boîtes noires

and not have them have this kind of unchecked power.

et ne pas leur laisser ce genre de pouvoir incontrôlé.

(Applause)

(Applaudissements)

Audits are great and important, but they don't solve all our problems.

Les audits sont importants,

mais ils ne résolvent pas tous nos problèmes.

Take Facebook's powerful news feed algorithm --

Prenez le puissant algorithme du fil d'actualités Facebook,

you know, the one that ranks everything and decides what to show you

celui qui classe tout et décide quoi vous montrer

from all the friends and pages you follow.

des amis et des pages que vous suivez.

Should you be shown another baby picture?

Devrait-on vous montrer une autre photo de bébé ?

(Laughter)

(Rires)

A sullen note from an acquaintance?

Une note maussade d'une connaissance ?

An important but difficult news item?

Une actualité importante mais dure ?

There's no right answer.

Il n'y a pas de bonne réponse.

Facebook optimizes for engagement on the site:

Facebook optimise pour vous engager envers le site :

likes, shares, comments.

les j'aime, partages, commentaires.

In August of 2014,

En août 2014,

protests broke out in Ferguson, Missouri,

des manifestations ont éclaté à Ferguson, dans le Missouri,

after the killing of an African-American teenager by a white police officer,

après qu'un adolescent afro-américain a été tué par un officier de police blanc

under murky circumstances.

dans des circonstances douteuses.

The news of the protests was all over

La nouvelle des manifestations remplissait mon fil d'actualité Twitter non filtré

my algorithmically unfiltered Twitter feed,

but nowhere on my Facebook.

mais n'était pas sur mon Facebook.

Was it my Facebook friends?

Était-ce mes amis Facebook ?

I disabled Facebook's algorithm,

J'ai désactivé l'algorithme Facebook,

which is hard because Facebook keeps wanting to make you

ce qui est difficile car Facebook veut vous faire passer

come under the algorithm's control,

sous le contrôle de l'algorithme,

and saw that my friends were talking about it.

et j'ai vu que mes amis en parlaient.

It's just that the algorithm wasn't showing it to me.

C'est juste que l'algorithme ne me le montrait pas.

I researched this and found this was a widespread problem.

Après des recherches, j'ai découvert que le problème est répandu.

The story of Ferguson wasn't algorithm-friendly.

L'histoire de Ferguson ne plaisait pas à l'algorithme.

It's not "likable."

Ce n'était pas « aimable », qui allait cliquer sur « j'aime » ?

Who's going to click on "like?"

It's not even easy to comment on.

Ce n'est même pas facile à commenter.

Without likes and comments,

Sans j'aime et commentaires,

the algorithm was likely showing it to even fewer people,

l'algorithme allait le montrer à un nombre décroissant de gens,

so we didn't get to see this.

donc nous ne pouvions le voir.

Instead, that week,

Cette semaine-là,

Facebook's algorithm highlighted this,

Facebook a plutôt souligné ceci,

which is the ALS Ice Bucket Challenge.

le Ice Bucket Challenge.

Worthy cause; dump ice water, donate to charity, fine.

Cause méritante, lâcher d'eau glacée, donner à une charité, très bien.

But it was super algorithm-friendly.

Cela plaisait beaucoup à l'algorithme.

The machine made this decision for us.

La machine a pris cette décision pour nous.

A very important but difficult conversation

Une conversation très importante mais difficile

might have been smothered,

aurait pu être étouffée

had Facebook been the only channel.

si Facebook avait été le seul canal.

Now, finally, these systems can also be wrong

Finalement, ces systèmes peuvent aussi avoir tort

in ways that don't resemble human systems.

de façons qui ne ressemblent pas aux systèmes humains.

Do you guys remember Watson, IBM's machine-intelligence system

Vous souvenez-vous de Watson, le système d'IA d'IBM

that wiped the floor with human contestants on Jeopardy?

qui a éliminé les participants humains dans Jeopardy ?

It was a great player.

C'était un super joueur.

But then, for Final Jeopardy, Watson was asked this question:

Mais, pour la finale de Jeopardy, on a posé cette question à Watson :

"Its largest airport is named for a World War II hero,

« Le plus grand aéroport ayant le nom d'un héros de 39-45,

its second-largest for a World War II battle."

le second plus grand pour une bataille de 39-45. »

(Hums Final Jeopardy music)

(Signal sonore de fin)

Chicago.

Chicago.

The two humans got it right.

Les deux humains avaient raison.

Watson, on the other hand, answered "Toronto" --

Watson, par contre, a répondu « Toronto » --

for a US city category!

à une question sur les villes des États-Unis !

The impressive system also made an error

L'impressionnant système a aussi fait une erreur

that a human would never make, a second-grader wouldn't make.

qu'un humain ne ferait jamais, qu'un CE1 ne ferait jamais.

Our machine intelligence can fail

Notre intelligence artificielle peut échouer

in ways that don't fit error patterns of humans,

de façons ne correspondant pas aux schémas d'erreurs humaines,

in ways we won't expect and be prepared for.

de façons inattendues et imprévues.

It'd be lousy not to get a job one is qualified for,

Il serait lamentable de ne pas obtenir un emploi pour lequel on est qualifié

but it would triple suck if it was because of stack overflow

mais ce serait pire si c'était à cause d'un dépassement de pile

in some subroutine.

dans une sous-routine.

(Laughter)

(Rires)

In May of 2010,

En mai 2010,

a flash crash on Wall Street fueled by a feedback loop

un crash éclair sur Wall Street alimenté par une boucle de rétroaction

in Wall Street's "sell" algorithm

dans un algorithme de vente de Wall Street

wiped a trillion dollars of value in 36 minutes.

a fait perdre mille milliards de dollars en 36 minutes.

I don't even want to think what "error" means

Je refuse de penser au sens du mot « erreur »

in the context of lethal autonomous weapons.

dans le contexte des armes mortelles autonomes.

So yes, humans have always made biases.

Oui, les humains ont toujours été partiaux.

Decision makers and gatekeepers,

Les preneurs de décision et gardiens,

in courts, in news, in war ...

dans les tribunaux, les actualités, en guerre...

they make mistakes; but that's exactly my point.

Ils font des erreurs ; mais c'est de cela dont je parle.

We cannot escape these difficult questions.

Nous ne pouvons pas échapper à ces questions difficiles.

We cannot outsource our responsibilities to machines.

Nous ne pouvons pas sous-traiter nos responsabilités aux machines.

(Applause)

(Applaudissements)

Artificial intelligence does not give us a "Get out of ethics free" card.

L'intelligence artificielle n'offre pas une carte « sortie de l'éthique ».

Data scientist Fred Benenson calls this math-washing.

Le scientifique des données Fred Benenson qualifie cela de lavage des maths.

We need the opposite.

Il nous faut l'opposé.

We need to cultivate algorithm suspicion, scrutiny and investigation.

Nous devons cultiver la suspicion, le contrôle et l'enquête de l'algorithme.

We need to make sure we have algorithmic accountability,

Nous devons nous assurer de la responsabilité des algorithmes,

auditing and meaningful transparency.

les auditer et avoir une transparence significative.

We need to accept that bringing math and computation

Nous devons accepter qu'apporter les maths et l'informatique

to messy, value-laden human affairs

dans les affaires humaines désordonnées et basées sur des valeurs

does not bring objectivity;

n'apporte pas l'objectivité

rather, the complexity of human affairs invades the algorithms.

mais plutôt que la complexité des affaires humaines

envahit les algorithmes.

Yes, we can and we should use computation

Nous devrions utiliser l'informatique

to help us make better decisions.

pour prendre de meilleures décisions.

But we have to own up to our moral responsibility to judgment,

Mais nous devons assumer notre responsabilité morale de jugement

and use algorithms within that framework,

et utiliser les algorithmes dans ce cadre,

not as a means to abdicate and outsource our responsibilities

pas comme un moyen d'abdiquer et sous-traiter nos responsabilités

to one another as human to human.

d'un humain à un autre.

Machine intelligence is here.

L'intelligence artificielle est arrivée.

That means we must hold on ever tighter

Cela signifie que nous devons nous accrocher encore plus

to human values and human ethics.

aux valeurs et éthiques humaines.

Thank you.

Merci.

(Applause)

(Applaudissements)