How to keep human bias out of AI | Kriti Sharma

Translator: Ivana Korom Reviewer: Joanna Pietrulewicz

Traducteur: Julien Souliers Relecteur: eric vautier

How many decisions have been made about you today,

Combien de décisions ont été prises sur vous aujourd'hui,

or this week or this year,

cette semaine ou cette année,

by artificial intelligence?

par intelligence artificielle ?

I build AI for a living

Je gagne ma vie grâce à l'IA

so, full disclosure, I'm kind of a nerd.

alors, spoiler, je suis un peu une geek.

And because I'm kind of a nerd,

Et parce que je suis un peu une geek,

wherever some new news story comes out

chaque fois qu'il y a un nouvel article

about artificial intelligence stealing all our jobs,

sur comment l'intelligence artificielle vole nos emplois,

or robots getting citizenship of an actual country,

ou sur les robots obtenant la citoyenneté dans un pays,

I'm the person my friends and followers message

Je suis celle à qui mes amis et abonnés envoient un message

freaking out about the future.

paniqués par l'avenir.

We see this everywhere.

Nous voyons ça partout.

This media panic that our robot overlords are taking over.

Cette peur des médias que les robots nous dominent.

We could blame Hollywood for that.

Nous pourrions blâmer Hollywood pour ça.

But in reality, that's not the problem we should be focusing on.

Mais ce n'est pas le problème sur lequel nous devrions nous concentrer.

There is a more pressing danger, a bigger risk with AI,

Il y a un danger plus pressant, un plus grand risque avec l'IA,

that we need to fix first.

que nous devons résoudre d'abord.

So we are back to this question:

Nous revenons donc à cette question :

How many decisions have been made about you today by AI?

Combien de décisions ont été prises sur vous aujourd'hui par l'IA ?

And how many of these

Et combien de ces décisions

were based on your gender, your race or your background?

étaient basées sur votre sexe, votre origine ou votre milieu ?

Algorithms are being used all the time

Les algorithmes sont utilisés tout le temps

to make decisions about who we are and what we want.

pour décider de qui nous sommes et ce que nous voulons.

Some of the women in this room will know what I'm talking about

Quelques femmes dans cette salle savent de quoi je parle

if you've been made to sit through those pregnancy test adverts on YouTube

si vous avez vu passer des pubs pour des tests de grossesse sur Youtube

like 1,000 times.

environ 1 000 fois.

Or you've scrolled past adverts of fertility clinics

Ou vous avez vu des annonces pour des cliniques de fertilité

on your Facebook feed.

sur votre mur Facebook.

Or in my case, Indian marriage bureaus.

Ou comme moi, des agences de mariage indiennes.

(Laughter)

(Rires)

But AI isn't just being used to make decisions

Mais l'IA n'est pas juste utilisée pour prendre des décisions

about what products we want to buy

sur les produits que nous consommons

or which show we want to binge watch next.

ou indiquer ce que nous voulons binge watcher.

I wonder how you'd feel about someone who thought things like this:

Que penseriez-vous de quelqu'un qui penserait :

"A black or Latino person

« Il y a moins de chances qu'une personne

is less likely than a white person to pay off their loan on time."

noire ou latino rembourse son prêt à temps par rapport à une personne blanche. »

"A person called John makes a better programmer

«John est un meilleur programmeur

than a person called Mary."

que Mary. »

"A black man is more likely to be a repeat offender than a white man."

« Un homme noir est plus susceptible de récidiver qu'un homme blanc. »

You're probably thinking,

Vous pensez probablement :

"Wow, that sounds like a pretty sexist, racist person," right?

« Waouh, cette personne est sexiste et raciste, » n'est-ce pas ?

These are some real decisions that AI has made very recently,

Pourtant ce sont des décisions que des IA ont prises très récemment,

based on the biases it has learned from us,

basées sur les biais qu'elle a appris de nous,

from the humans.

des humains.

AI is being used to help decide whether or not you get that job interview;

L'IA est utilisée pour décider de si vous obtenez cet entretien d'embauche,

how much you pay for your car insurance;

de combien vous payez votre assurance auto,

how good your credit score is;

de votre cote de solvabilité,

and even what rating you get in your annual performance review.

et même de l'appréciation de votre performance annuelle.

But these decisions are all being filtered through

Mais ces décisions sont prises en faisant

its assumptions about our identity, our race, our gender, our age.

des hypothèses basées sur notre nom, notre ethnie, notre sexe et notre âge.

How is that happening?

Comment ça se passe?

Now, imagine an AI is helping a hiring manager

Prenez une IA aidant un DRH

find the next tech leader in the company.

à trouver le prochain leader high-tech de la société.

So far, the manager has been hiring mostly men.

Jusqu'à présent, le gérant n'a embauché que des hommes.

So the AI learns men are more likely to be programmers than women.

L'IA apprend donc que les hommes sont plus souvent programmeurs que les femmes.

And it's a very short leap from there to:

Et de là il n'y a qu'un pas vers :

men make better programmers than women.

« Les hommes programment mieux que les femmes. »

We have reinforced our own bias into the AI.

Nous avons introduit nos propres biais dans l'IA.

And now, it's screening out female candidates.

Et ensuite, elle élimine les candidats féminins.

Hang on, if a human hiring manager did that,

Si un DRH humain faisait ça,

we'd be outraged, we wouldn't allow it.

nous serions scandalisés, ça ne passerait pas.

This kind of gender discrimination is not OK.

Les discriminations sexistes ne sont pas acceptables.

And yet somehow, AI has become above the law,

Et pourtant, l'IA est au-dessus des lois,

because a machine made the decision.

parce que la décision est prise par une machine.

That's not it.

Ce n'est pas tout.

We are also reinforcing our bias in how we interact with AI.

Nous renforçons également nos biais à travers notre interaction avec l'IA.

How often do you use a voice assistant like Siri, Alexa or even Cortana?

Combien de fois avez-vous utilisé un assistant vocal comme Siri ou Alexa ?

They all have two things in common:

Ils ont tous deux choses en commun :

one, they can never get my name right,

ils ne prononcent jamais correctement mon nom,

and second, they are all female.

et deuxièmement, ce sont tous des femmes.

They are designed to be our obedient servants,

Ils ont été créés pour être d'obéissants serviteurs,

turning your lights on and off, ordering your shopping.

allumant et éteignant la lumière, passant des commandes.

You get male AIs too, but they tend to be more high-powered,

Il y a aussi des IA homme mais ils ont généralement plus de pouvoirs,

like IBM Watson, making business decisions,

par exemple, IBM Watson qui prend des décisions commerciales,

Salesforce Einstein or ROSS, the robot lawyer.

Salesforce Einstein ou ROSS, le robot avocat.

So poor robots, even they suffer from sexism in the workplace.

Ainsi, même ces pauvres robots souffrent du sexisme dans le milieu du travail.

(Laughter)

(Rires)

Think about how these two things combine

Pensez à comment ces deux points combinés

and affect a kid growing up in today's world around AI.

affectent un enfant grandissant dans un monde baignant dans l'IA.

So they're doing some research for a school project

Imaginez qu'il fasse une recherche pour un projet à l'école

and they Google images of CEO.

et qu'il tape sur Google, « images de PDG ».

The algorithm shows them results of mostly men.

L'algorithme ne lui montre que des hommes.

And now, they Google personal assistant.

Ensuite, il tape « assistant personnel ».

As you can guess, it shows them mostly females.

Comme vous pouvez l'imaginez, il n'y a pratiquement que des femmes.

And then they want to put on some music, and maybe order some food,

Ensuite, il veut mettre de la musique ou commander à manger,

and now, they are barking orders at an obedient female voice assistant.

et pour cela il aboie des ordres à une obéissante voix féminine.

Some of our brightest minds are creating this technology today.

Ces technologies sont créées par certains de nos plus brillants cerveaux.

Technology that they could have created in any way they wanted.

Ils pouvaient créer ces technologies exactement comme ils le souhaitaient.

And yet, they have chosen to create it in the style of 1950s "Mad Man" secretary.

Et ils ont choisi de les créer dans le style secrétaire des « Mad Men ».

Yay!

Super !

But OK, don't worry,

Ne vous inquiétez pas,

this is not going to end with me telling you

je ne vais pas finir en vous disant que

that we are all heading towards sexist, racist machines running the world.

nous allons vers un monde dirigé par des machines sexistes et racistes.

The good news about AI is that it is entirely within our control.

La bonne nouvelle est que les IA sont entièrement sous notre contrôle.

We get to teach the right values, the right ethics to AI.

Nous pouvons leur enseigner les bonnes valeurs, l'éthique.

So there are three things we can do.

Il y a trois choses que nous pouvons faire.

One, we can be aware of our own biases

Premièrement, nous pouvons avoir conscience de nos propres biais

and the bias in machines around us.

et des biais des machines qui nous entourent.

Two, we can make sure that diverse teams are building this technology.

Ensuite, nous pouvons nous assurer que des équipes mixtes construisent les IA.

And three, we have to give it diverse experiences to learn from.

Et enfin, les IA doivent apprendre à partir d'expériences variées.

I can talk about the first two from personal experience.

Je peux parler des deux premiers points par expérience personnelle.

When you work in technology

Quand vous travaillez dans la technologie

and you don't look like a Mark Zuckerberg or Elon Musk,

sans ressembler à Mark Zuckerberg ou Elon Musk,

your life is a little bit difficult, your ability gets questioned.

votre vie est un peu difficile, vos compétences sont remises en question.

Here's just one example.

Voici un exemple.

Like most developers, I often join online tech forums

Comme la plupart des programmeurs, je participe sur des forums tech en ligne

and share my knowledge to help others.

et partage mes connaissances pour aider les autres.

And I've found,

Et j'ai découvert

when I log on as myself, with my own photo, my own name,

qu'en me connectant avec ma vraie photo et mon vrai nom,

I tend to get questions or comments like this:

j'ai tendance à recevoir des questions ou commentaires comme ceux-ci :

"What makes you think you're qualified to talk about AI?"

« Tu crois être qualifiée pour parler d'IA ? »

"What makes you think you know about machine learning?"

« Qu'est-ce qui te fait penser que tu t'y connais en machine learning ? »

So, as you do, I made a new profile,

Je me suis donc créé un nouveau profil,

and this time, instead of my own picture, I chose a cat with a jet pack on it.

avec à la place de ma photo, un chat avec un jet pack.

And I chose a name that did not reveal my gender.

J'ai choisi un nom qui ne révélait pas mon genre.

You can probably guess where this is going, right?

Vous voyez où je veux en venir, non ?

So, this time, I didn't get any of those patronizing comments about my ability

Cette foi, je n'ai reçu aucun commentaire condescendant sur mes capacités

and I was able to actually get some work done.

et je pouvais travailler correctement.

And it sucks, guys.

Ça craint, les gars.

I've been building robots since I was 15,

Je construis des robots depuis mes 15 ans,

I have a few degrees in computer science,

j'ai plusieurs diplômes en informatique,

and yet, I had to hide my gender

et pourtant, je dois cacher mon genre

in order for my work to be taken seriously.

pour que mon travail soit pris au sérieux.

So, what's going on here?

Que se passe-t-il ?

Are men just better at technology than women?

Les hommes sont-ils juste meilleurs que les femmes en technologie ?

Another study found

Une autre étude a trouvé

that when women coders on one platform hid their gender, like myself,

que quand les codeurs femmes cachaient, comme moi, leur genre sur une plateforme,

their code was accepted four percent more than men.

leur code était accepté 4% de plus que celui des hommes.

So this is not about the talent.

Donc ce n'est pas un problème de talent.

This is about an elitism in AI

C'est un problème d'élitisme dans l'IA qui dit

that says a programmer needs to look like a certain person.

qu'un développeur doit ressembler à une certaine personne.

What we really need to do to make AI better

Ce que nous devons faire pour rendre l'IA meilleure,

is bring people from all kinds of backgrounds.

c'est rassembler des gens de toutes origines.

We need people who can write and tell stories

Nous avons besoin de gens pouvant écrire des histoires

to help us create personalities of AI.

pour créer des personnalités aux IA,

We need people who can solve problems.

pouvant résoudre des problèmes,

We need people who face different challenges

pouvant faire face à différents défis

and we need people who can tell us what are the real issues that need fixing

et de personnes pouvant nous indiquer les réels problèmes à résoudre

and help us find ways that technology can actually fix it.

et les stratégies que les technologies peuvent mettre en place.

Because, when people from diverse backgrounds come together,

Quand des personnes de différentes origines se rassemblent,

when we build things in the right way,

quand nous construisons correctement,

the possibilities are limitless.

les possibilités sont infinies.

And that's what I want to end by talking to you about.

C'est là-dessus que je veux finir.

Less racist robots, less machines that are going to take our jobs --

Moins de robots racistes, de machines qui vont nous voler nos emplois,

and more about what technology can actually achieve.

et plus de ce que les technologies peuvent réellement faire.

So, yes, some of the energy in the world of AI,

Alors oui, une partie de l'énergie dans le monde de l'IA,

in the world of technology

des technologies,

is going to be about what ads you see on your stream.

est dirigée pour décider de quelles publicités vous sont proposées.

But a lot of it is going towards making the world so much better.

Mais une grosse partie est orientée pour rendre le monde meilleur.

Think about a pregnant woman in the Democratic Republic of Congo,

Imaginez une femme enceinte en République Démocratique du Congo,

who has to walk 17 hours to her nearest rural prenatal clinic

qui doit marcher 17 heures pour atteindre la clinique prénatale la plus proche

to get a checkup.

et avoir une consultation.

What if she could get diagnosis on her phone, instead?

Et si elle pouvait avoir un diagnostic sur son téléphone ?

Or think about what AI could do

Imaginez ce que l'IA pourrait faire

for those one in three women in South Africa

pour ces 1 femmes sur 3 en Afrique du Sud

who face domestic violence.

qui subissent des violences domestiques.

If it wasn't safe to talk out loud,

S'il est dangereux de dénoncer à voix haute,

they could get an AI service to raise alarm,

elles pourraient lancer une alarme grâce à une IA,

get financial and legal advice.

ou avoir une aide financière et judiciaire.

These are all real examples of projects that people, including myself,

Ce sont de vrais projets sur lesquels des gens, moi y compris,

are working on right now, using AI.

travaillent en ce moment, avec l'IA.

So, I'm sure in the next couple of days there will be yet another news story

Je suis certaine qu'il y aura dans les prochains jours,

une histoire sur le risque pour notre existence,

about the existential risk,

robots taking over and coming for your jobs.

sur les robots nous dominant et volant nos emplois.

(Laughter)

(Rires)

And when something like that happens,

Quand quelque chose comme ça se produira,

I know I'll get the same messages worrying about the future.

je sais que je recevrai les mêmes messages s'inquiétant pour l'avenir.

But I feel incredibly positive about this technology.

Mais je suis très optimiste à propos de cette technologie.

This is our chance to remake the world into a much more equal place.

C'est notre chance pour refaire de ce monde, une place égale.

But to do that, we need to build it the right way from the get go.

Pour faire ça, nous devons la construire correctement dès le départ.

We need people of different genders, races, sexualities and backgrounds.

Nous avons besoin de personnes de divers genres, ethnies, sexualités et origines.

We need women to be the makers

Nous avons de femmes développeurs

and not just the machines who do the makers' bidding.

et pas seulement de machines embauchant les développeurs.

We need to think very carefully what we teach machines,

Il nous faut penser très soigneusement à ce que nous enseignons aux machines,

what data we give them,

aux données que nous leur donnons,

so they don't just repeat our own past mistakes.

pour qu'elles ne répètent pas nos propres erreurs.

So I hope I leave you thinking about two things.

J'espère que je vous laisse avec deux idées.

First, I hope you leave thinking about bias today.

Premièrement, j'espère que vous repartirez en pensant aux biais.

And that the next time you scroll past an advert

Et que la prochaine fois que vous tomberez sur une publicité

that assumes you are interested in fertility clinics

supposant que vous êtes intéressé par une clinique de fertilité

or online betting websites,

ou un site de paris en ligne,

that you think and remember

vous vous souviendrez

that the same technology is assuming that a black man will reoffend.

que ces mêmes technologies assument qu'un homme noir récidivera.

Or that a woman is more likely to be a personal assistant than a CEO.

Ou qu'une femme a plus de chances d'être assistant personnel que PDG.

And I hope that reminds you that we need to do something about it.

Et j'espère que ça vous rappellera que nous devons faire quelque chose.

And second,

Deuxièmement,

I hope you think about the fact

j'espère que vous vous direz

that you don't need to look a certain way

qu'il ne faut pas avoir une apparence

or have a certain background in engineering or technology

ou un diplôme en particulier en ingénierie ou technologie

to create AI,

pour créer des IA,

which is going to be a phenomenal force for our future.

qui seront une force phénoménale pour l'avenir.

You don't need to look like a Mark Zuckerberg,

Inutile de ressembler à Mark Zuckerberg,

you can look like me.

vous pouvez me ressembler.

And it is up to all of us in this room

Et c'est à vous tous, qui êtes dans cette pièce,

to convince the governments and the corporations

de convaincre les gouvernements et les sociétés

to build AI technology for everyone,

de construire des IA inclusives,

including the edge cases.

prenant en compte les minorités.

And for us all to get education

Il faut aussi que nous nous éduquions tous

about this phenomenal technology in the future.

sur cette technologie phénoménale.

Because if we do that,

Parce que si nous le faisons,

then we've only just scratched the surface of what we can achieve with AI.

nous aurons à peine effleuré la surface de ce qui peut être accompli avec l'IA.

Thank you.

Merci.

(Applause)

(Applaudissements)