AI Is Dangerous, but Not for the Reasons You Think | Sasha Luccioni | TED

Traducteur: Claire Ghyselen Relecteur: eric vautier

So I've been an AI researcher for over a decade.

Je fais de la recherche sur l’IA depuis plus de dix ans.

And a couple of months ago, I got the weirdest email of my career.

Et il y a quelques mois, j'ai reçu l'e-mail le plus étrange de ma carrière.

A random stranger wrote to me

Un total inconnu m’écrivait

saying that my work in AI is going to end humanity.

pour dire que mon travail dans le domaine de l’IA allait mettre fin à l’humanité.

Now I get it, AI, it's so hot right now.

Je comprends, l’AI est au centre de l’attention.

(Laughter)

(Rires)

Elle fait la une tous les jours,

It's in the headlines pretty much every day,

sometimes because of really cool things

parfois pour des choses super cool,

like discovering new molecules for medicine

la découverte de nouvelles molécules en médecine,

or that dope Pope in the white puffer coat.

ou notre bon Pape en doudoune blanche.

But other times the headlines have been really dark,

Mais d’autres fois, la une est crépusculaire,

like that chatbot telling that guy that he should divorce his wife

comme ce chatbot qui dit à un type qu’il doit divorcer, par exemple,

or that AI meal planner app proposing a crowd pleasing recipe

ou cette appli de planification de menus basée sur l’IA qui propose une recette

featuring chlorine gas.

très populaire mais à base de chlore gazeux.

And in the background,

Et en bruit de fond,

we've heard a lot of talk about doomsday scenarios,

on entend beaucoup de scénarios apocalyptiques,

existential risk and the singularity,

de risques existentiels et de singularité,

with letters being written and events being organized

avec des lettres ouvertes et des événements organisés

to make sure that doesn't happen.

pour éviter que cela ne se produise.

Now I'm a researcher who studies AI's impacts on society,

Mes recherches portent sur les impacts de l’IA sur la société

and I don't know what's going to happen in 10 or 20 years,

et je ne sais pas ce qui se passera dans 10 ou 20 ans,

and nobody really does.

d’ailleurs, personne ne le sait vraiment.

But what I do know is that there's some pretty nasty things going on right now,

Par contre, je sais qu’il y a actuellement des choses pernicieuses,

because AI doesn't exist in a vacuum.

car l'IA n'existe pas dans le vide.

It is part of society, and it has impacts on people and the planet.

Elle fait partie de la société

et a des répercussions sur les personnes et la planète.

AI models can contribute to climate change.

Les modèles d’IA favorisent le changement climatique.

Their training data uses art and books created by artists

Les données utilisées pour l’apprentissage automatique utilisent des œuvres

and authors without their consent.

sans leur consentement des auteurs et artistes.

And its deployment can discriminate against entire communities.

Enfin, l’IA peut être discriminatoire à l’encontre de communautés entières.

But we need to start tracking its impacts.

Nous devons vraiment tracer ses impacts.

We need to start being transparent and disclosing them and creating tools

Nous devons veiller à être transparent, à les déclarer et à créer des outils

so that people understand AI better,

pour que les gens comprennent mieux l'IA,

so that hopefully future generations of AI models

afin que, je l’espère, les générations futures d’IA

are going to be more trustworthy, sustainable,

soient plus dignes de confiance, durables,

maybe less likely to kill us, if that's what you're into.

peut-être moins susceptibles de nous tuer, si c’est ça votre trip.

But let's start with sustainability,

Commençons par la durabilité.

because that cloud that AI models live on is actually made out of metal, plastic,

Le cloud sur lequel reposent les IA est en fait composé de métal, de plastique

and powered by vast amounts of energy.

et alimenté par de grandes quantités d’énergie.

And each time you query an AI model, it comes with a cost to the planet.

Chaque fois que vous interrogez un modèle d’IA, cela a un coût pour la planète.

Last year, I was part of the BigScience initiative,

L'année dernière, j'ai participé à l'initiative BigScience,

which brought together a thousand researchers

qui a réuni un millier de chercheurs du monde entier pour créer Bloom,

from all over the world to create Bloom,

the first open large language model, like ChatGPT,

le premier grand modèle de langage en source ouverte, comme ChatGPT,

but with an emphasis on ethics, transparency and consent.

mais qui met l’accent sur l’éthique, la transparence et le consentement.

And the study I led that looked at Bloom's environmental impacts

Et l’étude que j’ai menée sur les impacts environnementaux de Bloom

found that just training it used as much energy

a révélé que le seul apprentissage automatique consommait

as 30 homes in a whole year

autant d’énergie que 30 maisons par an

and emitted 25 tons of carbon dioxide,

et émettait 25 tonnes de dioxyde de carbone,

which is like driving your car five times around the planet

ce qui revient à faire cinq fois le tour de la planète en voiture,

just so somebody can use this model to tell a knock-knock joke.

juste pour que quelqu’un puisse l’utiliser pour raconter une blague.

And this might not seem like a lot,

Et cela peut sembler dérisoire,

but other similar large language models,

mais d’autres LLM similaires,

like GPT-3,

comme le GPT-3,

emit 20 times more carbon.

émettent 20 fois plus de carbone.

But the thing is, tech companies aren't measuring this stuff.

Le problème, c’est que les entreprises tech ne mesurent,

They're not disclosing it.

ni ne le divulguent ces facteurs.

And so this is probably only the tip of the iceberg,

Il ne s’agit donc de la partie visible de l’iceberg,

even if it is a melting one.

fût-il en train de fondre.

And in recent years we've seen AI models balloon in size

Or récemment, la taille des modèles IA grandit exponentiellement

because the current trend in AI is "bigger is better."

car la tendance en matière d’IA est : « Plus c’est gros, mieux c’est ».

But please don't get me started on why that's the case.

Mais ne me laissez pas expliquer pourquoi c’est le cas.

In any case, we've seen large language models in particular

Quoi qu’il en soit, la taille des grands modèles de langage en particulier

grow 2,000 times in size over the last five years.

a été multipliée par 2 000 ces cinq dernières années.

And of course, their environmental costs are rising as well.

Naturellement, leurs coûts environnementaux augmentent d’autant.

The most recent work I led, found that switching out a smaller,

Mes recherches les plus récentes ont révélé que le remplacement d’un modèle

more efficient model for a larger language model

plus petit et plus efficace par un modèle de langage plus grand

emits 14 times more carbon for the same task.

émet 14 fois plus de carbone pour la même tâche,

Like telling that knock-knock joke.

comme dans une blague « toc toc, qui est là ? »

And as we're putting in these models into cell phones and search engines

Plus nous intégrons ces modèles dans nos portables,

and smart fridges and speakers,

les moteurs de recherche, les frigos intelligents, les amplis,

the environmental costs are really piling up quickly.

plus les coûts environnementaux s’accumulent rapidement.

So instead of focusing on some future existential risks,

Donc, au lieu de nous concentrer sur certains risques existentiels futurs,

let's talk about current tangible impacts

parlons des impacts concrets actuels

and tools we can create to measure and mitigate these impacts.

et des outils que nous pouvons créer pour mesurer et atténuer ces impacts.

I helped create CodeCarbon,

J’ai épaulé la création de CodeCarbon,

a tool that runs in parallel to AI training code

un outil qui tourne en parallèle à l’apprentissage automatique

that estimates the amount of energy it consumes

qui estime la quantité d’énergie consommée

and the amount of carbon it emits.

et la quantité de carbone émise.

And using a tool like this can help us make informed choices,

L’usage d’un tel outil nous aide à faire des choix éclairés,

like choosing one model over the other because it's more sustainable,

en choisissant un modèle plutôt qu’un autre parce que plus durable,

or deploying AI models on renewable energy,

ou en déployant des modèles d'IA sur les énergies renouvelables,

which can drastically reduce their emissions.

ce qui peut réduire considérablement leurs émissions.

But let's talk about other things

Mais parlons d’autres impacts de l’IA que la durabilité.

because there's other impacts of AI apart from sustainability.

For example, it's been really hard for artists and authors

Par exemple, il est très difficile pour les artistes et les auteurs

to prove that their life's work has been used for training AI models

de prouver que leur œuvre a été utilisée sans leur consentement

pour entraîner des modèles d’IA.

without their consent.

And if you want to sue someone, you tend to need proof, right?

Or pour poursuivre quelqu’un, on a souvent besoin de preuves, non ?

So Spawning.ai, an organization that was founded by artists,

Et donc, Spawning.ai, une organisation fondée par des artistes,

created this really cool tool called “Have I Been Trained?”

a créé un outil vraiment cool intitulé « Have I Been Trained ? »

And it lets you search these massive data sets

Ça permet de faire des recherches dans ces énormes ensembles de données

to see what they have on you.

et voir ce qu’elles incluent de vous.

Now, I admit it, I was curious.

Je l’avoue, j’étais curieuse, j’ai fait une recherche sur LAION-5B,

I searched LAION-5B,

which is this huge data set of images and text,

un énorme ensemble de données d’images et de textes,

to see if any images of me were in there.

pour voir s’il y avait des images de moi.

Now those two first images,

Ces deux premières images,

that's me from events I've spoken at.

c’est moi lors des événements auxquels j’ai pris la parole.

But the rest of the images, none of those are me.

Mais le reste, ce n’est pas moi.

They're probably of other women named Sasha

Sans doute d’autres femmes nommées Sasha

who put photographs of themselves up on the internet.

qui ont publié des photos d’elles-mêmes sur Internet.

And this can probably explain why,

Et cela peut expliquer pourquoi,

when I query an image generation model

quand je fais une recherche,

to generate a photograph of a woman named Sasha,

pour générer une photo d’une femme nommée Sasha,

more often than not I get images of bikini models.

j’obtiens souvent des images de modèles de bikini.

Sometimes they have two arms,

Parfois, elles ont deux bras,

sometimes they have three arms,

parfois trois,

but they rarely have any clothes on.

mais elles sont rarement vêtues.

And while it can be interesting for people like you and me

Il est certes intéressant pour des personnes comme vous et moi

to search these data sets,

de faire de telles recherches,

for artists like Karla Ortiz,

pour des artistes comme Karla Ortiz,

this provides crucial evidence that her life's work, her artwork,

cela fournit des preuves cruciales que son œuvre

was used for training AI models without her consent,

a été utilisée sans son consentement pour former des modèles d’IA.

and she and two artists used this as evidence

Avec deux artistes, elle a utilisé cela comme preuve

to file a class action lawsuit against AI companies

pour intenter un recours collectif pour violation du droit d'auteur.

for copyright infringement.

And most recently --

Et plus récemment -

(Applause)

(Applaudissements)

And most recently Spawning.ai partnered up with Hugging Face,

Et plus récemment, Spawning.ai s'est associé à Hugging Face,

the company where I work at,

la société où je travaille,

to create opt-in and opt-out mechanisms for creating these data sets.

pour créer des mécanismes d’activation et de désactivation de ces données,

Because artwork created by humans shouldn’t be an all-you-can-eat buffet

car les œuvres créées par des humains ne devraient pas être un buffet à volonté

for training AI language models.

destiné à la formation de modèles de langage.

(Applause)

(Applaudissements)

The very last thing I want to talk about is bias.

J’aimerais enfin évoquer la partialité.

You probably hear about this a lot.

On en entend beaucoup parler.

Formally speaking, it's when AI models encode patterns and beliefs

C’est quand les modèles d’IA encodent des modèles et des croyances

that can represent stereotypes or racism and sexism.

qui peuvent représenter des stéréotypes, du racisme ou du sexisme.

One of my heroes, Dr. Joy Buolamwini, experienced this firsthand

L’une de mes héroïnes, le docteur Joy Buolamwini, a vécu cela

when she realized that AI systems wouldn't even detect her face

quand les IA ne détectèrent pas son visage

unless she was wearing a white-colored mask.

à moins de porter un masque blanc.

Digging deeper, she found that common facial recognition systems

En approfondissant, elle a découvert que les systèmes de reconnaissance faciale

were vastly worse for women of color compared to white men.

étaient pires pour les femmes de couleur que pour les hommes blancs.

And when biased models like this are deployed in law enforcement settings,

Quand des modèles biaisés sont déployés

dans les structures en charge du maintien de l’ordre

this can result in false accusations, even wrongful imprisonment,

on peut aboutir à de fausses accusations, voire à des emprisonnements injustifiés,

which we've seen happen to multiple people in recent months.

comme nous l’avons constaté pour de nombreuses personnes ces derniers mois.

For example, Porcha Woodruff was wrongfully accused of carjacking

Par exemple, Porcha Woodruff, enceinte de huit mois,

a été accusée à tort de carjacking

at eight months pregnant

because an AI system wrongfully identified her.

parce qu’une IA s’est trompée sur son identification.

But sadly, these systems are black boxes,

Hélas, ces systèmes sont des boîtes noires,

and even their creators can't say exactly why they work the way they do.

et même leurs créateurs ignorent pourquoi elles fonctionnent comme elles le font.

And for example, for image generation systems,

Par exemple, les systèmes de génération d’images.

if they're used in contexts like generating a forensic sketch

Utilisés dans des contextes tels que la génération d’un dossier médico-légal

based on a description of a perpetrator,

basé sur la description d'un agresseur,

they take all those biases and they spit them back out

ils reprennent tous ces biais et les recrachent,

for terms like dangerous criminal, terrorists or gang member,

des termes comme dangereux criminel, terroriste ou membre de gang.

which of course is super dangerous

C’est évidemment très dangereux

when these tools are deployed in society.

lorsque ces outils sont déployés dans la société.

And so in order to understand these tools better,

C'est pourquoi, afin de mieux comprendre ces outils,

I created this tool called the Stable Bias Explorer,

j’ai créé « Stable Bias Explorer »,

which lets you explore the bias of image generation models

qui permet d’explorer les biais dans les modèles de génération d’images

through the lens of professions.

à travers le prisme des professions.

So try to picture a scientist in your mind.

Imaginez un scientifique.

Don't look at me.

Ne me regardez pas.

What do you see?

Qu’est-ce que vous voyez ?

A lot of the same thing, right?

Toutes ces images se ressemblent.

Men in glasses and lab coats.

Des hommes avec des lunettes et en blouse blanche.

And none of them look like me.

Aucun d’entre eux ne me ressemble.

And the thing is,

Le fait est :

is that we looked at all these different image generation models

nous avons examiné tous ces modèles de génération d’images

and found a lot of the same thing:

et avons découvert la même chose :

significant representation of whiteness and masculinity

une représentation significative de l’homme blanc

across all 150 professions that we looked at,

dans les 150 professions examinées,

even if compared to the real world,

même comparé au monde réel,

the US Labor Bureau of Statistics.

selon le Bureau des statistiques du travail.

These models show lawyers as men,

Dans ces modèles, les avocats sont des hommes

and CEOs as men, almost 100 percent of the time,

les PDG sont des hommes, presque 100 % du temps,

even though we all know not all of them are white and male.

même si personne n’ignore qu’ils ne sont pas tous blancs et hommes.

And sadly, my tool hasn't been used to write legislation yet.

Malheureusement, mon outil n'a pas encore été utilisé pour rédiger des lois.

But I recently presented it at a UN event about gender bias

Mais je l’ai présenté lors d’un événement de l’ONU sur les préjugés sexistes,

as an example of how we can make tools for people from all walks of life,

pour illustrer quels outils peuvent éveiller la curiosité

des personnes de tous horizons, même celles qui ne savent pas coder,

even those who don't know how to code,

to engage with and better understand AI because we use professions,

afin de mieux comprendre l’IA,

but you can use any terms that are of interest to you.

car on la sollicite pour tout et dans toutes les professions.

And as these models are being deployed,

Au fur et à mesure que ces modèles sont déployés,

are being woven into the very fabric of our societies,

et intégrés au tissu même de nos sociétés,

our cell phones, our social media feeds,

nos téléphones portables, nos réseaux sociaux,

even our justice systems and our economies have AI in them.

même nos systèmes judiciaires et nos économies, intègrent l’IA.

And it's really important that AI stays accessible

Et il est très essentiel que l’IA reste accessible

so that we know both how it works and when it doesn't work.

afin de déterminer comment elle fonctionne et quand elle ne fonctionne pas.

And there's no single solution for really complex things like bias

Et il n’existe pas de solution unique pour des problèmes vraiment complexes

tels que les préjugés, le droit d’auteur ou le changement climatique.

or copyright or climate change.

But by creating tools to measure AI's impact,

Mais en créant des outils pour mesurer l'impact de l'IA,

we can start getting an idea of how bad they are

nous pouvons commencer à nous faire une idée de leur toxicité

and start addressing them as we go.

et commencer à y remédier progressivement.

Start creating guardrails to protect society and the planet.

D’abord en créant des garde-corps pour protéger la société et la planète.

And once we have this information,

Quand ces informations seront disponibles,

companies can use it in order to say,

les entreprises pourront choisir :

OK, we're going to choose this model because it's more sustainable,

« OK, nous allons choisir ce modèle parce qu’il est plus durable,

this model because it respects copyright.

ou celui-ci parce qu’il respecte le droit d’auteur ».

Legislators who really need information to write laws,

Pour rédiger les lois, le politique a besoin d’informations.

can use these tools to develop new regulation mechanisms

ces outils lui sont utiles pour développer de nouveaux mécanismes de régulation

or governance for AI as it gets deployed into society.

ou de gouvernance pour l’IA alors qu’elle se déploie dans la société.

And users like you and me can use this information

Et les utilisateurs, vous et moi, pouvons les utiliser

to choose AI models that we can trust,

pour choisir des modèles d’IA dignes de confiance,

not to misrepresent us and not to misuse our data.

qui ne vont pas nous déformer ou utiliser nos données à mauvais escient.

But what did I reply to that email

Mais qu’ai-je répondu à ce courriel sur la destruction de l’humanité ?

that said that my work is going to destroy humanity?

I said that focusing on AI's future existential risks

J’ai dit que le fait de se concentrer sur les risques existentiels futurs de l’IA

is a distraction from its current,

est une distraction par rapport à ses impacts actuels très concrets

very tangible impacts

and the work we should be doing right now, or even yesterday,

et que le travail que nous devrions faire aujourd’hui, voire depuis hier,

for reducing these impacts.

est de réduire ces impacts.

Because yes, AI is moving quickly, but it's not a done deal.

Car certes, l’IA évolue rapidement, mais la messe n’est pas encore dite.

We're building the road as we walk it,

Nous construisons la route au fur et à mesure,

and we can collectively decide what direction we want to go in together.

et nous pouvons décider ensemble dans quelle direction nous voulons aller.

Thank you.

Merci.

(Applause)

(Applaudissements)