Your Right to Repair AI Systems | Rumman Chowdhury | TED

Traducteur: Claire Ghyselen Relecteur: eric vautier

I want to tell you a story

Je voudrais vous raconter une histoire

about artificial intelligence and farmers.

sur l’intelligence artificielle et les agriculteurs.

Now, what a strange combination, right?

Certes, une étrange combinaison.

Two topics could not sound more different from each other.

Ces deux sujets ne peuvent pas sembler plus éloignés l’un de l’autre.

But did you know that modern farming actually involves a lot of technology?

Mais saviez-vous que l’agriculture moderne implique en fait beaucoup de technologie ?

So computer vision is used to predict crop yields.

La vision par ordinateur est utilisée pour prévoir les rendements des cultures,

And artificial intelligence is used to find,

et l’intelligence artificielle est utilisée pour trouver,

identify and get rid of insects.

identifier et éliminer les insectes.

Predictive analytics helps figure out extreme weather conditions

L’analyse prédictive permet de déterminer les conditions météorologiques extrêmes,

like drought or hurricanes.

telles que la sécheresse ou les ouragans.

But this technology is also alienating to farmers.

Cependant cette technologie a aussi un effet aliénant pour les agriculteurs.

And this all came to a head in 2017

Et tout cela a atteint son paroxysme en 2017

with the tractor company John Deere when they introduced smart tractors.

quand l’entreprise de tracteurs John Deere a lancé ses tracteurs intelligents.

So before then, if a farmer's tractor broke,

Avant cette date, si le tracteur d'un fermier tombait en panne,

they could just repair it themselves or take it to a mechanic.

il pouvait simplement le réparer lui-même ou le confier à un mécanicien.

Well, the company actually made it illegal

Eh bien, l’entreprise a dorénavant interdit aux agriculteurs

for farmers to fix their own equipment.

de réparer leur propre équipement.

You had to use a licensed technician

Les agriculteurs doivent maintenant faire appel à un technicien agréé

and farmers would have to wait for weeks

et attendre des semaines,

while their crops rot and pests took over.

laissant leurs récoltes pourrir, ou être dévorées par les insectes.

So they took matters into their own hands.

Les fermiers ont donc pris les choses en main.

Some of them learned to program,

Certains ont appris à programmer

and they worked with hackers to create patches to repair their own systems.

et ont créé des correctifs pour leurs systèmes avec des hackers.

In 2022,

En 2022,

at one of the largest hacker conferences in the world, DEFCON,

lors de l’une des plus grandes conférences de hackers au monde, la DEFCON,

a hacker named Sick Codes and his team

un hacker du nom de Sick Codes et son équipe ont montré à tout le monde

showed everybody how to break into a John Deere tractor,

comment pirater le système d’un tracteur John Deere,

showing that, first of all, the technology was vulnerable,

prouvant que, tout d’abord, la technologie est vulnérable,

but also that you can and should own your own equipment.

mais aussi que l’on peut, et doit, posséder son propre équipement.

To be clear, this is illegal,

Pour être clair, c'est illégal,

but there are people trying to change that.

mais il y a des gens qui essaient de changer cela.

Now that movement is called the “right to repair.”

Aujourd’hui, ce mouvement s’appelle le « droit à la réparation ».

The right to repair goes something like this.

Illustrons le droit à la réparation.

If you own a piece of technology,

Si on possède une technologie,

it could be a tractor, a smart toothbrush,

un tracteur, une brosse à dents intelligente,

a washing machine,

ou une machine à laver,

you should have the right to repair it if it breaks.

on devrait avoir le droit de la réparer si elle tombe en panne.

So why am I telling you this story?

Pourquoi vous raconter cette histoire ?

The right to repair needs to extend to artificial intelligence.

Le droit à la réparation doit s’étendre à l’intelligence artificielle.

Now it seems like every week

Chaque semaine semble apporter son lot

there is a new and mind-blowing innovation in AI.

de nouvelles innovations époustouflantes dans le domaine de l’IA.

But did you know that public confidence is actually declining?

Mais saviez-vous que la confiance du public est en train de diminuer ?

A recent Pew poll showed that more Americans are concerned

Pew a réalisé un sondage récemment qui met en lumière le fait

que l’IA inquiète davantage les Américains qu’elle ne les enthousiasme.

than they are excited about the technology.

This is echoed throughout the world.

Le monde entier reflète le même sentiment.

The World Risk Poll shows

Dans le World Risk Poll,

that respondents from Central and South America and Africa

les personnes interrogées en Amérique centrale et du Sud et en Afrique

all said that they felt AI would lead to more harm than good for their people.

déclarent toutes qu’elles pensent que l’IA fera plus de mal que de bien

à leur population.

As a social scientist and an AI developer,

En tant que sociologue et développeuse d’IA, cela me frustre.

this frustrates me.

I'm a tech optimist

Je suis une optimiste de la technologie

because I truly believe this technology can lead to good.

parce que je crois sincèrement que l’IA peut agir pour le bien supérieur.

So what's the disconnect?

Alors, où se situe la faille ?

Well, I've talked to hundreds of people over the last few years.

Eh bien, j’ai parlé à des centaines de personnes ces dernières années.

Architects and scientists, journalists and photographers,

Architectes et scientifiques, journalistes et photographes,

ride-share drivers and doctors,

chauffeurs VTC et médecins,

and they all say the same thing.

tous disent la même chose.

People feel like an afterthought.

Les gens ont l’impression d’être quantité négligeable.

They all know that their data is harvested often without their permission

Ils savent tous que leurs données sont collectées souvent sans leur autorisation

to create these sophisticated systems.

pour créer ces systèmes sophistiqués.

They know that these systems are determining their life opportunities.

Ils savent que ces systèmes déterminent leur quotidien.

They also know that nobody ever bothered to ask them

Ils savent également que personne n’a jamais pris la peine de les consulter

how the system should be built,

sur l’architecture du système,

and they certainly have no idea where to go if something goes wrong.

et ils ignorent certainement où s’adresser en cas de problème.

We may not own AI systems,

Nous ne possédons certes pas les IA,

but they are slowly dominating our lives.

mais elles dominent progressivement nos vies.

We need a better feedback loop

Il faut une meilleure boucle de rétroaction

between the people who are making these systems,

entre les personnes qui fabriquent ces systèmes

and the people who are best determined to tell us

et les personnes les plus à même de nous dire

how these AI systems should interact in their world.

comment ces IA devraient interagir dans leur monde.

One step towards this is a process called red teaming.

Une étape dans ce sens est un processus appelé « red team ».

Now, red teaming is a practice that was started in the military,

La red team est une pratique née dans l’armée

and it's used in cybersecurity.

et utilisée aussi dans la cybersécurité.

In a traditional red-teaming exercise,

Dans un exercice traditionnel d’une red team,

external experts are brought in to break into a system,

des spécialistes externes sont recrutés pour pénétrer un système,

sort of like what Sick Codes did with tractors, but legal.

un peu comme Sick Codes l’a fait pour les tracteurs, mais en toute légalité.

So red teaming acts as a way of testing your defenses

La red team est donc un moyen de tester nos défenses,

and when you can figure out where something will go wrong,

car quand on peut déterminer où quelque chose va mal tourner,

you can figure out how to fix it.

on peut trouver des solutions pour y remédier.

But when AI systems go rogue,

Mais quand des IA deviennent corrompues,

it's more than just a hacker breaking in.

ce n’est pas simplement un hacker qui s’introduit par effraction.

The model could malfunction or misrepresent reality.

Le modèle peut mal fonctionner ou déformer la réalité.

So, for example, not too long ago,

Ainsi, par exemple, il y a peu de temps,

we saw an AI system attempting diversity

nous avons vu la tentative d’une IA de promouvoir la diversité

by showing historically inaccurate photos.

en affichant des photos historiquement inexactes.

Anybody with a basic understanding of Western history

N’importe qui connaissant l’histoire occidentale

could have told you that neither the Founding Fathers

aurait pu dire que les Nazis n’étaient pas noirs.

nor Nazi-era soldiers would have been Black.

In that case, who qualifies as an expert?

Dans ce cas, qui peut être qualifié de spécialiste ?

You.

Vous.

I'm working with thousands of people all around the world

Je travaille avec des milliers de personnes dans le monde

on large and small red-teaming exercises,

sur des exercices en mode red team à grande et petite échelle.

and through them we found and fixed mistakes in AI models.

Grâce à elles, nous avons découvert et corrigé des erreurs dans les modèles d’IA.

We also work with some of the biggest tech companies in the world:

Je travaille aussi avec les plus grandes entreprises technologiques du monde :

OpenAI, Meta, Anthropic, Google.

OpenAI, Meta, Anthropic, Google.

And through this, we've made models work better for more people.

Grâce à ça, nous améliorons les modèles pour un plus grand nombre de personnes.

Here's a bit of what we've learned.

Voici un aperçu de ce que nous avons appris.

We partnered with the Royal Society in London to do a scientific,

Avec la société royale de Londres,

nous avons organisé un événement scientifique

mis- and disinformation event with disease scientists.

sur la propagande et la désinformation avec des pathologistes.

What these scientists found

Ces scientifiques ont découvert

is that AI models actually had a lot of protections

que les modèles d’IA offraient de nombreuses protections

against COVID misinformation.

contre la désinformation sur le COVID.

But for other diseases like measles, mumps and the flu,

Mais pour d’autres maladies comme la rougeole, les oreillons ou la grippe,

the same protections didn't apply.

les mêmes protections ne s’appliquaient pas.

We reported these changes,

Nous avons signalé ces différences

they’re fixed and now we are all better protected

qui sont corrigées depuis et nous sommes désormais mieux protégés

against scientific mis- and disinformation.

contre la propagande et la désinformation scientifiques.

We did a really similar exercise with architects at Autodesk University,

Nous avons fait un exercice très similaire

avec des architectes de l’université Autodesk

and we asked them a simple question:

en leur posant une question simple :

Will AI put them out of a job?

l’IA va-t-elle les mettre au chômage ?

Or more specifically,

Ou plus précisément,

could they imagine a modern AI system

pourraient-ils imaginer une IA

that would be able to design the specs of a modern art museum?

capable de concevoir les spécifications d’un musée d’art moderne ?

The answer, resoundingly, was no.

La réponse a été catégorique : non.

Here's why, architects do more than just draw buildings.

Pourquoi ? Parce que les architectes ne se contentent pas de dessiner des bâtiments.

They have to understand physics and material science.

Ils doivent comprendre la physique et la science des matériaux.

They have to know building codes,

Ils doivent connaître la réglementation,

and they have to do that

tout en créant des espaces qui éveillent des émotions.

while making something that evokes emotion.

What the architects wanted was an AI system

Les architectes souhaitaient une IA

that interacted with them, that would give them feedback,

qui interagisse avec eux, qui leur donne des commentaires,

maybe proactively offer design recommendations.

voire propose des recommandations de conception proactivement.

And today's AI systems, not quite there yet.

Mais les IA actuelles ne sont pas encore au point,

But those are technical problems.

pour des raisons techniques.

People building AI are incredibly smart,

Les développeurs d’IA sont très intelligents,

and maybe they could solve all that in a few years.

et peut-être pourront-ils résoudre ça en quelques années.

But that wasn't their biggest concern.

Mais là n’était pas leur plus grande préoccupation.

Their biggest concern was trust.

Leur problème, c’est la confiance.

Now architects are liable if something goes wrong with their buildings.

Les architectes sont responsables en cas de problème avec leurs bâtiments.

They could lose their license,

Ils risquent de perdre leur licence,

they could be fined, they could even go to prison.

de se voir infliger une amende, voire d’être incarcérés.

And failures can happen in a million different ways.

Or les défaillances peuvent se produire de mille manières différentes.

For example, exit doors that open the wrong way,

Par exemple, des portes qui s’ouvrent dans le mauvais sens,

leading to people being crushed in an evacuation crisis,

causant l’écrasement de personnes lors d’une évacuation,

or broken glass raining down onto pedestrians in the street

ou des vitres brisées qui tombent sur les piétons dans la rue

because the wind blows too hard and shatters windows.

parce que le vent souffle trop fort et fait voler les vitres en éclats.

So why would an architect trust an AI system with their job,

Alors pourquoi un architecte confierait-il son travail à une IA,

with their literal freedom,

sa liberté, au sens premier,

if they couldn't go in and fix a mistake if they found it?

s’il ne peut pas intervenir et corriger une erreur s’il en trouve ?

So we need to figure out these problems today, and I'll tell you why.

Nous devons donc résoudre ces problèmes aujourd’hui,

et je vais vous expliquer pourquoi.

The next wave of artificial intelligence systems, called agentic AI,

La prochaine vague d’IA, reposant sur des agents « intelligents »,

is a true tipping point

constitue un point de bascule

between whether or not we retain human agency,

entre la question de savoir si nous conservons le libre-arbitre humain,

or whether or not AI systems make our decisions for us.

ou si les IA prennent des décisions à notre place.

Imagine an AI agent as kind of like a personal assistant.

Imaginez un agent d’IA comme une sorte d’assistant personnel.

So, for example, a medical agent might determine

Ainsi, par exemple, un agent médical peut déterminer

si votre famille a besoin d’un rendez-vous chez le médecin.

whether or not your family needs doctor's appointments,

it might refill prescription medications, or in case of an emergency,

Il peut renouveler vos prescriptions, ou, en cas d’urgence,

send medical records to the hospital.

envoyer des dossiers médicaux à l'hôpital.

But AI agents can't and won't exist

Mais les agents d’IA ne peuvent pas exister et n’existeront pas

unless we have a true right to repair.

sans que nous n’ayons de véritable droit de réparation.

What parent would trust their child's health to an AI system

Quel parent confierait la santé de son enfant à une IA

unless you could run some basic diagnostics?

sans pouvoir effectuer quelques diagnostics de base ?

What professional would trust an AI system with job decisions,

Quel professionnel ferait confiance à une IA

pour prendre des décisions,

unless you could retrain it the way you might a junior employee?

à moins de pouvoir le former, exactement comme un employé junior ?

Now, a right to repair might look something like this.

Le droit de réparation pourrait ressembler à ceci.

You could have a diagnostics board

Cela pourrait être un tableau de diagnostic

where you run basic tests that you design,

sur lequel exécuter les tests de base que l’on conçoit,

and if something's wrong, you could report it to the company

et s’il y a un bug, on peut le signaler à l’entreprise

et recevoir une réponse après la correction.

and hear back when it's fixed.

Or you could work with third parties like ethical hackers

On peut travailler avec des tiers, tels que des hackers éthiques,

who make patches for systems like we do today.

qui créent des correctifs, comme nous le faisons déjà.

You can download them and use them to improve your system

On les télécharge pour améliorer notre système

the way you want it to be improved.

exactement comme on le souhaite.

Or you could be like these intrepid farmers and learn to program

On peut être comme ces fermiers intrépides et apprendre à programmer

and fine-tune your own systems.

et à ajuster nos propres systèmes.

We won't achieve the promised benefits of artificial intelligence

Nous n'obtiendrons pas les avantages promis de l'intelligence artificielle

unless we figure out how to bring people into the development process.

sans trouver comment associer les gens au processus de développement.

I've dedicated my career to responsible AI,

J'ai consacré ma carrière à l'IA responsable,

and in that field we ask the question,

et dans ce domaine, nous nous posons la question suivante :

what can companies build to ensure that people trust AI?

quel système développer pour s’assurer que les gens font confiance à l’IA ?

Now, through these red-teaming exercises, and by talking to you,

Grâce à ces exercices avec les red team, et en m’adressant à vous,

I've come to realize that we've been asking the wrong question all along.

je m’aperçois que nous nous posions la mauvaise question.

What we should have been asking is what tools can we build

Nous devrions nous demander quels outils développer

so people can make AI beneficial for them?

pour que les gens puissent tirer parti de l’IA, pour eux-mêmes.

Technologists can't do it alone.

Les technologues ne peuvent pas y parvenir seuls.

We can only do it with you.

Nous ne pouvons le faire qu'avec vous.

Thank you.

Merci.

(Applause)

(Applaudissements)