Why AI Needs a “Nutrition Label” | Kasia Chmielinski | TED

Traducteur: Claire Ghyselen Relecteur: eric vautier

Now, I haven't met most of you or really any of you,

Nous nous rencontrons pour la première fois,

but I feel a really good vibe in the room.

mais vous projetez des ondes positives.

(Laughter)

(Rires)

And so I think I'd like to treat you all to a meal.

J’aimerais bien vous inviter à manger un petit bout.

What do you think?

Ça vous tente ?

Yes? Great, so many new friends.

Oui ? Cool, plein de nouveaux amis.

So we're going to go to this cafe,

Nous allons dans un café où ils servent des sandwichs.

they serve sandwiches.

And the sandwiches are really delicious.

Ils sont super bons, mais sachez que parfois,

But I have to tell you that sometimes they make people really, really sick.

ils rendent les gens vraiment malades.

(Laughter)

(Rires)

And we don't know why.

On ne comprend pas.

Because the cafe won't tell us how they make the sandwich,

On ne nous dit pas comment on prépare les sandwichs,

they won't tell us about the ingredients.

ni les ingrédients.

And then the authorities have no way to fix the problem.

Et les autorités ignorent comment régler le problème.

But the offer still stands.

Mais je vous invite.

So who wants to get a sandwich?

Alors, qui veut un sandwich ?

(Laughter)

(Rires)

Some brave souls, we can talk after.

Il y a quelques courageux, rendez-vous plus tard.

But for the rest of you, I understand.

Mais je comprends tous les autres.

You don't have enough information

Il n’y a pas assez d’information

to make good choices about your safety

pour décider en préservant votre sécurité ou pour résoudre le souci.

or even fix the issue.

Now, before I further the anxiety here, I'm not actually trying to make you sick,

Avant de vous rendre vraiment anxieux, je ne vais pas vous rendre malade.

but this is an analogy to how we're currently making algorithmic systems,

C’est une analogie sur la façon dont les systèmes d’algorithmes sont développés,

also known as artificial intelligence or AI.

ce qu’on appelle l’intelligence artificielle, l’IA.

Now, for those who haven't thought about the relationship

Si vous n’aviez pas pensé aux ressemblances

between AI and sandwiches, don't worry about it,

entre l’IA et les sandwichs, ne vous inquiétez pas,

I'm here for you, I'm going to explain.

je suis là pour vous et je vais vous expliquer.

You see, AI systems, they provide benefit to society.

Les IA offrent des bénéfices à la société.

They feed us,

Elles nous nourrissent,

but they're also inconsistently making us sick.

mais elles nous rendent de temps en temps malades.

And we don't have access to the ingredients that go into the AI.

Nous n’avons pas non plus accès aux ingrédients de l’IA.

And so we can't actually address the issues.

On ne peut dès lors pas gérer les problèmes.

We also can't stop eating AI

On ne peut pas plus arrêter de manger l’IA,

like we can just stop eating a shady sandwich

qu’arrêter de manger un sandwich louche,

because it's everywhere,

car elle est partout

and we often don't even know that we're encountering a system

et on ignore souvent qu’on est face à un système

that's algorithmically based.

qui est fondé sur des algorithmes.

So today, I'm going to tell you about some of the AI trends that I see.

Je souhaite évoquer quelques tendances que je perçois dans l’IA.

I'm going to draw on my experience building these systems

Je me baserai sur mes 20 ans de programmation de ces systèmes

over the last two decades to tell you about the tools

pour évoquer les outils que j’ai développés avec d’autres

that I and others have built to look into these AI ingredients.

pour discerner les ingrédients de l’IA.

And finally, I'm going to leave you with three principles

Et je terminerai avec trois principes

that I think will give us a healthier relationship

qui selon moi, conduisent à une relation plus saine

to the companies that build artificial intelligence.

avec les entreprises qui développent des IA.

I'm going to start with the question, how did we get here?

Commençons avec la question : comment est-on arrivé là ?

AI is not new.

L’IA n’est pas nouvelle.

We have been living alongside AI for two decades.

On vit avec elle depuis 20 ans.

Every time that you apply for something online,

À chaque transaction en ligne,

you open a bank account or you go through passport control,

chaque ouverture de compte bancaire, ou d’un contrôle de passeport,

you're encountering an algorithmic system.

on croise un système algorithmique.

We've also been living with the negative repercussions of AI for 20 years,

On vit aussi avec les répercussions négatives de l’IA depuis 20 ans.

and this is how it makes us sick.

Et c’est cela qui nous rend malade.

These systems get deployed on broad populations,

Ces systèmes sont déployés sur de vastes populations,

and then certain subsets end up getting negatively disparately impacted,

et certains sous-groupes finissent par être influencés négativement

de façon hétérogène,

usually on the basis of race or gender or other characteristics.

habituellement sur base de la race, du genre ou d’autres caractéristiques.

We need to be able to understand the ingredients to these systems

Nous devons comprendre les ingrédients de ces systèmes

so that we can address the issues.

afin de régler les problèmes.

So what are the ingredients to an AI system?

Alors, quels sont ces ingrédients ?

Well, data fuels the AI.

Les données nourrissent l’IA.

The AI is going to look like the data that you gave it.

L’IA va ressembler aux données dont on l’a alimentée.

So for example,

Par exemple,

if I want to make a risk-assessment system for diabetes,

pour développer un système d’analyse de risques du diabète,

my training data set might be adults in a certain region.

mes données d’apprentissage seront des adultes de certaines régions.

And so I'll build that system,

Je vais construire mon AI qui fonctionnera bien pour cette cohorte,

it'll work really well for those adults in that region.

mais pas pour des adultes ailleurs, ou pour les enfants.

But it does not work for adults in other regions

or maybe at all for children.

So you can imagine if we deploy this for all those populations,

Donc, si on déploie ce système pour tout le monde,

cela affectera négativement beaucoup de personnes.

there are going to be a lot of people who are harmed.

C’est pourquoi il faut comprendre la qualité des données avant de les utiliser.

We need to be able to understand the quality of the data before we use it.

But I'm sorry to tell you that we currently live

Mais hélas, nous vivons dans un monde que j’ai surnommé le Far West des données

in what I call the Wild West of data.

It's really hard to assess quality of data before you use it.

où il est très difficile d’évaluer leur qualité avant de les utiliser.

There are no global standards for data quality assessment,

Il n’y a aucun standard pour évaluer la qualité des données

and there are very few data regulations around how you can use data

et très peu de réglementation sur l’usage que l’on peut en faire,

and what types of data you can use.

et sur le type de données que l’on peut utiliser.

This is kind of like in the food safety realm.

Cela ressemble un peu à la sécurité alimentaire.

If we couldn't understand where the ingredients were sourced,

Si on ignore la provenance des ingrédients,

we also had no idea whether they were safe for us to consume.

on n’a aucune idée si on peut les consommer en toute sécurité.

We also tend to stitch data together,

On a aussi tendance à agglomérer les données,

and every time we stitch this data together,

et chaque fois qu’on le fait,

which we might find on the internet, scrape, we might generate it,

avec des données trouvées sur Internet, captées ailleurs, générées

we could source it.

ou fournies par un tiers,

We lose information about the quality of the data.

on perd de l’information sur la qualité de ces données.

And the folks who are building the models

Or ceux qui développent les modèles ne sont pas ceux qui trouvent les données.

are not the ones that found the data.

So there's further information that's lost.

C’est une autre source de déperdition.

Now, I've been asking myself a lot of questions

J’ai retourné le problème dans tous les sens

about how can we understand the data quality before we use it.

de comment comprendre la qualité des données avant leur utilisation.

And this emerges from two decades of building these kinds of systems.

Ceci est issu de 20 ans de carrière à développer ces systèmes.

The way I was trained to build systems is similar to how people do it today.

Ma formation est similaire à celle de ceux qui font cela aujourd’hui.

You build for the middle of the distribution.

On développe un système selon une courbe de Gauss.

That's your normal user.

C’est l’utilisateur moyen.

So for me, a lot of my training data sets

Dans mon cas, mes données d’apprentissage

would include information about people from the Western world who speak English,

incluent des informations sur des populations de l’Occident, anglophones,

who have certain normative characteristics.

avec certaines caractéristiques normatives.

And it took me an embarrassingly long amount of time

Et je dois avouer que ça m’a pris beaucoup de temps

to realize that I was not my own user.

pour comprendre que je n’en faisais pas partie.

So I identify as non-binary, as mixed race,

Je m’identifie comme non binaire, de races mélangées,

I wear a hearing aid

j’ai une aide auditive.

and I just wasn't represented in the data sets that I was using.

Bref, je ne suis pas représentée dans les données que j’exploitais.

And so I was building systems that literally didn't work for me.

Je développais des systèmes qui ne fonctionneraient pas avec moi.

And for example, I once built a system that repeatedly told me

Par exemple, j’ai conçu un système qui m’affirmait continuellement

that I was a white Eastern-European lady.

que j’étais une femme blanche est-européenne.

This did a real number on my identity.

Ça m’a secouée dans mon identité !

(Laughter)

(Rires)

But perhaps even more worrying,

Mais plus inquiétant,

this was a system to be deployed in health care,

ce système était censé être déployé dans la santé,

where your background can determine things like risk scores for diseases.

où l’horizon génétique a une influence sur le risque d’avoir certaines maladies.

And so I started to wonder,

Alors, j’ai commencé à réfléchir

can I build tools and work with others to do this

si je pouvais développer des outils, avec d’autres,

so that I can look inside of a dataset before I use it?

afin d’observer la composition des données avant de les utiliser.

In 2018, I was part of a fellowship at Harvard and MIT,

En 2018, j’ai reçu à une bourse de Harvard et du MIT

and I, with some colleagues, decided to try to address this problem.

pour étudier ce problème avec d’autres collègues.

And so we launched the Data Nutrition Project,

C’est ainsi que nous avons lancé le « Data Nutrition Project »,

which is a research group and also a nonprofit

un groupe de recherche, qui est aussi une ONG,

that builds nutrition labels for datasets.

qui développe un nutriscore pour les données.

So similar to food nutrition labels,

L’idée est similaire aux labels de nutrition.

the idea here is that you can look inside of a data set before you use it.

On peut étudier la composition des données avant de les utiliser.

You can understand the ingredients,

On peut comprendre les ingrédients,

see whether it's healthy for the things that you want to do.

vérifier s’ils sont sains pour l’utilisation qu’on leur destine.

Now this is a cartoonified version of the label.

Voici une illustration de notre label.

The top part tells you about the completion of the label itself.

En haut, on a le taux de complétude du label.

And underneath that you have information about the data,

En dessous, on a les informations : la description, les mots clés, les tags,

the description, the keywords, the tags,

and importantly, on the right hand side,

et important, à droite,

how you should and should not use the data.

comment on doit utiliser, ou éviter d’utiliser, les données.

If you could scroll on this cartoon,

Si on déroule la vignette,

you would see information about risks and mitigation strategies

on trouve des informations sur les risques et les stratégies d’atténuation

across a number of vectors.

selon certains vecteurs.

And we launched this with two audiences in mind.

Nous avions deux publics cibles à l’esprit.

The first audience are folks who are building AI.

Le premier, ce sont les programmeurs qui développent des IA.

So they’re choosing datasets.

Ils choisissent les données.

We want to help them make a better choice.

On souhaite les épauler dans leurs choix.

The second audience are folks who are building datasets.

Le deuxième, ce sont les personnes qui développent les données.

And it turns out

Il s’avère

that when you tell someone they have to put a label on something,

que quand on dit à quelqu’un de poser une étiquette sur un objet,

they think about the ingredients beforehand.

il pense d’abord aux ingrédients.

The analogy here might be,

L’analogie dans notre cas,

if I want to make a sandwich and say that it’s gluten-free,

pour préparer un sandwich sans gluten, par exemple,

I have to think about all the components as I make the sandwich,

on doit penser aux ingrédients qui vont entrer dans la composition,

the bread and the ingredients, the sauces.

le pain, les garnitures, les sauces.

I can't just put it on a sandwich and put it in front of you

Je ne peux pas vous servir un sandwich comme ça

and tell you it's gluten-free.

et vous affirmer qu’il est sans gluten.

We're really proud of the work that we've done.

Nous sommes fiers du chemin parcouru.

We launched this as a design and then a prototype

Nous avons lancé le design, puis un prototype,

and ultimately a tool for others to make their own labels.

et enfin un outil destiné à tous pour créer ses étiquettes.

And we've worked with experts at places like Microsoft Research,

On a travaillé avec des spécialistes, chez Microsoft Research,

the United Nations and professors globally

aux Nations-Unies, et des professeurs partout dans le monde,

to integrate the label and the methodology

pour intégrer le label et la méthodologie

into their work flows and into their curricula.

dans leurs processus de travail et leurs cours.

But we know it only goes so far.

Mais tout cela a des limites.

Et c’est dû au fait qu’il est vraiment difficile d’obtenir un label

And that's because it's actually really hard to get a label

on every single dataset.

pour toutes les données.

And this comes down to the question

On en revient à la question de savoir pourquoi poser un label sur les données.

of why would you put a label on a dataset to begin with?

Well, the first reason is not rocket science.

La première raison n’est pas de la physique nucléaire : il faut le faire.

It's that you have to.

And this is, quite frankly, why food nutrition labels exist.

C’est pour cette raison que le nutriscore existe.

It's because if they didn't put them on the boxes, it would be illegal.

Sans label sur l’emballage, c’est illégal.

However, we don't really have AI regulation.

Toutefois, il n’y a pas de réglementation pour l’IA,

We don't have much regulation around the use of data.

ni pour l’utilisation des données.

Now there is some on the horizon.

Certes, cela se dessine à l’horizon.

For example, the EU AI Act just passed this week.

Par exemple, le règlement européen sur l’IA approuvé en mai 2024.

And although there are no requirements around making the training data available,

Même s’il n’y a pas d’exigence pour dévoiler les données d’apprentissage,

they do have provisions for creating transparency labeling

il y a des dispositions pour créer des labels de transparence,

like the dataset nutrition label, data sheets, data statements.

comme un label nutritionnel, des informations et des déclarations.

There are many in the space.

Il y en a beaucoup.

We think this is a really good first step.

C’est un pas dans la bonne direction.

The second reason that you might have a label on a dataset

La deuxième raison pour avoir un label sur les données,

is because it is a best practice or a cultural norm.

c’est que c’est une bonne pratique, une norme culturelle, si vous voulez.

The example here might be how we're starting to see

Un exemple est l’apparition de plus en plus fréquente

more and more food packaging and menus at restaurants

sur les emballages alimentaires et les menus des restaurants

include information about whether there's gluten.

d’informations sur la présence de gluten.

This is not required by law,

Ce n’est pas exigé par la loi,

although if you do say it, it had better be true.

même si le fait de le mentionner exige que ce soit vrai.

And the reason that people are adding this to their menus

Si les gens ajoutent cette information sur leurs menus,

and their food packaging

et les emballages,

is because there's an increased awareness of the sensitivity

c’est parce qu’on est de plus en plus conscient de cette sensibilité

and kind of the seriousness of that kind of an allergy or condition.

et du sérieux de cette allergie, de cette condition.

So we're also seeing some movement in this area.

Les choses bougent donc.

Folks who are building datasets are starting to put nutrition labels,

Ceux qui développent les données commencent à poser des labels,

data sheets on their datasets.

des informations au sujet de leurs données.

And people who are using data are starting to request the information.

Les utilisateurs commencent eux aussi à exiger ces informations.

This is really heartening.

C’est très encourageant.

Alors, pourquoi suis-je là ?

And you might say, "Kasia, why are you up here?

Tout semble aller pour le mieux.

Everything seems to be going well, seems to be getting better."

In some ways it is.

C’est assez vrai.

But I'm also here to tell you that our relationship to data

Mais je suis là parce que notre relation aux données

is getting worse.

est loin de s’améliorer.

Now the last few years have seen a supercharged interest

Ces dernières années, l’intérêt pour la collecte de données

in gathering datasets.

s’est fortement amplifié.

Companies are scraping the web.

Les entreprises passent le web au peigne fin.

They're transcribing millions of hours of YouTube videos into text.

Elles transcrivent des millions d’heures de vidéos YouTube.

By some estimates, they'll run out of information on the internet by 2026.

Selon certaines estimations, il n’y aura plus d’information en 2026.

They're even considering buying publishing houses

Elles envisagent d’acquérir des maisons d’édition

so they can get access to printed text and books.

pour avoir accès aux textes imprimés et aux livres.

So why are they gathering this information?

Pourquoi rassembler toutes ces informations ?

Well, they need more and more information

Elles en ont besoin de plus en plus pour l’apprentissage de l’IA générative.

to train a new technique called generative AI.

I want to tell you about the size of these datasets.

Parlons un instant du volume de données.

If you look at GPT-3, which is a model that launched in 2020,

Si on prend GPT-3, le modèle lancé en 2020,

the training dataset included 300 billion words, or parts of words.

le volume de données d’apprentissage inclut 300 milliards de mots,

ou de bouts de mots.

Now for context, the English language contains less than a million words.

À titre de comparaison, la langue anglaise contient moins d’un million de mots.

Just three years later, DBRX was launched,

Trois ans plus tard, on a lancé DBRX,

which was trained on eight trillion words.

avec un volume d’apprentissage de 8 billions de mots.

So 300 billion to eight trillion in three years.

Donc, on est passé en trois ans de 300 milliards à 8 billions.

And the datasets are getting bigger.

Et ce volume continue d’augmenter.

Now with each successive model launch,

Or à chaque lancement d’un nouveau modèle,

the datasets are actually less and less transparent.

les données sont de moins en moins transparentes.

And even we have access to the information,

Et même en ayant accès aux informations,

it's so big, it's so hard to look inside without any kind of transparency tooling.

c’est si massif que c’est difficile de les scruter sans outil de transparence.

And the generative AI itself is also causing some worries.

L’IA générative aussi provoque des inquiétudes.

Vous avez sans doute entendu parler de ChatGPT.

And you've probably encountered this technique through ChatGPT.

I don't need to know what you do on the internet,

J’ignore vos activités sur Internet et c’est entre vous et Internet,

that's between you and the internet,

mais vous savez sans doute, comme moi,

but you probably know, just like I do,

combien il est facile de créer des informations avec ChatGPT

how easy it is to create information using ChatGPT

et d’autres technologies d’IA génératives,

and other generative AI technologies

and to put that out onto the web.

et de publier cela sur le web.

And so we're looking at a situation

Nous allons vers une situation où nous allons trouver des informations

in which we're going to encounter lots of information

qui auront été générées par un algorithme et nous n’en saurons rien,

that's algorithmically generated but we won't know it

nous ignorerons si c’est exact.

and we won't know whether it's true.

Cela augmente l’amplitude du risque et de la toxicité potentiels de l’IA.

And this increases the scale of the potential risks and harms from AI.

Not only that, I'm sorry,

Et ce n’est pas tout.

but the models themselves are getting controlled

Les modèles sont de plus en plus contrôlés par un petit nombre d’acteurs américains.

by a smaller and smaller number of private actors in US tech firms.

Voici les modèles lancés l’année dernière, en 2023.

So this is the models that were launched last year, in 2023.

La plupart sont en rose, la couleur représentant l’industrie.

And you can see most of them are pink, meaning they came out of industry.

Avec le temps, on voit que l’industrie en produit de plus en plus,

And if you look at this over time, more and more are coming out of industry

et tous les autres secteurs réunis de moins en moins,

and fewer and fewer are coming out of all the other sectors combined,

même les secteurs académiques et publics plus faciles à analyser.

including academia and government,

where technology is often launched in a way

that's more easy to be scrutinized.

So if we go back to our cafe analogy,

Si on retourne à notre analogie du café,

this is like you have a small number of private actors

c’est comme avoir un petit nombre d’acteurs du secteur privé

qui possèdent tous les ingrédients,

who own all the ingredients,

qui produisent les sandwichs pour le monde entier,

they make all the sandwiches globally,

et ce, sans réglementation.

and there's not a lot of regulation.

Cela devrait vous inquiéter, voire vous mettre mal à l’aise.

And so at this point you're probably scared

and maybe feeling a little uncomfortable.

C’est ironique car quand je vous ai proposé des sandwichs,

Which is ironic because a few minutes ago, I was going to get you all sandwiches

vous étiez d’accord.

and you said yes.

C’est pour ça qu’il ne fait pas accepter de nourriture d’inconnus.

This is why you should not accept food from strangers.

Mais je suis optimiste, sans quoi je ne serais pas là,

But I wouldn't be up here if I weren't also optimistic.

car nous avons le vent en poupe

And that's because I think we have momentum

en faveur de la réglementation et d’un changement culturel.

behind the regulation and the culture changes.

Especially if we align ourselves with three basic principles

Surtout si nous nous alignons sur trois principes de base

sur la façon dont le privé gère les données.

about how corporations should engage with data.

D’abord, les entreprises qui collectent des données doivent nous dire

The first principle is that companies that gather data should tell us

ce qu’elles collectent.

what they're gathering.

Ceci permet de poser des questions, par exemple, sur les droits d’auteur,

This would allow us to ask questions like, is it copyrighted material?

sur le caractère privé de l’info, ou sur la cessation de la collecte.

Is that information private?

Could you please stop?

Cela ouvre les données à la recherche scientifique aussi.

It also opens up the data to scientific inquiry.

Ensuite, les entreprises qui collectent nos données doivent nous dire

The second principle is that companies that are gathering our data should tell us

ce qu’elles vont en faire, avant de les manipuler.

what they're going to do with it before they do anything with it.

En exigeant que les entreprises nous dévoilent leurs projets,

And by requiring that companies tell us their plan,

ce qui signifie qu’elles doivent en avoir,

this means that they have to have a plan,

ce qui serait un bon point de départ.

which would be a great first step.

Cela conduirait aussi à minimiser la captation de données,

It also probably would lead to the minimization of data capture,

car les entreprises ne pourraient plus le faire

because they wouldn't be able to capture data

si elles ignorent ce qu’elles vont faire de ces données.

if they didn't know what they were already going to do with it.

Et enfin, le troisième principe,

And finally, principle three,

companies that build AI should tell us about the data

les développeurs d’IA devraient nous dire quelles données

ils utilisent pour l’apprentissage de leurs machines.

that they use to train the AI.

C’est ici que le nutriscore pour les données

And this is where dataset nutrition labels

et d’autres labels de transparence entrent en jeu.

and other transparency labeling comes into play.

You know, in the case where the data itself won't be made available,

Car dans le cas où les données ne seront pas accessibles directement,

la plupart du temps sans doute,

which is most of the time, probably,

le label joue un rôle critique pour pouvoir enquêter sur les ingrédients

the labeling is critical for us to be able to investigate the ingredients

et trouver des solutions.

and start to find solutions.

J’ai une bonne nouvelle pour conclure :

So I want to leave you with the good news,

le projet de nutriscore pour les données et d’autres projets

and that is that the data nutrition projects and other projects

sont une petite partie d’un mouvement mondial

are just a small part of a global movement

pour une prise de responsabilité vis-à-vis de l’IA.

towards AI accountability.

Dataset Nutrition Label and other projects are just a first step.

Nos projets constituent le point de départ.

La réglementation arrive bientôt,

Regulation's on the horizon,

les normes culturelles changent,

the cultural norms are shifting,

surtout quand on s’aligne avec ces trois principes

especially if we align with these three basic principles

de dévoiler les données collectées

that companies should tell us what they're gathering,

et ce qu’on projette d’en faire avant de les utiliser,

tell us what they're going to do with it before they do anything with it,

et pour les développeurs d’IA,

and that companies that are building AI

d’expliciter les données utilisées pour construire les systèmes.

should explain the data that they're using to build the system.

Ces organisations doivent nous rendre des comptes

We need to hold these organizations accountable

sur les IA qu’elles développent

for the AI that they're building

comme on le fait dans l’industrie alimentaire

by asking them, just like we do with the food industry,

en demandant comment c’est fabriqué.

what's inside and how did you make it?

Alors seulement, on pourra éviter les problèmes avant leur occurrence,

Only then can we mitigate the issues before they occur,

et non plus après.

as opposed to after they occur.

En agissant ainsi, on créera un Internet algorithmique intégré

And in doing so, create an integrated algorithmic internet

qui sera plus sain pour tout le monde.

that is healthier for everyone.

Merci.

Thank you.

(Applaudissements)

(Applause)