When AI Can Fake Reality, Who Can You Trust? | Sam Gregory | TED

Traducteur: Claire Ghyselen Relecteur: eric vautier

It's getting harder, isn't it, to spot real from fake,

N'est-il pas plus en plus difficile, de distinguer le vrai du faux,

AI-generated from human-generated.

des données générées par l'IA de celles générées par l'homme.

With generative AI,

Avec l'IA générative

along with other advances in deep fakery,

et à d'autres avancées en matière de deepfakes,

it doesn't take many seconds of your voice,

il suffit de quelques secondes de votre voix et de votre visage,

many images of your face,

to fake you,

pour créer une contrefaçon de vous, et le réalisme ne cesse de croître.

and the realism keeps increasing.

I first started working on deepfakes in 2017,

J'ai commencé à travailler sur les deepfakes en 2017,

when the threat to our trust in information was overhyped,

lorsque la menace sur notre confiance dans l'information était montée en épingle

and the big harm, in reality, was falsified sexual images.

et que le plus gros préjudice, en fait, était la falsification d'images sexuelles.

Now that problem keeps growing, harming women and girls worldwide.

Certes, ce problème ne cesse de s'aggraver

et de nuire aux femmes et aux filles dans le monde.

But also, with advances in generative AI, we're now also approaching a world

Mais avec les progrès de l'IA générative, nous nous dirigeons vers un monde

where it's broadly easier to make fake reality,

où il est globalement non seulement plus facile de créer un deepfake,

but also to dismiss reality as possibly faked.

mais aussi de rejeter la réalité comme étant peut-être fausse.

Now, deceptive and malicious audiovisual AI

L'IA audio-visuelle trompeuse et malveillante

is not the root of our societal problems,

n'est pas à l'origine de nos problèmes sociétaux,

but it's likely to contribute to them.

mais elle est susceptible d'y contribuer.

Audio clones are proliferating in a range of electoral contexts.

Les clones audio prolifèrent dans divers contextes électoraux.

"Is it, isn't it" claims cloud human-rights evidence from war zones,

Des affirmations sur ce qui serait, obscurcissent les preuves relatives

aux droits humains dans les zones de guerre,

sexual deepfakes target women in public and in private,

les deepfakes sexuels ciblent les femmes en public et en privé,

and synthetic avatars impersonate news anchors.

et les avatars artificiels se font passer pour des journalistes.

I lead WITNESS.

Je dirige WITNESS,

We're a human-rights group

un groupe de défense des droits humains

that helps people use video and technology to protect and defend their rights.

qui aide à protéger et défendre nos droits avec la technologie.

And for the last five years, we've coordinated a global effort,

Depuis cinq ans, nous coordonnons un effort mondial :

« Prepare, Don't Panic »,

"Prepare, Don't Panic,"

autour de ces nouvelles manières de manipuler et de synthétiser la réalité,

around these new ways to manipulate and synthesize reality,

and on how to fortify the truth

et sur la manière de renforcer la vérité

of critical frontline journalists and human-rights defenders.

pour les journalistes et les défenseurs des droits humains.

Now, one element in that is a deepfakes rapid-response task force,

L'un des éléments de ce processus est la mise en place

d'un groupe de travail d'intervention rapide sur les deepfakes,

made up of media-forensics experts

des experts des médias et des entreprises qui donnent leurs temps et compétences

and companies who donate their time and skills

to debunk deepfakes and claims of deepfakes.

pour démystifier les deepfakes et les allégations de deepfakes.

The task force recently received three audio clips,

Le groupe de travail a récemment reçu trois clips audio

from Sudan, West Africa and India.

provenant du Soudan, d'Afrique de l'Ouest et d'Inde.

People were claiming that the clips were deepfaked, not real.

Les gens prétendaient que les clips étaient des deepfakes et non réels.

In the Sudan case,

Pour le Soudan, un algorithme d'apprentissage automatique

experts used a machine-learning algorithm

trained on over a million examples of synthetic speech

entraîné sur plus d'un million d'exemples de discours synthétiques

to prove, almost without a shadow of a doubt,

pour prouver, presque sans l'ombre d'un doute,

that it was authentic.

que ce discours était authentique.

In the West Africa case,

Dans le cas de l'Afrique de l'Ouest,

they couldn't reach a definitive conclusion

une conclusion définitive ne fut possible

because of the challenges of analyzing audio from Twitter,

en raison des difficultés de l'analyse du son de Twitter avec du bruit de fond.

and with background noise.

The third clip was leaked audio of a politician from India.

Le troisième clip provient d'une fuite audio d'un politicien indien.

Nilesh Christopher of “Rest of World” brought the case to the task force.

Nilesh Christopher de « Rest of World » nous a apporté l'affaire.

The experts used almost an hour of samples

Les experts ont utilisé près d'une heure d'échantillons

to develop a personalized model of the politician's authentic voice.

pour développer un modèle personnalisé de la voix authentique du politicien.

Despite his loud and fast claims that it was all falsified with AI,

Bien qu'il ait affirmé haut et fort que tout avait été falsifié par l'IA,

experts concluded that it at least was partially real, not AI.

on a conclu que tout cela était au moins partiellement réel, et non pas de l'IA.

As you can see,

Comme vous le constatez,

even experts cannot rapidly and conclusively separate true from false,

même des experts ne peuvent pas séparer le vrai du faux,

rapidement et définitivement,

and the ease of calling "that's deepfaked" on something real

et il est de plus en plus facile de dire que « c'est un deepfake »

pour quelque chose de réel.

is increasing.

The future is full of profound challenges,

L'avenir est plein de défis de taille,

both in protecting the real and detecting the fake.

à la fois en ce qui concerne la protection du réel et la détection du faux.

We're already seeing the warning signs

Nous voyons déjà les signes avant-coureurs

of this challenge of discerning fact from fiction.

de la difficulté à distinguer les faits de la fiction.

Audio and video deepfakes have targeted politicians,

Des deepfakes audio et vidéo ont ciblé des politiciens,

major political leaders in the EU, Turkey and Mexico,

de grands dirigeants politiques de l'UE, de la Turquie et du Mexique,

and US mayoral candidates.

et des candidats à la mairie aux États-Unis.

Political ads are incorporating footage of events that never happened,

Des pubs politiques intègrent des images d'événements

qui ne se sont jamais produits,

and people are sharing AI-generated imagery from crisis zones,

et l'on partage des images générées par l'IA provenant de zones de crise,

claiming it to be real.

en prétendant qu'elles sont réelles.

Now, again, this problem is not entirely new.

Encore une fois, ce problème n'est pas totalement nouveau.

The human-rights defenders and journalists I work with

Les défenseurs des droits humains et les journalistes

are used to having their stories dismissed,

ont l'habitude de voir leurs articles rejetés,

and they're used to widespread, deceptive, shallow fakes,

et ils sont habitués à la diffusion de fausses vidéos,

videos and images taken from one context or time or place

de vidéos et d'images provenant d'un contexte, d'une époque ou d'un lieu,

and claimed as if they're in another,

et présentées comme si elles appartenaient à un autre,

used to share confusion and spread disinformation.

utilisées pour semer la confusion et diffuser de la désinformation.

And of course, we live in a world that is full of partisanship

Et bien entendu, nous vivons dans un monde empreint de partisanerie

and plentiful confirmation bias.

et de nombreux biais de confirmation.

Given all that,

Compte tenu de tout cela,

the last thing we need is a diminishing baseline

la dernière chose dont nous avons besoin est de réduire le nombre

of the shared, trustworthy information upon which democracies thrive,

d'informations partagées et fiables sur lesquelles les démocraties prospèrent,

where the specter of AI

où le spectre de l'IA

is used to plausibly believe things you want to believe,

est utilisé pour croire de manière plausible ce que vous voulez croire

and plausibly deny things you want to ignore.

et nier de manière plausible ce que vous voulez ignorer.

But I think there's a way we can prevent that future,

Mais il existe un moyen d'empêcher cela si nous agissons dès maintenant,

if we act now;

that if we "Prepare, Don't Panic,"

si nous « préparons, ne paniquons pas »,

we'll kind of make our way through this somehow.

nous parviendrons à nous en sortir d'une manière ou d'une autre.

Panic won't serve us well.

Paniquer ne nous rend pas de bons services.

[It] plays into the hands of governments and corporations

Cela fait le jeu des gouvernements et des entreprises

who will abuse our fears,

qui abusent de nos peurs,

and into the hands of people who want a fog of confusion

et cela fait le jeu de ceux qui veulent semer la confusion

and will use AI as an excuse.

et qui prendront l'IA comme bonne excuse.

How many people were taken in, just for a minute,

Combien furent dupés, même une seule minute,

by the Pope in his dripped-out puffer jacket?

par le Pape dans son imposante doudoune ?

You can admit it.

On peut l'avouer.

(Laughter)

(Rires)

More seriously,

Plus sérieusement,

how many of you know someone who's been scammed

combien connaissent une personne victime d'arnaque

by an audio that sounds like their kid?

où l'on imite la voix de leur enfant ?

And for those of you who are thinking "I wasn't taken in,

Et si vous pensez pouvoir ne pas être dupé

I know how to spot a deepfake,"

car vous savez repérer un deepfake,

any tip you know now is already outdated.

tous les conseils que vous connaissez aujourd'hui sont déjà dépassés.

Deepfakes didn't blink, they do now.

Les deepfakes ne clignaient pas des yeux, mais ils le font désormais.

Six-fingered hands were more common in deepfake land than real life --

Il y a plus de mains à six doigts au Deepfakekistan que dans la vraie vie,

not so much.

mais pas tant que ça.

Technical advances erase those visible and audible clues

Les progrès techniques effacent ces indices visibles et audibles

that we so desperately want to hang on to

auxquels nous nous raccrochions désespérément

as proof we can discern real from fake.

pour prouver que nous pouvons distinguer le vrai du faux.

But it also really shouldn’t be on us to make that guess without any help.

Mais cette responsabilité ne peut pas nous incomber sans être épaulés.

Between real deepfakes and claimed deepfakes,

Entre les vrais deepfakes et les deepfakes revendiqués,

we need big-picture, structural solutions.

nous avons besoin de solutions structurelles globales.

We need robust foundations

Nous avons besoin de bases solides

that enable us to discern authentic from simulated,

qui permettent de distinguer l'authentique de la simulation,

tools to fortify the credibility of critical voices and images,

des outils pour renforcer la crédibilité des voix et des images critiques,

and powerful detection technology

et de technologies de détection puissante

that doesn't raise more doubts than it fixes.

qui ne soulèvent pas plus de doutes qu'elles n'en corrigent.

There are three steps we need to take to get to that future.

Il y a trois étapes à suivre pour atteindre ce futur.

Step one is to ensure that the detection skills and tools

La première consiste à s'assurer que les compétences et les outils de détection

are in the hands of the people who need them.

sont entre les mains de ceux qui en ont besoin.

I've talked to hundreds of journalists,

J'ai parlé à des centaines de journalistes, de leaders communautaires

community leaders and human-rights defenders,

et de défenseurs des droits humains,

and they're in the same boat as you and me and us.

et ils sont dans le même bateau que nous tous.

They're listening to the audio, trying to think, "Can I spot a glitch?"

Ils écoutent les audios en se demandant : « Puis-je détecter un bug ? »

Looking at the image, saying, "Oh, does that look right or not?"

En regardant des vidéos, ils se demandent si cela semble normal ou pas.

Or maybe they're going online to find a detector.

Ou peut-être qu'ils vont sur Internet pour trouver un détecteur.

And the detector they find,

Et ce détecteur ne leur permet pas de savoir

they don't know whether they're getting a false positive, a false negative,

si le résultat est un faux positif, un faux négatif ou un résultat fiable.

or a reliable result.

Here's an example.

Voici un exemple.

I used a detector, which got the Pope in the puffer jacket right.

J'ai utilisé un détecteur qui a évalué le Pape dans sa doudoune correctement.

But then, when I put in the Easter bunny image that I made for my kids,

Mais ensuite, quand j'ai testé la photo du lapin de Pâques de mes enfants,

it said that it was human-generated.

il a évalué la photo comme étant générée par l'homme.

This is because of some big challenges in deepfake detection.

Cela est lié aux grands défis de la détection des deepfakes.

Detection tools often only work on one single way to make a deepfake,

La détection fonctionne sur un facteur dans la création de deepfakes.

so you need multiple tools,

Il faut donc plusieurs outils.

and they don't work well on low-quality social media content.

De plus, ils ne fonctionnent pas bien sur les contenus de basse qualité

des réseaux sociaux.

Confidence score, 0.76-0.87,

Taux de confiance : 0,76 à 0,87.

how do you know whether that's reliable,

Comment savoir si c'est fiable,

if you don't know if the underlying technology is reliable,

sans savoir si la technologie sous-jacente l'est,

or whether it works on the manipulation that is being used?

ou si elle fonctionne sur la manipulation utilisée ?

And tools to spot an AI manipulation don't spot a manual edit.

Par ailleurs, les outils de détection de manipulation par IA ne détectent pas

une modification manuelle.

These tools also won't be available to everyone.

Ces outils ne sont pas non plus accessibles à tous.

There's a trade-off between security and access,

Il existe un compromis entre sécurité et accès,

which means if we make them available to anyone,

ce qui signifie que mis à la disposition de tous,

they become useless to everybody,

ils deviennent inutiles pour tout le monde,

because the people designing the new deception techniques

car ceux qui conçoivent les nouvelles techniques de truquage

will test them on the publicly available detectors

les testeront sur les détecteurs accessibles au public

and evade them.

pour les contourner.

But we do need to make sure these are available

Mais nous devons nous assurer qu'ils sont mis à la disposition

to the journalists, the community leaders,

des journalistes, des leaders communautaires

the election officials, globally, who are our first line of defense,

et des agents électoraux dans le monde - notre première ligne de défense -

thought through with attention to real-world accessibility and use.

en tenant compte de leur accessibilité et de leur utilisation dans le monde réel.

Though at the best circumstances,

Même si, dans le meilleur des cas,

detection tools will be 85 to 95 percent effective,

les outils de détection

they have to be in the hands of that first line of defense,

ils doivent être entre les mains de ces personnes-là,

and they're not, right now.

ce qui n'est pas le cas pour le moment.

So for step one, I've been talking about detection after the fact.

Donc, première étape, la détection après coup.

Step two -- AI is going to be everywhere in our communication,

Deuxième étape : l'IA sera omniprésente dans la communication,

creating, changing, editing.

la création, la réécriture et dans l'édition.

It's not going to be a simple binary of "yes, it's AI" or "phew, it's not."

Ce ne sera pas binaire entre :

« Oui, c'est de l'IA », ou : « Ouf, pas d'IA ».

AI is part of all of our communication,

L'IA fait partie intégrante de toutes nos communications.

so we need to better understand the recipe of what we're consuming.

Nous devons donc mieux comprendre la recette de ce que nous consommons.

Some people call this content provenance and disclosure.

Certaines personnes appellent cela : provenance et divulgation du contenu.

Technologists have been building ways to add invisible watermarking

Les technologues ont mis au point des moyens d'ajouter un filigrane invisible

to AI-generated media.

aux médias générés par l'IA.

They've also been designing ways --

Ils ont également conçu des moyens -

and I've been part of these efforts --

et j'ai participé à ces efforts -

dans le cadre d'une norme appelée C2PA,

within a standard called the C2PA,

to add cryptographically signed metadata to files.

pour ajouter aux fichiers des métadonnées signées cryptographiquement.

This means data that provides details about the content,

Cela signifie des données qui fournissent des détails sur le contenu,

cryptographically signed in a way that reinforces our trust

signées cryptographiquement afin de renforcer notre confiance

in that information.

dans ces informations.

It's an updating record of how AI was used to create or edit it,

Il s'agit d'un enregistrement actualisé

de la manière dont l'IA a été utilisée pour les créer ou modifier,

where humans and other technologies were involved,

de l'implication de l'Homme et d'autres technologies,

and how it was distributed.

et de la manière dont elles ont été distribuées.

It's basically a recipe and serving instructions

C'est fondamentalement une recette et un mode d'emploi

for the mix of AI and human

pour le mélange d'IA et d'humain dans ce que vous voyez et entendez.

that's in what you're seeing and hearing.

And it's a critical part of a new AI-infused media literacy.

C'est un élément essentiel d'une nouvelle éducation aux médias basée sur l'IA.

And this actually shouldn't sound that crazy.

Et cela ne devrait pas paraître si fou en fait.

Our communication is moving in this direction already.

Notre communication s'oriente déjà dans cette direction.

If you're like me -- you can admit it --

Si vous êtes comme moi, vous pouvez l'avouer,

you browse your TikTok “For You” page,

vous parcourez votre page TikTok « For You »

and you're used to seeing videos that have an audio source,

et vous avez l'habitude de voir des vidéos dotées d'une source audio,

an AI filter, a green screen, a background,

d'un filtre AI, d'un écran vert, d'un arrière-plan,

a stitch with another edit.

de Stich pour rogner les vidéos.

This, in some sense, is the alpha version of this transparency

Il s'agit en quelque sorte de la version alpha de cette transparence

in some of the major platforms we use today.

sur certaines des principales plateformes.

It's just that it does not yet travel across the internet,

C'est juste que ça ne circule pas encore sur Internet,

it’s not reliable, updatable, and it’s not secure.

que ce n'est pas fiable, modifiable, ni sécurisé.

Now, there are also big challenges

Ce type d'infrastructure présente par ailleurs de grands défis

in this type of infrastructure for authenticity.

en matière d'authenticité.

As we create these durable signs of how AI and human were mixed,

Quand nous créons ces signes durables sur l'intrication entre l'IA et l'humain,

that carry across the trajectory of how media is made,

qui se répercutent sur la trajectoire de création des médias,

we need to ensure they don't compromise privacy or backfire globally.

nous devons nous assurer qu'ils ne compromettent pas la vie privée

et n'ont pas l'effet inverse.

We have to get this right.

Nous devons faire les choses correctement.

We can't oblige a citizen journalist filming in a repressive context

On ne peut pas obliger un journaliste citoyen qui filme

dans un contexte répressif

or a satirical maker using novel gen-AI tools

ou un auteur de satires qui utilise de nouveaux outils d'IA générative

to parody the powerful ...

pour parodier les puissants...

to have to disclose their identity or personally identifiable information

à devoir divulguer leur identité ou des informations personnelles identifiables

in order to use their camera or ChatGPT.

afin de pouvoir utiliser leur appareil photo ou ChatGPT.

Because it's important they be able to retain their ability to have anonymity,

Parce qu'il est important qu'ils puissent conserver leur anonymat,

at the same time as the tool to create is transparent.

tout en garantissant la transparence de l'outil de création.

This needs to be about the how of AI-human media making,

Cela doit porter sur la manière dont l'IA crée du contenu,

not the who.

et non sur qui l'utilise.

This brings me to the final step.

Cela m'amène à la dernière étape.

None of this works without a pipeline of responsibility

Rien de tout cela ne fonctionne sans une chaîne de responsabilités

that runs from the foundation models and the open-source projects

depuis les modèles de base et les projets open source,

through to the way that is deployed into systems, APIs and apps,

en passant par le déploiement dans les systèmes, les API et les applications,

to the platforms where we consume media and communicate.

jusqu'aux plateformes où nous consommons des médias et communiquons.

I've spent much of the last 15 years fighting, essentially, a rearguard action,

J'ai passé les 15 dernières années à me battre, un combat d'arrière-garde,

like so many of my colleagues in the human rights world,

comme beaucoup de mes collègues du monde des droits humains,

against the failures of social media.

contre les manquements des réseaux sociaux.

We can't make those mistakes again in this next generation of technology.

Nous ne pouvons pas refaire ces erreurs

dans cette nouvelle génération de technologies.

What this means is that governments

Cela signifie que les gouvernements doivent garantir,

need to ensure that within this pipeline of responsibility for AI,

dans la chaîne de responsabilité de l'IA,

there is transparency, accountability and liability.

la transparence, la reddition de comptes et la prise de responsabilité.

Without these three steps --

Sans ces trois étapes,

detection for the people who need it most,

à savoir la détection pour ceux qui en ont le plus besoin,

provenance that is rights-respecting

la mention d'origine respectueuse des droits

and that pipeline of responsibility,

et la responsabilité,

we're going to get stuck looking in vain for the six-fingered hand,

nous allons nous retrouver à chercher en vain la main à six doigts

or the eyes that don't blink.

ou les yeux qui ne clignent pas.

We need to take these steps.

Nous devons prendre ces mesures.

Otherwise, we risk a world where it gets easier and easier

Autrement, nous risquons de créer un monde

où il est de plus en plus aisé de simuler la réalité

to both fake reality

and dismiss reality as potentially faked.

et de rejeter la réalité comme éventuellement falsifiée.

And that is a world that the political philosopher Hannah Arendt

Et c'est un monde que la philosophe politique Hannah Arendt

described in these terms:

a décrit en ces termes :

"A people that no longer can believe anything

« Un peuple qui n'arrive plus à croire à rien

cannot make up its own mind.

ne peut pas se forger sa propre opinion.

It is deprived not only of its capacity to act

Il est privé non seulement de sa capacité d'agir

but also of its capacity to think and to judge.

mais aussi de sa capacité de penser et de juger.

And with such a people you can then do what you please."

Et avec de telles personnes, on peut faire ce que l'on veut. »

That's a world I know none of us want,

C'est un monde que personne ne souhaite,

that I think we can prevent.

et que, je pense, nous pouvons empêcher.

Thanks.

Merci.

(Cheers and applause)

(Applaudissements) (Acclamations)