What if AI Could Spot Your Lies? | Riccardo Loconte | TED

Traducteur: Claire Ghyselen Relecteur: eric vautier

This is something you won't like.

Ceci ne va pas vous plaire,

But here everyone is a liar.

mais ici, tout le monde est un menteur.

Don't take it too personally.

Ne le prenez pas trop personnellement.

What I mean is that lying is very common

Ce que je veux dire, c’est que le mensonge est très courant

and it is now well-established that we lie on a daily basis.

et qu'il est maintenant bien établi que nous mentons tous les jours.

Indeed, scientists have estimated that we tell around two lies per day,

En effet, les scientifiques estiment que nous mentons environ deux fois par jour,

although, of course, it's not that easy to establish those numbers with certainty.

même s’il n’est pas si facile d’établir ces chiffres avec certitude.

And, well, I introduce myself.

Permettez-moi de me présenter.

I'm Riccardo, I'm a psychologist and a PhD candidate,

Je m’appelle Riccardo, je suis psychologue et doctorant.

and for my research project I study how good are people at detecting lies.

Je fais des recherches sur la capacité des gens à détecter les mensonges.

Ça a l’air cool, non ?

Seems cool, right? But I'm not joking.

Mais je ne plaisante pas.

And you might wonder why a psychologist was then invited

Vous vous demandez peut-être pourquoi on a invité un psychologue

to give a TED Talk about AI.

à donner une conférence TED sur l'IA.

And well, I'm here today

Eh bien, je suis ici

because I'm about to tell you how AI could be used to detect lies.

pour vous expliquer comment l’IA pourrait être utilisée pour détecter les mensonges.

And you will be very surprised by the answer.

Et vous allez être très surpris de la réponse.

But first of all, when is it relevant to detect lies?

Mais tout d'abord, quand est-il pertinent de détecter les mensonges ?

A first clear example that comes to my mind

Un premier exemple clair qui me vient à l’esprit

is in the criminal investigation field.

est celui des enquêtes criminelles.

Imagine you are a police officer and you want to interview a suspect.

Imaginez être un officier de police et vouloir interroger un suspect.

And the suspect is providing some information to you.

Le suspect vous fournit des informations.

And this information is actually leading to the next steps of the investigation.

Et ces informations mènent aux prochaines étapes de l’enquête.

We certainly want to understand if the suspect is reliable

Nous voulons absolument savoir si le suspect dit la vérité,

or if they are trying to deceive us.

ou s'il essaie de nous tromper.

Then another example comes to my mind,

Puis un autre exemple me vient à l'esprit,

and I think this really affects all of us.

et cela nous concerne tous, je pense.

So please raise your hands

Alors, s'il vous plaît, levez la main

if you would like to know if your partner cheated on you.

si vous voulez savoir si votre partenaire vous a trompé.

(Laughter)

(Rires)

And don't be shy because I know.

Et ne soyez pas timide, parce que je le sais.

(Laughter)

(Rires)

Yeah. You see?

Oui. Vous voyez ?

It's very relevant.

C'est très pertinent.

However, I have to have to say that we as humans

Cependant, je dois vous dire que nous, les humains,

are very bad at detecting lies.

sommes très peu doués pour détecter les mensonges.

In fact, many studies have already confirmed

En fait, de nombreuses études ont déjà confirmé

that when people are asked to judge

que lorsqu’on demande à des personnes d’estimer

if someone is lying or not

si quelqu’un ment ou non,

without knowing much about that person or the context,

sans en savoir beaucoup sur cette personne ou le contexte,

people's accuracy is no better than the chance level,

le résultat n’est pas meilleur que de tirer à pile ou face.

about the same as flipping a coin.

Autant lancer une pièce en l’air.

You might also wonder

On peut aussi se demander

if experts, such as police officers, prosecutors, experts

si les experts, les policiers, les procureurs, les experts

and even psychologists

et même les psychologues,

are better at detecting lies.

sont meilleurs pour détecter les mensonges.

And the answer is complex,

Et la réponse est complexe,

because experience alone doesn't seem to be enough

car l'expérience à elle seule ne semble pas suffire

to help detect lies accurately.

à détecter les mensonges avec précision.

It might help, but it's not enough.

Cela peut aider, mais ce n’est pas suffisant.

To give you some numbers.

Voici quelques chiffres.

In a well-known meta-analysis that previous scholars did in 2006,

Une méta-analyse bien connue réalisée par des universitaires en 2006,

they found that naive judges' accuracy

met en relief que la précision des juges naïfs

was on average around 54 percent.

était en moyenne d'environ 54 %.

Experts perform only slightly better,

Les résultats des experts ne sont que légèrement meilleurs,

with an accuracy rate around 55 percent.

avec un taux de précision d'environ 55 %.

(Laughter)

(Rires)

Not that impressive, right?

Pas très impressionnant.

And ...

Et...

Those numbers actually come from the analysis

ces chiffres proviennent de l’analyse des résultats de 108 études,

of the results of 108 studies,

meaning that these findings are quite robust.

ce qui signifie qu’ils sont robustes.

And of course, the debate is also much more complicated than this

Bien entendu, le débat est également beaucoup plus complexe que cela

and also more nuanced.

et aussi plus nuancé.

But here the main take-home message

Mais ici, le principal message à retenir

is that humans are not good at detecting lies.

est que les humains ne sont pas doués pour détecter les mensonges.

What if we are creating an AI tool

Et si nous créions un outil avec l’intelligence artificielle

where everyone can detect if someone else is lying?

qui permette à tout le monde de détecter les mensonges d’autrui ?

This is not possible yet, so please don't panic.

Ce n’est pas encore possible, pas de panique !

(Laughter)

(Rires)

But this is what we tried to do in a recent study

Mais c'est ce que nous avons essayé de faire dans une étude récente

that I did together with my brilliant colleagues

que j’ai réalisée avec mes brillants collègues,

whom I need to thank.

c’est l’occasion de les remercier.

And actually, to let you understand what we did in our study,

Pour vous faire comprendre ce que nous avons fait dans notre étude,

I need to first introduce you to some technical concepts

je dois d’abord vous présenter quelques concepts techniques

and to the main characters of this story:

et les personnages principaux de cette histoire :

Large language models.

les grands modèles de langage.

Large language models are AI systems

Les grands modèles de langage sont des systèmes d’IA

designed to generate outputs in natural language

conçus pour générer des résultats dans un langage naturel,

in a way that almost mimics human communication.

d’une manière qui imite presque la communication humaine.

If you are wondering how we teach these AI systems to detect lies,

Si vous vous demandez comment nous formons ces IA à détecter les mensonges,

here is where something called fine-tuning comes in.

c’est là qu’intervient ce que l’on appelle la mise au point.

But let's use a metaphor.

Mais utilisons une métaphore.

Imagine large language models being as students

Imaginez de grands modèles linguistiques incarnant des élèves

who have gone through years of school,

qui ont passé des années à l’école

learning a little bit about everything,

et qui y ont appris un peu de tout,

such as language, concepts, facts.

comme la langue maternelle, des concepts, des faits.

But when it's time for them to specialize,

Mais lorsqu’il est temps pour eux de se spécialiser,

like in law school or in medical school,

par exemple en droit ou en médecine,

they need more focused training.

ils ont besoin d’une formation plus ciblée.

Fine-tuning is that extra education.

La mise au point, c’est cette formation supplémentaire.

And of course, large language models don't learn as humans do.

Bien entendu, ces modèles n’apprennent pas comme les humains.

But this is just to give you the main idea.

C’est une illustration de l’idée principale.

Then, as for training students, you need books, lectures, examples,

Ensuite, les étudiants se forment avec des livres ou à des conférences.

for training large language models you need datasets.

On forme les grands modèles linguistiques avec des ensembles de données.

And for our study we considered three datasets,

Et pour notre étude, nous avons examiné trois ensembles de données,

one about personal opinions,

l'un sur les opinions personnelles,

one about past autobiographical memories

l’autre sur les souvenirs autobiographiques

and one about future intentions.

et le troisième sur les intentions futures.

These datasets were already available from previous studies

Ces données étaient déjà disponibles dans d’autres études

and contained both truthful and deceptive statements.

et contenaient des déclarations véridiques et trompeuses.

Typically, you collect these types of statements

Généralement, on collecte ce type de déclarations

by asking participants to tell the truth or to lie about something.

en demandant aux participants

de dire la vérité ou de mentir à propos de quelque chose.

For example, if I was a participant in the truthful condition,

Par exemple, si je fais partie de la cohorte qui dit la vérité

and the task was

et que la mission consiste à parler de mes vacances passées,

"tell me about your past holidays,"

then I will tell the researcher about my previous holidays in Vietnam,

je raconterai au chercheur mes précédentes vacances au Vietnam.

and here we have a slide to prove it.

Et voici une diapositive pour le prouver.

For the deceptive condition

Mais dans la cohorte qui ment,

they will randomly pick some of you who have never been to Vietnam,

on choisit au hasard des membres qui ne sont jamais allés au Vietnam,

and they will ask you to make up a story

et on leur demande d’inventer une histoire

and convince someone else that you've really been to Vietnam.

et de convaincre quelqu’un qu’ils sont vraiment allés au Vietnam.

And this is how it typically works.

C’est ainsi que le choses se passent généralement.

And as in all university courses, you might know this,

Comme dans tous les programmes universitaires, vous le savez bien,

after lectures you have exams.

après les cours, on passe des examens.

And likewise after training our AI models,

Pareillement, après avoir entraîné nos modèles d’IA,

we would like to test them.

on va les tester.

And the procedure that we followed,

Et la procédure que nous avons suivie,

that is actually the typical one, is the following.

qui est en fait la plus typique, est la suivante.

So we picked some statements randomly from each dataset

Nous avons choisi des déclarations au hasard dans chaque ensemble de données

and we took them apart.

et nous les avons séparées.

So the model never saw these statements during the training phase.

Le modèle ne les a donc jamais vues pendant la phase de formation.

And only after the training was completed,

Ce n’est qu’une fois la formation terminée

we used them as a test, as the final exam.

que nous les avons utilisées comme test, comme examen final.

But who was our student then?

Mais qui était notre étudiant ?

In this case, it was a large language model

Dans ce cas, il s'agissait d'un grand modèle de langage

developed by Google

développé par Google

and called FLAN-T5.

et appelé FLAN-T5.

Flanny, for friends.

Flanny, pour les amis.

And now that we have all the pieces of the process together,

Maintenant que tous les éléments du processus sont réunis,

we can actually dig deep into our study.

nous pouvons approfondir notre étude.

Our study was composed by three main experiments.

Notre étude était composée de trois expériences principales.

For the first experiment, we fine-tuned our model, our FLAN-T5,

Pour la première expérience, nous avons affiné notre modèle, notre FLAN-T5,

on each single dataset separately.

sur chaque ensemble de données séparément.

For the second experiment,

Pour la deuxième expérience,

we fine-tuned our model on two pairs of datasets together,

nous avons affiné notre modèle sur deux paires de jeux de données ensemble,

and we tested it on the third remaining one,

et nous l’avons testé sur le troisième jeu restant.

and we used all three possible combinations.

Nous avons utilisé les trois combinaisons possibles.

For the last final experiment,

Pour la dernière expérience,

we fine-tuned the model on a new, larger training test set

nous avons affiné le modèle sur un nouvel ensemble de données plus grand

that we obtained by combining all the three datasets together.

que nous avons obtenu en combinant les trois ensembles de données.

The results were quite interesting

Les résultats étaient très intéressants

because what we found was that in the first experiment,

car nous avons découvert que, lors de la première expérience,

FLAN-T5 achieved an accuracy range between 70 percent and 80 percent.

le FLAN-T5 était exact pour 70 % et 80 % des cas.

However, in the second experiment,

Cependant, lors de la deuxième expérience,

FLAN-T5 dropped its accuracy to almost 50 percent.

FLAN-T5 a réduit son taux de précision à près de 50 %.

And then, surprisingly, in the third experiment,

Et puis, étonnamment, lors de la troisième expérience,

FLAN-T5 rose back to almost 80 percent.

il est remonté à près de 80 %.

But what does this mean?

Mais qu'est-ce que cela signifie ?

What can we learn from these results?

Quelles leçons pouvons-nous tirer de ces résultats ?

From experiment one and three

Les expériences 1 et 3

we learn that language models

nous apprennent que les modèles de langage

can effectively classify statements as deceptive,

peuvent caractériser efficacement les énoncés comme mensongers,

outperforming human benchmarks

dépassant le taux de réussite des humains

and aligning with previous machine learning

et s’alignant sur les modèles d’apprentissage automatique

and deep learning models

et d’apprentissage profond antérieurs entraînés pour les études précédentes.

that previous studies trained on the same datasets.

However, from the second experiment,

Cependant, la deuxième expérience nous permet de constater

we see that language models struggle

que les modèles linguistiques généralisent difficilement ces connaissances,

in generalizing this knowledge, this learning across different contexts.

cet apprentissage issu de différents contextes.

And this is apparently because

Et cela est apparemment dû au fait

there is no one single universal rule of deception

qu’il n’existe pas de règle universelle au mensonge

that we can easily apply in every context,

que nous puissions facilement appliquer quel que soit le contexte,

but linguistic cues of deception are context-dependent.

et que les indices linguistiques du mensonge dépendent du contexte.

And from the third experiment,

La troisième expérience

we learned that actually language models

nous a fait comprendre qu’en fait, les modèles linguistiques

can generalize well across different contexts,

peuvent faire des généralisations dans différents contextes,

if only they have been previously exposed to examples

à condition qu’ils aient déjà été exposés à des exemples

during the training phase.

pendant la phase de formation.

And I think this sounds as good news.

Et je pense que c’est une bonne nouvelle.

But while this means that language models can be effectively applied

Mais si cela signifie que les modèles linguistiques sont efficaces

for real-life applications in lie detection,

pour des applications réelles de détection de mensonges,

more replication is needed because a single study is never enough

il est indispensable de multiplier les tests,

car une seule étude ne suffit jamais.

so that from tomorrow we can all have these AI systems on our smartphones,

Ainsi, dans un avenir proche,

nous pourrons tous avoir ces systèmes d’IA sur nos smartphones

and start detecting other people's lies.

et commencer à détecter les mensonges des autres.

But as a scientist, I have a vivid imagination

Mais en tant que scientifique, j'ai une imagination débordante

and I would like to dream big.

et je rêve en grand.

And also I would like to bring you with me in this futuristic journey for a while.

J’aimerais aussi vous emmener dans cet avenir un bref instant.

So please imagine with me living in a world

Alors, imaginez que nous vivons dans un monde

where this lie detection technology is well-integrated in our life,

où cette technologie de détection des mensonges est intégrée à notre vie,

making everything from national security to social media a little bit safer.

rendant tout, de la sécurité nationale aux réseaux sociaux, un peu plus sûr.

And imagine having this AI system that could actually spot fake opinions.

Imaginez que ce système d’IA soit capable de détecter les fausses opinions.

From tomorrow, we could say

À partir de demain, nous pourrions dire

when a politician is actually saying one thing

quand un politicien dit une chose

and truly believes something else.

mais croit en réalité autre chose.

(Laughter)

(Rires)

And what about the security board context

Et qu’en est-il du contexte des conseils de sécurité

where people are asked about their intentions and reasons

où les gens sont interrogés sur leurs intentions et leurs raisons

for why they are crossing borders or boarding planes.

quand ils franchissent les frontières ou montent à bord d’un avion ?

Well, with these systems,

Eh bien, grâce à ces systèmes,

we could actually spot malicious intentions

nous pourrions détecter les intentions malveillantes

before they even happen.

avant même qu’elles ne se produisent.

And what about the recruiting process?

Qu’en est-il du processus de recrutement ?

(Laughter)

(Rires)

We heard about this already.

On a déjà évoqué le sujet.

But actually, companies could employ this AI

Mais en réalité, les entreprises pourraient utiliser cette IA

to distinguish those who are really passionate about the role

pour distinguer les candidats vraiment passionnés par le poste

from those who are just trying to say the right things to get the job.

de ceux qui disent simplement ce qu’il faut pour obtenir le poste.

And finally, we have social media.

Enfin, nous avons les réseaux sociaux.

Scammers trying to deceive you or to steal your identity.

Des escrocs qui tentent de vous tromper ou de voler votre identité.

All gone.

Tout disparaît en fumée.

And someone else may claim something about fake news,

Ou quelqu’un prétend quelque chose sur une infox,

and well, perfectly, language model could automatically read the news,

eh bien, le modèle linguistique pourrait lire automatiquement les actualités,

flag them as deceptive or fake,

les signaler comme étant trompeuses ou fausses,

and we could even provide users with a credibility score

et nous pourrions même fournir aux utilisateurs un score de crédibilité

for the information they read.

pour les informations qu'ils lisent.

It sounds like a brilliant future, right?

Cela semble être un avenir rayonnant, non ?

(Laughter)

(Rires)

Yes, but ...

Oui, mais...

all great progress comes with risks.

tous les grands progrès comportent des risques.

As much as I'm excited about this future,

Même si je suis enthousiasmé par cet avenir-là,

I think we need to be careful.

je pense que nous devons être vigilants.

If we are not cautious, in my view,

Si nous ne faisons pas preuve de prudence, à mon avis,

we could end up in a world

nous pourrions nous retrouver dans un monde

where people might just blindly believe AI outputs.

où les gens croient aveuglément aux résultats de l’IA.

And I'm afraid this means that people will just be more likely

Et je crains que cela ne signifie que les gens seront plus susceptibles

to accuse others of lying just because an AI says so.

d’accuser autrui de mentir simplement parce qu’une IA le dit.

And I'm not the only one with this view

Et je ne suis pas le seul à être de cet avis,

because another study already proved it.

car une autre étude l'a déjà prouvé.

In addition, if we totally rely on this lie detection technology

De plus, si nous faisons totalement confiance à cette technologie

to say someone else is lying or not,

pour affirmer que quelqu’un ment ou pas,

we risk losing another important key value in society.

nous risquons de perdre une autre valeur clé importante de la société :

We lose trust.

la confiance.

We won't need to trust people anymore,

Nous n’aurions plus besoin de faire confiance,

because what we will do is just ask an AI to double check for us.

car nous allons demander à une IA de vérifier ça pour nous.

But are we really willing to blindly believe AI

Mais sommes-nous vraiment prêts à croire aveuglément une IA

and give up our critical thinking?

et à renoncer à notre esprit critique ?

I think that's the future we need to avoid.

Je pense que c’est un avenir que nous devons éviter.

With hope for the future is more interpretability.

L'espoir pour l'avenir passe par une plus grande capacité d'interprétation.

And I'm about to tell you what I mean.

Je vais vous expliquer ce que je veux dire.

Similar to when we look at reviews online,

Comme lorsque nous consultons les avis en ligne,

and we can both look at the total number of stars at places,

nous pouvons examiner le nombre total d’étoiles attribuées à chaque lieu.

but also we can look more in detail at the positive and negative reviews,

Nous pouvons aussi examiner plus en détail les critiques positives et négatives,

and try to understand what are the positive sides,

et essayer de comprendre quels en sont les aspects positifs,

but also what might have gone wrong,

mais aussi ce qui a pu mal tourner,

to eventually create our own and personal idea

pour finalement formuler notre propre idée personnelle

if that is the place where we want to go,

et décider si nous voulons aller dans ce lieu-là

where we want to be.

et y passer du temps.

Likewise, imagine a world where AI doesn't just offer conclusions,

De même, imaginez un monde où l'IA ne se contente pas de tirer des conclusions,

but also provides clear and understandable explanations

mais fournit également des explications claires et compréhensibles

behind its decisions.

qui étayent ses décisions.

And I envision a future

Et j'imagine un avenir

where this lie detection technology

où cette technologie de détection des mensonges

wouldn't just provide us with a simple judgment,

accompagnerait sa conclusion

but also with clear explanations for why it thinks someone else is lying.

d’explications claires sur les raisons qui lui font affirmer que quelqu’un ment.

And I would like a future where, yes,

Et j’aimerais un avenir où, certes,

this lie detection technology is integrated in our life,

cette technologie est intégrée à notre vie,

or also AI technology in general,

tout comme d’autres technologies IA en général,

but still, at the same time,

mais où nous sommes capables de penser de manière critique

we are able to think critically

and decide when we want to trust in AI judgment

et de décider quand nous voulons faire confiance au jugement de l’IA

or when we want to question it.

et quand nous voulons le remettre en question.

To conclude,

Pour conclure,

I think the future of using AI for lie detection

je pense que l’avenir de l’utilisation de l’IA pour la détection des mensonges

is not just about technological advancement,

ne dépend pas seulement des progrès technologiques,

but about enhancing our understanding and fostering trust.

mais aussi de l’amélioration de notre esprit critique

et de notre capacité à cultiver la confiance.

It's about developing tools that don't replace human judgment

Il s’agit de développer des outils qui ne remplacent pas l’esprit critique

but empower it,

mais le renforcent,

ensuring that we remain at the helm.

en veillant à ce que nous restions aux commandes.

Don't step into a future with blind reliance on technology.

Ne nous lançons pas dans un avenir

avec une confiance aveugle dans les technologies.

Let's commit to deep understanding and ethical use,

Engageons-nous à une compréhension approfondie et à une utilisation éthique,

and we'll pursue the truth.

et ainsi, nous rechercherons la vérité.

(Applause)

(Applaudissements)

Thank you.

Merci.

(Applaudissements)