What if AI Could Spot Your Lies? | Riccardo Loconte | TED

Traduttore: Ilaria Marinozzi Revisore: Rosamaria Di Dedda

This is something you won't like.

Quello che sto per dire non vi piacerà,

But here everyone is a liar.

ma qui siamo tutti bugiardi.

Don't take it too personally.

Non prendetela sul personale.

What I mean is that lying is very common

Voglio dire che mentire è molto comune,

and it is now well-established that we lie on a daily basis.

ed è ormai assodato che mentiamo quotidianamente.

Indeed, scientists have estimated that we tell around two lies per day,

In effetti, gli scienziati hanno stimato che diciamo circa due bugie al giorno,

although, of course, it's not that easy to establish those numbers with certainty.

anche se, ovviamente, non è così facile stabilire dei numeri con certezza.

And, well, I introduce myself.

Mi presento.

I'm Riccardo, I'm a psychologist and a PhD candidate,

Sono Riccardo, sono uno psicologo e un dottorando.

and for my research project I study how good are people at detecting lies.

Nel mio progetto di ricerca, studio quanto sono brave le persone a scoprire le bugie.

Sembra bello, vero?

Seems cool, right? But I'm not joking.

Ma non sto scherzando.

And you might wonder why a psychologist was then invited

Vi chiederete perché uno psicologo sia stato invitato

to give a TED Talk about AI.

a tenere un TED Talk sull’IA.

And well, I'm here today

Oggi vi spiegherò come potremmo usare l’intelligenza artificiale

because I'm about to tell you how AI could be used to detect lies.

per individuare le bugie.

And you will be very surprised by the answer.

E sarete molto sorpresi dalla risposta.

But first of all, when is it relevant to detect lies?

Ma prima di tutto, quando è importante individuare le bugie?

A first clear example that comes to my mind

Un primo chiaro esempio che mi viene in mente

is in the criminal investigation field.

riguarda il campo delle indagini penali.

Imagine you are a police officer and you want to interview a suspect.

Immaginate di essere un agente di polizia e di interrogare un sospettato.

And the suspect is providing some information to you.

Il sospettato vi fornisce alcune informazioni

And this information is actually leading to the next steps of the investigation.

che vi stanno effettivamente portando alle fasi successive dell’indagine.

We certainly want to understand if the suspect is reliable

Sicuramente vogliamo capire se il sospettato è affidabile

or if they are trying to deceive us.

o se sta cercando di ingannarci.

Then another example comes to my mind,

Ma mi viene in mente un altro esempio,

and I think this really affects all of us.

e penso che questo ci riguardi davvero tutti.

So please raise your hands

Per favore, alzate la mano

if you would like to know if your partner cheated on you.

se vorreste sapere se il vostro partner vi ha tradito.

(Laughter)

(Risate)

And don't be shy because I know.

E non siate timidi, perché lo so.

(Laughter)

(Risate)

Yeah. You see?

Vedete?

It's very relevant.

È molto rilevante.

However, I have to have to say that we as humans

Tuttavia, devo dire che noi umani siamo pessimi nell’individuare le bugie.

are very bad at detecting lies.

In fact, many studies have already confirmed

Infatti, molti studi hanno già confermato

that when people are asked to judge

che quando le persone devono giudicare se qualcuno stia mentendo o meno,

if someone is lying or not

without knowing much about that person or the context,

senza conoscere bene quella persona o il contesto,

people's accuracy is no better than the chance level,

il margine di esattezza del risultato non è migliore

about the same as flipping a coin.

di quello che si otterrebbe lanciando una moneta.

You might also wonder

Potreste anche chiedervi se esperti

if experts, such as police officers, prosecutors, experts

come agenti di polizia, pubblici ministeri, e persino psicologi

and even psychologists

are better at detecting lies.

siano più bravi a individuare le bugie.

And the answer is complex,

La risposta è complessa,

because experience alone doesn't seem to be enough

perché l’esperienza di per sé non sembra essere sufficiente

to help detect lies accurately.

per aiutare a individuarle con precisione.

It might help, but it's not enough.

Potrebbe essere utile, ma non è sufficiente.

To give you some numbers.

Per darvi qualche numero,

In a well-known meta-analysis that previous scholars did in 2006,

secondo una nota meta-analisi condotta da studiosi nel 2006,

they found that naive judges' accuracy

l’accuratezza dei giudicanti ingenui era in media intorno al 54%.

was on average around 54 percent.

Experts perform only slightly better,

Gli esperti ottengono risultati solo leggermente migliori,

with an accuracy rate around 55 percent.

con un tasso di precisione intorno al 55%.

(Laughter)

(Risate)

Not that impressive, right?

Nulla di impressionante, vero?

And ...

Those numbers actually come from the analysis

Questi numeri provengono dall’analisi dei risultati di 108 studi,

of the results of 108 studies,

meaning that these findings are quite robust.

che significa che questi risultati sono piuttosto solidi.

And of course, the debate is also much more complicated than this

E, naturalmente, il dibattito è anche molto più complicato,

and also more nuanced.

come anche più sfumato.

Ma il messaggio principale

But here the main take-home message

is that humans are not good at detecting lies.

è che gli esseri umani non sono bravi a smascherare le bugie.

What if we are creating an AI tool

E se creassimo uno strumento di intelligenza artificiale

where everyone can detect if someone else is lying?

con cui tutti possono rilevare se qualcuno sta mentendo?

This is not possible yet, so please don't panic.

Non è ancora possibile, quindi per favore niente panico.

(Laughter)

(Risate)

But this is what we tried to do in a recent study

Ma è ciò che abbiamo cercato di fare in uno studio recente,

that I did together with my brilliant colleagues

condotto insieme ai miei brillanti colleghi, che ringrazio.

whom I need to thank.

And actually, to let you understand what we did in our study,

In realtà, per farvi capire cosa abbiamo fatto nel nostro studio,

I need to first introduce you to some technical concepts

devo prima presentarvi alcuni concetti tecnici

e i personaggi principali di questa storia:

and to the main characters of this story:

Large language models.

i modelli linguistici di grandi dimensioni.

Large language models are AI systems

Gli LLM sono sistemi di intelligenza artificiale

designed to generate outputs in natural language

progettati per generare output in linguaggio naturale,

in a way that almost mimics human communication.

in un modo che quasi imita la comunicazione umana.

If you are wondering how we teach these AI systems to detect lies,

Se vi state chiedendo come addestriamo questi sistemi di IA a rilevare le bugie,

here is where something called fine-tuning comes in.

è qui che entra in gioco ciò che chiamiamo fine-tuning.

But let's use a metaphor.

Usiamo una metafora.

Imagine large language models being as students

Immaginate che gli LLM siano come studenti

who have gone through years of school,

che hanno frequentato anni di scuola imparando un po’ di tutto,

learning a little bit about everything,

such as language, concepts, facts.

come ad esempio una lingua, concetti e fatti.

But when it's time for them to specialize,

Ma quando è il momento di specializzarsi,

like in law school or in medical school,

ad esempio in giurisprudenza o in medicina,

they need more focused training.

hanno bisogno di una formazione più mirata.

Fine-tuning is that extra education.

Il fine-tuning è quell’istruzione aggiuntiva.

And of course, large language models don't learn as humans do.

E, naturalmente, gli LLM non imparano come gli umani.

But this is just to give you the main idea.

Ma è solo per darvi l’idea principale.

Then, as for training students, you need books, lectures, examples,

Inoltre, per formare gli studenti servono libri, lezioni, esempi,

for training large language models you need datasets.

mentre per addestrare gli LLM occorrono set di dati.

And for our study we considered three datasets,

E per il nostro studio abbiamo considerato tre set di dati:

one about personal opinions,

uno sulle opinioni personali,

one about past autobiographical memories

uno sui ricordi autobiografici passati,

and one about future intentions.

e uno sulle intenzioni future.

These datasets were already available from previous studies

Questi set di dati erano già disponibili da studi precedenti,

and contained both truthful and deceptive statements.

e contenevano sia dichiarazioni vere che ingannevoli.

Typically, you collect these types of statements

In genere queste affermazioni vengono raccolte

by asking participants to tell the truth or to lie about something.

chiedendo ai partecipanti di dire la verità o mentire su qualcosa.

For example, if I was a participant in the truthful condition,

Ad esempio, se partecipassi sotto la condizione di dire la verità,

and the task was

e il compito fosse di raccontare le mie vacanze passate,

"tell me about your past holidays,"

then I will tell the researcher about my previous holidays in Vietnam,

parlerei al ricercatore delle mie scorse vacanze in Vietnam,

and here we have a slide to prove it.

e qui abbiamo una diapositiva che lo dimostra.

For the deceptive condition

Ma nella condizione dell’inganno,

they will randomly pick some of you who have never been to Vietnam,

sceglieranno a caso alcuni di voi che non sono mai stati in Vietnam,

and they will ask you to make up a story

e vi chiederanno di inventare una storia

and convince someone else that you've really been to Vietnam.

per convincere qualcun altro che siete stati davvero in Vietnam.

And this is how it typically works.

Funziona così, normalmente.

And as in all university courses, you might know this,

Ma come in tutti i corsi universitari,

dopo le lezioni ci sono gli esami.

after lectures you have exams.

And likewise after training our AI models,

Lo stesso vale per i modelli di IA: dopo averli addestrati,

we would like to test them.

bisogna testarli.

And the procedure that we followed,

La procedura che abbiamo seguito,

that is actually the typical one, is the following.

che in realtà è quella standard, è quella che segue.

So we picked some statements randomly from each dataset

Abbiamo scelto alcune affermazioni a caso da ciascun set e le abbiamo smontate,

and we took them apart.

So the model never saw these statements during the training phase.

in modo da non farle vedere al modello durante la fase di addestramento.

And only after the training was completed,

E solo dopo aver completato l’addestramento,

we used them as a test, as the final exam.

le abbiamo utilizzate come test finale.

But who was our student then?

Ma chi era il nostro studente?

In this case, it was a large language model

Si trattava di un modello linguistico di grandi dimensioni sviluppato da Google,

developed by Google

and called FLAN-T5.

chiamato FLAN-T5, o Flanny, per gli amici.

Flanny, for friends.

And now that we have all the pieces of the process together,

Una volta messe insieme tutte le fasi del processo,

we can actually dig deep into our study.

abbiamo potuto realmente approfondire il nostro studio.

Our study was composed by three main experiments.

Questo studio era composto da tre esperimenti principali.

For the first experiment, we fine-tuned our model, our FLAN-T5,

Per il primo esperimento abbiamo perfezionato il modello FLAN-T5

on each single dataset separately.

su ogni singolo set di dati, separatamente.

For the second experiment,

Per il secondo esperimento,

we fine-tuned our model on two pairs of datasets together,

abbiamo messo a punto il nostro modello su due coppie di set di dati,

and we tested it on the third remaining one,

lo abbiamo testato sul terzo rimanente

and we used all three possible combinations.

e abbiamo utilizzato tutte e tre le combinazioni possibili.

For the last final experiment,

Per l’ultimo esperimento,

we fine-tuned the model on a new, larger training test set

abbiamo perfezionato il modello su un nuovo set di test più ampio,

that we obtained by combining all the three datasets together.

ottenuto combinando tutti e tre i set di dati insieme.

The results were quite interesting

I risultati sono stati piuttosto interessanti.

because what we found was that in the first experiment,

Abbiamo scoperto che nel primo esperimento,

FLAN-T5 achieved an accuracy range between 70 percent and 80 percent.

FLAN-T5 ha raggiunto un intervallo di precisione compreso tra il 70% e l′80%.

However, in the second experiment,

Tuttavia, nel secondo esperimento,

FLAN-T5 dropped its accuracy to almost 50 percent.

la precisione di FLAN-T5 si è ridotta a quasi il 50%.

And then, surprisingly, in the third experiment,

E poi, sorprendentemente, nel terzo esperimento,

FLAN-T5 rose back to almost 80 percent.

FLAN-T5 è tornato a quasi l′80%.

But what does this mean?

Cosa significa questo?

What can we learn from these results?

Cosa possiamo dedurre da questi risultati?

From experiment one and three

Dagli esperimenti uno e tre,

we learn that language models

apprendiamo che i modelli linguistici

can effectively classify statements as deceptive,

possono classificare efficacemente le affermazioni come ingannevoli

superando i parametri umani,

outperforming human benchmarks

and aligning with previous machine learning

e allineandosi ai precedenti modelli di machine learning e deep learning

and deep learning models

that previous studies trained on the same datasets.

che studi precedenti hanno addestrato sugli stessi set di dati.

However, from the second experiment,

Tuttavia, nel secondo esperimento,

we see that language models struggle

i modelli linguistici hanno difficoltà a generalizzare questa conoscenza

in generalizing this knowledge, this learning across different contexts.

e questo apprendimento nei diversi contesti.

And this is apparently because

Questo è apparentemente dovuto al fatto

there is no one single universal rule of deception

che non esiste un’unica regola universale sull’inganno

that we can easily apply in every context,

da applicare facilmente in ogni contesto,

but linguistic cues of deception are context-dependent.

ma che i segnali linguistici di menzogna dipendono proprio dal contesto.

And from the third experiment,

E dal terzo esperimento,

we learned that actually language models

abbiamo appreso che in realtà i modelli linguistici

possono generalizzare bene in diversi contesti,

can generalize well across different contexts,

if only they have been previously exposed to examples

solo se precedentemente esposti ad esempi durante la fase di addestramento.

during the training phase.

And I think this sounds as good news.

Penso sia una buona notizia.

But while this means that language models can be effectively applied

Ma, se da un lato significa che i modelli linguistici possono essere usati

for real-life applications in lie detection,

per applicazioni reali nell’individuazione delle bugie,

dall’altro servono ulteriori repliche,

more replication is needed because a single study is never enough

perché un singolo studio non è mai sufficiente,

so that from tomorrow we can all have these AI systems on our smartphones,

se vogliamo un giorno avere questi sistemi di IA nei nostri smartphone

and start detecting other people's lies.

e iniziare a smascherare le bugie degli altri.

But as a scientist, I have a vivid imagination

Ma come scienziato ho una fervida immaginazione,

and I would like to dream big.

e vorrei sognare in grande.

And also I would like to bring you with me in this futuristic journey for a while.

Vorrei portarvi un po’ con me in questo viaggio futuristico.

So please imagine with me living in a world

Immaginate di vivere in un mondo

where this lie detection technology is well-integrated in our life,

in cui questa tecnologia di rilevamento sia ben integrata nella nostra vita,

making everything from national security to social media a little bit safer.

rendendo tutto, dalla sicurezza nazionale ai social media, un po’ più sicuro.

And imagine having this AI system that could actually spot fake opinions.

E immaginate di avere questo sistema di IA in grado di individuare opinioni false.

From tomorrow, we could say

Da domani, potremmo capire quando un politico afferma qualcosa

when a politician is actually saying one thing

ma in realtà crede a qualcos’altro.

and truly believes something else.

(Laughter)

(Risate)

And what about the security board context

E che dire del contesto di sicurezza d’imbarco,

where people are asked about their intentions and reasons

quando si chiedono alle persone

le intenzioni e i motivi per cui attraversano le frontiere

for why they are crossing borders or boarding planes.

o si imbarcano sugli aerei.

Well, with these systems,

Con questi sistemi potremmo efficacemente individuare intenzioni malvage

we could actually spot malicious intentions

before they even happen.

prima ancora che si verifichino.

And what about the recruiting process?

E che dire dei processi di selezione del personale?

(Laughter)

(Risate)

We heard about this already.

Ne abbiamo già sentito parlare.

But actually, companies could employ this AI

Effettivamente, le aziende potrebbero usare questo tipo di IA

to distinguish those who are really passionate about the role

per distinguere chi è davvero interessato all’offerta di lavoro

from those who are just trying to say the right things to get the job.

da chi sta solo cercando di dire le cose giuste per ottenere il lavoro.

And finally, we have social media.

E infine, abbiamo i social media.

Scammers trying to deceive you or to steal your identity.

Truffatori che cercano di ingannarvi o di rubare la vostra identità.

All gone.

Dimenticateli.

And someone else may claim something about fake news,

E che dire delle fake news:

and well, perfectly, language model could automatically read the news,

un modello linguistico potrebbe leggere automaticamente le notizie,

flag them as deceptive or fake,

contrassegnarle come ingannevoli o false,

and we could even provide users with a credibility score

e noi potremmo persino fornire agli utenti un punteggio di credibilità

for the information they read.

alle informazioni che leggono.

It sounds like a brilliant future, right?

Sembra un futuro brillante, vero?

(Laughter)

(Risate)

Yes, but ...

Sì, ma c’è un però.

Tutti i grandi progressi comportano dei rischi.

all great progress comes with risks.

As much as I'm excited about this future,

Per quanto sia entusiasta di questo futuro,

I think we need to be careful.

penso che dobbiamo stare attenti.

If we are not cautious, in my view,

Se non siamo cauti, a mio avviso potremmo finire in un mondo

we could end up in a world

where people might just blindly believe AI outputs.

in cui le persone credono ciecamente ai risultati dell’IA.

And I'm afraid this means that people will just be more likely

E temo che questo significhi che le persone saranno più propense

to accuse others of lying just because an AI says so.

ad accusare gli altri di mentire solo perché lo dice l’IA.

And I'm not the only one with this view

E non sono l'unico a pensarlo,

because another study already proved it.

perché un altro studio lo ha già dimostrato.

In addition, if we totally rely on this lie detection technology

Inoltre, se ci affidassimo totalmente a questa tecnologia

to say someone else is lying or not,

per rilevare se qualcuno sta mentendo o meno,

we risk losing another important key value in society.

rischieremmo di perdere un altro importante valore nella società.

We lose trust.

Perderemmo la fiducia.

We won't need to trust people anymore,

Non dovremo più fidarci degli altri,

because what we will do is just ask an AI to double check for us.

perché chiederemmo semplicemente a un’IA di ricontrollare per noi.

But are we really willing to blindly believe AI

Ma siamo davvero disposti a credere ciecamente all'IA

and give up our critical thinking?

e a rinunciare al nostro pensiero critico?

Penso che questo sia il futuro che dobbiamo evitare.

I think that's the future we need to avoid.

With hope for the future is more interpretability.

Con la speranza, il futuro è più interpretabile.

Ora vi spiego cosa intendo.

And I'm about to tell you what I mean.

Similar to when we look at reviews online,

È un po’ come quando guardiamo le recensioni online.

and we can both look at the total number of stars at places,

Possiamo guardare sia il numero totale di stelle ottenute dai luoghi,

but also we can look more in detail at the positive and negative reviews,

sia esaminare più in dettaglio le recensioni positive e negative.

Cerchiamo di capire quali sono i lati positivi,

and try to understand what are the positive sides,

but also what might have gone wrong,

ma anche cosa potrebbe essere andato storto

to eventually create our own and personal idea

per poi creare una nostra idea personale

if that is the place where we want to go,

e decidere se andare in quel posto.

where we want to be.

Likewise, imagine a world where AI doesn't just offer conclusions,

Allo stesso modo, immaginate un mondo in cui l’IA non offre solo conclusioni,

but also provides clear and understandable explanations

ma fornisce anche spiegazioni chiare sul perché delle sue decisioni.

behind its decisions.

And I envision a future

Io immagino un futuro

where this lie detection technology

in cui questa tecnologia che rileva bugie non solo ci fornisce un semplice giudizio,

wouldn't just provide us with a simple judgment,

but also with clear explanations for why it thinks someone else is lying.

ma anche spiegazioni chiare che motivano il suo giudizio.

And I would like a future where, yes,

E vorrei un futuro

this lie detection technology is integrated in our life,

in cui questa tecnologia di rilevamento sia integrata nella nostra vita,

o anche nella tecnologia AI in generale,

or also AI technology in general,

but still, at the same time,

ma allo stesso tempo

we are able to think critically

che noi siamo comunque in grado di pensare in modo critico

and decide when we want to trust in AI judgment

e decidere quando affidarci al giudizio dell'IA

or when we want to question it.

o quando metterlo in discussione.

To conclude,

Per concludere,

I think the future of using AI for lie detection

penso che il futuro dell’uso dell’IA per il rilevamento delle bugie

is not just about technological advancement,

non riguardi solo il progresso tecnologico,

but about enhancing our understanding and fostering trust.

ma anche la promozione della fiducia e il miglioramento della comprensione.

It's about developing tools that don't replace human judgment

Si tratta di sviluppare strumenti che non sostituiscano il giudizio umano

but empower it,

ma che lo potenzino,

ensuring that we remain at the helm.

assicurandoci che restiamo al timone.

Don't step into a future with blind reliance on technology.

Non creiamo un futuro in cui ci affidiamo ciecamente alla tecnologia.

Let's commit to deep understanding and ethical use,

Impegniamoci a una comprensione profonda e a un utilizzo etico,

and we'll pursue the truth.

e perseguiremo la verità.

(Applause)

(Applausi)

Thank you.

Grazie.