What if AI Could Spot Your Lies? | Riccardo Loconte | TED

Traductor: Sebastian Betti

This is something you won't like.

Esto es algo que no te va a gustar.

But here everyone is a liar.

Pero aquí todo el mundo es un mentiroso.

Don't take it too personally.

No te lo tomes como algo personal.

What I mean is that lying is very common

Lo que quiero decir es que mentir es muy común

and it is now well-established that we lie on a daily basis.

y ahora está bien establecido que mentimos a diario.

Indeed, scientists have estimated that we tell around two lies per day,

De hecho, los científicos han estimado que decimos alrededor de dos mentiras al día,

although, of course, it's not that easy to establish those numbers with certainty.

aunque, por supuesto, no es tan fácil establecer esas cifras con certeza.

Y, bueno, me presento.

And, well, I introduce myself.

I'm Riccardo, I'm a psychologist and a PhD candidate,

Soy Riccardo, soy psicólogo y candidato a doctorado,

and for my research project I study how good are people at detecting lies.

y para mi proyecto de investigación

estudio qué tan buenas somos las personas para detectar mentiras.

Seems cool, right? But I'm not joking.

Parece genial, ¿no? Pero no estoy bromeando.

And you might wonder why a psychologist was then invited

Y quizás se pregunten por qué se invitó entonces a un psicólogo

to give a TED Talk about AI.

a dar una charla TED sobre la IA.

And well, I'm here today

Y bueno, estoy aquí hoy

because I'm about to tell you how AI could be used to detect lies.

porque voy a contarles cómo se puede usar la IA para detectar mentiras.

And you will be very surprised by the answer.

Y les sorprenderá mucho la respuesta.

But first of all, when is it relevant to detect lies?

Pero antes que nada, ¿cuándo es relevante detectar mentiras?

A first clear example that comes to my mind

Un primer ejemplo claro que me viene a la mente

is in the criminal investigation field.

es el campo de la investigación criminal.

Imagine you are a police officer and you want to interview a suspect.

Imagina que eres un oficial de policía y quieres entrevistar a un sospechoso.

And the suspect is providing some information to you.

Y el sospechoso le está proporcionando cierta información.

And this information is actually leading to the next steps of the investigation.

Y esta información en realidad conduce a los próximos pasos de la investigación.

We certainly want to understand if the suspect is reliable

Sin duda, queremos saber si el sospechoso es confiable

or if they are trying to deceive us.

o si está tratando de engañarnos.

Then another example comes to my mind,

Luego me viene a la mente otro ejemplo,

and I think this really affects all of us.

y creo que esto nos afecta a todos.

So please raise your hands

Así que, por favor, levante la mano

if you would like to know if your partner cheated on you.

si quiere saber si su pareja lo engañó.

(Laughter)

(Risas)

And don't be shy because I know.

Y no seas tímido porque lo sé.

(Laughter)

(Risas)

Yeah. You see?

Sí. ¿Lo ves?

It's very relevant.

Es muy relevante.

However, I have to have to say that we as humans

Sin embargo, debo decir que a los humanos

are very bad at detecting lies.

se nos da muy mal detectar mentiras.

In fact, many studies have already confirmed

De hecho, muchos estudios ya han confirmado

that when people are asked to judge

que cuando se les pide a las personas que juzguen

if someone is lying or not

si alguien miente o no

without knowing much about that person or the context,

sin saber mucho sobre esa persona o el contexto, la precisión

people's accuracy is no better than the chance level,

de las personas no supera el nivel de probabilidad,

about the same as flipping a coin.

más o menos lo mismo que lanzar una moneda al aire.

You might also wonder

Quizás también te preguntes

if experts, such as police officers, prosecutors, experts

si los expertos, como los agentes de policía, los fiscales, los expertos

and even psychologists

e incluso los psicólogos,

are better at detecting lies.

son mejores para detectar las mentiras.

And the answer is complex,

Y la respuesta es compleja,

because experience alone doesn't seem to be enough

porque la experiencia por sí sola no parece ser suficiente para ayudar

to help detect lies accurately.

a detectar las mentiras con precisión.

It might help, but it's not enough.

Puede ayudar, pero no es suficiente.

To give you some numbers.

Para darte algunos números.

In a well-known meta-analysis that previous scholars did in 2006,

En un conocido metaanálisis

realizado por estudiosos anteriores en 2006,

they found that naive judges' accuracy

descubrieron que la precisión de los jueces ingenuos rondaba,

was on average around 54 percent.

en promedio, el 54 %.

Experts perform only slightly better,

Los expertos solo obtienen resultados levemente mejores,

with an accuracy rate around 55 percent.

con una tasa de precisión de un 55 %.

(Laughter)

(Risas)

Not that impressive, right?

No es tan impresionante, ¿no?

And ...

Y...

En realidad, esas cifras provienen del análisis

Those numbers actually come from the analysis

de los resultados de 108 estudios,

of the results of 108 studies,

meaning that these findings are quite robust.

lo que significa que estos hallazgos son bastante sólidos.

And of course, the debate is also much more complicated than this

Y, por supuesto, el debate también es mucho más complicado que esto

and also more nuanced.

y también tiene más matices.

But here the main take-home message

Pero aquí el mensaje principal

is that humans are not good at detecting lies.

es que los seres humanos no son buenos para detectar mentiras.

What if we are creating an AI tool

¿Qué pasa si estamos creando una herramienta de IA

where everyone can detect if someone else is lying?

en la que todos puedan detectar si alguien está mintiendo?

This is not possible yet, so please don't panic.

Esto aún no es posible, así que no se asuste.

(Laughter)

(Risas)

But this is what we tried to do in a recent study

Pero esto es lo que intentamos hacer en un estudio reciente

that I did together with my brilliant colleagues

que realicé junto con mis brillantes colegas,

whom I need to thank.

a quienes debo dar las gracias.

And actually, to let you understand what we did in our study,

De hecho, para que comprendan lo que hicimos en nuestro estudio,

I need to first introduce you to some technical concepts

primero tengo que presentarles algunos conceptos técnicos

and to the main characters of this story:

y a los personajes principales de esta historia:

Large language models.

los grandes modelos lingüísticos.

Large language models are AI systems

Modelos de gran tamaño que son sistemas de IA

designed to generate outputs in natural language

diseñados para generar resultados

en lenguaje natural de una manera que casi imita la comunicación humana.

in a way that almost mimics human communication.

Si se pregunta cómo enseñamos a estos sistemas de IA a detectar mentiras,

If you are wondering how we teach these AI systems to detect lies,

here is where something called fine-tuning comes in.

aquí es donde entra en juego algo llamado ajuste fino.

But let's use a metaphor.

Pero usemos una metáfora.

Imagine large language models being as students

Imaginemos que los grandes modelos lingüísticos son como estudiantes

who have gone through years of school,

que han pasado años en la escuela,

learning a little bit about everything,

aprendiendo un poco sobre todo,

such as language, concepts, facts.

como el lenguaje, los conceptos y los hechos.

But when it's time for them to specialize,

Pero cuando les llega el momento de especializarse,

like in law school or in medical school,

como en la facultad de derecho o de medicina,

necesitan una formación más específica.

they need more focused training.

Fine-tuning is that extra education.

El perfeccionamiento es esa educación adicional.

Y, claro, los grandes modelos lingüísticos

And of course, large language models don't learn as humans do.

no aprenden como lo hacemos los humanos.

But this is just to give you the main idea.

Pero esto es solo para darles la idea principal.

Then, as for training students, you need books, lectures, examples,

Luego, en cuanto a la formación de estudiantes,

se necesitan libros, conferencias, ejemplos,

for training large language models you need datasets.

para entrenar modelos lingüísticos de gran tamaño se necesitan conjuntos de datos.

Y para nuestro estudio consideramos tres conjuntos de datos,

And for our study we considered three datasets,

uno sobre opiniones personales,

one about personal opinions,

otro sobre recuerdos autobiográficos del pasado

one about past autobiographical memories

y otro sobre intenciones futuras.

and one about future intentions.

These datasets were already available from previous studies

Estos conjuntos de datos ya estaban disponibles en estudios anteriores

and contained both truthful and deceptive statements.

y contenían afirmaciones tanto veraces como engañosas.

Por lo general, se recopilan este tipo de declaraciones

Typically, you collect these types of statements

by asking participants to tell the truth or to lie about something.

pidiéndoles a los participantes que digan la verdad o que mientan sobre algo.

For example, if I was a participant in the truthful condition,

Por ejemplo, si yo participara en la afirmación de la veracidad,

and the task was

y la tarea consistía en

"tell me about your past holidays,"

«hábleme de sus vacaciones pasadas»,

then I will tell the researcher about my previous holidays in Vietnam,

luego le contaré al investigador sobre mis vacaciones anteriores en Vietnam,

and here we have a slide to prove it.

y aquí tenemos una diapositiva que lo demuestra.

For the deceptive condition

Por esta engañosa condición,

they will randomly pick some of you who have never been to Vietnam,

elegirán al azar a algunos de vosotros que nunca habéis estado en Vietnam,

and they will ask you to make up a story

y os pedirán que inventéis una historia

and convince someone else that you've really been to Vietnam.

y convenzáis a alguien de que realmente habéis estado en Vietnam.

And this is how it typically works.

Y así es como funciona normalmente.

And as in all university courses, you might know this,

Y como en todos los cursos universitarios, quizás lo sepas,

after lectures you have exams.

después de las clases tienes que hacer exámenes.

And likewise after training our AI models,

Del mismo modo, después de entrenar nuestros modelos de IA,

we would like to test them.

nos gustaría probarlos.

And the procedure that we followed,

Y el procedimiento que seguimos,

that is actually the typical one, is the following.

que en realidad es el típico, es el siguiente.

So we picked some statements randomly from each dataset

Así que escogimos algunas afirmaciones al azar de cada conjunto de datos

and we took them apart.

y las separamos.

Por lo tanto, el modelo nunca vio

So the model never saw these statements during the training phase.

estas afirmaciones durante la fase de entrenamiento.

And only after the training was completed,

Y solo después de completar la capacitación,

we used them as a test, as the final exam.

la usamos como prueba, como examen final.

But who was our student then?

Pero, ¿quién era nuestro alumno entonces?

In this case, it was a large language model

En este caso, se trataba de un gran modelo de lenguaje

developed by Google

desarrollado por Google

and called FLAN-T5.

y llamado FLAN-T5.

Flanny, for friends.

Flanny, para amigos.

And now that we have all the pieces of the process together,

Y ahora que tenemos todas las piezas del proceso juntas,

we can actually dig deep into our study.

podemos profundizar en nuestro estudio.

Our study was composed by three main experiments.

Nuestro estudio estuvo compuesto por tres experimentos principales.

For the first experiment, we fine-tuned our model, our FLAN-T5,

Para el primer experimento, ajustamos nuestro modelo, nuestro FLAN-T5,

on each single dataset separately.

en cada conjunto de datos por separado.

For the second experiment,

Para el segundo experimento,

we fine-tuned our model on two pairs of datasets together,

ajustamos nuestro modelo en dos pares de conjuntos de datos juntos,

and we tested it on the third remaining one,

lo probamos en el tercero restante

and we used all three possible combinations.

y utilizamos las tres combinaciones posibles.

Para el último experimento final,

For the last final experiment,

we fine-tuned the model on a new, larger training test set

ajustamos el modelo con un conjunto de pruebas de entrenamiento nuevo

y más grande

that we obtained by combining all the three datasets together.

que obtuvimos al combinar los tres conjuntos de datos.

The results were quite interesting

Los resultados fueron bastante interesantes

because what we found was that in the first experiment,

porque lo que descubrimos fue que, en el primer experimento, el

FLAN-T5 achieved an accuracy range between 70 percent and 80 percent.

FLAN-T5 alcanzó un rango de precisión de entre el 70 y el 80 %.

However, in the second experiment,

Sin embargo, en el segundo experimento,

FLAN-T5 dropped its accuracy to almost 50 percent.

el FLAN-T5 redujo su precisión a casi el 50 %.

And then, surprisingly, in the third experiment,

Y luego, sorprendentemente, en el tercer experimento,

FLAN-T5 rose back to almost 80 percent.

el FLAN-T5 volvió a subir a casi el 80 %.

But what does this mean?

Pero, ¿qué significa esto?

What can we learn from these results?

¿Qué podemos aprender de estos resultados?

De los experimentos uno y tres

From experiment one and three

descubrimos que los modelos lingüísticos

we learn that language models

can effectively classify statements as deceptive,

pueden clasificar eficazmente las afirmaciones como engañosas,

lo que supera los parámetros humanos

outperforming human benchmarks

y se alinea con los modelos anteriores de aprendizaje automático

and aligning with previous machine learning

and deep learning models

y aprendizaje profundo

that previous studies trained on the same datasets.

que en estudios anteriores se basaban en los mismos conjuntos de datos.

However, from the second experiment,

Sin embargo, en el segundo experimento,

we see that language models struggle

vemos que los modelos lingüísticos tienen dificultades

in generalizing this knowledge, this learning across different contexts.

para generalizar este conocimiento, este aprendizaje en diferentes contextos.

And this is apparently because

Aparentemente, esto se debe a que no

there is no one single universal rule of deception

existe una sola regla universal sobre el engaño

that we can easily apply in every context,

que podamos aplicar fácilmente en todos los contextos,

but linguistic cues of deception are context-dependent.

pero las señales lingüísticas del engaño dependen del contexto.

And from the third experiment,

Y del tercer experimento,

we learned that actually language models

aprendimos que, en realidad, los modelos lingüísticos

can generalize well across different contexts,

pueden generalizarse bien en diferentes contextos,

if only they have been previously exposed to examples

si tan solo han estado expuestos previamente a ejemplos

durante la fase de formación.

during the training phase.

And I think this sounds as good news.

Y creo que esto suena como una buena noticia.

But while this means that language models can be effectively applied

Sin embargo, si bien esto significa que los modelos lingüísticos se pueden aplicar

eficazmente a aplicaciones reales de detección de mentiras,

for real-life applications in lie detection,

es necesario replicarlos

more replication is needed because a single study is never enough

más porque un solo estudio nunca es suficiente para

so that from tomorrow we can all have these AI systems on our smartphones,

que, a partir de mañana, todos podamos tener estos sistemas de IA en el teléfono

and start detecting other people's lies.

y empezar a detectar las mentiras de otras personas.

But as a scientist, I have a vivid imagination

Pero como científico, tengo una imaginación vívida

and I would like to dream big.

y me gustaría soñar en grande.

And also I would like to bring you with me in this futuristic journey for a while.

Y también me gustaría acompañarte durante un tiempo en este viaje futurista.

So please imagine with me living in a world

Imagínense vivir conmigo en un mundo en el que

where this lie detection technology is well-integrated in our life,

esta tecnología de detección de mentiras

esté bien integrada en nuestras vidas,

making everything from national security to social media a little bit safer.

haciendo que todo, desde la seguridad nacional

hasta las redes sociales, sea un poco más seguro.

And imagine having this AI system that could actually spot fake opinions.

E imagina tener este sistema de IA que podría detectar opiniones falsas.

From tomorrow, we could say

A partir de mañana, podríamos decir

when a politician is actually saying one thing

cuándo un político dice realmente una cosa

and truly believes something else.

y cree realmente otra.

(Laughter)

(Risas)

And what about the security board context

Y ¿qué pasa con el contexto de las juntas de seguridad,

where people are asked about their intentions and reasons

en el que se pregunta a las personas cuáles son sus intenciones

for why they are crossing borders or boarding planes.

y los motivos por los que cruzan las fronteras o suben a aviones?

Well, with these systems,

Bueno, con estos sistemas,

we could actually spot malicious intentions

podríamos detectar las intenciones maliciosas incluso

before they even happen.

antes de que se produzcan.

And what about the recruiting process?

¿Y qué pasa con el proceso de contratación?

(Laughter)

(Risas)

We heard about this already.

Ya nos enteramos de esto.

But actually, companies could employ this AI

Pero, las empresas podrían emplear esta IA

to distinguish those who are really passionate about the role

para distinguir a las que les apasiona el puesto

from those who are just trying to say the right things to get the job.

de las que solo intentan decir las cosas correctas para conseguir el puesto.

And finally, we have social media.

Y, por último, tenemos las redes sociales.

Scammers trying to deceive you or to steal your identity.

Estafadores que intentan engañarlo o robar su identidad.

All gone.

Se han ido todos.

And someone else may claim something about fake news,

Y alguien más puede decir algo sobre las noticias falsas,

and well, perfectly, language model could automatically read the news,

y bueno, perfectamente, el modelo lingüístico

podría leer automáticamente las noticias,

flag them as deceptive or fake,

marcarlos como engañosos o falsos,

and we could even provide users with a credibility score

e incluso podríamos proporcionar a los usuarios una puntuación de credibilidad

for the information they read.

por la información que leen.

It sounds like a brilliant future, right?

Parece un futuro brillante, ¿verdad?

(Laughter)

(Risas)

Yes, but ...

Sí, pero...

all great progress comes with risks.

todo gran progreso conlleva riesgos.

As much as I'm excited about this future,

Por mucho que me entusiasme este futuro,

I think we need to be careful.

creo que debemos tener cuidado.

Si no somos cautelosos, en mi opinión,

If we are not cautious, in my view,

podríamos terminar en un mundo en el que la gente

we could end up in a world

where people might just blindly believe AI outputs.

creería ciegamente en los resultados de la IA.

And I'm afraid this means that people will just be more likely

Y me temo que esto significa que es más probable que la gente acuse

to accuse others of lying just because an AI says so.

a otros de mentir solo porque una IA lo diga.

And I'm not the only one with this view

Y no soy el único que opina lo mismo,

because another study already proved it.

porque otro estudio ya lo ha demostrado.

In addition, if we totally rely on this lie detection technology

Además, si confiamos totalmente en esta tecnología de detección de mentiras

to say someone else is lying or not,

para decir que alguien está mintiendo o no,

we risk losing another important key value in society.

corremos el riesgo de perder otro valor clave importante en la sociedad.

We lose trust.

Perdemos la confianza.

We won't need to trust people anymore,

Ya no necesitaremos confiar en la gente,

because what we will do is just ask an AI to double check for us.

porque lo que haremos será pedirle a una IA que lo compruebe por nosotros.

But are we really willing to blindly believe AI

Pero, ¿estamos realmente dispuestos a creer ciegamente en la IA

and give up our critical thinking?

y a renunciar a nuestro pensamiento crítico?

I think that's the future we need to avoid.

Creo que ese es el futuro que debemos evitar.

With hope for the future is more interpretability.

La esperanza para el futuro es más interpretable.

Y estoy a punto de decirte lo que quiero decir.

And I'm about to tell you what I mean.

Similar to when we look at reviews online,

Al igual que cuando leemos las reseñas en Internet,

and we can both look at the total number of stars at places,

podemos ver el número total de estrellas en los lugares,

but also we can look more in detail at the positive and negative reviews,

pero también podemos analizar con más detalle las críticas positivas y negativas

and try to understand what are the positive sides,

e intentar entender cuáles son los aspectos positivos,

but also what might have gone wrong,

pero también qué puede haber salido mal,

to eventually create our own and personal idea

para eventualmente crear nuestra propia idea personal de

if that is the place where we want to go,

si ese es el lugar al que queremos ir,

where we want to be.

dónde queremos estar.

Likewise, imagine a world where AI doesn't just offer conclusions,

Del mismo modo, imagine un mundo en el que la IA no solo ofrezca conclusiones,

but also provides clear and understandable explanations

sino que también proporcione explicaciones claras y comprensibles

behind its decisions.

detrás de sus decisiones.

Y me imagino un futuro

And I envision a future

where this lie detection technology

en el que esta tecnología de detección de mentiras

wouldn't just provide us with a simple judgment,

no solo nos proporcione un juicio sencillo,

sino también explicaciones claras

but also with clear explanations for why it thinks someone else is lying.

de por qué cree que alguien más está mintiendo.

And I would like a future where, yes,

Y me gustaría un futuro en el que, sí,

this lie detection technology is integrated in our life,

esta tecnología de detección de mentiras estuviera integrada en nuestras vidas,

or also AI technology in general,

o también en la tecnología de IA en general,

but still, at the same time,

pero que, al mismo tiempo,

we are able to think critically

pudiéramos pensar críticamente

and decide when we want to trust in AI judgment

y decidir cuándo queremos confiar en el juicio de la IA

or when we want to question it.

o cuándo queremos cuestionarlo.

To conclude,

Para concluir,

I think the future of using AI for lie detection

creo que el futuro del uso de la IA para la detección

is not just about technological advancement,

de mentiras no depende solo del avance tecnológico,

but about enhancing our understanding and fostering trust.

sino de mejorar nuestra comprensión y fomentar la confianza.

It's about developing tools that don't replace human judgment

Se trata de desarrollar herramientas que no sustituyan el juicio humano,

but empower it,

sino que lo potencien

ensuring that we remain at the helm.

y garanticen que sigamos manteniéndonos a la cabeza.

Don't step into a future with blind reliance on technology.

No se adentre en un futuro con una confianza ciega en la tecnología.

Let's commit to deep understanding and ethical use,

Comprometámonos con una comprensión profunda

y un uso ético,

and we'll pursue the truth.

y buscaremos la verdad.

(Applause)

(Aplausos)

Thank you.

Gracias.