What if AI Could Spot Your Lies? | Riccardo Loconte | TED

Переводчик: Olga Davydova (Brusyanina) Редактор: Alena Chernykh

This is something you won't like.

Вам не понравится то, что я сейчас скажу.

But here everyone is a liar.

Каждый из присутствующих здесь — лжец.

Не принимайте это слишком близко к сердцу.

Don't take it too personally.

What I mean is that lying is very common

Я всего лишь имею в виду, что ложь очень распространена.

and it is now well-established that we lie on a daily basis.

Общеизвестный факт — мы лжём ежедневно.

Indeed, scientists have estimated that we tell around two lies per day,

Действительно, по оценкам учёных, мы лжём примерно дважды в день,

although, of course, it's not that easy to establish those numbers with certainty.

хотя, конечно, не так-то просто точно установить эти цифры.

And, well, I introduce myself.

Позвольте представиться.

I'm Riccardo, I'm a psychologist and a PhD candidate,

Меня зовут Риккардо, я психолог и кандидат наук.

and for my research project I study how good are people at detecting lies.

Для своего исследовательского проекта я изучаю, как хорошо люди распознают ложь.

Seems cool, right? But I'm not joking.

Кажется круто, верно? Но я не шучу.

And you might wonder why a psychologist was then invited

И вы, наверное, задаётесь вопросом, почему именно психолог был приглашён

to give a TED Talk about AI.

на TED выступить с докладом об искусственном интеллекте.

And well, I'm here today

Сегодня я здесь,

because I'm about to tell you how AI could be used to detect lies.

чтобы рассказать вам,

как можно использовать искусственный интеллект для выявления лжи.

And you will be very surprised by the answer.

И вы будете очень удивлены ответом.

But first of all, when is it relevant to detect lies?

Но для начала, когда важно выявлять ложь?

A first clear example that comes to my mind

Первый наглядный пример, который приходит мне на ум,

is in the criminal investigation field.

находится в области уголовного расследования.

Imagine you are a police officer and you want to interview a suspect.

Представьте, что вы полицейский и хотите допросить подозреваемого.

And the suspect is providing some information to you.

И подозреваемый предоставляет вам некоторую информацию.

And this information is actually leading to the next steps of the investigation.

И эта информация фактически ведёт к следующим шагам расследования.

We certainly want to understand if the suspect is reliable

Мы, конечно, хотим понять, достоин ли доверия подозреваемый

or if they are trying to deceive us.

или он пытается нас обмануть.

Then another example comes to my mind,

Далее мне приходит в голову другой пример,

and I think this really affects all of us.

и он действительно касается всех нас.

So please raise your hands

Поэтому, пожалуйста, поднимите руки,

if you would like to know if your partner cheated on you.

если хотите узнать, изменял ли вам ваш партнёр.

(Laughter)

(Смех)

And don't be shy because I know.

Не стесняйтесь, потому что я знаю.

(Laughter)

(Смех)

Yeah. You see?

Да. Видите?

It's very relevant.

Это очень актуально.

However, I have to have to say that we as humans

Однако я должен сказать, что мы, люди,

are very bad at detecting lies.

очень плохо распознаём ложь.

In fact, many studies have already confirmed

На самом деле, многие исследования уже подтвердили,

that when people are asked to judge

что, когда людей просят оценить,

if someone is lying or not

лжёт человек или нет,

without knowing much about that person or the context,

не зная ни об этом человеке, ни о том, что с ним связано

people's accuracy is no better than the chance level,

точность человека ничуть не выше уровня вероятности,

about the same as flipping a coin.

примерно равнозначна подбрасыванию монеты.

You might also wonder

Вы также можете спросить,

if experts, such as police officers, prosecutors, experts

лучше ли такие эксперты, как полицейские, прокуроры,

and even psychologists

и даже психологи,

are better at detecting lies.

справляются с распознаванием лжи.

And the answer is complex,

И ответ на этот вопрос сложен,

because experience alone doesn't seem to be enough

потому что одного опыта, по-видимому, недостаточно,

to help detect lies accurately.

чтобы помочь точно распознать ложь.

It might help, but it's not enough.

Возможно, он поможет, но этого недостаточно.

To give you some numbers.

Приведу вам несколько цифр.

In a well-known meta-analysis that previous scholars did in 2006,

В ходе известного метаанализа, проведённого прежними учёными в 2006 году,

they found that naive judges' accuracy

было обнаружено, что точность наивных суждений

was on average around 54 percent.

в среднем составляла около 54 процентов.

Experts perform only slightly better,

Результаты экспертов лишь немного лучше:

with an accuracy rate around 55 percent.

показатель точности составляет около 55 процентов.

(Laughter)

(Смех)

Not that impressive, right?

Не так уж и впечатляет, верно?

And ...

И...

Those numbers actually come from the analysis

Эти цифры на самом деле получены в результате анализа

of the results of 108 studies,

результатов 108 исследований,

meaning that these findings are quite robust.

а это означает, что эти выводы довольно убедительны.

And of course, the debate is also much more complicated than this

И, конечно, дискуссия также намного сложнее, чем выводы

and also more nuanced.

и содержит много нюансов.

But here the main take-home message

Но главный вывод здесь заключается в том,

is that humans are not good at detecting lies.

что люди не умеют распознавать ложь.

What if we are creating an AI tool

Что, если мы создадим инструмент искусственного интеллекта,

where everyone can detect if someone else is lying?

где каждый сможет определить, лжёт ли кто-то другой?

This is not possible yet, so please don't panic.

Пока это невозможно, поэтому, пожалуйста, не паникуйте.

(Laughter)

(Смех)

But this is what we tried to do in a recent study

Именно это мы и пытались сделать в недавнем исследовании,

that I did together with my brilliant colleagues

которое я провёл вместе с моими замечательными коллегами,

whom I need to thank.

которых мне нужно поблагодарить.

And actually, to let you understand what we did in our study,

На самом деле, чтобы вы поняли, чем мы занимались в исследовании,

I need to first introduce you to some technical concepts

мне нужно сначала познакомить вас с некоторыми техническими концепциями

and to the main characters of this story:

и с главными героями этой истории:

Large language models.

большими языковыми моделями.

Большие языковые модели — это системы искусственного интеллекта,

Large language models are AI systems

designed to generate outputs in natural language

предназначенные для генерирования результатов на родном языке

in a way that almost mimics human communication.

таким образом, чтобы они почти имитировали человеческое общение.

Если вам интересно, как мы учим эти системы искусственного интеллекта

If you are wondering how we teach these AI systems to detect lies,

распознавать ложь,

here is where something called fine-tuning comes in.

то здесь на помощь приходит так называемая тонкая настройка.

But let's use a metaphor.

Но давайте воспользуемся метафорой.

Imagine large language models being as students

Представьте себе, что большие языковые модели — это учащиеся,

who have gone through years of school,

прошедшие несколько лет обучения в школе,

learning a little bit about everything,

изучающие всё понемногу:

such as language, concepts, facts.

But when it's time for them to specialize,

Но когда приходит время специализироваться,

like in law school or in medical school,

например, на юридическом факультете или в медицинском училище,

they need more focused training.

им необходимо более целенаправленное обучение.

Fine-tuning is that extra education.

Тонкая настройка — это дополнительное образование.

And of course, large language models don't learn as humans do.

И, конечно, большие языковые модели не учатся так, как люди.

But this is just to give you the main idea.

Но это просто для того, чтобы дать вам основную идею.

Then, as for training students, you need books, lectures, examples,

Тогда, что касается обучения студентов, нужны книги, лекции, примеры,

for training large language models you need datasets.

для обучения больших языковых моделей нужны наборы данных.

And for our study we considered three datasets,

В нашем исследовании мы рассмотрели три набора данных:

one about personal opinions,

один — о личном мнении,

one about past autobiographical memories

один — о прошлых автобиографических воспоминаниях,

and one about future intentions.

и ещё один — о будущих намерениях.

These datasets were already available from previous studies

Эти наборы данных уже были получены в ходе предыдущих исследований

and contained both truthful and deceptive statements.

и содержали как правдивые, так и вводящие в заблуждение утверждения.

Typically, you collect these types of statements

Обычно вы собираете такие утверждения,

by asking participants to tell the truth or to lie about something.

попросив участников рассказать правду или солгать о чём-либо.

For example, if I was a participant in the truthful condition,

Например, если бы я был участником в правдивом состоянии,

and the task was

и задача —

"tell me about your past holidays,"

«расскажи мне о своих прошлых каникулах»,

then I will tell the researcher about my previous holidays in Vietnam,

я рассказал бы исследователю о своих недавних каникулах во Вьетнаме,

and here we have a slide to prove it.

и вот вам слайд, подтверждающий это.

For the deceptive condition

Для ложного состояния

они случайным образом выберут некоторых из вас,

they will randomly pick some of you who have never been to Vietnam,

кто никогда не был во Вьетнаме,

and they will ask you to make up a story

и попросят вас придумать историю

and convince someone else that you've really been to Vietnam.

и убедить кого-то в том, что вы действительно были во Вьетнаме.

And this is how it typically works.

Вот как это обычно работает.

And as in all university courses, you might know this,

И, как на всех университетских курсах, вы, наверное, знаете,

after lectures you have exams.

что после лекций у вас экзамены.

And likewise after training our AI models,

Точно так же, после обучения наших моделей искусственного интеллекта,

we would like to test them.

мы хотели бы протестировать их.

And the procedure that we followed,

И процедура, которой мы следовали,

that is actually the typical one, is the following.

которая на самом деле является типичной, выглядит следующим образом.

So we picked some statements randomly from each dataset

Мы произвольно выбрали несколько утверждений из каждого набора данных

and we took them apart.

и разобрали их на части.

So the model never saw these statements during the training phase.

Таким образом, модель никогда не видела этих утверждений на этапе обучения.

And only after the training was completed,

И только после завершения обучения

we used them as a test, as the final exam.

мы использовали их в качестве теста или итогового экзамена.

But who was our student then?

Но кто тогда был нашим учеником?

In this case, it was a large language model

В данном случае это была большая языковая модель,

developed by Google

разработанная Google

and called FLAN-T5.

и названная FLAN-T5.

Flanny, for friends.

Фланни, для друзей.

And now that we have all the pieces of the process together,

Теперь, когда мы собрали все элементы процесса воедино,

we can actually dig deep into our study.

мы можем углубиться в наше исследование.

Our study was composed by three main experiments.

Наше исследование состояло из трёх основных экспериментов.

For the first experiment, we fine-tuned our model, our FLAN-T5,

В первом эксперименте мы доработали нашу модель FLAN-T5

on each single dataset separately.

отдельно для каждого набора данных.

For the second experiment,

Во втором эксперименте

we fine-tuned our model on two pairs of datasets together,

мы доработали нашу модель на двух парах наборов данных,

and we tested it on the third remaining one,

и протестировали её на третьем оставшемся наборе данных.

and we used all three possible combinations.

Мы использовали все три возможные комбинации.

For the last final experiment,

В последнем заключительном эксперименте

we fine-tuned the model on a new, larger training test set

мы доработали модель на новом, более крупном обучающем наборе тестов,

that we obtained by combining all the three datasets together.

который мы получили, объединив все три набора данных вместе.

The results were quite interesting

Результаты оказались весьма интересными,

because what we found was that in the first experiment,

поскольку мы обнаружили, что в первом эксперименте

FLAN-T5 achieved an accuracy range between 70 percent and 80 percent.

точность FLAN-T5 достигла диапазона от 70 до 80 процентов.

However, in the second experiment,

Однако во втором эксперименте

FLAN-T5 dropped its accuracy to almost 50 percent.

FLAN-T5 снизила свою точность почти до 50 процентов.

And then, surprisingly, in the third experiment,

А затем, что удивительно, в третьем эксперименте

FLAN-T5 rose back to almost 80 percent.

FLAN-T5 поднялась обратно почти до 80 процентов.

But what does this mean?

Но что это значит?

What can we learn from these results?

Чему мы можем научиться на основе этих результатов?

From experiment one and three

Из первого и третьего экспериментов

we learn that language models

мы выяснили, что языковые модели

can effectively classify statements as deceptive,

могут эффективно классифицировать утверждения как ложные,

outperforming human benchmarks

превосходя показатели людей

и совпадая с предыдущим моделям

and aligning with previous machine learning

and deep learning models

машинного и глубокого обучения,

that previous studies trained on the same datasets.

которые в предыдущих исследованиях изучались на тех же наборах данных.

However, from the second experiment,

Однако из второго эксперимента

we see that language models struggle

мы видим, что языковым моделям трудно

in generalizing this knowledge, this learning across different contexts.

обобщить эти знания, это обучение через разные контексты.

And this is apparently because

И это, очевидно, потому что

there is no one single universal rule of deception

не существует единого универсального правила обмана,

that we can easily apply in every context,

которое можно было бы легко применить в любом контексте,

but linguistic cues of deception are context-dependent.

но языковые признаки обмана зависят от контекста.

And from the third experiment,

В ходе третьего эксперимента

we learned that actually language models

мы узнали, что на самом деле языковые модели

can generalize well across different contexts,

могут хорошо обобщать в различных контекстах,

if only they have been previously exposed to examples

если только они уже были ознакомлены с примерами

during the training phase.

на этапе обучения.

And I think this sounds as good news.

И я думаю, это хорошая новость.

But while this means that language models can be effectively applied

Но хотя это и означает, что языковые модели

можно эффективно применять

for real-life applications in lie detection,

в реальных приложениях для распознавания лжи,

more replication is needed because a single study is never enough

нужно больше повторений, поскольку одного исследования недостаточно,

so that from tomorrow we can all have these AI systems on our smartphones,

чтобы с завтрашнего дня все мы могли использовать

эти системы искусственного интеллекта на своих смартфонах

and start detecting other people's lies.

и начать распознавать ложь других людей.

But as a scientist, I have a vivid imagination

Но как ученый я обладаю богатым воображением,

and I would like to dream big.

и мне хочется мечтать о большем.

And also I would like to bring you with me in this futuristic journey for a while.

А ещё я хотел бы взять вас с собой в это футуристическое путешествие ненадолго.

So please imagine with me living in a world

Пожалуйста, давайте вместе представим жизнь в мире,

where this lie detection technology is well-integrated in our life,

где эта технология распознавания лжи прочно интегрирована в нашу жизнь

making everything from national security to social media a little bit safer.

делая всё, от национальной безопасности до социальных сетей, немного безопаснее.

И представьте себе, что у вас есть система искусственного интеллекта,

And imagine having this AI system that could actually spot fake opinions.

которая действительно могла бы выявлять ложные мнения.

From tomorrow, we could say

С завтрашнего дня мы смогли бы сказать,

when a politician is actually saying one thing

когда политик на самом деле говорит одно,

and truly believes something else.

а по-настоящему верит во что-то другое.

(Laughter)

(Смех)

And what about the security board context

А как же ситуация в безопасности на границе,

where people are asked about their intentions and reasons

где людей спрашивают об их намерениях и причинах

for why they are crossing borders or boarding planes.

почему они пересекают границы или садятся в самолет.

Well, with these systems,

С помощью этих систем

we could actually spot malicious intentions

мы могли бы распознать злоумышленные намерения

before they even happen.

даже до того, как они произойдут.

And what about the recruiting process?

А как же процесс найма персонала?

(Laughter)

(Смех)

We heard about this already.

Мы уже слышали об этом.

Но на самом деле компании могли бы применять этот искусственный интеллект,

But actually, companies could employ this AI

to distinguish those who are really passionate about the role

чтобы отличать тех, кто действительно увлечён своей ролью,

from those who are just trying to say the right things to get the job.

от тех, кто просто пытается правильно сказать, чтобы получить работу.

And finally, we have social media.

И наконец, у нас есть социальные сети.

Scammers trying to deceive you or to steal your identity.

Мошенники, пытающиеся обмануть вас или украсть ваши личные данные.

All gone.

Всё ушло.

And someone else may claim something about fake news,

А кто-то ещё может что-то утверждать о фейковых новостях,

and well, perfectly, language model could automatically read the news,

и, прекрасно, что языковая модель может автоматически читать новости,

flag them as deceptive or fake,

отмечать их как ложные или фальшивые,

and we could even provide users with a credibility score

и мы даже могли бы дать пользователям достоверную оценку

for the information they read.

для информации, которую они прочитали.

It sounds like a brilliant future, right?

Похоже на блестящее будущее, верно?

(Laughter)

(Смех)

Yes, but ...

Да, но...

all great progress comes with risks.

Любой великий прогресс сопряжён с риском.

As much as I'm excited about this future,

Как бы я ни был взволнован этим будущим,

I think we need to be careful.

думаю, нам нужно быть осторожными.

If we are not cautious, in my view,

На мой взгляд, если мы не будем проявлять осторожность,

we could end up in a world

мы можем оказаться в мире,

where people might just blindly believe AI outputs.

где люди могут всего лишь слепо верить результатам искусственного интеллекта.

And I'm afraid this means that people will just be more likely

И я боюсь, что это означает, что люди с большей вероятностью будут

to accuse others of lying just because an AI says so.

обвинять других во лжи только потому, что об этом говорит искусственный интеллект.

And I'm not the only one with this view

И я не единственный с такой точкой зрения,

because another study already proved it.

потому что другое исследование уже подтвердило это.

In addition, if we totally rely on this lie detection technology

Кроме того, если мы полностью полагаемся на эту технологию распознавания лжи,

to say someone else is lying or not,

чтобы сказать, что кто-то лжёт или нет,

we risk losing another important key value in society.

мы рискуем потерять ещё одну важную ключевую ценность в обществе.

We lose trust.

Мы теряем доверие.

We won't need to trust people anymore,

Нам больше не нужно будет доверять людям,

because what we will do is just ask an AI to double check for us.

потому что, то что мы сделаем — это просто попросим ИИ

перепроверить для нас.

But are we really willing to blindly believe AI

Но действительно ли мы готовы слепо верить искусственному интеллекту

and give up our critical thinking?

и отказаться от нашего критического мышления?

I think that's the future we need to avoid.

Думаю, именно такого будущего нам следует избегать.

With hope for the future is more interpretability.

С надеждой на будущее с большей интерпретируемостью.

And I'm about to tell you what I mean.

И я сейчас скажу вам, что я имею в виду.

Similar to when we look at reviews online,

Аналогично, когда мы смотрим отзывы онлайн,

and we can both look at the total number of stars at places,

и мы можем не только смотреть на общее количество звезд в местах,

but also we can look more in detail at the positive and negative reviews,

но и более подробно рассмотреть положительные и отрицательные отзывы

and try to understand what are the positive sides,

и попытаться понять, в чём положительные стороны,

but also what might have gone wrong,

а что, возможно, пошло не так,

to eventually create our own and personal idea

чтобы в конечном итоге создать собственное и личное представление,

if that is the place where we want to go,

то ли это место, куда мы хотим пойти

where we want to be.

и где хотим находиться.

Likewise, imagine a world where AI doesn't just offer conclusions,

Также представьте мир, в котором ИИ

не только делает выводы,

but also provides clear and understandable explanations

но и даёт чёткие и понятные объяснения,

behind its decisions.

что лежит в основе его решений.

And I envision a future

И я представляю себе будущее,

where this lie detection technology

в котором технология распознавания лжи

wouldn't just provide us with a simple judgment,

не просто бы обеспечивала нас простыми суждениями,

but also with clear explanations for why it thinks someone else is lying.

но и чёткими объяснениями, почему он считает, что кто-то лжет.

And I would like a future where, yes,

И мне бы хотелось, чтобы в будущем

this lie detection technology is integrated in our life,

технология распознавания лжи стала неотъемлемой частью нашей жизни

or also AI technology in general,

или также технологии искусственно интеллекта в общем,

but still, at the same time,

но в то же время

we are able to think critically

мы сможем думать критически

and decide when we want to trust in AI judgment

и решать, когда мы хотим доверять суждениям искусственного интеллекта

or when we want to question it.

или когда мы хотим подвергать их сомнению.

To conclude,

В заключение

I think the future of using AI for lie detection

думаю, что будущее использования искусственного интеллекта

для распознавания лжи

is not just about technological advancement,

связано не только с технологическим прогрессом,

but about enhancing our understanding and fostering trust.

но и с улучшением нашего понимания и укреплением доверия.

It's about developing tools that don't replace human judgment

Речь идёт о разработке инструментов, которые не заменяют человеческое суждение,

but empower it,

а усиливают его

ensuring that we remain at the helm.

обеспечивая наше нахождение у руля.

Don't step into a future with blind reliance on technology.

Не стоит шагать в будущее, слепо полагаясь на технологии.

Let's commit to deep understanding and ethical use,

Давайте будем стремиться к глубокому пониманию и этичному использованию

and we'll pursue the truth.

и мы добьёмся истины.

(Applause)

(Аплодисменты)

Thank you.

Спасибо.