What if AI Could Spot Your Lies? | Riccardo Loconte | TED

Çeviri: Nigar Mancini Gözden geçirme: Eren Gokce

This is something you won't like.

Bu pek hoşunuza gitmeyecek.

But here everyone is a liar.

Ama burada herkes yalancı.

(Gülüşmeler)

Don't take it too personally.

Çok fazla üzerinize alınmayın.

What I mean is that lying is very common

Asıl söylemek istediğim çok yaygın olarak yalan söylendiği

and it is now well-established that we lie on a daily basis.

ve her gün yalan söylediğimiz artık iyice kanıtlandı.

Indeed, scientists have estimated that we tell around two lies per day,

Bilim adamları günde yaklaşık iki yalan söylediğimizi tahmin ediyor

although, of course, it's not that easy to establish those numbers with certainty.

ancak elbette bu sayıları kesin olarak belirlemek o kadar kolay değil.

And, well, I introduce myself.

Artık kendimi tanıtayım.

I'm Riccardo, I'm a psychologist and a PhD candidate,

Ben Riccardo, psikoloğum ve doktora araştırmam için

and for my research project I study how good are people at detecting lies.

insanların yalanları tespit etmede ne kadar başarılı olduklarını inceliyorum.

Seems cool, right? But I'm not joking.

Havalı değil mi? Ama şaka yapmıyorum.

And you might wonder why a psychologist was then invited

Neden bir psikoloğun yapay zekâ hakkında bir TED konuşması

to give a TED Talk about AI.

yapmaya davet edildiğini merak edebilirsiniz.

And well, I'm here today

Bugün burada olma nedenim

because I'm about to tell you how AI could be used to detect lies.

yapay zekânın yalanı tespit etmek için nasıl kullanılabileceğini anlatmak.

And you will be very surprised by the answer.

Ve bunun cevabı sizi çok şaşırtacak.

But first of all, when is it relevant to detect lies?

Ama her şeyden önce, yalanları tespit etmek ne zaman önemli?

A first clear example that comes to my mind

Aklıma gelen ilk net örnek cezai soruşturmalar.

is in the criminal investigation field.

Imagine you are a police officer and you want to interview a suspect.

Bir polis memuru olduğunuzu ve bir şüpheliyle görüştüğünüzü hayal edin.

And the suspect is providing some information to you.

Şüpheli size bazı bilgiler veriyor.

And this information is actually leading to the next steps of the investigation.

Ve bu bilgiler aslında soruşturmanın sonraki adımlarına götürüyor.

We certainly want to understand if the suspect is reliable

Şüphelinin güvenilir olup olmadığını veya bizi kandırmaya çalışıp çalışmadığını

or if they are trying to deceive us.

kesinlikle anlamak istiyoruz.

Then another example comes to my mind,

Sonra aklıma başka bir örnek geliyor

and I think this really affects all of us.

ve bence bu gerçekten hepimizi etkiler.

So please raise your hands

Partnerinizin sizi aldatıp aldatmadığını öğrenmek istiyorsanız el kaldırın.

if you would like to know if your partner cheated on you.

(Laughter)

(Kahkahalar)

And don't be shy because I know.

Utanmayın çünkü zaten biliyorum.

(Laughter)

(Kahkahalar)

Yeah. You see?

Evet. Gördünüz mü?

It's very relevant.

Çok mantıklı.

However, I have to have to say that we as humans

Ancak, insanların yalanları tespit etmede çok kötü olduğunu söylemeliyim.

are very bad at detecting lies.

In fact, many studies have already confirmed

Aslında, birçok çalışma, insanlardan o kişi veya bağlam hakkında

that when people are asked to judge

fazla bilgi sahibi olmadan bir kişinin yalan söyleyip söylemediğini

if someone is lying or not

without knowing much about that person or the context,

yargılamaları istendiğinde,

doğru tahmin etme olasılığının sadece şans seviyesinde olduğunu

people's accuracy is no better than the chance level,

yani yazı tura atmakla aynı seviyede olduğunu doğrulamıştır.

about the same as flipping a coin.

You might also wonder

Polisler, savcılar, uzmanlar

if experts, such as police officers, prosecutors, experts

ve hatta psikolog gibi profesyonellerin yalanları tespit etmede

and even psychologists

daha başarılı olup olmadıklarını da merak edebilirsiniz.

are better at detecting lies.

And the answer is complex,

Bunun cevabı karmaşık,

because experience alone doesn't seem to be enough

çünkü tek başına deneyim yalanları doğru bir şekilde tespit etmeye

to help detect lies accurately.

yardımcı olmak için yeterli görünmüyor.

It might help, but it's not enough.

Yardımcı olabilir ama yeterli değil.

To give you some numbers.

Bazı rakamlar verecek olursam,

In a well-known meta-analysis that previous scholars did in 2006,

araştırmacıların 2006′da yaptığı iyi bilinen bir meta analizde,

they found that naive judges' accuracy

naif yargıçların doğruluk payının ortalama %54 civarında olduğu bulundu.

was on average around 54 percent.

Experts perform only slightly better,

Uzmanlar %55 civarında bir doğruluk oranı ile

with an accuracy rate around 55 percent.

sadece bir nebze daha iyi performans gösteriyor.

(Laughter)

(Kahkahalar)

Not that impressive, right?

O kadar da etkileyici değil, değil mi?

And ...

Ve...

Those numbers actually come from the analysis

Bu rakamlar aslında yapılan 108 araştırmanın sonuçları

of the results of 108 studies,

analiz edilerek elde edildi,

meaning that these findings are quite robust.

bu da bulguların oldukça sağlam olduğu anlamına geliyor.

And of course, the debate is also much more complicated than this

Tabii ki tartışma bundan çok daha karmaşık ve detaylı.

and also more nuanced.

But here the main take-home message

Ancak burada ana mesaj,

is that humans are not good at detecting lies.

insanların yalanı tespit etmede başarılı olmadığıdır.

What if we are creating an AI tool

Peki ya herkesin başka birinin yalan söyleyip söylemediğini tespit edebileceği

where everyone can detect if someone else is lying?

bir yapay zekâ aracı oluşturuyorsak?

This is not possible yet, so please don't panic.

Bu henüz mümkün değil, o yüzden rahat olun.

(Laughter)

(Kahkahalar)

But this is what we tried to do in a recent study

Ama teşekkürü borç bildiğim parlak meslektaşlarımla birlikte

that I did together with my brilliant colleagues

yakın tarihte yürüttüğümüz bir araştırmada yapmaya çalıştığımız şey buydu.

whom I need to thank.

And actually, to let you understand what we did in our study,

Çalışmamızda ne yaptığımızı anlayabilmeniz için,

I need to first introduce you to some technical concepts

önce sizi bazı teknik kavramlarla

and to the main characters of this story:

ve bu hikâyenin ana karakterleriyle tanıştırmalıyım:

Large language models.

Büyük dil modelleri.

Large language models are AI systems

Büyük dil modelleri, insan iletişimini neredeyse taklit edecek şekilde

designed to generate outputs in natural language

doğal dilde çıktılar üretmek için

in a way that almost mimics human communication.

tasarlanmış yapay zekâ sistemleridir.

If you are wondering how we teach these AI systems to detect lies,

Bu YZ sistemlerine yalanı tespit etmeyi nasıl öğrettiğimizi merak ediyorsanız,

here is where something called fine-tuning comes in.

burada ince ayar adı verilen bir şey devreye giriyor.

But let's use a metaphor.

Ama bir metafor kullanalım.

Imagine large language models being as students

Büyük dil modellerini yıllarca okula giden

who have gone through years of school,

dil, kavramlar, olgular gibi her şey hakkında az miktarda

learning a little bit about everything,

bir şeyler öğrenen öğrenciler olarak hayal edin.

such as language, concepts, facts.

But when it's time for them to specialize,

Ancak hukuk veya tıp fakültesinde uzmanlaşma zamanı geldiğinde,

like in law school or in medical school,

they need more focused training.

daha odaklanmış eğitime gereksinim duyarlar.

Fine-tuning is that extra education.

İnce ayar bu ekstra eğitimdir.

And of course, large language models don't learn as humans do.

Elbette, büyük dil modelleri insanlar gibi öğrenmez.

But this is just to give you the main idea.

Bu örnek sadece ana fikri kavramanız için.

Then, as for training students, you need books, lectures, examples,

Daha sonra, öğrencileri eğitmek için kitaplar, dersler, örnekler kullanılır,

for training large language models you need datasets.

büyük dil modellerini eğitmek için ise veri kümelerine ihtiyacınız var.

And for our study we considered three datasets,

Biz çalışmamız için üç veri kümesini dikkate aldık,

one about personal opinions,

biri kişisel görüşler hakkında,

one about past autobiographical memories

biri geçmiş otobiyografik anılar

and one about future intentions.

ve diğeri gelecekteki niyetler hakkında.

These datasets were already available from previous studies

Bu veri kümeleri önceki çalışmalardan zaten mevcuttu

and contained both truthful and deceptive statements.

ve hem doğru hem de aldatıcı ifadeler içeriyordu.

Typically, you collect these types of statements

Genel olarak bu tür ifadeler, katılımcalardan bir konuda

by asking participants to tell the truth or to lie about something.

doğruyu ya da yalan söylemeleri istenerek toplanır.

For example, if I was a participant in the truthful condition,

Örneğin, doğruyu söylemesi beklenen bir katılımcı olsam

and the task was

ve görev “bana geçmiş tatillerini anlat” olsa,

"tell me about your past holidays,"

then I will tell the researcher about my previous holidays in Vietnam,

araştırmacıya geçmişte Vietnam’da yaptığım tatillerden bahsederim

and here we have a slide to prove it.

ve burada bunu kanıtlayan bir slayt var.

For the deceptive condition

Yalan söyleme durumu için, aranızdan hiç Vietnam’a gitmemiş

they will randomly pick some of you who have never been to Vietnam,

birkaç kişiyi rastgele seçerler ve sizden bir hikâye uydurmanızı

and they will ask you to make up a story

and convince someone else that you've really been to Vietnam.

ve başka birini gerçekten Vietnam’da bulunduğunuza ikna etmenizi isterler.

And this is how it typically works.

Genel olarak sistem böyle işler.

And as in all university courses, you might know this,

Tüm üniversite eğitimlerinde olduğu gibi, muhtemelen bildiğiniz üzere,

after lectures you have exams.

derslerden sonra sınav yapılır.

And likewise after training our AI models,

Aynı şekilde yapay zekâ modellerimizi eğittikten sonra,

we would like to test them.

onları test etmek isteriz.

And the procedure that we followed,

Ve tipik olarak izlenen ve bizimde izlediğimiz prosedür şöyledir.

that is actually the typical one, is the following.

So we picked some statements randomly from each dataset

Her veri kümesinden rastgele ifadeler seçtik ve bunları ayırdık.

and we took them apart.

So the model never saw these statements during the training phase.

Dolayısıyla model eğitim aşamasında bu ifadeleri hiç görmedi.

And only after the training was completed,

Ancak eğitim tamamlandıktan sonra,

we used them as a test, as the final exam.

onları final sınavı olarak, test etmek için kullandık.

But who was our student then?

Peki öğrencimiz kimdi?

In this case, it was a large language model

Bu araştırmada, Google tarafından geliştirilen

developed by Google

ve FLAN-T5 adı verilen büyük bir dil modeliydi.

and called FLAN-T5.

Flanny, for friends.

Arkadaşlar arasında Flanny.

And now that we have all the pieces of the process together,

Ve şimdi sürecin tüm parçalarını bir araya getirdiğimize göre,

we can actually dig deep into our study.

çalışmamızın derinliklerine inebiliriz.

Our study was composed by three main experiments.

Çalışmamız üç ana deneyden oluştu.

For the first experiment, we fine-tuned our model, our FLAN-T5,

İlk deney için, modelimiz FLAN-T5′e

on each single dataset separately.

her bir veri kümesinde ayrı ayrı ince ayar yaptık.

For the second experiment,

İkinci deney için,

we fine-tuned our model on two pairs of datasets together,

modelimize iki çift veri kümesi üzerinde birlikte ince ayar yaptık

and we tested it on the third remaining one,

onu üçüncü veri kümesi üzerinde

and we used all three possible combinations.

üç olası kombinasyonu da kullanarak test ettik.

For the last final experiment,

Son deney için,

we fine-tuned the model on a new, larger training test set

üç veri kümesini de bir araya getirerek elde ettiğimiz yeni ve daha büyük bir

that we obtained by combining all the three datasets together.

eğitim test seti üzerinde modeli ince ayarladık.

The results were quite interesting

Sonuçlar oldukça ilginçti.

because what we found was that in the first experiment,

Çünkü ilk deneyde FLAN-T5′in

FLAN-T5 achieved an accuracy range between 70 percent and 80 percent.

%70 ile %80 arasında bir doğruluk aralığı elde ettiğini bulduk.

However, in the second experiment,

İkinci deneyde ise,

FLAN-T5 dropped its accuracy to almost 50 percent.

FLAN-T5′in doğruluğu neredeyse %50′ye düştü.

And then, surprisingly, in the third experiment,

Ve sonra, şaşırtıcı bir şekilde, üçüncü deneyde

FLAN-T5 rose back to almost 80 percent.

FLAN-T5 neredeyse yüzde 80'e yükseldi.

But what does this mean?

Ama bu ne anlama geliyor?

What can we learn from these results?

Bu sonuçlardan ne öğrenebiliriz?

From experiment one and three

Birinci ve üçüncü deneylerden,

we learn that language models

dil modellerinin ifadeleri aldatıcı olarak etkili bir şekilde sınıflandırabildiğini,

can effectively classify statements as deceptive,

insan ölçütlerinden daha iyi performans gösterdiğini

outperforming human benchmarks

ve önceki çalışmaların aynı veri kümeleri üzerinde eğittiği

and aligning with previous machine learning

and deep learning models

önceki makine öğrenimi ve derin öğrenme modelleriyle

that previous studies trained on the same datasets.

uyumlu olduğunu öğreniyoruz.

However, from the second experiment,

Bununla birlikte, ikinci deneyden,

we see that language models struggle

dil modellerinin bu bilgiyi, bu öğrenimi

in generalizing this knowledge, this learning across different contexts.

farklı bağlamlarda genelleştirmede zorluk yaşadığını görüyoruz.

And this is apparently because

Çünkü görünüşe göre bunun nedeni

there is no one single universal rule of deception

her bağlamda kolayca uygulayabileceğimiz

that we can easily apply in every context,

tek bir evrensel kandırma kuralının olmaması,

but linguistic cues of deception are context-dependent.

ancak dilsel kandırma ipuçlarının bağlama bağlı olmasıdır.

And from the third experiment,

Ve üçüncü deneyden öğrendiğimiz, aslında dil modellerinin

we learned that actually language models

can generalize well across different contexts,

eğitim aşamasında daha önce örneklere maruz kalmaları hâlinde,

if only they have been previously exposed to examples

farklı bağlamlar arasında iyi genelleme yapabildiğidir.

during the training phase.

And I think this sounds as good news.

Ve bence bu iyi bir haber.

But while this means that language models can be effectively applied

Ancak bu, dil modellerinin yalan tespitinde

gerçek hayat uygulamaları için etkili olabileceği anlamına gelse de,

for real-life applications in lie detection,

more replication is needed because a single study is never enough

yarından itibaren akıllı telefonlarımızda bu YZ sistemleri ile başkalarının

so that from tomorrow we can all have these AI systems on our smartphones,

yalanlarını tespit etmeye başlayabilmemiz için

tek bir çalışma asla yeterli olmaz ve daha fazla tekrara gerek vardır.

and start detecting other people's lies.

But as a scientist, I have a vivid imagination

Ancak bir bilim insanı olarak, geniş bir hayal gücüm var

and I would like to dream big.

ve büyük düşünmeyi seviyorum.

And also I would like to bring you with me in this futuristic journey for a while.

Ayrıca bu fütüristik yolculukta sizi de bir süreliğine yanımda götürmek istiyorum.

So please imagine with me living in a world

Lütfen benimle birlikte bu yalan tespit etme teknolojisinin

where this lie detection technology is well-integrated in our life,

hayatımıza iyice entegre olduğu, ulusal güvenlikten sosyal medyaya kadar

making everything from national security to social media a little bit safer.

her şeyi daha güvenli hâle getirdiği bir dünyada yaşadığınızı hayal edin.

And imagine having this AI system that could actually spot fake opinions.

Sahte fikirleri gerçekten tespit edebilen yapay zekâya sahip olduğunuzu hayal edin.

From tomorrow, we could say

Yarından itibaren, bir politikacının

when a politician is actually saying one thing

söylediği şeye gerçekten inanıp inanmadığını anlayabiliriz.

and truly believes something else.

(Laughter)

(Kahkahalar)

And what about the security board context

Peki ya insanlara sınırı geçme ya da uçağa binme

where people are asked about their intentions and reasons

nedenlerinin ve amaçlarının sorulduğu

for why they are crossing borders or boarding planes.

güvenlik kurulu bağlamına ne diyorsunuz?

Well, with these systems,

Bu sistemlerle,

we could actually spot malicious intentions

kötü niyetleri daha gerçekleşmeden tespit edebiliriz.

before they even happen.

And what about the recruiting process?

Peki ya işe alım süreci?

(Laughter)

(Kahkahalar)

We heard about this already.

Bunu daha önce de duymuştuk.

But actually, companies could employ this AI

Ama aslında şirketler bu yapay zekâyı

to distinguish those who are really passionate about the role

o pozisyonu gerçekten tutkuyla isteyenleri

sadece işi almak için doğru şeyleri söylemeye çalışanlardan

from those who are just trying to say the right things to get the job.

ayırt etmek için kullanabilir.

And finally, we have social media.

Ve son olarak, sosyal medya var.

Scammers trying to deceive you or to steal your identity.

Sizi kandırmaya veya kimliğinizi çalmaya çalışan dolandırıcılar.

All gone.

Hepsi yok oldu.

And someone else may claim something about fake news,

Ve başka biri sahte haberler hakkında iddialarda bulunabilir

and well, perfectly, language model could automatically read the news,

ve dil modeli hatasız bir şekilde haberleri otomatik olarak okuyabilir,

flag them as deceptive or fake,

onları aldatıcı veya sahte olarak işaretleyebilir

and we could even provide users with a credibility score

ve hatta kullanıcılara okudukları bilgiler için

for the information they read.

bir güvenilirlik puanı sağlayabilir.

It sounds like a brilliant future, right?

Parlak bir gelecek gibi geliyor, değil mi?

(Laughter)

(Kahkahalar)

Yes, but ...

Evet, ama...

all great progress comes with risks.

tüm büyük ilerlemeler risklerle birlikte gelir.

As much as I'm excited about this future,

Bu gelecek için heyecanlı olsam da,

I think we need to be careful.

dikkatli olmamız gerektiğini düşünüyorum.

If we are not cautious, in my view,

Eğer temkinli olmazsak, benim görüşüme göre,

we could end up in a world

insanların yapay zekâ çıktılarına körü körüne inanabilecekleri

where people might just blindly believe AI outputs.

bir dünyaya dönüşebiliriz.

And I'm afraid this means that people will just be more likely

Ve maalesef bu, insanların sırf yapay zekâ öyle söylediği için

to accuse others of lying just because an AI says so.

başkalarını yalancı olmakla suçlama eğilimlerinin artacağı anlamına gelir.

And I'm not the only one with this view

Ve bu fikre sahip tek kişi ben değilim

because another study already proved it.

çünkü başka bir araştırma bunu zaten kanıtladı.

In addition, if we totally rely on this lie detection technology

Buna ek olarak, birinin yalan söyleyip söylemediğini

to say someone else is lying or not,

anlamak için tamamen bu yalan tespit teknolojisine güvenirsek

we risk losing another important key value in society.

toplumdaki bir başka önemli kilit değeri kaybetme riskiyle yüz yüze kalırız.

We lose trust.

Güveni kaybederiz.

We won't need to trust people anymore,

Artık insanlara güvenmemize gerek kalmayacak,

because what we will do is just ask an AI to double check for us.

çünkü bir yapay zekâdan bizim için çifte kontrol etmesini isteyeceğiz.

But are we really willing to blindly believe AI

Ancak yapay zekâya körü körüne inanıp

and give up our critical thinking?

sorgulama yeteneğimizden vazgeçmeyi istiyor muyuz?

I think that's the future we need to avoid.

Bence kaçınmamız gereken gelecek bu.

With hope for the future is more interpretability.

Gelecek için umut, daha fazla yorumlanabilirliktir.

And I'm about to tell you what I mean.

Şimdi size ne demek istediğimi anlatacağım.

Similar to when we look at reviews online,

İnternetteki yorumlara baktığımızda olduğu gibi,

and we can both look at the total number of stars at places,

bazı mekânlara verilmiş toplam yıldız sayısına bakabilir,

but also we can look more in detail at the positive and negative reviews,

aynı zamanda olumlu ve olumsuz yorumlara daha ayrıntılı bakabilir

and try to understand what are the positive sides,

ve olumlu tarafların neler olduğunu ama aynı zamanda

but also what might have gone wrong,

neyin yanlış gitmiş olabileceğini anlamaya çalışırız.

to eventually create our own and personal idea

Sonuç olarak gitmek istediğimiz, bulunmak istediğimiz

if that is the place where we want to go,

yer olup olmadığına dair kendi kişisel fikrimizi oluştururuz.

where we want to be.

Likewise, imagine a world where AI doesn't just offer conclusions,

Aynı şekilde, yapay zekânın sadece sonuçlar sunmadığı,

but also provides clear and understandable explanations

aynı zamanda kararlarının arkasında açık ve anlaşılır açıklamalar

behind its decisions.

sağladığı bir dünya hayal edin.

And I envision a future

Ve bu yalan tespit teknolojisinin

where this lie detection technology

bize sadece basit bir yargı sağlamakla kalmayıp,

wouldn't just provide us with a simple judgment,

aynı zamanda birinin yalan söylemesinin arkasında yatan nedene dair

but also with clear explanations for why it thinks someone else is lying.

net açıklamalar sunacağı bir gelecek hayal ediyorum.

And I would like a future where, yes,

Ve evet, bu yalan tespit etme teknolojisinin

this lie detection technology is integrated in our life,

hayatımıza veya genel olarak yapay zekâ teknolojisine

or also AI technology in general,

entegre olduğu bir gelecek istiyorum,

but still, at the same time,

ancak aynı zamanda eleştirel düşünebildiğimiz

we are able to think critically

and decide when we want to trust in AI judgment

ve YZ yargısına ne zaman güvenip ne zaman onu sorgulayabileceğimize

or when we want to question it.

karar verebileceğimiz bir gelecek istiyorum.

To conclude,

Sonuç olarak,

I think the future of using AI for lie detection

bence yalanı tespit etmek için yapay zekânın kullanıldığı gelecek

is not just about technological advancement,

sadece teknolojik ilerlemeyle ilgili değil aynı zamanda

but about enhancing our understanding and fostering trust.

anlayışımızı geliştirmek ve güveni teşvik etmekle ilgili.

It's about developing tools that don't replace human judgment

Bu, insan muhakemesinin yerini almayan,

but empower it,

aksine onu güçlendirerek dümende kalmamızı sağlayan

ensuring that we remain at the helm.

araçlar geliştirmekle ilgili.

Don't step into a future with blind reliance on technology.

Teknolojiye körü körüne güvenilen bir geleceğe adım atmayın.

Let's commit to deep understanding and ethical use,

Derin anlayışa ve etik kullanıma bağlı kaldığımız sürece

and we'll pursue the truth.

gerçeğin izinden ayrılmayacağız.

(Applause)

(Alkış)

Thank you.

Teşekkür ederim.