Peter Donnelly: How stats fool juries

Peter Donnelly shows how stats fool juries

Çeviri: Suleyman Cengiz Gözden geçirme: Ali Maralcan

Konuşmacıların da dediği gibi, bu gerçekten ürkütücü bir deneyim-

bu seyircinin karşısında konuşmak gerçekten öyle.

Ama diğer konuşmacıların aksine,

sizlere evrenin sırlarından, ya da evrimin mucizelerinden

veya insanların dünyamızdaki eşitsizliklerle savaşmak için

As other speakers have said, it's a rather daunting experience --

buldukları akılcı ve yenilikçi yollardan bahsetmeyeceğim.

a particularly daunting experience -- to be speaking in front of this audience.

Hatta devletlerin global ekonomide karşılaştıkları zorlukları anlatmayacağım.

But unlike the other speakers, I'm not going to tell you about

the mysteries of the universe, or the wonders of evolution,

Ben kısaca, duyduğunuz gibi, size istatistikten bahsedeceğim--

or the really clever, innovative ways people are attacking

daha açık olarak, istatistikle ilgili heyecanlı bir şeylerden bahsedeceğim.

the major inequalities in our world.

Or even the challenges of nation-states in the modern global economy.

ve bu da aslında

benden önce gelmiş ve gelecek

konuşmacıların yaptıklarından daha zor bir şey.

(Gülüşmeler)

My brief, as you've just heard, is to tell you about statistics --

Mesleğe ilk başladığımda, kıdemli meslektaşlarımdan biri,

and, to be more precise, to tell you some exciting things about statistics.

gururla, istatistikçilerin rakamları seven ama muhasebeci olabilecek

And that's --

(Laughter)

-- that's rather more challenging

kişilik özelliklerine sahip olmadıklarını söylemişti.

than all the speakers before me and all the ones coming after me.

(Laughter)

(Gülüşmeler)

One of my senior colleagues told me, when I was a youngster in this profession,

İstatistikçilerin aralarında yaptıkları bir başka şaka daha var:

"İçe dönük istatistikçiyle dışa dönük istatistikçiyi nasıl ayırt edersiniz?"

rather proudly, that statisticians were people who liked figures

but didn't have the personality skills to become accountants.

Bu sorunun yanıtı ise şu:

"Dışa dönük olan, konuşurken karşısındakinin ayakkabısına bakandır"

(Laughter)

And there's another in-joke among statisticians, and that's,

(Gülüşmeler)

"How do you tell the introverted statistician from the extroverted statistician?"

Ama ben size faydalı bir şey anlatmak istiyorum -- geliyor, dikkatli dinleyin.

To which the answer is,

"The extroverted statistician's the one who looks at the other person's shoes."

Bu akşam, üniversitenin Doğa Tarihi Müzesi'nde bir tören var;

harika bir ortam, göreceksiniz.

(Laughter)

Ve Victoria döneminin en iyi örneklerinden biri.

But I want to tell you something useful -- and here it is, so concentrate now.

Pek olası değil ama -- bu özel ortamda, bu insan topluluğunda --

This evening, there's a reception in the University's Museum of Natural History.

ama bir anda kendinizi istemediğiniz biriyle konuşur hâlde bulabilirsiniz.

And it's a wonderful setting, as I hope you'll find,

and a great icon to the best of the Victorian tradition.

Bu durumda yapmanız gereken:

"Mesleğiniz nedir?" diye soracak olurlarsa -- "İstatistikçiyim" deyin.

It's very unlikely -- in this special setting, and this collection of people --

(Gülüşmeler)

Tabii şimdiki gibi önceden uyarılmış ve uydurduğunuzu bilmedikleri zaman.

but you might just find yourself talking to someone you'd rather wish that you weren't.

Bunu dediğinizde iki şeyden biri olacak:

So here's what you do.

Ya uzun zamandır görmedikleri kuzenlerini fark edip

When they say to you, "What do you do?" -- you say, "I'm a statistician."

koşarak yanına gidecekler

ya da birden susamış veya acıkmış hissedip

(Laughter)

koşa koşa yiyecek ve içecek bulmaya gidecekler.

Well, except they've been pre-warned now, and they'll know you're making it up.

Siz de, huzurla gerçekten konuşmak istediklerinizle konuşabileceksiniz.

And then one of two things will happen.

They'll either discover their long-lost cousin in the other corner of the room

Mesleğimizin en zor kısımlarından biri de insanlara yaptığımızı anlatmak.

and run over and talk to them.

Or they'll suddenly become parched and/or hungry -- and often both --

Konuk listelerinde veya sohbet ortamlarında en başta yer almıyoruz.

and sprint off for a drink and some food.

Mesleğimi anlatmanın iyi bir yolunu hiç bulamadım.

And you'll be left in peace to talk to the person you really want to talk to.

Ama karım -- o zamanlar kız arkadaşım --

It's one of the challenges in our profession to try and explain what we do.

bunu benim şimdiye dek yapabildiğimden çok daha iyi yapar.

We're not top on people's lists for dinner party guests and conversations and so on.

Yıllar önce, ilk çıkmaya başladığımızda o, İngiltere'de BBC kanalı için çalışıyordu,

bense o zamanlar Amerika'da çalışıyordum.

And it's something I've never really found a good way of doing.

Onu ziyarete geliyordum.

But my wife -- who was then my girlfriend --

Bunu söylediği iş arkadaşlarından biri, "Erkek arkadaşının işi ne?" diye sormuş.

managed it much better than I've ever been able to.

Many years ago, when we first started going out, she was working for the BBC in Britain,

Sarah, ona daha önce anlattığım şeyler üzerine çok düşünürdü

and I was, at that stage, working in America.

-- o günlerde dinlemeye odaklanmış durumdaydı.

I was coming back to visit her.

(Gülüşmeler)

She told this to one of her colleagues, who said, "Well, what does your boyfriend do?"

Size söylediğimi duymasın.

Benim evrimi ve modern genetiği anlamak için geliştirmekte

Sarah thought quite hard about the things I'd explained --

and she concentrated, in those days, on listening.

olduğum matematik modelleri çalışmalarımı düşünüyordu.

Dolayısıyla arkadaşı "Mesleği ne?" diye sorduğunda

(Laughter)

bir an duraksadı ve "Bir şeyleri modelliyor" dedi.

Don't tell her I said that.

And she was thinking about the work I did developing mathematical models

(Gülüşmeler)

Arkadaşı aniden, hak ettiğimden çok daha büyük bir ilgi duymaya başladı

for understanding evolution and modern genetics.

ve devam ederek şöyle dedi "Neyi modelliyor?"

So when her colleague said, "What does he do?"

Sarah çalışmam üzerine biraz düşündü ve "Genleri" dedi.

She paused and said, "He models things."

(Gülüşmeler)

(Laughter)

Well, her colleague suddenly got much more interested than I had any right to expect

"Genleri modelliyor."

Bu benim ilk aşkım ve size ondan biraz daha bahsedeceğim.

and went on and said, "What does he model?"

Well, Sarah thought a little bit more about my work and said, "Genes."

Daha genel olarak yapmak istediğim, sizleri dünyamızdaki

(Laughter)

belirsizlik ve rastgelelik ve şansın yeri ve bizim buna nasıl tepki verdiğimiz,

"He models genes."

onu ne kadar iyi düşündüğümüz ya da düşünmediğimizi düşünmeye sevk etmek.

That is my first love, and that's what I'll tell you a little bit about.

Şu ana, bu konuşmaya kadar rahattınız --

What I want to do more generally is to get you thinking about

biraz gülüşmeler ve benzeri.

Biraz düşünmeniz gerek ve size bazı sorular soracağım.

the place of uncertainty and randomness and chance in our world,

İşte bu, soracağım ilk sorunun görüntüsü.

and how we react to that, and how well we do or don't think about it.

Bir bozuk parayı art arda attığınızı hayal edin?

Daha ziyade belirsiz kalması gereken bir nedenden ötürü

So you've had a pretty easy time up till now --

a few laughs, and all that kind of thing -- in the talks to date.

özel bir örüntüyle ilgileniyoruz.

You've got to think, and I'm going to ask you some questions.

İşte biri -- bir tura, sonra yazı, sonra yazı.

So here's the scene for the first question I'm going to ask you.

Farz edin ki bir bozuk parayı defalarca atıyoruz.

Can you imagine tossing a coin successively?

Demin takılıp kaldığımız tura-yazı-yazı örüntüsü burada da karşımıza çıkıyor.

And for some reason -- which shall remain rather vague --

Sayabilirsiniz: Bir, iki, üç, dört, beş, altı, yedi, sekiz, dokuz, on--

we're interested in a particular pattern.

Here's one -- a head, followed by a tail, followed by a tail.

10. atışımızdan sonra oluyor.

So suppose we toss a coin repeatedly.

Yapılacak daha ilginç şeyler olabilir, ama şu an için ayak uydurun.

Then the pattern, head-tail-tail, that we've suddenly become fixated with happens here.

Dinleyicilerin şu yarısının bozuk paraları çıkartıp attığını düşünün,

And you can count: one, two, three, four, five, six, seven, eight, nine, 10 --

ta ki ilk tura-yazı-yazı örüntüsünü görene kadar.

İlk yaptıklarında, belki şimdiki gibi, 10'dan sonra olacak.

it happens after the 10th toss.

So you might think there are more interesting things to do, but humor me for the moment.

İkincide, belki dördüncüden sonra.

Sonraki 15'den sonra.

Imagine this half of the audience each get out coins, and they toss them

Yani bunu defalarca yapın ve bunların ortalamasını alın.

Bu tarafın düşünmesini istediğim şey bu.

until they first see the pattern head-tail-tail.

Dinleyicilerin öbür yarısı tura-yazı-yazı'yı sevmiyor --

The first time they do it, maybe it happens after the 10th toss, as here.

The second time, maybe it's after the fourth toss.

kültürel sebeplerden ötürü, bunu sıkıcı buluyorlar --

The next time, after the 15th toss.

ve başka bir örüntüyle ilgileniyorlar -- tura-yazı-tura.

So you do that lots and lots of times, and you average those numbers.

Bu taraf, bozuk paralarınızı çıkartıyor ve atıp duruyorsunuz.

That's what I want this side to think about.

Ve tura-yazı-tura örüntüsünü görene kadar sayıyorsunuz

The other half of the audience doesn't like head-tail-tail --

ve bu sayıların ortalamasını alıyorsunuz.

they think, for deep cultural reasons, that's boring --

Tamam? Şimdi bu taraf, bir sayınız var --

and they're much more interested in a different pattern -- head-tail-head.

defalarca yaptınız ve artık tam bir sonuç var --

So, on this side, you get out your coins, and you toss and toss and toss.

ki bu da, tura-yazı-yazı'ya varana kadarki atışlarınızın ortalaması.

And you count the number of times until the pattern head-tail-head appears

Bu taraftaysa, yine bir sayınız var -- tura-yazı-tura için sayıların ortalaması.

and you average them. OK?

İşte derin bir matematiksel gerçek --

So on this side, you've got a number --

eğer iki sayı varsa, şu üç şeyden biri doğru olmalı.

you've done it lots of times, so you get it accurately --

Ya her ikisi de aynıdır, ya bu sayı şu sayıdan büyüktür

which is the average number of tosses until head-tail-tail.

ya da şu, bu sayıdan büyüktür.

On this side, you've got a number -- the average number of tosses until head-tail-head.

Yani burada neler oluyor?

Bunun üzerine düşünmeli ve seçmelisiniz --

So here's a deep mathematical fact --

ve devam etmiyoruz.

if you've got two numbers, one of three things must be true.

İki dakikalık bir sessizlikle sonunda

herkesin düşünüp bir fikir belirlemesi için zaman vermek istemiyorum. Tamam.

Either they're the same, or this one's bigger than this one,

or this one's bigger than that one.

Yapacağınız şey, tura-yazı-tura'yı görene kadarki sayıların ortalamasıyla

So what's going on here?

So you've all got to think about this, and you've all got to vote --

tura-yazı-yazı'yı görene kadarki sayıların ortalamasını alıp karşılaştırmak.

and we're not moving on.

And I don't want to end up in the two-minute silence

to give you more time to think about it, until everyone's expressed a view. OK.

Kimler A doğrudur diyor --

yani ortalamada, tura-yazı-tura görmenin tura-yazı-yazı'dan daha uzun süreceğini?

So what you want to do is compare the average number of tosses until we first see

Kimler B doğru diyor -- yani ortalama ikisi aynı?

head-tail-head with the average number of tosses until we first see head-tail-tail.

Kimler C doğru diyor -- yani ortalamada, tura-yazı-tura'nın

Who thinks that A is true --

tura-yazı-yazı'dan daha kısa zaman alacağını?

that, on average, it'll take longer to see head-tail-head than head-tail-tail?

Kimler seçim yapmadı? Bu kötü -- zorundasınız demiştim.

Who thinks that B is true -- that on average, they're the same?

(Gülüşmeler)

Evet. Çoğunluk B'nin doğru olduğunu düşünüyor.

Who thinks that C is true -- that, on average, it'll take less time

Seçkin matematikçilerin de böyle düşündüğünü bilmek sizi rahatlatabilir.

to see head-tail-head than head-tail-tail?

Ama değil. Burada A doğru.

OK, who hasn't voted yet? Because that's really naughty -- I said you had to.

(Laughter)

Ortalamada daha uzun sürüyor.

Aslında, yazı-tura-yazı gelene kadarki ortalama 10

OK. So most people think B is true.

ve tura-yazı-yazı için ortalama 8.

And you might be relieved to know even rather distinguished mathematicians think that.

It's not. A is true here.

Bu nasıl olabilir?

Bu iki model arasında fark mı var?

It takes longer, on average.

In fact, the average number of tosses till head-tail-head is 10

and the average number of tosses until head-tail-tail is eight.

Evet var. Tura-yazı-yazı ve tura-yazı-tura üst üste geliyor.

How could that be?

Eğer tura-yazı-tura-yazı-tura-yazı gitseniz kurnazca sadece 5 atışta

Anything different about the two patterns?

modeli iki kere elde edebilirsiniz.

Bunu tura-yazı-yazı ile yapamazsınız.

There is. Head-tail-head overlaps itself.

Bunun önemli olduğu görünüyor.

Bunu düşünmenin iki yolu vardır.

If you went head-tail-head-tail-head, you can cunningly get two occurrences

Onlardan bir tanesini vereceğim.

Öyleyse hayal edin - şunu yapacağız.

of the pattern in only five tosses.

Bu taraf - hatırlayın, tura-yazı-yazı istiyoruz,

siz de tura-yazı-tura istiyorsunuz.

You can't do that with head-tail-tail.

Parayı atıyoruz ve tura--

That turns out to be important.

There are two ways of thinking about this.

heyecandan yerinizde duramıyorsunuz,

I'll give you one of them.

çünkü büyük ve muhteşem bir şey olmak üzere.

So imagine -- let's suppose we're doing it.

On this side -- remember, you're excited about head-tail-tail;

Sonraki yazı-- gerçekten heyecanlısınız.

you're excited about head-tail-head.

Buzlu şampanyanız yanınızda, kutlamaya hazırsınız.

We start tossing a coin, and we get a head --

Soluk almadan son atışı bekliyorsunuz.

and you start sitting on the edge of your seat

because something great and wonderful, or awesome, might be about to happen.

Ve bir tura daha, mükemmel.

Artık kutlamaya başlarsınız.

Eğer yazı olsaydı, tabii hayal kırıklığıyla kutlamayı bırakacaktınız.

The next toss is a tail -- you get really excited.

The champagne's on ice just next to you; you've got the glasses chilled to celebrate.

Atmayı sürdürüp heyecanlanmak için bir sonraki turayı beklerdiniz.

You're waiting with bated breath for the final toss.

Bu tarafta, farklı bir deneyim var.

And if it comes down a head, that's great.

Dizinin ilk iki kısmı için her şey aynı.

You're done, and you celebrate.

If it's a tail -- well, rather disappointedly, you put the glasses away

İlk turayla biraz heyecanlanırsınız--

and put the champagne back.

sonraki yazıyla biraz daha.

And you keep tossing, to wait for the next head, to get excited.

Sonra parayı atıyorsunuz.

Eğer yazıysa şampanyayı patlatırsınız.

On this side, there's a different experience.

Turaysa hayal kırıklığı yaşarsınız,

It's the same for the first two parts of the sequence.

ama yolun henüz üçte birindesiniz.

You're a little bit excited with the first head --

Tabii bu konuyu sunmanın gayriresmî yolu-- bu nedenle bir fark var.

you get rather more excited with the next tail.

Then you toss the coin.

Bunu düşünmenin diğer bir yolu--

If it's a tail, you crack open the champagne.

eğer parayı sekiz milyon kere atsak,

If it's a head you're disappointed,

bir milyon tura-yazı-tura ve bir milyon tura-yazı-yazı beklesek--

but you're still a third of the way to your pattern again.

tura-yazı-tura yığınları daha çok oluşabilirdi.

And that's an informal way of presenting it -- that's why there's a difference.

Yani eğer sekiz milyon pozisyonun arasına bir milyon şey koymak isterseniz

Another way of thinking about it --

if we tossed a coin eight million times,

ve bazıları çakışabilirlerse, yığınlar biraz ötede olacaktır.

then we'd expect a million head-tail-heads

and a million head-tail-tails -- but the head-tail-heads could occur in clumps.

Bu, sezgilemenin diğer bir yolu.

Anlatmak istediğim esas konu ne?

Çok basit bir örnek, herkesin-- yalnız değilsiniz--

So if you want to put a million things down amongst eight million positions

and you can have some of them overlapping, the clumps will be further apart.

herkesin yanlış yapacağı basit bir olasılık sorusu.

Gerçek tutkuma, genetiğe, küçük bir eğlence kattık.

It's another way of getting the intuition.

What's the point I want to make?

Genetikte tura-yazı-tura ile tura-yazı-yazı arasında bir ilişki var

It's a very, very simple example, an easily stated question in probability,

ve işte geliyor.

which every -- you're in good company -- everybody gets wrong.

Bir para attığınızda, bir tura ve yazı dizisi elde edersiniz.

This is my little diversion into my real passion, which is genetics.

DNA'ya baktığınızda iki şey --turalar ve yazılar-- değil,

dört harfin -A'lar, G'ler, C'ler veT'ler- dizisini bulursunuz.

There's a connection between head-tail-heads and head-tail-tails in genetics,

Kısıtlama enzimleri denen, DNA'yı belli dizilişleri gördüğünde kesen,

and it's the following.

When you toss a coin, you get a sequence of heads and tails.

küçük kimyasal makaslar var.

Bunlar modern moleküler biyolojide oldukça kullanışlı araçlar.

When you look at DNA, there's a sequence of not two things -- heads and tails --

but four letters -- As, Gs, Cs and Ts.

"Tura-yazı-turayı ne kadar sürede görürüm?" sorusu yerine --

"Örneğin, G-A-A-G'yi gördüğünde kesen bir kısıtlama enzimi kullansam,

And there are little chemical scissors, called restriction enzymes

which cut DNA whenever they see particular patterns.

parçalar hangi büyüklükte olacak?

And they're an enormously useful tool in modern molecular biology.

Uzunlukları ne kadar olacak?" sorusunu sorabilirsiniz.

Bu, olasılık ve genetik arasındaki çok basit bir bağlantı.

And instead of asking the question, "How long until I see a head-tail-head?" --

you can ask, "How big will the chunks be when I use a restriction enzyme

Anlatamayacağım çok daha derin bağlantılar var

which cuts whenever it sees G-A-A-G, for example?

ve işte modern genetik, bilimin böylesine ilginç bir alanıdır.

How long will those chunks be?"

Konferansta özellikle bunun hakkında bazı şeyler duyacağız.

That's a rather trivial connection between probability and genetics.

Ama öyle anlaşılıyor ki modern deneysel teknolojilerle

There's a much deeper connection, which I don't have time to go into

elde edilen bilgilerdeki gizemleri açmak,

and that is that modern genetics is a really exciting area of science.

oldukça karmaşık --tura-yazı-tura

And we'll hear some talks later in the conference specifically about that.

hikâyesinden çok daha karmaşık şeyleri yaptığımı duymak sizi rahatlatacaktır--

But it turns out that unlocking the secrets in the information generated by modern

bilgisayar modellemeleri, matematiksel modellemeler

ve modern istatiksel tekniklerle yapmamız gerekenin

experimental technologies, a key part of that has to do with fairly sophisticated --

esas noktasıdır.

Size, Oxford grubumla katıldığım projelerden

you'll be relieved to know that I do something useful in my day job,

iki küçük parça, örnek vereceğim;

rather more sophisticated than the head-tail-head story --

her ikisi de bence çok ilginç.

but quite sophisticated computer modelings and mathematical modelings

İnsan Genom Projesi'ni bilirsiniz.

Bu, insan genomunun bir kopyasını kaydetmeye çalışan bir projeydi.

and modern statistical techniques.

And I will give you two little snippets -- two examples --

of projects we're involved in in my group in Oxford,

Bunu yaptıktan sonra yapılacak doğal şey--

işte bu proje, Uluslararası HapMap Projesi,

both of which I think are rather exciting.

5-6 ülke laboratuvarları arasında bir ortak çalışma.

You know about the Human Genome Project.

That was a project which aimed to read one copy of the human genome.

İnsan Genom Projesi'ni, ortak yanlarımızı anlamaya çalışma olarak düşünün,

The natural thing to do after you've done that --

HapMap Projesi ise, farklı insanların

and that's what this project, the International HapMap Project,

nerede farklı olduklarını anlamaya çalışıyor.

which is a collaboration between labs in five or six different countries.

Neden önemli bu?

Çok nedeni var.

En önemlisi bazı insanları bir hastalığa --tip-2 diyabet gibi--

Think of the Human Genome Project as learning what we've got in common,

elverişli kılan farklılıkları anlamak istiyoruz

and the HapMap Project is trying to understand

where there are differences between different people.

ve kalp hastalığına yatkın insanların farklılıklarını

Why do we care about that?

Well, there are lots of reasons.

The most pressing one is that we want to understand how some differences

veya felç, otizm vb.

Bu büyük bir proje.

make some people susceptible to one disease -- type-2 diabetes, for example --

İkinci büyük bir proje var,

bu ülkede Wellcome şirketi tarafından finanse ediliyor,

and other differences make people more susceptible to heart disease,

çok geniş çalışmaları içeriyor--

binlerce birey, sekiz farklı hastalıktan,

or stroke, or autism and so on.

tip-1 ve tip-2 diyabet ve koroner kalp hastalığı gibi yaygın olanlar,

That's one big project.

There's a second big project,

manik depresiflik vb-- genetikleri anlaşılmaya çalışılıyor.

recently funded by the Wellcome Trust in this country,

involving very large studies --

Hastalıklara sebep olan genetik farklılıkları anlamaya çalışmak.

thousands of individuals, with each of eight different diseases,

Bunu neden yapmak istiyoruz?

common diseases like type-1 and type-2 diabetes, and coronary heart disease,

İnsan hastalıklarıyla ilgili çok az şey anlıyoruz.

Sebeplerini bilmiyoruz.

bipolar disease and so on -- to try and understand the genetics.

Tabana inebilir ve genetiği anlayabilirsek

hastalıkların sebebine pencere açabiliriz

To try and understand what it is about genetic differences that causes the diseases.

ve hastalık terapileriyle ilgili yeni bir anlayış

Why do we want to do that?

ve önleyici tedaviler vb.

Because we understand very little about most human diseases.

Dediğim gibi, gerçek aşkımdaki küçük oyun, bu.

We don't know what causes them.

And if we can get in at the bottom and understand the genetics,

Belirsizlikle ilgili daha yaşamsal şeylere geri dönelim.

we'll have a window on the way the disease works,

and a whole new way about thinking about disease therapies

İşte sizin için başka bir test--

and preventative treatment and so on.

bir hastalık için mutlak olmayan

bir testimiz bulunsun, ama oldukça iyi.

So that's, as I said, the little diversion on my main love.

Genellikle yüzde 99 doğru.

Back to some of the more mundane issues of thinking about uncertainty.

Birinizi alıyorum veya sokaktan birini

ve söz konusu hastalık testini yapıyorum.

Here's another quiz for you --

Varsayalım bu bir HIV testi olsun --AIDS virüsü--

now suppose we've got a test for a disease

which isn't infallible, but it's pretty good.

ve teste göre kişide hastalık var.

It gets it right 99 percent of the time.

Doğru olma olasılığı nedir?

And I take one of you, or I take someone off the street,

Test yüzde 99 doğruluk oranına sahip.

and I test them for the disease in question.

Yani doğal cevap yüzde 99.

Let's suppose there's a test for HIV -- the virus that causes AIDS --

Kim sever bu cevabı?

and the test says the person has the disease.

Hadi --herkes katılmalı.

Artık bana güvenmediğinizi düşünmeyin.

What's the chance that they do?

(Gülüşmeler)

Biraz şüpheci olmakta haklısınız, çünkü bu doğru cevap değil.

The test gets it right 99 percent of the time.

So a natural answer is 99 percent.

Bu düşünebileceğiniz şey.

Cevap değil ve değil, çünkü hikâyenin sadece bir kısmı.

Who likes that answer?

Aslında hastalığın ne kadar yaygın veya ender olduğuna bağlı.

Come on -- everyone's got to get involved.

Don't think you don't trust me anymore.

(Laughter)

Göstermeye çalışayım.

Well, you're right to be a bit skeptical, because that's not the answer.

Burada bir milyon bireyin gösterimi var.

That's what you might think.

It's not the answer, and it's not because it's only part of the story.

Salgın bir hastalık düşünelim--

oldukça nadir, 10.000'de bir kişiyi etkiliyor.

It actually depends on how common or how rare the disease is.

Bu bir milyon bireyden çoğu sağlıklı

So let me try and illustrate that.

ve bazıları hastalığa muhatap olacak.

Here's a little caricature of a million individuals.

Gerçekten, hastalığın bulunma oranına göre

So let's think about a disease that affects --

100 kişi hasta olup diğerleri olmayacak.

it's pretty rare, it affects one person in 10,000.

Herkesi test ettiğimizi varsayalım.

Amongst these million individuals, most of them are healthy

Ne olur?

Hastalığa maruz 100 kişi arasından

and some of them will have the disease.

yüzde 99 oranında doğru ve pozitif çıkacak.

And in fact, if this is the prevalence of the disease,

about 100 will have the disease and the rest won't.

Hastalık bulunmayan diğerleri arasından

So now suppose we test them all.

test, yüzde 99 oranında yine doğru çıkacak.

What happens?

Sadece yüzde 1 oranında yanlış olacak.

Well, amongst the 100 who do have the disease,

Ama o kadar çok insan var ki yanlış pozitiflerin sayısı muazzam olacak.

the test will get it right 99 percent of the time, and 99 will test positive.

Başka bir deyişle--

Amongst all these other people who don't have the disease,

pozitif çıkan tüm insanların-- katılan bireyler içinde--

the test will get it right 99 percent of the time.

It'll only get it wrong one percent of the time.

100'de birinden azı hastalıklı olacak.

But there are so many of them that there'll be an enormous number of false positives.

Her ne kadar testin doğru olduğunu düşünsek de hikâyenin önemli tarafı

Put that another way --

of all of them who test positive -- so here they are, the individuals involved --

başka bir bilgi parçası gerekiyor.

İşte anahtar öngörü.

less than one in 100 actually have the disease.

Test pozitifse yapmamız gereken

So even though we think the test is accurate, the important part of the story is

iki açıklamanın olma olasılıklarını ölçmektir.

there's another bit of information we need.

Bu açıklamaların benzer yönleri olduğu gibi farklı yönleri de var.

Here's the key intuition.

Bir açıklama kişinin hastalığı taşımadığını söylüyor--

What we have to do, once we know the test is positive,

birini rastgele seçtiğinizde bu, kaçınılmaz şekilde olası--

is to weigh up the plausibility, or the likelihood, of two competing explanations.

fakat test, olası olmayan yanlış sonucu gösteriyor.

Each of those explanations has a likely bit and an unlikely bit.

Diğer açıklama kişinin hastalığı taşıdığı -- bu olası değil--

One explanation is that the person doesn't have the disease --

ama test, olası olan doğru sonucu gösteriyor.

that's overwhelmingly likely, if you pick someone at random --

Elde ettiğimiz sayı --

100'de birden biraz küçük bir sayı --

but the test gets it wrong, which is unlikely.

bu açıklamalardan birinin diğeriyle ne kadar ilgili olduğunu gösteriyor.

The other explanation is that the person does have the disease -- that's unlikely --

but the test gets it right, which is likely.

Birlikte olmaları olası değil.

And the number we end up with --

Aynı şeyin daha konuya uygun bir örneği şöyle:

that number which is a little bit less than one in 100 --

İngiltere'dekiler iki bebeği aniden ölen Sally Clark denen kadının

is to do with how likely one of those explanations is relative to the other.

oldukça ünlü olayını bileceklerdir.

Each of them taken together is unlikely.

İlkin, gayriresmî adıyla "uykuda bebek ölümü", resmi adıyla

Here's a more topical example of exactly the same thing.

"Ani Bebek Ölümü Sendromu" sebebiyle öldükleri düşünülüyordu.

Those of you in Britain will know about what's become rather a celebrated case

Anne daha sonra cinayetten yargılandı.

of a woman called Sally Clark, who had two babies who died suddenly.

Duruşmada, seçkin bir pediatrist, böyle uzman ve sigara içmeyen bir ailede

And initially, it was thought that they died of what's known informally as "cot death,"

iki ani bebek ölümü gerçekleşme olasılığının

and more formally as "Sudden Infant Death Syndrome."

73 milyonda bir olduğu delilini verdi.

For various reasons, she was later charged with murder.

And at the trial, her trial, a very distinguished pediatrician gave evidence

Kısa keselim, o zaman anne suçlu bulundu.

that the chance of two cot deaths, innocent deaths, in a family like hers --

Çok daha sonra, ancak ikinci başvurusu sonunda temize çıktı.

which was professional and non-smoking -- was one in 73 million.

Bu bağlamda düşünürseniz, suçsuz iki çocuğunu öldürmekten yargılanmanın

To cut a long story short, she was convicted at the time.

ne kadar berbat bir şey olduğunu hayal edebilirsiniz.

Later, and fairly recently, acquitted on appeal -- in fact, on the second appeal.

Duruşmanın stresi, cinayetten yargılanma--

diğer tüm mahkûmların çocuklarını öldürdüğünü düşündükleri

And just to set it in context, you can imagine how awful it is for someone

bir hapishanede kalma-- birisinin başına gelebilecek en berbat şey.

to have lost one child, and then two, if they're innocent,

En büyük sebep, uzmanın istatistiği

to be convicted of murdering them.

To be put through the stress of the trial, convicted of murdering them --

korkunç derecede yanlış yorumlamasıydı, iki farklı şekilde.

and to spend time in a women's prison, where all the other prisoners

think you killed your children -- is a really awful thing to happen to someone.

Şimdi, 73 milyonda bir sayısını nereden buldu?

Sally Clark gibi bir ailede bir uykuda bebek ölümü olasılığının yaklaşık

And it happened in large part here because the expert got the statistics

8500'de bir olduğunu belirten bazı araştırmalara baktı.

horribly wrong, in two different ways.

"Ailede bir uykuda bebek ölümü olduysa

So where did he get the one in 73 million number?

ikincisinin olma olasılığının değişmediğini varsayıyorum." dedi.

He looked at some research, which said the chance of one cot death in a family

like Sally Clark's is about one in 8,500.

Bu, istatistikçilerin bağımsızlık varsayımı dediği şey.

"Bir parayı atıp ilk seferde tura görürseniz, ikinci seferde

So he said, "I'll assume that if you have one cot death in a family,

tura gelme olasılığı değişmez." demek gibi.

Yani bir parayı iki kez atarsanız, iki kez tura gelme olasılığı yarım

the chance of a second child dying from cot death aren't changed."

So that's what statisticians would call an assumption of independence.

--birincinin olasılığı-- çarpı yarımdır --ikincinin olasılığı.

It's like saying, "If you toss a coin and get a head the first time,

Böylece, "Burada olayların bağımsız olduğunu varsayacağım.

that won't affect the chance of getting a head the second time."

So if you toss a coin twice, the chance of getting a head twice are a half --

8500 sayısını kendisiyle çarparsanız, 73 milyon olur." dedi.

Bunların hiçbiri mahkemeye ve jüriye

that's the chance the first time -- times a half -- the chance a second time.

bir varsayım olarak sunulmadı.

So he said, "Here,

Ne yazık ki --ve gerçekten üzülerek--

I'll assume that these events are independent.

böyle bir durumda ilkin bunu deneysel olarak doğrulamalısınız.

When you multiply 8,500 together twice,

you get about 73 million."

İkincisi açıkça yanlıştır.

And none of this was stated to the court as an assumption

or presented to the jury that way.

Ani çocuk ölümleri hakkında bilmediğimiz çok şey var.

Unfortunately here -- and, really, regrettably --

Farkında olmadığımız çevresel etmenler bulunabilir

first of all, in a situation like this you'd have to verify it empirically.

ve bilmediğimiz genetik etmenlerin olma olasılığı da bulunabilir.

And secondly, it's palpably false.

Eğer bir ailede bir ani bebek ölümü olursa, yüksek risk grubuna koyarsınız.

There are lots and lots of things that we don't know about sudden infant deaths.

Muhtemelen bu çevresel risk etmenleri ve bilmediğimiz genetik etmenler vardır.

It might well be that there are environmental factors that we're not aware of,

Bu bilgileri bilmiyormuş gibi ikinci ölümün olasılığını tartışmak

and it's pretty likely to be the case that there are

genetic factors we're not aware of.

gerçekten aptalca.

So if a family suffers from one cot death, you'd put them in a high-risk group.

Aptallıktan öte --gerçekten kötü bilim.

They've probably got these environmental risk factors

and/or genetic risk factors we don't know about.

Yine de sunumu böyleydi ve duruşmada kimse tartışmadı bile.

And to argue, then, that the chance of a second death is as if you didn't know

İlk problem buydu.

that information is really silly.

İkincisi, bu 73 milyonda bir sayısı ne anlama gelir?

It's worse than silly -- it's really bad science.

Sally Clark suçlu bulunduktan sonra --

Nonetheless, that's how it was presented, and at trial nobody even argued it.

basında ne kadar çok sükse yaptığını hayal edebilirsiniz--

İngiltere'nin en saygın gazetelerinden birinde çalışan bir gazeteci

That's the first problem.

The second problem is, what does the number of one in 73 million mean?

uzmanın söylediğini şöyle aktardı:

So after Sally Clark was convicted --

"Onun suçsuz olması olasılığı 73 milyonda bir."

you can imagine, it made rather a splash in the press --

one of the journalists from one of Britain's more reputable newspapers wrote that

Evet, bu mantıksal bir hata.

Bu, yüzde 99 doğruluğa sahip hastalık testinden sonra,

hastalığa sahip olma olasılığı yüzde 99'dur,

what the expert had said was,

şeklinde düşünme mantıksal hatasıyla tam olarak aynı mantıksal hatadır.

"The chance that she was innocent was one in 73 million."

Hastalık örneğinde, iki şeyi akılda tutmak gerekiyordu,

Now, that's a logical error.

It's exactly the same logical error as the logical error of thinking that

biri, testin doğru ya da yanlış olma olasılığıydı,

after the disease test, which is 99 percent accurate,

diğeri ise kişinin hastalığı taşıyıp taşımadığı olasılığıydı.

the chance of having the disease is 99 percent.

Bu bağlamda tamamen aynıdır.

In the disease example, we had to bear in mind two things,

İlgili iki şey var -- açıklamanın iki parçası.

one of which was the possibility that the test got it right or not.

İki farklı açıklamanın nasıl olası veya nispeten olası olduğunu bilmek istiyoruz.

And the other one was the chance, a priori, that the person had the disease or not.

Biri, Sally Clark suçsuzdu--

It's exactly the same in this context.

ki muhtemelen kuvvetli şekilde olası--

There are two things involved -- two parts to the explanation.

çoğu anne çocuğunu öldürmez.

Açıklamanın diğer parçası ise

We want to know how likely, or relatively how likely, two different explanations are.

çok olası olmayan bir olayla acı çekti.

One of them is that Sally Clark was innocent --

73 milyonda bir kadar olasılıksız değil, ancak yine de oldukça olasılıksız.

which is, a priori, overwhelmingly likely --

Diğer açıklama ise onun suçlu olduğuydu.

most mothers don't kill their children.

Bunun muhtemelen olası olmadığını düşünüyoruz.

And the second part of the explanation

Bir cinayet davası bağlamında suçsuzluk karinesine göre

is that she suffered an incredibly unlikely event.

olasılıksız olduğunu düşünmeliyiz de.

Not as unlikely as one in 73 million, but nonetheless rather unlikely.

Bu durumda çocuklarını öldürmek istediyse, başardı.

The other explanation is that she was guilty.

Yani suçsuz olma olasılığı 73 milyonda bir değil.

Now, we probably think a priori that's unlikely.

And we certainly should think in the context of a criminal trial

Bunun ne olduğunu bilmiyoruz.

Bu, ona karşı olan diğer delilin gücüyle istatiksel delilin

that that's unlikely, because of the presumption of innocence.

And then if she were trying to kill the children, she succeeded.

karşılıklı tartılmasıyla ilgili.

So the chance that she's innocent isn't one in 73 million.

Çocukların öldüğünü biliyoruz.

Mesele, bu iki açıklamanın birbirine göre ne kadar olası

We don't know what it is.

veya olasılıksız olduğudur.

It has to do with weighing up the strength of the other evidence against her

Her ikisi de mantıksız.

İstatikte hataların gerçekten derin

and the statistical evidence.

We know the children died.

ve talihsiz sonuçlarının olduğu bir durum var.

What matters is how likely or unlikely, relative to each other,

Aslında, bu pediatristin delillerine dayanılarak suçlanan ve sonradan

the two explanations are.

And they're both implausible.

beraat ederek salınan iki kadın daha var.

There's a situation where errors in statistics had really profound

Birçok dava yeniden bakıldı.

Özellikle tartışmalı çünkü şu an

İngiltere Genel Tıp Konseyi'nde bir itibarsızlık suçlamasıyla karşı karşıya.

and really unfortunate consequences.

In fact, there are two other women who were convicted on the basis of the

evidence of this pediatrician, who have subsequently been released on appeal.

Sonuç olarak -- bundan alınacak dersler nelerdir?

Many cases were reviewed.

Artık rassallığın, belirsizliğin ve şansın günlük hayatımızın çok içinde

And it's particularly topical because he's currently facing a disrepute charge

bir parçası olduğunu biliyoruz.

at Britain's General Medical Council.

Doğru da -- siz, her ne kadar bir topluluk olarak birçok yönden özel olsanız da,

So just to conclude -- what are the take-home messages from this?

verdiğim doğru örnekleri almama hususunda tamamen tipiksiniz.

Well, we know that randomness and uncertainty and chance

İnsanların meseleleri yanlış anladıkları çokça belgelenmiştir.

are very much a part of our everyday life.

Belirsizlikle akıl yürütmede mantık hataları yaparlar.

It's also true -- and, although, you, as a collective, are very special in many ways,

Dilin ustalıklarıyla zekice baş edebiliyoruz --

you're completely typical in not getting the examples I gave right.

ve buraya nasıl geldiğimiz hakkında ilginç evrimsel sorular var.

Belirsizlikle mantık yürütmede iyi değiliz.

It's very well documented that people get things wrong.

Bu günlük hayatımızın bir konusudur.

They make errors of logic in reasoning with uncertainty.

Birçok görüşmeden öğrendiğiniz gibi, istatistikler, bilimdeki çok sayıdaki

We can cope with the subtleties of language brilliantly --

araştırmayı desteklemektedir -- sosyal bilimlerde,

and there are interesting evolutionary questions about how we got here.

tıpta ve birçok endüstride.

We are not good at reasoning with uncertainty.

Endüstriyel süreçlerde büyük bir etkisi olan tüm kalite kontroller,

That's an issue in our everyday lives.

istatistikler tarafından desteklenmektedir.

As you've heard from many of the talks, statistics underpins an enormous amount

Kötü yaptığımız bir iş.

of research in science -- in social science, in medicine

En azından bunun farkına varmalı ve yapmamalıyız.

and indeed, quite a lot of industry.

Yasal bağlama dönersek, Sally Clark davasında

All of quality control, which has had a major impact on industrial processing,

tüm avukatlar uzmanın söylediğini kabul ettiler.

is underpinned by statistics.

It's something we're bad at doing.

Dolayısıyla bir pediatrist çıkıp jüriye

At the very least, we should recognize that, and we tend not to.

"Köprü nasıl kurulur biliyorum. Yolda bir tane var."

To go back to the legal context, at the Sally Clark trial

Lütfen arabanızı eve üzerinden sürün," dese,

"Pediatristler nasıl köprü yapılır bilmez.

all of the lawyers just accepted what the expert said.

Mühendislerin işi bu." derlerdi.

Öte yandan, o çıktı ve etkili bir şekilde şöyle dedi veya ima etti:

So if a pediatrician had come out and said to a jury,

"Belirsizlikle nasıl mantık yürütülür ve istatistik yapılır biliyorum."

"I know how to build bridges. I've built one down the road.

Herkes "Tamam, sorun değil. O bir uzman."

Please drive your car home over it,"

they would have said, "Well, pediatricians don't know how to build bridges.

Yani yeterliliğimizin nerede olup olmadığını anlamamız gerekir.

That's what engineers do."

Bilim insanları, avukatlar ve bazı durumlarda hâkimlerin kanıtı rutin olarak

On the other hand, he came out and effectively said, or implied,

"I know how to reason with uncertainty. I know how to do statistics."

yanlış gösterdikleri DNA profillemesinin ilk günlerinde de

And everyone said, "Well, that's fine. He's an expert."

aynı tür konular ortaya çıktı.

So we need to understand where our competence is and isn't.

Genellikle --bir umut-- masumca, fakat yanlış gösterilmiş deliller.

Exactly the same kinds of issues arose in the early days of DNA profiling,

Adli tıpçılar, "Bu adamın masum olma şansı üç milyonda bir." dedi.

when scientists, and lawyers and in some cases judges,

Sayıya inansanız bile, tıpkı 73 milyonda bir gibi,

routinely misrepresented evidence.

anlamı bu değil.

İşte bu yüzden İngiltere ve başka yerlerde

Usually -- one hopes -- innocently, but misrepresented evidence.

ünlü beraat davaları olmuştur.

Forensic scientists said, "The chance that this guy's innocent is one in three million."

Sadece hukuk sistemi bağlamında bitirme adına,

her şey iyi güzel ama "Kanıtı sunmak için elimizden geleni yapalım." diyelim.

Even if you believe the number, just like the 73 million to one,

that's not what it meant.

Fakat artan DNA profillemesi vakalarında --bu başka biri--

And there have been celebrated appeal cases

sıradan insanlar olan jürilerin --

in Britain and elsewhere because of that.

And just to finish in the context of the legal system.

bu konuda kötü oldukları belgeli--

bu tür akıl yürütme sorunlarıyla başa çıkabilmelerini umuyoruz.

It's all very well to say, "Let's do our best to present the evidence."

Hayatın diğer sahalarında, insanlar mantıksızca tartıştıklarında,

But more and more, in cases of DNA profiling -- this is another one --

--muhtemel siyaset hariç--

we expect juries, who are ordinary people --

bu iyi bir şey değil derdik.

and it's documented they're very bad at this --

we expect juries to be able to cope with the sorts of reasoning that goes on.

Bunu siyasetçilerden bekleriz ve fazlasını da beklemeyiz.

In other spheres of life, if people argued -- well, except possibly for politics --

Belirsizlik durumunda, her zaman yanlış anlıyoruz --

en azından bunun farkında olmalıyız

but in other spheres of life, if people argued illogically,

ve bununla ilgili bir şey yapmaya çalışabiliriz.

we'd say that's not a good thing.

Çok teşekkürler.

We sort of expect it of politicians and don't hope for much more.

In the case of uncertainty, we get it wrong all the time --

and at the very least, we should be aware of that,

and ideally, we might try and do something about it.

Thanks very much.