Peter Donnelly: How stats fool juries

Vertaald door: Els De Keyser Nagekeken door: Axel Saffran

As other speakers have said, it's a rather daunting experience --

Zoals andere sprekers al zeiden: het is

a particularly daunting experience -- to be speaking in front of this audience.

een schrikbarende ervaring om voor dit publiek te spreken.

But unlike the other speakers, I'm not going to tell you about

In tegenstelling tot andere sprekers ga ik niet praten over

the mysteries of the universe, or the wonders of evolution,

de mysteries van het universum, de wonderen van de evolutie

or the really clever, innovative ways people are attacking

of de slimme, innovatieve manieren waarop mensen

the major inequalities in our world.

de grote ongelijkheden in deze wereld aanpakken.

Or even the challenges of nation-states in the modern global economy.

Zelfs niet over de uitdagingen van natiestaten in de globale economie.

My brief, as you've just heard, is to tell you about statistics --

Mijn opdracht is te vertellen over statistiek.

and, to be more precise, to tell you some exciting things about statistics.

Meer in het bijzonder: spannende dingen over statistiek.

And that's --

Dat is --

(Laughter)

(Gelach)

-- that's rather more challenging

dat is een veel lastiger klus

than all the speakers before me and all the ones coming after me.

dan alle sprekers voor mij en alle sprekers na mij.

(Laughter)

(Gelach)

One of my senior colleagues told me, when I was a youngster in this profession,

Eén van mijn oudere collega's vertelde mij, toen ik nog een groentje was,

rather proudly, that statisticians were people who liked figures

met een zekere trots: statistici zijn mensen die van cijfers houden

but didn't have the personality skills to become accountants.

maar niet de persoonlijkheid hebben om accountants te worden.

(Laughter)

(Gelach)

And there's another in-joke among statisticians, and that's,

Nog een inside joke onder statistici:

"How do you tell the introverted statistician from the extroverted statistician?"

"Hoe zie je het verschil tussen een introverte en een extraverte statisticus?"

To which the answer is,

Het antwoord is:

"The extroverted statistician's the one who looks at the other person's shoes."

"De extraverte statisticus is diegene die naar de schoenen van de ander kijkt."

(Laughter)

(Gelach)

But I want to tell you something useful -- and here it is, so concentrate now.

Ik wil jullie iets nuttigs vertellen. Hier komt het, dus nu even opletten.

This evening, there's a reception in the University's Museum of Natural History.

Vanavond is er een receptie in het Museum of Natural History van de universiteit.

And it's a wonderful setting, as I hope you'll find,

Een prachtig decor, zoals jullie hopelijk zullen ontdekken,

and a great icon to the best of the Victorian tradition.

een icoon uit de beste Victoriaanse traditie.

It's very unlikely -- in this special setting, and this collection of people --

Het is erg onwaarschijnlijk, in deze speciale omgeving, met deze groep mensen,

but you might just find yourself talking to someone you'd rather wish that you weren't.

maar heel misschien raak je aan de praat met iemand met wie je liever niet zou praten.

So here's what you do.

Laat me je een tip geven.

When they say to you, "What do you do?" -- you say, "I'm a statistician."

Als ze je vragen wat voor werk je doet, zeg je: "Ik ben statisticus."

(Laughter)

(Gelach)

Well, except they've been pre-warned now, and they'll know you're making it up.

Helaas zijn ze nu gewaarschuwd, en weten ze dat je het verzint.

And then one of two things will happen.

Dan zal er één van de volgende twee dingen gebeuren.

They'll either discover their long-lost cousin in the other corner of the room

Ofwel ontwaren ze een verloren gewaande neef in de andere hoek van de zaal,

and run over and talk to them.

en gaan ze daar op af voor een praatje.

Or they'll suddenly become parched and/or hungry -- and often both --

Ofwel zijn ze plots heel dorstig of hongerig -- vaak beide --

and sprint off for a drink and some food.

en rennen ze er vandoor voor een drankje en een hapje.

And you'll be left in peace to talk to the person you really want to talk to.

Jij kan dan in alle rust praten met de persoon met wie je echt wil praten.

It's one of the challenges in our profession to try and explain what we do.

Eén van de uitdagingen van mijn beroep is uitleggen wat we doen.

We're not top on people's lists for dinner party guests and conversations and so on.

Wij staan niet bovenaan de lijst van gewilde genodigden en gesprekspartners.

And it's something I've never really found a good way of doing.

Ik heb nooit goed geweten hoe dat moest.

But my wife -- who was then my girlfriend --

Mijn vrouw, die toen mijn vriendin was,

managed it much better than I've ever been able to.

deed dit veel beter dan ik.

Many years ago, when we first started going out, she was working for the BBC in Britain,

Vele jaren geleden, toen we elkaar pas kenden, werkte ze voor de BBC in Engeland.

and I was, at that stage, working in America.

Ik werkte toen in Amerika.

I was coming back to visit her.

Ik kwam terug om haar te bezoeken.

She told this to one of her colleagues, who said, "Well, what does your boyfriend do?"

Ze vertelde dat aan een collega, die vroeg: "Wat doet je vriendje?".

Sarah thought quite hard about the things I'd explained --

Sarah had hard nagedacht over wat ik had uitgelegd --

and she concentrated, in those days, on listening.

en in die tijd deed ze haar best om te luisteren.

(Laughter)

(Gelach)

Don't tell her I said that.

Niet zeggen dat ik dat gezegd heb.

And she was thinking about the work I did developing mathematical models

Ze dacht aan mijn werk, het ontwerpen van wiskundige modellen

for understanding evolution and modern genetics.

om de evolutie en de moderne genetica te begrijpen.

So when her colleague said, "What does he do?"

Toen haar collega zei: "Wat doet hij?"

She paused and said, "He models things."

dacht ze even na en zei: "Hij modelleert dingen."

(Laughter)

(Gelach)

Well, her colleague suddenly got much more interested than I had any right to expect

Haar collega toonde plots meer interesse dan ik mocht verhopen,

and went on and said, "What does he model?"

en zei: "Wat modelleert hij?"

Well, Sarah thought a little bit more about my work and said, "Genes."

Sarah dacht nog wat verder na over mijn werk en zei: "Genen."

(Laughter)

(Gelach)

"He models genes."

"Hij modelleert genen."

That is my first love, and that's what I'll tell you a little bit about.

Dat was mijn eerste liefde, en daar ga ik wat over vertellen.

What I want to do more generally is to get you thinking about

Meer in het algemeen wil ik jullie aan het denken zetten

the place of uncertainty and randomness and chance in our world,

over de plaats van onzekerheid, toeval en geluk in onze wereld,

and how we react to that, and how well we do or don't think about it.

hoe we erop reageren en hoe goed we er al dan niet over nadenken.

So you've had a pretty easy time up till now --

Tot hiertoe hadden jullie het gemakkelijk --

a few laughs, and all that kind of thing -- in the talks to date.

een beetje lachen en zo -- in voorgaande lezingen.

You've got to think, and I'm going to ask you some questions.

Je zult moeten nadenken, en ik ga jullie vragen stellen.

So here's the scene for the first question I'm going to ask you.

Hier is de achtergrond van mijn eerste vraag.

Can you imagine tossing a coin successively?

Beeld je in dat je een paar keer een munt opgooit.

And for some reason -- which shall remain rather vague --

Om een reden -- die eerder vaag zal blijven --

we're interested in a particular pattern.

interesseert ons een bepaald patroon.

Here's one -- a head, followed by a tail, followed by a tail.

Dit hier: kop, gevolgd door munt, gevolgd door munt.

So suppose we toss a coin repeatedly.

Veronderstel dat we herhaaldelijk gooien.

Then the pattern, head-tail-tail, that we've suddenly become fixated with happens here.

Vervolgens doet het patroon zich voor waarop we ons plots concentreren - kop, munt, munt.

And you can count: one, two, three, four, five, six, seven, eight, nine, 10 --

Je kan tellen: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10.

it happens after the 10th toss.

Het gebeurt na de tiende keer.

So you might think there are more interesting things to do, but humor me for the moment.

Misschien denk je dat er wel interessanter bezigheden zijn, maar sta me even toe.

Imagine this half of the audience each get out coins, and they toss them

Beeld je in dat deze helft van het publiek een munt neemt en opgooit,

until they first see the pattern head-tail-tail.

tot ze voor het eerst het kop-munt-munt-patroon zien.

The first time they do it, maybe it happens after the 10th toss, as here.

De eerste keer gebeurt het misschien na de 10de beurt, zoals hier.

The second time, maybe it's after the fourth toss.

De volgende keer misschien na de vierde beurt.

The next time, after the 15th toss.

De volgende keer na de 15de beurt.

So you do that lots and lots of times, and you average those numbers.

Doe dat heel vaak, en maak een gemiddelde van de getallen.

That's what I want this side to think about.

Ik zou deze kant willen vragen daarover na te denken.

The other half of the audience doesn't like head-tail-tail --

De andere helft van het publiek houdt niet van kop-munt-munt --

they think, for deep cultural reasons, that's boring --

om diep-culturele redenen vinden ze dat saai.

and they're much more interested in a different pattern -- head-tail-head.

Zij hebben meer belangstelling voor een ander patroon -- kop-munt-kop.

So, on this side, you get out your coins, and you toss and toss and toss.

Aan deze kant neem je je munten en je gooit en gooit en gooit.

And you count the number of times until the pattern head-tail-head appears

Je telt het aantal keren tot het patroon kop-munt-kop verschijnt

and you average them. OK?

en je maakt een gemiddelde. OK?

So on this side, you've got a number --

Aan deze kant heb je een getal --

you've done it lots of times, so you get it accurately --

je hebt het vaak gedaan, dus het is accuraat --

which is the average number of tosses until head-tail-tail.

het gemiddelde aantal beurten tot je kop-munt-munt krijgt.

On this side, you've got a number -- the average number of tosses until head-tail-head.

Aan deze kant heb je een getal -- het gemiddelde aantal beurten tot je kop-munt-kop krijgt.

So here's a deep mathematical fact --

Hier is een diep wiskundig feit --

if you've got two numbers, one of three things must be true.

als je twee getallen hebt, moet één van deze drie dingen kloppen.

Either they're the same, or this one's bigger than this one,

Ofwel zijn ze gelijk, ofwel is dit getal groter dan dat,

or this one's bigger than that one.

ofwel is dat getal groter dan dit.

So what's going on here?

Wat gebeurt er hier?

So you've all got to think about this, and you've all got to vote --

Denk hier allemaal over na. Iedereen moet stemmen.

and we're not moving on.

We gaan niet verder --

And I don't want to end up in the two-minute silence

en ik doe niet aan twee minuten stilte

to give you more time to think about it, until everyone's expressed a view. OK.

om jullie bedenktijd te geven -- tot iedereen een standpunt heeft ingenomen.

So what you want to do is compare the average number of tosses until we first see

Dus vergelijk nu het gemiddeld aantal beurten tot we kop-munt-kop zien,

head-tail-head with the average number of tosses until we first see head-tail-tail.

met het gemiddeld aantal beurten tot we kop-munt-munt zien.

Who thinks that A is true --

Wie denkt dat A juist is --

that, on average, it'll take longer to see head-tail-head than head-tail-tail?

dat het gemiddeld langer duurt om kop-munt-kop te zien dan kop-munt-munt?

Who thinks that B is true -- that on average, they're the same?

Wie denkt dat B juist is -- dat ze gemiddeld gelijk zijn?

Who thinks that C is true -- that, on average, it'll take less time

Wie denkt dat C juist is -- dat het gemiddeld minder lang duurt

to see head-tail-head than head-tail-tail?

om kop-munt-kop te zien dan kop-munt-munt?

OK, who hasn't voted yet? Because that's really naughty -- I said you had to.

Wie heeft nog niet gestemd? Dat is echt stout -- ik had gezegd dat je moest.

(Laughter)

(Gelach)

OK. So most people think B is true.

OK. De meeste mensen denken dat het B is.

And you might be relieved to know even rather distinguished mathematicians think that.

Het zal jullie opluchten dat zelfs gerespecteerde wiskundigen dat denken.

It's not. A is true here.

Het is niet zo. A is juist.

It takes longer, on average.

Het duurt gemiddeld langer.

In fact, the average number of tosses till head-tail-head is 10

Het gemiddelde aantal beurten tot kop-munt-kop is 10,

and the average number of tosses until head-tail-tail is eight.

en het gemiddeld aantal beurten tot kop-munt-munt is 8.

How could that be?

Hoe kan dat?

Anything different about the two patterns?

Is er een verschil tussen de twee patronen?

There is. Head-tail-head overlaps itself.

Jazeker. Kop-munt-kop overlapt met zichzelf.

If you went head-tail-head-tail-head, you can cunningly get two occurrences

Bij kop-munt-kop-munt-kop, heb je heel slim twee keer

of the pattern in only five tosses.

het patroon in maar 5 beurten.

You can't do that with head-tail-tail.

Dat kan je niet doen met kop-munt-munt.

That turns out to be important.

Dat blijkt belangrijk te zijn.

There are two ways of thinking about this.

Je kan dit op twee manieren bekijken.

I'll give you one of them.

Ik geef je er één.

So imagine -- let's suppose we're doing it.

Beeld je in -- beeld je in dat je het doet.

On this side -- remember, you're excited about head-tail-tail;

Aan deze kant -- herinner je, jullie vinden kop-munt-munt spannend,

you're excited about head-tail-head.

jullie vinden kop-munt-kop spannend.

We start tossing a coin, and we get a head --

We gooien en krijgen kop.

and you start sitting on the edge of your seat

Je gaat op het puntje van je stoel zitten

because something great and wonderful, or awesome, might be about to happen.

omdat iets groots en fantastisch misschien wel op til is.

The next toss is a tail -- you get really excited.

De volgende keer is munt -- het wordt echt spannend.

The champagne's on ice just next to you; you've got the glasses chilled to celebrate.

De champagne staat klaar, je hebt de glazen gekoeld om te vieren.

You're waiting with bated breath for the final toss.

Je wacht met ingehouden adem op de laatste gooi.

And if it comes down a head, that's great.

Als dat kop is, is dat fantastisch.

You're done, and you celebrate.

Je bent klaar, en je viert.

If it's a tail -- well, rather disappointedly, you put the glasses away

Als het munt is, zet je teleurgesteld de glazen weg

and put the champagne back.

en de champagne.

And you keep tossing, to wait for the next head, to get excited.

Je blijft opgooien, je wacht op de volgende kop, en op de spanning.

On this side, there's a different experience.

Aan deze kant is de ervaring anders.

It's the same for the first two parts of the sequence.

Ze loopt gelijk voor de eerste twee delen.

You're a little bit excited with the first head --

Je bent opgewonden bij de eerste kop --

you get rather more excited with the next tail.

de spanning stijgt met de volgende munt.

Then you toss the coin.

Dan gooi je op.

If it's a tail, you crack open the champagne.

Als het munt is, kraak je de fles champagne.

If it's a head you're disappointed,

Als het kop is ben je teleurgesteld,

but you're still a third of the way to your pattern again.

maar je bent nog steeds een derde verwijderd van je patroon.

And that's an informal way of presenting it -- that's why there's a difference.

Dit is een informele voorstellingswijze. Daarom is er een verschil.

Another way of thinking about it --

Een andere manier om ernaar te kijken --

if we tossed a coin eight million times,

als we 8 miljoen keren zouden opgooien,

then we'd expect a million head-tail-heads

zouden we een miljoen keren kop-munt-kop verwachten

and a million head-tail-tails -- but the head-tail-heads could occur in clumps.

en een miljoen keren kop-munt-munt. Maar kop-munt-kop kan in clusters voorkomen.

So if you want to put a million things down amongst eight million positions

Als je een miljoen dingen wil spreiden over acht miljoen posities

and you can have some of them overlapping, the clumps will be further apart.

en sommige kunnen overlappen, dan zullen de clusters verder uiteen liggen.

It's another way of getting the intuition.

Dat is een andere manier om de intuïtie te snappen;

What's the point I want to make?

Wat is mijn punt?

It's a very, very simple example, an easily stated question in probability,

Het is een heel eenvoudig voorbeeld, een gemakkelijk geformuleerde vraag in kansrekening,

which every -- you're in good company -- everybody gets wrong.

die iedereen -- je bent in goed gezelschap -- fout heeft.

This is my little diversion into my real passion, which is genetics.

Nu volgt een kleine omweg naar mijn echte passie, genetica.

There's a connection between head-tail-heads and head-tail-tails in genetics,

Er is een verband tussen kop-munt-kop en kop-munt-munt in genetica,

and it's the following.

namelijk het volgende.

When you toss a coin, you get a sequence of heads and tails.

Als je een munt opgooit, krijg je een sequentie van kop en munt.

When you look at DNA, there's a sequence of not two things -- heads and tails --

Bij DNA is er een sequentie, niet van twee dingen (kop en munt),

but four letters -- As, Gs, Cs and Ts.

maar van vier letters: A, G, C en T.

And there are little chemical scissors, called restriction enzymes

Er bestaan kleine chemische schaartjes, restrictie-enzymen genaamd.

which cut DNA whenever they see particular patterns.

Die knippen DNA telkens als ze een bepaald patroon zien.

And they're an enormously useful tool in modern molecular biology.

Het is een uiterst succesvol gereedschap in de moderne moleculaire biologie.

And instead of asking the question, "How long until I see a head-tail-head?" --

In plaats van te vragen: "Hoe lang nog voor ik kop-munt-kop krijg?"

you can ask, "How big will the chunks be when I use a restriction enzyme

kan je vragen: "Hoe groot zullen de stukken zijn, als ik een restrictie-enzyme gebruik

which cuts whenever it sees G-A-A-G, for example?

dat knipt telkens als het G-A-A-G ziet, bijvoorbeeld?

How long will those chunks be?"

Hoe lang zullen deze stukken zijn?"

That's a rather trivial connection between probability and genetics.

Dat is een eerder triviaal verband tussen kansberekening en genetica.

There's a much deeper connection, which I don't have time to go into

Er is ook een dieper verband. Ik heb geen tijd om erop in te gaan,

and that is that modern genetics is a really exciting area of science.

maar moderne genetica is een echt spannend wetenschappelijk domein.

And we'll hear some talks later in the conference specifically about that.

We horen hier later in deze conferentie specifieke talks over.

But it turns out that unlocking the secrets in the information generated by modern

Het blijkt dat als je de geheimen ontsluit uit de informatie opgeleverd

experimental technologies, a key part of that has to do with fairly sophisticated --

door moderne experimentele technologie, er een sleutelrol is weggelegd voor gecompliceerde --

you'll be relieved to know that I do something useful in my day job,

je zult opgelucht zijn dat ik ook nuttige dingen doe in mijn dagelijks werk,

rather more sophisticated than the head-tail-head story --

veel gecompliceerder dan het verhaal van kop-munt-kop --

but quite sophisticated computer modelings and mathematical modelings

dus echt gecompliceerde computermodellen en wiskundige modellen,

and modern statistical techniques.

en moderne statistische technieken.

And I will give you two little snippets -- two examples --

Ik geef je twee snippers -- twee voorbeelden --

of projects we're involved in in my group in Oxford,

van projecten waar mijn groep in Oxford aan meewerkte.

both of which I think are rather exciting.

Beide volgens mij erg spannend.

You know about the Human Genome Project.

Je kent het Menselijk Genoomproject.

That was a project which aimed to read one copy of the human genome.

Dat project had tot doel één kopie van het menselijke genoom te lezen.

The natural thing to do after you've done that --

De natuurlijke volgende stap is --

and that's what this project, the International HapMap Project,

daarover gaat dit project, het International HapMap Project,

which is a collaboration between labs in five or six different countries.

een samenwerking tussen laboratoria in 5 of 6 verschillende landen.

Think of the Human Genome Project as learning what we've got in common,

Als het Menselijk Genoomproject gaat over begrijpen wat we gemeen hebben,

and the HapMap Project is trying to understand

dan gaat het HapMap Project over begrijpen

where there are differences between different people.

waar de verschillen tussen verschillende mensen zitten.

Why do we care about that?

Waarom vinden we dat belangrijk?

Well, there are lots of reasons.

Om velerlei redenen.

The most pressing one is that we want to understand how some differences

De dringendste is dat we willen begrijpen hoe bepaalde verschillen

make some people susceptible to one disease -- type-2 diabetes, for example --

sommige mensen vatbaar maken voor een ziekte -- bijvoorbeeld diabetes type 2 --

and other differences make people more susceptible to heart disease,

en andere verschillen mensen vatbaar maken voor hartziekten,

or stroke, or autism and so on.

of beroertes, autisme enzovoort.

That's one big project.

Dat is één groot project.

There's a second big project,

Er is een tweede groot project

recently funded by the Wellcome Trust in this country,

dat recent werd gefinancierd door de Wellcome Trust in dit land.

involving very large studies --

Het gaat om zeer omvangrijke studies --

thousands of individuals, with each of eight different diseases,

duizenden individuen, telkens 8 verschillende ziektes,

common diseases like type-1 and type-2 diabetes, and coronary heart disease,

gangbare ziektes zoals diabetes type 1 en type 2, coronaire hartklachten,

bipolar disease and so on -- to try and understand the genetics.

bipolaire stoornissen enzovoort -- om de genetica te begrijpen.

To try and understand what it is about genetic differences that causes the diseases.

Om te begrijpen hoe genetische verschillen ziektes veroorzaken.

Why do we want to do that?

Waarom willen we dat doen?

Because we understand very little about most human diseases.

Omdat we heel weinig verstand hebben van de meeste menselijke ziektes.

We don't know what causes them.

We kennen hun oorzaak niet.

And if we can get in at the bottom and understand the genetics,

Als we onderaan kunnen beginnen en de genetica begrijpen,

we'll have a window on the way the disease works,

geeft dat ons een zicht op hoe de ziekte functioneert.

and a whole new way about thinking about disease therapies

En ook een heel nieuwe kijk op behandeling van ziektes,

and preventative treatment and so on.

preventieve behandeling enzovoort.

So that's, as I said, the little diversion on my main love.

Tot zover de kleine zijsprong over mijn grootste liefde.

Back to some of the more mundane issues of thinking about uncertainty.

Terug naar meer wereldlijke kwesties van onzekerheidsdenken.

Here's another quiz for you --

Ik heb nog een kwis voor jullie.

now suppose we've got a test for a disease

Beeld je in dat we een test hebben voor een ziekte

which isn't infallible, but it's pretty good.

die niet onfeilbaar is, maar wel vrij goed.

It gets it right 99 percent of the time.

Hij is in 99 procent van de gevallen correct.

And I take one of you, or I take someone off the street,

Ik neem hem af bij jou, of bij iemand die ik op straat ontmoet.

and I test them for the disease in question.

Ik test ze op de ziekte in kwestie.

Let's suppose there's a test for HIV -- the virus that causes AIDS --

Laten we zeggen dat het een hiv-test is -- het virus dat aids veroorzaakt.

and the test says the person has the disease.

Volgens de test heeft de persoon de ziekte.

What's the chance that they do?

Hoe groot is de kans dat dat zo is?

The test gets it right 99 percent of the time.

De test is in 99 procent van de gevallen correct.

So a natural answer is 99 percent.

Het natuurlijke antwoord is dus 99 procent.

Who likes that answer?

Wie ziet wel wat in dat antwoord?

Come on -- everyone's got to get involved.

Komaan -- iedereen moet meedoen.

Don't think you don't trust me anymore.

Niet denken dat je mij niet meer vertrouwt.

(Laughter)

(Gelach).

Well, you're right to be a bit skeptical, because that's not the answer.

Je doet er goed aan een beetje sceptisch te zijn, want dat is niet het antwoord.

That's what you might think.

Dat is wat je zou denken.

It's not the answer, and it's not because it's only part of the story.

Het is niet het antwoord, omdat het maar een deel van het verhaal is.

It actually depends on how common or how rare the disease is.

Het hangt af van hoe gangbaar of zeldzaam de ziekte is.

So let me try and illustrate that.

Ik zal proberen dat te illustreren.

Here's a little caricature of a million individuals.

Dit is een karikatuur van een miljoen individuen.

So let's think about a disease that affects --

Stel je voor dat je een ziekte hebt die --

it's pretty rare, it affects one person in 10,000.

een zeldzame ziekte, die één persoon op 10.000 treft.

Amongst these million individuals, most of them are healthy

Van dit miljoen mensen zijn de meesten gezond,

and some of them will have the disease.

en zullen sommigen de ziekte hebben.

And in fact, if this is the prevalence of the disease,

Als de ziekte zo vaak voorkomt,

about 100 will have the disease and the rest won't.

zullen er ongeveer 100 de ziekte hebben en de rest niet.

So now suppose we test them all.

Veronderstel dat we ze allemaal testen.

What happens?

Wat dan?

Well, amongst the 100 who do have the disease,

Van de 100 die de ziekte hebben,

the test will get it right 99 percent of the time, and 99 will test positive.

zal de test dat in 99 procent van de gevallen aangeven: 99 mensen zullen positief testen;

Amongst all these other people who don't have the disease,

Van alle andere mensen die de ziekte niet hebben,

the test will get it right 99 percent of the time.

zal de test dat in 99 procent van de gevallen aangeven.

It'll only get it wrong one percent of the time.

Hij zal maar in één procent van de gevallen fout zijn.

But there are so many of them that there'll be an enormous number of false positives.

Maar omdat ze met zovelen zijn, zal er een enorm aantal vals positieve tests zijn.

Put that another way --

Anders gezegd --

of all of them who test positive -- so here they are, the individuals involved --

van al diegenen die positief testen -- hier zijn ze, de betrokken individuen --

less than one in 100 actually have the disease.

heeft er minder dan één op honderd de ziekte.

So even though we think the test is accurate, the important part of the story is

Zelfs al denken we dat de test accuraat is, dan nog is het belangrijk te weten

there's another bit of information we need.

dat we nog een ander stukje informatie nodig hebben.

Here's the key intuition.

Hier is de basisintuïtie.

What we have to do, once we know the test is positive,

Wat we moeten doen, als we weten dat de test positief is,

is to weigh up the plausibility, or the likelihood, of two competing explanations.

is de geloofwaardigheid, of de waarschijnlijkheid, van twee concurrerende verklaringen afwegen.

Each of those explanations has a likely bit and an unlikely bit.

Elk van deze verklaringen heeft een onwaarschijnlijk en een onwaarschijnlijk deel.

One explanation is that the person doesn't have the disease --

De ene verklaring is dat de persoon de ziekte niet heeft --

that's overwhelmingly likely, if you pick someone at random --

dat is uitermate waarschijnlijk, als je op goed geluk iemand uitkiest --

but the test gets it wrong, which is unlikely.

en dat de test dat fout heeft, wat onwaarschijnlijk is.

The other explanation is that the person does have the disease -- that's unlikely --

De andere verklaring is dat de persoon de ziekte heeft -- dat is onwaarschijnlijk --

but the test gets it right, which is likely.

maar dat de test het goed heeft, wat waarschijnlijk is.

And the number we end up with --

Het getal waarop we uitkomen --

that number which is a little bit less than one in 100 --

dat getal dat een fractie lager is dan één op honderd --

is to do with how likely one of those explanations is relative to the other.

heeft te maken met hoe waarschijnlijk één van die verklaringen is in vergelijking met de andere.

Each of them taken together is unlikely.

Elk van hen is, samen genomen, onwaarschijnlijk.

Here's a more topical example of exactly the same thing.

Hier is een actueler voorbeeld van precies hetzelfde.

Those of you in Britain will know about what's become rather a celebrated case

De Britten onder jullie kennen allicht de beroemd geworden zaak

of a woman called Sally Clark, who had two babies who died suddenly.

van een vrouw genaamd Sally Clark. Ze had twee baby's die plots stierven.

And initially, it was thought that they died of what's known informally as "cot death,"

Oorspronkelijk dacht men dat ze gestorven waren aan wat we in spreektaal "wiegendood" noemen,

and more formally as "Sudden Infant Death Syndrome."

en in vaktaal "syndroom van het plotseling overlijden van een zuigeling".

For various reasons, she was later charged with murder.

Om allerlei redenen werd ze later van moord beschuldigd.

And at the trial, her trial, a very distinguished pediatrician gave evidence

Op haar proces getuigde een zeer gerespecteerd kinderarts

that the chance of two cot deaths, innocent deaths, in a family like hers --

dat de kans op twee gevallen van wiegendood, onschuldige overlijdens, in een gezin als het hare --

which was professional and non-smoking -- was one in 73 million.

professioneel, niet-rokers -- één op 73 miljoen was.

To cut a long story short, she was convicted at the time.

Om kort te gaan, ze werd toentertijd veroordeeld.

Later, and fairly recently, acquitted on appeal -- in fact, on the second appeal.

Later, recentelijk, werd ze in beroep vrijgesproken -- eigenlijk in tweede beroep.

And just to set it in context, you can imagine how awful it is for someone

Om de context mee te geven: je kan je voorstellen hoe vreselijk het is voor iemand

to have lost one child, and then two, if they're innocent,

om één kind verloren te hebben, en dan twee, en dan onschuldig

to be convicted of murdering them.

veroordeeld te worden voor twee moorden.

To be put through the stress of the trial, convicted of murdering them --

Je gaat door de stress van het proces, wordt veroordeeld voor de moorden

and to spend time in a women's prison, where all the other prisoners

en zit in een vrouwengevangenis, waar alle andere gevangenen denken

think you killed your children -- is a really awful thing to happen to someone.

dat je je kinderen hebt vermoord. Dat is een vreselijke beproeving.

And it happened in large part here because the expert got the statistics

Het gebeurde grotendeels omdat de expert de statistieken

horribly wrong, in two different ways.

helemaal fout bekeek, in twee opzichten.

So where did he get the one in 73 million number?

Waar haalde hij het cijfer van één op 73 miljoen?

He looked at some research, which said the chance of one cot death in a family

Hij bekeek wat research, die zei dat de kans op één wiegendood in een familie

like Sally Clark's is about one in 8,500.

als die van Sally Clark ongeveer één op 8.500 is.

So he said, "I'll assume that if you have one cot death in a family,

Dus zei hij: "Ik ga ervan uit dat als je één wiegendood in de familie hebt,

the chance of a second child dying from cot death aren't changed."

de kans onveranderd is dat een tweede kind aan wiegendood sterft."

So that's what statisticians would call an assumption of independence.

Dat is wat statistici een assumptie van onafhankelijkheid noemen.

It's like saying, "If you toss a coin and get a head the first time,

Alsof je zegt: "Als je een munt opgooit en de eerste keer kop hebt,

that won't affect the chance of getting a head the second time."

wijzigt dat je kans niet op een tweede keer kop."

So if you toss a coin twice, the chance of getting a head twice are a half --

Als je twee keer opgooit, is je kans om kop te krijgen 0,5 --

that's the chance the first time -- times a half -- the chance a second time.

dat is je kans de eerste keer -- maal 0,5 -- dat is je kans de tweede keer.

So he said, "Here,

Hij zegt dus: "Laten we veronderstellen --

I'll assume that these events are independent.

ik veronderstel dat deze gebeurtenissen onafhankelijk zijn.

When you multiply 8,500 together twice,

Als je 8.500 maal zichzelf doet,

you get about 73 million."

krijg je ongeveer 73 miljoen."

And none of this was stated to the court as an assumption

Dit werd niet zo voor het hof gesteld,

or presented to the jury that way.

en ook niet zo aan de jury voorgesteld.

Unfortunately here -- and, really, regrettably --

Jammer genoeg -- echt betreurenswaardig --

first of all, in a situation like this you'd have to verify it empirically.

moet je dit ten eerste in zo'n situatie empirisch verifiëren.

And secondly, it's palpably false.

Ten tweede is het manifest fout.

There are lots and lots of things that we don't know about sudden infant deaths.

Er zijn heel veel dingen die we niet weten over wiegendood.

It might well be that there are environmental factors that we're not aware of,

Misschien zijn er omgevingsfactoren waar we ons niet van bewust zijn.

and it's pretty likely to be the case that there are

Het is tamelijk waarschijnlijk dat er

genetic factors we're not aware of.

genetische factoren zijn die we niet kennen.

So if a family suffers from one cot death, you'd put them in a high-risk group.

Dus als een familie één wiegendood kent, zou je ze in een groep met verhoogd risico stoppen.

They've probably got these environmental risk factors

Waarschijnlijk hebben zij deze omgevingsrisicofactoren

and/or genetic risk factors we don't know about.

en/of genetische factoren die we niet kennen.

And to argue, then, that the chance of a second death is as if you didn't know

Dan betogen dat de kans op een tweede dood niet afhangt van je

that information is really silly.

kennis van die informatie, is echt dwaas.

It's worse than silly -- it's really bad science.

Het is erger dan dwaas -- het is echt belabberde wetenschap.

Nonetheless, that's how it was presented, and at trial nobody even argued it.

Niettemin was dat hoe het werd voorgesteld. Op het proces viel niemand erover.

That's the first problem.

Dat is het eerste probleem.

The second problem is, what does the number of one in 73 million mean?

Het tweede probeem is: wat betekent het cijfer van één op 73 miljoen?

So after Sally Clark was convicted --

Nadat Sally Clark was veroordeeld --

you can imagine, it made rather a splash in the press --

je kan je voorstellen dat dit nogal ophef maakte in de pers --

one of the journalists from one of Britain's more reputable newspapers wrote that

schreef één van de journalisten van één van de betere Britse kranten

what the expert had said was,

dat de expert had gezegd:

"The chance that she was innocent was one in 73 million."

"De kans dat ze onschuldig is, is één op 73 miljoen."

Now, that's a logical error.

Dat is een denkfout.

It's exactly the same logical error as the logical error of thinking that

Het is dezelfde denkfout als de aanname dat je

after the disease test, which is 99 percent accurate,

op basis van de 99 procent accurate ziektetest,

the chance of having the disease is 99 percent.

99 procent kans hebt om de ziekte te hebben.

In the disease example, we had to bear in mind two things,

In het ziektevoorbeeld moesten we twee dingen voor ogen houden,

one of which was the possibility that the test got it right or not.

waaronder de mogelijkheid dat de test het al dan niet goed had.

And the other one was the chance, a priori, that the person had the disease or not.

Het andere was de kans, a priori, dat de persoon al dan niet de ziekte had.

It's exactly the same in this context.

Het is precies hetzelfde in deze context.

There are two things involved -- two parts to the explanation.

Er spelen twee dingen -- twee delen van de verklaring.

We want to know how likely, or relatively how likely, two different explanations are.

We willen weten hoe waarschijnlijk, hoe relatief waarschijnlijk, twee verschillende verklaringen zijn.

One of them is that Sally Clark was innocent --

De eerste is dat Sally Clarke onschuldig is,

which is, a priori, overwhelmingly likely --

wat a priori uitermate waarschijnlijk is --

most mothers don't kill their children.

de meeste moeders vermoorden hun kinderen niet.

And the second part of the explanation

Het tweede deel van de verklaring is

is that she suffered an incredibly unlikely event.

dat ze slachtoffer was van een zeer onwaarschijnlijke gebeurtenis.

Not as unlikely as one in 73 million, but nonetheless rather unlikely.

Niet zo onwaarschijnlijk als één op 73 miljoen, maar niettemin erg onwaarschijnlijk.

The other explanation is that she was guilty.

De tweede verklaring is dat ze schuldig was.

Now, we probably think a priori that's unlikely.

Dat zullen we a priori als onwaarschijnlijk beschouwen.

And we certainly should think in the context of a criminal trial

In de context van een strafzaak moeten we dat zeker

that that's unlikely, because of the presumption of innocence.

als onwaarschijnlijk beschouwen, vanwege het vermoeden van onschuld.

And then if she were trying to kill the children, she succeeded.

Als ze zou proberen haar kinderen te doden, zou ze erin geslaagd zijn.

So the chance that she's innocent isn't one in 73 million.

De kans dat ze onschuldig is, is niet één op 73 miljoen.

We don't know what it is.

We kennen die kans niet.

It has to do with weighing up the strength of the other evidence against her

Ze heeft te maken met het afwegen van de sterkte van de andere bewijzen tegen haar

and the statistical evidence.

versus het statistische bewijs.

We know the children died.

We weten dat de kinderen zijn gestorven.

What matters is how likely or unlikely, relative to each other,

Van belang is hoe waarschijnlijk of onwaarschijnlijk

the two explanations are.

de twee verklaringen zijn, relatief ten opzichte van elkaar.

And they're both implausible.

Ze zijn allebei onwaarschijnlijk.

There's a situation where errors in statistics had really profound

Dit is een situatie waarin statistische fouten diepgaande

and really unfortunate consequences.

en echt ellendige gevolgen hadden.

In fact, there are two other women who were convicted on the basis of the

Er zijn zelfs twee andere vrouwen die werden veroordeeld op basis van

evidence of this pediatrician, who have subsequently been released on appeal.

het getuigenis van deze kinderarts. Ze zijn intussen vrijgelaten na beroep.

Many cases were reviewed.

Vele zaken werden hervormd.

And it's particularly topical because he's currently facing a disrepute charge

Het is bijzonder actueel omdat momenteel een tuchtzaak tegen hem loopt

at Britain's General Medical Council.

voor de Britse Hoge Medische Raad.

So just to conclude -- what are the take-home messages from this?

Tot slot -- wat leren we hieruit?

Well, we know that randomness and uncertainty and chance

We weten dat toeval, onzekerheid en kans

are very much a part of our everyday life.

een belangrijk deel van ons leven van elke dag zijn.

It's also true -- and, although, you, as a collective, are very special in many ways,

Het is ook zo -- hoewel jullie als groep op vele manieren bijzonder zijn,

you're completely typical in not getting the examples I gave right.

hebben jullie net als iedereen mijn voorbeelden fout opgelost.

It's very well documented that people get things wrong.

We hebben veel bewijzen dat mensen dit verkeerd zien.

They make errors of logic in reasoning with uncertainty.

Ze maken denkfouten als ze redeneren op basis van kansberekening.

We can cope with the subtleties of language brilliantly --

We kunnen briljant omgaan met de subtiliteiten van de taal.

and there are interesting evolutionary questions about how we got here.

Er zijn interessante evolutievraagstukken over hoe we zover kwamen.

We are not good at reasoning with uncertainty.

We zijn niet goed in redeneren op basis van kansberekening.

That's an issue in our everyday lives.

Dat is een probleem in ons dagelijks leven.

As you've heard from many of the talks, statistics underpins an enormous amount

Zoals je in vele talks hebt gehoord, vormen statistieken de basis van een enorme hoop

of research in science -- in social science, in medicine

onderzoek in dit verband -- in de sociale wetenschappen, de geneeskunde

and indeed, quite a lot of industry.

en zeker ook in vele bedrijfstakken.

All of quality control, which has had a major impact on industrial processing,

Kwaliteitscontrole, die een grote impact heeft op industriële verwerking,

is underpinned by statistics.

is vaak op statistieken gestoeld.

It's something we're bad at doing.

We zijn er niet goed in.

At the very least, we should recognize that, and we tend not to.

We zouden dat minstens moeten erkennen, maar dat doen we niet.

To go back to the legal context, at the Sally Clark trial

Terug naar de juridische context: op het proces van Sally Clark

all of the lawyers just accepted what the expert said.

aanvaardden alle advocaten gewoon wat de expert zei

So if a pediatrician had come out and said to a jury,

Stel dat een kinderarts de jury had verteld:

"I know how to build bridges. I've built one down the road.

"Ik kan bruggen bouwen. Ik heb er verder in de straat eentje gebouwd.

Please drive your car home over it,"

Ik nodig u uit om erover naar huis te rijden."

they would have said, "Well, pediatricians don't know how to build bridges.

Dan zouden ze gezegd hebben: "Kinderartsen kennen niets van bruggen bouwen.

That's what engineers do."

Daar hebben we ingenieurs voor."

On the other hand, he came out and effectively said, or implied,

Anderzijds kwam hij inderdaad vertellen, of liet hij verstaan:

"I know how to reason with uncertainty. I know how to do statistics."

"Ik weet hoe ik op basis van onzekerheid moet redeneren. Ik ken iets van statistiek."

And everyone said, "Well, that's fine. He's an expert."

En iedereen zei: "Dat is goed. Hij is expert."

So we need to understand where our competence is and isn't.

We moeten begrijpen waar de grens van onze competentie ligt.

Exactly the same kinds of issues arose in the early days of DNA profiling,

We hadden exact dezelfde soort problemen in de begindagen van de DNA-profilering,

when scientists, and lawyers and in some cases judges,

toen wetenschappers, advocaten en soms rechters

routinely misrepresented evidence.

aan de lopende band het bewijsmateriaal fout voorstelden.

Usually -- one hopes -- innocently, but misrepresented evidence.

Meestal -- dat hopen we -- gebeurde dat onbewust, maar ze stelden het fout voor.

Forensic scientists said, "The chance that this guy's innocent is one in three million."

Gerechtsexperts zeiden: "De kans dat deze kerel onschuldig is, is één op drie miljoen."

Even if you believe the number, just like the 73 million to one,

Zelfs al geloofde je het getal, zoals bij de 73 miljoen tegen één

that's not what it meant.

is dat niet wat het betekende.

And there have been celebrated appeal cases

Er zijn beroemde gevallen van beroep

in Britain and elsewhere because of that.

in Groot-Brittannië en elders, om die reden.

And just to finish in the context of the legal system.

Laten we eindigen in de context van het juridische systeem.

It's all very well to say, "Let's do our best to present the evidence."

Het is prima om te zeggen: "Laten we ons best doen om het bewijsmateriaal voor te stellen."

But more and more, in cases of DNA profiling -- this is another one --

Maar het gebeurt steeds vaker, bij DNA-profilering (dit is er nog een)

we expect juries, who are ordinary people --

dat we verwachten dat jury's, gewone mensen,

and it's documented they're very bad at this --

van wie we weten dat ze hier erg slecht in zijn,

we expect juries to be able to cope with the sorts of reasoning that goes on.

in staat zijn om dit soort redeneringen te bevatten.

In other spheres of life, if people argued -- well, except possibly for politics --

In andere domeinen van het leven zouden we, als mensen -- wel, met uitzondering van de politiek --

but in other spheres of life, if people argued illogically,

maar in andere domeinen zouden we, als mensen een onlogisch betoog hielden,

we'd say that's not a good thing.

zeggen dat dat geen goede zaak is.

We sort of expect it of politicians and don't hope for much more.

Van politici verwachten we het zowat, daar hebben we niet veel hoop.

In the case of uncertainty, we get it wrong all the time --

Bij onzekerheid hebben we het voortdurend fout.

and at the very least, we should be aware of that,

Daar zouden we ons tenminste bewust van moeten zijn.

and ideally, we might try and do something about it.

Idealiter zouden we er iets aan doen.

Thanks very much.

Hartelijk dank.