Peter Donnelly: How stats fool juries

Fordító: Anna Patai Lektor: Laszlo Kereszturi

As other speakers have said, it's a rather daunting experience --

Ahogy azt mások is elmondták, nagyon rémisztő --

a particularly daunting experience -- to be speaking in front of this audience.

kifejezetten rémisztő élmény -- ezelőtt a közönség előtt beszélni.

But unlike the other speakers, I'm not going to tell you about

De más előadókkal ellentétben, én nem a világegyetem

the mysteries of the universe, or the wonders of evolution,

titkairól, az evolúció csodáiról fogok beszélni,

or the really clever, innovative ways people are attacking

vagy azokról az nagyon ügyes, újító módszerekről, amivel az emberek

the major inequalities in our world.

küzdenek a világ nagy egyenlőtlenségei ellen.

Or even the challenges of nation-states in the modern global economy.

Vagy a nemzetállamok előtt álló kihívásokról a modern globális gazdaságban.

My brief, as you've just heard, is to tell you about statistics --

A feladatom, ahogy hallották a bevezetőből, hogy a statisztikáról beszéljek --

and, to be more precise, to tell you some exciting things about statistics.

pontosabban, hogy valami izgalmasat mondjak a statisztikáról.

And that's --

És ez --

(Laughter)

(Nevetés)

-- that's rather more challenging

-- ez egy nagyobb kihívás,

than all the speakers before me and all the ones coming after me.

mint az összes előttem és utánam felszólaló előadóé.

(Laughter)

(Nevetés)

One of my senior colleagues told me, when I was a youngster in this profession,

Egy idősebb kollégám azt mondta nekem, még a pályám elején,

rather proudly, that statisticians were people who liked figures

igazán büszkén, hogy a statisztikusok azok, akik szeretik a számokat,

but didn't have the personality skills to become accountants.

de nincs elég érdekes személyiségük ahhoz, hogy könyvelők legyenek.

(Laughter)

(Nevetés)

And there's another in-joke among statisticians, and that's,

És van egy másik vicc statisztikusok között:

"How do you tell the introverted statistician from the extroverted statistician?"

"Mi a különbség az introvertált és az extrovertált statisztikus között?"

To which the answer is,

A válasz:

"The extroverted statistician's the one who looks at the other person's shoes."

"Az extrovertált statisztikus az, aki a másik cipőjét nézi."

(Laughter)

(Nevetés)

But I want to tell you something useful -- and here it is, so concentrate now.

De el akarok mondani valami hasznosat -- ez az, úgyhogy figyeljenek.

This evening, there's a reception in the University's Museum of Natural History.

Ma este lesz egy fogadás az egyetem Természettudományi Múzeumában.

And it's a wonderful setting, as I hope you'll find,

Ez egy csodálatos környezet, remélem egyetértenek,

and a great icon to the best of the Victorian tradition.

és egy kiemelkedő jelképe a Viktória korabeli hagyományok legjavának.

It's very unlikely -- in this special setting, and this collection of people --

Nem valószínű -- ebben a különleges környezetben, ilyen emberek között -- de előfordulhat,

but you might just find yourself talking to someone you'd rather wish that you weren't.

hogy egy olyan emberrel beszélgetnek, akivel inkább nem beszélgetnének.

So here's what you do.

Ez a teendő.

When they say to you, "What do you do?" -- you say, "I'm a statistician."

Amikor azt kérdezik: "Mivel foglalkozik?" -- válaszolják azt, hogy "Statisztikus vagyok."

(Laughter)

(Nevetés)

Well, except they've been pre-warned now, and they'll know you're making it up.

Persze most figyelmeztettem őket, és már tudni fogják, hogy csak kitalálták.

And then one of two things will happen.

És akkor két dolog történhet.

They'll either discover their long-lost cousin in the other corner of the room

Vagy megpillantják az unokatestvérüket a szoba másik végében,

and run over and talk to them.

és elrohannak beszélni vele.

Or they'll suddenly become parched and/or hungry -- and often both --

Vagy hirtelen éhesek vagy szomjasak lesznek -- gyakran mindkettő --

and sprint off for a drink and some food.

és elszaladnak a büfé felé.

And you'll be left in peace to talk to the person you really want to talk to.

És akkor végre nyugodtan beszélhetnek azzal, akivel igazán beszélni akarnak.

It's one of the challenges in our profession to try and explain what we do.

A szakmánk egyik kihívása megmagyarázni, hogy mit csinálunk.

We're not top on people's lists for dinner party guests and conversations and so on.

Nem hívnak meg gyakran vacsorákra vagy szeretnek velünk beszélgetni.

And it's something I've never really found a good way of doing.

És erre soha nem találtam igazán jó módszert.

But my wife -- who was then my girlfriend --

De a feleségem -- aki akkor még a barátnőm volt --

managed it much better than I've ever been able to.

ezt sokkal jobban kezelte, mint ahogy én.

Many years ago, when we first started going out, she was working for the BBC in Britain,

Sok-sok évvel ezelőtt, amikor megismerkedtünk, ő a BBC-nek dolgozott Nagy-Britanniában,

and I was, at that stage, working in America.

és én akkoriban Amerikában dolgoztam.

I was coming back to visit her.

Visszajöttem meglátogatni.

She told this to one of her colleagues, who said, "Well, what does your boyfriend do?"

Megemlítette az egyik kollégájának, aki megkérdezte: "És mivel foglalkozik a barátod?"

Sarah thought quite hard about the things I'd explained --

Sarah mélyen elgondolkozott azokon a dolgokon, amiket elmagyaráztam neki --

and she concentrated, in those days, on listening.

akkoriban még a hallgatásra koncentrált.

(Laughter)

(Nevetés)

Don't tell her I said that.

Ne mondják el neki, hogy ezt mondtam.

And she was thinking about the work I did developing mathematical models

És a munkámra gondolt, amiben matematikai modelleket dolgoztam ki

for understanding evolution and modern genetics.

az evolúció és a modern genetika megértésére.

So when her colleague said, "What does he do?"

Szóval a kollégája kérdésére: "Mivel foglalkozik?"

She paused and said, "He models things."

Elgondolkodott, és azt mondta: "Modellekkel."

(Laughter)

(Nevetés)

Well, her colleague suddenly got much more interested than I had any right to expect

Nos, a kollégája sokkal érdeklődőbb lett, mint ahogy az elvárható lett volna,

and went on and said, "What does he model?"

és tovább kérdezett, hogy "Milyen modellekkel?"

Well, Sarah thought a little bit more about my work and said, "Genes."

Sarah egy kicsit tovább gondolkodott a munkámról és azt mondta: "Genetikusokkal."

(Laughter)

(Nevetés)

"He models genes."

Genetikai modellek.

That is my first love, and that's what I'll tell you a little bit about.

Ez az első szerelmem, és erről szeretnék egy kicsit beszélni.

What I want to do more generally is to get you thinking about

Nagyobb vonalakban arról szeretném, hogy elkezdjenek gondolkodni,

the place of uncertainty and randomness and chance in our world,

hogy milyen szerepet játszik a bizonytalanság és a szerencse a világunkban,

and how we react to that, and how well we do or don't think about it.

hogy reagálunk rá, milyen jól vagy rosszul gondolkodunk róla.

So you've had a pretty easy time up till now --

Eddig könnyű dolguk volt --

a few laughs, and all that kind of thing -- in the talks to date.

néhány vicc és hasonlók -- az eddigi előadásokkal.

You've got to think, and I'm going to ask you some questions.

Most gondolkozniuk kell, és kérdéseket fogok feltenni.

So here's the scene for the first question I'm going to ask you.

Képzeljék el a következő helyzetet.

Can you imagine tossing a coin successively?

El tudják képzelni, hogy egy érmét dobnak fel folyamatosan?

And for some reason -- which shall remain rather vague --

És valamilyen okból -- ami maradjon homályos --

we're interested in a particular pattern.

egy bizonyos minta érdekel bennünket.

Here's one -- a head, followed by a tail, followed by a tail.

Itt van egy -- fej, utána írás, utána fej.

So suppose we toss a coin repeatedly.

Tegyük fel, hogy folyamatosan dobjuk fel az érmét.

Then the pattern, head-tail-tail, that we've suddenly become fixated with happens here.

És a minta, aminek hirtelen a megszállotjai lettünk, itt jelenik meg.

And you can count: one, two, three, four, five, six, seven, eight, nine, 10 --

Meg lehet számolni: egy, kettő, három, négy, öt, hat, hét, nyolc, kilenc, 10 --

it happens after the 10th toss.

10 feldobás után jelenik meg.

So you might think there are more interesting things to do, but humor me for the moment.

Most gondolhatják, hogy vannak ennél érdekesebb dolgok is, de maradjanak velem egy pillanatra.

Imagine this half of the audience each get out coins, and they toss them

Képzeljék el, hogy a közönségnek ez a fele mind kap egy érmét,

until they first see the pattern head-tail-tail.

és addig dobálják, míg megjelenik a fej-írás-írás minta.

The first time they do it, maybe it happens after the 10th toss, as here.

Az első alkalommal mondjuk a 10. feldobás után történik meg, mint itt.

The second time, maybe it's after the fourth toss.

Másodszorra talán a negyedik dobás után.

The next time, after the 15th toss.

Legközelebb a 15. dobás után.

So you do that lots and lots of times, and you average those numbers.

Megcsináljuk ezt nagyon sokszor, és megnézzük a számok átlagát.

That's what I want this side to think about.

Ez az oldal gondolkodjon ezen.

The other half of the audience doesn't like head-tail-tail --

A közönség másik fele nem szereti a fej-írás-írást --

they think, for deep cultural reasons, that's boring --

azt gondolják, mélyen gyökerező kulturális okokból, hogy ez unalmas --

and they're much more interested in a different pattern -- head-tail-head.

és sokkal jobban érdekli őket egy másik minta -- fej-írás-fej.

So, on this side, you get out your coins, and you toss and toss and toss.

Szóval ez az oldal megkapja az érméit és folyamatosan dobálják.

And you count the number of times until the pattern head-tail-head appears

És megszámolják hány dobás volt, mire megjelent a fej-írás-fej minta,

and you average them. OK?

és megnézik az átlagát. Rendben?

So on this side, you've got a number --

Szóval ezen az oldalon van egy számuk --

you've done it lots of times, so you get it accurately --

nagyon sokszor megcsinálták, ezért pontos --

which is the average number of tosses until head-tail-tail.

ami az átlagos számú dobás, amíg a fej-írás-írás minta megjelenik.

On this side, you've got a number -- the average number of tosses until head-tail-head.

Ezen az oldalon van egy számuk -- az átlagos számú dobás, amíg a fej-írás-fej minta megjelenik.

So here's a deep mathematical fact --

Íme egy alapvető matematikai tény --

if you've got two numbers, one of three things must be true.

ha van két számunk, a következő három dolog egyike igaz.

Either they're the same, or this one's bigger than this one,

Vagy egyformák, vagy ez nagyobb, mint ez,

or this one's bigger than that one.

vagy ez nagyobb, mint ez.

So what's going on here?

Miről van szó itt?

So you've all got to think about this, and you've all got to vote --

Mindannyiuknak el kell gondolkodnia és szavaznia kell --

and we're not moving on.

és nem megyünk sehová.

And I don't want to end up in the two-minute silence

És nem akarok két perc csöndet,

to give you more time to think about it, until everyone's expressed a view. OK.

hogy több idejük legyen gondolkodni ezen, amíg mindenkinek van véleménye. Rendben.

So what you want to do is compare the average number of tosses until we first see

Szóval össze akarjuk hasonlítani az átlagos számú dobást, amíg először megjelenik

head-tail-head with the average number of tosses until we first see head-tail-tail.

a fej-írás-fej az átlagos számú dobással, amíg megjelenik a fej-írás-írás.

Who thinks that A is true --

Ki gondolja azt, hogy az A az igaz --

that, on average, it'll take longer to see head-tail-head than head-tail-tail?

hogy átlagban tovább tart, míg megjelenik a fej-írás-fej, mint a fej-írás-írás?

Who thinks that B is true -- that on average, they're the same?

Ki gondolja, hogy a B az igaz -- hogy átlagban megegyeznek?

Who thinks that C is true -- that, on average, it'll take less time

Ki gondolja, hogy a C az igaz -- hogy átlagban kevesebb ideig tart,

to see head-tail-head than head-tail-tail?

míg megjelenik a fej-írás-fej, mint a fej-írás-írás?

OK, who hasn't voted yet? Because that's really naughty -- I said you had to.

Ki nem szavazott? Az szégyellje magát, azt mondtam mindenkinek kell.

(Laughter)

(Nevetés)

OK. So most people think B is true.

A legtöbben azt gondolják, hogy a B az igaz.

And you might be relieved to know even rather distinguished mathematicians think that.

És megnyugodhatnak, hogy egészen kiváló matematikusok is ezt gondolják.

It's not. A is true here.

Nem igaz. Az A az igaz.

It takes longer, on average.

Általában tovább tart.

In fact, the average number of tosses till head-tail-head is 10

Valójában átlagban 10 dobásra van szükség, hogy megjelenjen a fej-írás-fej,

and the average number of tosses until head-tail-tail is eight.

míg nyolc dobásra, hogy megjelenjen a fej-írás-írás.

How could that be?

Hogy lehet ez?

Anything different about the two patterns?

Van valamilyen különbség a két minta között?

There is. Head-tail-head overlaps itself.

Van. A fej-írás-fej átfedésben van magával.

If you went head-tail-head-tail-head, you can cunningly get two occurrences

A fej-írás-fej-írás-fej sorozatban ravaszul kétszer is megjelenik a minta

of the pattern in only five tosses.

csupán öt dobásból.

You can't do that with head-tail-tail.

Ezt nem lehet megcsinálni a fej-írás-írással.

That turns out to be important.

És ez fontosnak bizonyul.

There are two ways of thinking about this.

Kétféleképpen gondolhatunk erre.

I'll give you one of them.

Elmondom az egyiket.

So imagine -- let's suppose we're doing it.

Képzeljék el, hogy ezt csináljuk.

On this side -- remember, you're excited about head-tail-tail;

Ezen az oldalon -- ne felejtsék, a fej-írás-írás izgalmas;

you're excited about head-tail-head.

itt a fej-írás-fej izgalmas.

We start tossing a coin, and we get a head --

Elkezdjük dobálni az érmét, és fej --

and you start sitting on the edge of your seat

és mindenki tűkön ül,

because something great and wonderful, or awesome, might be about to happen.

mert valami nagyszerű és csodálatos történhet a következő pillanatban.

The next toss is a tail -- you get really excited.

A következő dobás írás -- nagyon izgatottak.

The champagne's on ice just next to you; you've got the glasses chilled to celebrate.

A pezsgő már jégen van, a poharak be vannak hűtve az ünnepléshez.

You're waiting with bated breath for the final toss.

Visszafojtott lélegzettel várják az utolsó dobást.

And if it comes down a head, that's great.

És ha fej, az remek.

You're done, and you celebrate.

Kész vannak, és ünnepelnek.

If it's a tail -- well, rather disappointedly, you put the glasses away

Ha írás, akkor csalódottan leteszik a poharakat,

and put the champagne back.

visszateszik a pezsgőt a jégre.

And you keep tossing, to wait for the next head, to get excited.

És tovább dobálnak, várva a következő fejre, hogy megint izgalomba jöjjenek.

On this side, there's a different experience.

Ezen az oldalon ez egy más élmény.

It's the same for the first two parts of the sequence.

Az első két lépés ugyanaz.

You're a little bit excited with the first head --

Kicsit izgatottak az első fej megjelenésekor --

you get rather more excited with the next tail.

sokkal izgatottabbak amikor a következő írás.

Then you toss the coin.

Aztán feldobják az érmét.

If it's a tail, you crack open the champagne.

Ha írás, eldurrantják a pezsgőt.

If it's a head you're disappointed,

Ha fej, akkor csalódottak,

but you're still a third of the way to your pattern again.

de már megint túl vannak a minta harmadán.

And that's an informal way of presenting it -- that's why there's a difference.

Ez a közvetlen módja annak, hogy ezt bemutassuk -- ezért van közte különbség.

Another way of thinking about it --

Egy másik módja, hogy erre gondoljunk --

if we tossed a coin eight million times,

hogyha nyolcmilliószor feldobunk egy érmét,

then we'd expect a million head-tail-heads

akkor azt várjuk, hogy lesz egymillió fej-írás-fej,

and a million head-tail-tails -- but the head-tail-heads could occur in clumps.

és egymillió fej-írás-írás -- de a fej-írás-fejek megjelenhetnek csomókban.

So if you want to put a million things down amongst eight million positions

Szóval ha le akarunk tenni egymillió dolgot nyolcmillió hely közé,

and you can have some of them overlapping, the clumps will be further apart.

és némelyik átfedheti egymást, akkor a csomók messzebb lesznek egymástól.

It's another way of getting the intuition.

Egy másik módja, hogy erre ráérezzünk.

What's the point I want to make?

Mit akarok ezzel mondani?

It's a very, very simple example, an easily stated question in probability,

Ez egy nagyon-nagyon egyszerű példa, egy egyszerűen megfogalmazható valószínűségszámítási kérdés,

which every -- you're in good company -- everybody gets wrong.

amit mindenki -- előkelő társaságban vannak -- mindenki elront.

This is my little diversion into my real passion, which is genetics.

Ez az én kis kitérőm az igazi szenvedélyemre, ami a genetika.

There's a connection between head-tail-heads and head-tail-tails in genetics,

Van egy kapcsolat a fej-írás-fej, a fej-írás-írás és a genetika között,

and it's the following.

és ez a következő.

When you toss a coin, you get a sequence of heads and tails.

Amikor feldobunk egy érmét, a fej és írás egy sorozatát kapjuk.

When you look at DNA, there's a sequence of not two things -- heads and tails --

Ha megnézzük a DNS-t, nem két dologból áll a sorozat -- fej és írás --

but four letters -- As, Gs, Cs and Ts.

hanem négy betűből: A, G, C és T.

And there are little chemical scissors, called restriction enzymes

És vannak kis kémiai ollók, amiket korlátozó enzimeknek hívunk,

which cut DNA whenever they see particular patterns.

amik elvágják a DNS-t, ahol bizonyos mintákat látnak.

And they're an enormously useful tool in modern molecular biology.

És ezek hihetetlenül hasznos eszközök a modern molekuláris biológiában.

And instead of asking the question, "How long until I see a head-tail-head?" --

És ahelyett, hogy azt kérdeznénk: "Mennyi idő alatt fogok fej-írás-fejet kapni?"

you can ask, "How big will the chunks be when I use a restriction enzyme

azt kérdezzük: "Milyen nagyok lesznek a darabok, ha egy korlátozó enzimet használok,

which cuts whenever it sees G-A-A-G, for example?

ami akkor vág, ha G-A-A-G mintát lát?

How long will those chunks be?"

Milyen hosszúak lesznek ezek a darabok?"

That's a rather trivial connection between probability and genetics.

Ez egy elég triviális kapcsolat a genetika és a valószínűségszámítás között.

There's a much deeper connection, which I don't have time to go into

Van egy sokkal mélyebb kapcsolat, amibe nincs időm most belemenni,

and that is that modern genetics is a really exciting area of science.

és ez az, hogy a modern genetika egy nagyon izgalmas területe a tudománynak.

And we'll hear some talks later in the conference specifically about that.

És hallani fogunk előadásokat ezen a konferencián kifejezetten erről.

But it turns out that unlocking the secrets in the information generated by modern

De kiderült, annak, hogy megfejtsük az információt, amit a modern

experimental technologies, a key part of that has to do with fairly sophisticated --

kísérleti technológiák termelnek, egy kulcsfontosságú részét képezik a kifinomult --

you'll be relieved to know that I do something useful in my day job,

örömmel fogják hallani, hogy valami hasznos dologgal is foglalkozom,

rather more sophisticated than the head-tail-head story --

ami kicsit fejlettebb, mint a fej-írás-fej történet --

but quite sophisticated computer modelings and mathematical modelings

hanem kifinomult számítógépes és matematikai modellek,

and modern statistical techniques.

és modern statisztikai technikák.

And I will give you two little snippets -- two examples --

Mutatok két kis részletet -- két példát --

of projects we're involved in in my group in Oxford,

a programokból, amikkel foglalkozunk a csapatommal Oxfordban,

both of which I think are rather exciting.

szerintem mindkettő elég izgalmas.

You know about the Human Genome Project.

Hallottak a Humán genom projektről.

That was a project which aimed to read one copy of the human genome.

Ez a projekt arról szólt, hogy leolvassa a humán genom egy példányát.

The natural thing to do after you've done that --

A magától értetődő következő lépés --

and that's what this project, the International HapMap Project,

ami ez a projekt, az International HapMap Project,

which is a collaboration between labs in five or six different countries.

ami egy együttműködés laborok között 5-6 különböző országban.

Think of the Human Genome Project as learning what we've got in common,

Gondoljanak a Humán genom projektre úgy, hogy felfedezzük, mi bennünk a közös,

and the HapMap Project is trying to understand

és a HapMap projekt megpróbálja megérteni,

where there are differences between different people.

hogy mik a különbségek különböző emberek között.

Why do we care about that?

Miért foglalkozunk ezzel?

Well, there are lots of reasons.

Ennek sok oka van.

The most pressing one is that we want to understand how some differences

Az legsürgetőbb, hogy megértsük hogyan tesznek bizonyos különbségek

make some people susceptible to one disease -- type-2 diabetes, for example --

egyeseket hajlamosabbá egy betegségre -- pl. 2-es típusú cukorbetegségre --

and other differences make people more susceptible to heart disease,

és más különbségek hajlamosabbá tesznek egyeseket a szívbetegségre,

or stroke, or autism and so on.

az agyvérzésre vagy az autizmusra, és így tovább.

That's one big project.

Ez egy nagy projekt.

There's a second big project,

Egy másik nagy projekt,

recently funded by the Wellcome Trust in this country,

amit nem rég alapított a Wellcome Trust ebben az országban,

involving very large studies --

nagyon nagy felmérésekkel --

thousands of individuals, with each of eight different diseases,

több ezer egyén nyolc különböző betegséggel,

common diseases like type-1 and type-2 diabetes, and coronary heart disease,

gyakori betegségek, mint az 1-es és 2-es típusú cukorbetegség, koszorúér betegség,

bipolar disease and so on -- to try and understand the genetics.

bipoláris zavar, és így tovább -- hogy megértsük a genetikáját.

To try and understand what it is about genetic differences that causes the diseases.

Hogy megértsük, milyen genetikai különbségek okozzák ezeket a betegségeket.

Why do we want to do that?

Miért akarjuk ezt megtudni?

Because we understand very little about most human diseases.

Mert nagyon keveset tudunk az emberi betegségekről.

We don't know what causes them.

Nem tudjuk, mi okozza őket.

And if we can get in at the bottom and understand the genetics,

És ha sikerül leásnunk a mélyére, és megérteni a genetikáját,

we'll have a window on the way the disease works,

bepillantást nyerünk abba, hogy működik egy betegség,

and a whole new way about thinking about disease therapies

és teljesen új módokat arra, hogy a gyógyításról gondolkodjunk,

and preventative treatment and so on.

és a megelőzésről, és így tovább.

So that's, as I said, the little diversion on my main love.

Szóval, ahogy mondtam, ez volt a kitérő a fő szenvedélyemre.

Back to some of the more mundane issues of thinking about uncertainty.

Visszatérve a bizonytalanság hétköznapibb problémáihoz.

Here's another quiz for you --

Íme egy másik kvíz --

now suppose we've got a test for a disease

tegyük fel, hogy van egy tesztünk egy betegségre,

which isn't infallible, but it's pretty good.

amely nem tévedhetetlen, de egész jó.

It gets it right 99 percent of the time.

Az esetek 99%-ában pontos.

And I take one of you, or I take someone off the street,

És fogok valakit itt, vagy az utcáról,

and I test them for the disease in question.

és elvégzem rajtuk ennek a betegségnek a tesztjét.

Let's suppose there's a test for HIV -- the virus that causes AIDS --

Mondjuk hogy egy HIV tesztről van szó -- az AIDS-et okozó vírusról --

and the test says the person has the disease.

és a teszt szerint a személy pozitív.

What's the chance that they do?

Mi az esélye annak, hogy tényleg az?

The test gets it right 99 percent of the time.

A teszt az esetek 99%-ában helyes.

So a natural answer is 99 percent.

Tehát a természetes válasz 99%.

Who likes that answer?

Kinek szimpatikus ez a válasz?

Come on -- everyone's got to get involved.

Gyerünk -- mindenkinek részt kell vennie.

Don't think you don't trust me anymore.

Ne arra gondoljanak, hogy már nem bíznak bennem.

(Laughter)

(Nevetés)

Well, you're right to be a bit skeptical, because that's not the answer.

Nos, igaza van annak, aki szkeptikus, mert a válasz nem 99%.

That's what you might think.

Lehet, hogy ezt gondolják.

It's not the answer, and it's not because it's only part of the story.

De nem ez a válasz, és nem csak azért, mert ez csak a történet egy része.

It actually depends on how common or how rare the disease is.

Igazából azon múlik, hogy milyen gyakori vagy ritka a betegség.

So let me try and illustrate that.

Megpróbálom ezt illusztrálni.

Here's a little caricature of a million individuals.

Itt van egy ábra egymillió emberről.

So let's think about a disease that affects --

Gondoljunk egy betegségre, ami --

it's pretty rare, it affects one person in 10,000.

nagyon ritka, 10.000-ből egy embert érint.

Amongst these million individuals, most of them are healthy

Az egymillió ember közül a legtöbb egészséges

and some of them will have the disease.

és néhány beteg.

And in fact, if this is the prevalence of the disease,

Konkrétan, ha ez a betegség előfordulása,

about 100 will have the disease and the rest won't.

akkor 100 ember lesz beteg, a többi nem.

So now suppose we test them all.

Szóval tegyük fel, hogy mindegyiken elvégezzük a tesztet.

What happens?

Mi történik?

Well, amongst the 100 who do have the disease,

Aközül a 100 közül, aki beteg,

the test will get it right 99 percent of the time, and 99 will test positive.

a teszt 99%-ban helyes eredményt mutat, és 99 pozitív lesz.

Amongst all these other people who don't have the disease,

Azok között, akik nem betegek,

the test will get it right 99 percent of the time.

a teszt 99%-ban helyes lesz.

It'll only get it wrong one percent of the time.

Csak az esetek egy százalékában téved.

But there are so many of them that there'll be an enormous number of false positives.

De olyan sok van belőlük, hogy nagyon sok hamis pozitív lesz.

Put that another way --

Máshogy fogalmazva --

of all of them who test positive -- so here they are, the individuals involved --

azok közül, akiknél pozitív a teszt -- itt vannak ezek a személyek --

less than one in 100 actually have the disease.

kevesebb mint egy a százból tényleg beteg.

So even though we think the test is accurate, the important part of the story is

Tehát még ha azt is gondoljuk, hogy a teszt pontos, a lényeg,

there's another bit of information we need.

hogy szükségünk van még egy információra.

Here's the key intuition.

Íme a legfontosabb megérzés.

What we have to do, once we know the test is positive,

Amit tennünk kell, ha tudjuk, hogy a teszt pozitív,

is to weigh up the plausibility, or the likelihood, of two competing explanations.

az felmérni a hihetőségét, vagy a valószínűségét, két ellentétes magyarázatnak.

Each of those explanations has a likely bit and an unlikely bit.

Mindkét magyarázatnak van egy valószínű és egy valószínűtlen része.

One explanation is that the person doesn't have the disease --

Az egyik magyarázat, hogy a személy nem beteg --

that's overwhelmingly likely, if you pick someone at random --

ez túlnyomóan valószínű, ha valakit véletlenszerűen választunk --

but the test gets it wrong, which is unlikely.

de a teszt téved, ami nem valószínű.

The other explanation is that the person does have the disease -- that's unlikely --

A másik magyarázat, hogy a személy beteg -- valószínűtlen --

but the test gets it right, which is likely.

de a teszt helyes, ami valószínű.

And the number we end up with --

És a szám a végén --

that number which is a little bit less than one in 100 --

a szám, ami egy kicsit kevesebb, mint az egy a százban --

is to do with how likely one of those explanations is relative to the other.

az, hogy milyen valószínű az egyik magyarázat a másikkal szemben.

Each of them taken together is unlikely.

Mindkettő egyszerre valószínűtlen.

Here's a more topical example of exactly the same thing.

Itt van egy aktuálisabb példa ugyanerre.

Those of you in Britain will know about what's become rather a celebrated case

Aki Nagy-Britanniában él biztos hallott erről a híressé vált esetről,

of a woman called Sally Clark, who had two babies who died suddenly.

egy Sally Clark nevű nő esete, akinek két csecsemője is hirtelen meghalt.

And initially, it was thought that they died of what's known informally as "cot death,"

Eleinte azt gondolták, hogy egy a köznyelvben bölcsőhalálnak nevezett betegségben haltak meg,

and more formally as "Sudden Infant Death Syndrome."

amit hivatalosan hirtelen gyermekhalál szindrómának hívnak.

For various reasons, she was later charged with murder.

Kölünböző okokból az anyát később gyilkossággal vádolták.

And at the trial, her trial, a very distinguished pediatrician gave evidence

És a tárgyalásán egy nagyon elismert gyermekorvos tanúskodott,

that the chance of two cot deaths, innocent deaths, in a family like hers --

hogy a valószínűsége két bölcsőhalálnak, ártatlan halálnak, egy ilyen családban --

which was professional and non-smoking -- was one in 73 million.

dolgozó és nemdohányzó -- egy a 73 millióhoz.

To cut a long story short, she was convicted at the time.

A rövidség kedvéért, akkor elítélték.

Later, and fairly recently, acquitted on appeal -- in fact, on the second appeal.

Később, nem olyan régen, szabadlábra helyezték -- a második fellebbezés után.

And just to set it in context, you can imagine how awful it is for someone

El tudják képzelni, milyen borzasztó valakinek, aki elveszített

to have lost one child, and then two, if they're innocent,

egy gyereket, aztán kettőt, ha ártatlan, hogy elítélik

to be convicted of murdering them.

a meggyilkolásukért.

To be put through the stress of the trial, convicted of murdering them --

Hogy keresztül kell mennie a tárgyalás megpróbáltatásain,

and to spend time in a women's prison, where all the other prisoners

elítélik gyilkosságért és egy női börtönbe kerül, ahol a többi rab

think you killed your children -- is a really awful thing to happen to someone.

azt gondolja, hogy megölte a gyerekeit -- ez egy igazán borzasztó dolog, ami valakivel történhet.

And it happened in large part here because the expert got the statistics

És ez nagyrészt azért történt meg itt, mert a szakértő

horribly wrong, in two different ways.

végzetesen félreértette a statisztikát két módon.

So where did he get the one in 73 million number?

Honnan szedte az egy a 73 millióhoz számot?

He looked at some research, which said the chance of one cot death in a family

Elolvasott egy kutatást, ami azt mondta, hogy egy bölcsőhalál esélye

like Sally Clark's is about one in 8,500.

egy olyan családban, mint Sally Clarké, egy a 8.500-hoz.

So he said, "I'll assume that if you have one cot death in a family,

És azt mondta: "Feltételezem, hogyha egy bölcsőhalál van a családban,

the chance of a second child dying from cot death aren't changed."

az esélyei egy második bölcsőhalálnak ugyanazok."

So that's what statisticians would call an assumption of independence.

Statisztikusok ezt a függetlenség feltételezésének hívják.

It's like saying, "If you toss a coin and get a head the first time,

Olyan, mint azt mondani, ha feldobunk egy érmét és először fej lesz,

that won't affect the chance of getting a head the second time."

ez nem befolyásolja annak az esélyét, hogy másodszorra is fej lesz."

So if you toss a coin twice, the chance of getting a head twice are a half --

Tehát ha kétszer dobunk fel egy érmét, az esélye, hogy mind a kétszer fej lesz, az fél --

that's the chance the first time -- times a half -- the chance a second time.

az esélye annak, hogy az első fej -- szorozva féllel -- az esélye, hogy a második fej.

So he said, "Here,

Szóval azt mondta: "Feltételezem,

I'll assume that these events are independent.

hogy ezek az események függetlenek.

When you multiply 8,500 together twice,

Ha megszorozzuk a 8.500-at önmagával,

you get about 73 million."

az kb. 73 millió."

And none of this was stated to the court as an assumption

És ezt nem feltételezésként mutatták be a bíróságnak,

or presented to the jury that way.

vagy az esküdteknek.

Unfortunately here -- and, really, regrettably --

Sajnos itt -- és tényleg nagyon sajálatos módon --

first of all, in a situation like this you'd have to verify it empirically.

először is egy ilyen helyzetet empirikusan kéne igazolni.

And secondly, it's palpably false.

Másodszor, érezhetően téves.

There are lots and lots of things that we don't know about sudden infant deaths.

Rengeteg dolgot nem tudunk a hirtelen gyermekhalálról.

It might well be that there are environmental factors that we're not aware of,

Lehetséges, hogy vannak környezeti tényezők, amikről nem tudunk,

and it's pretty likely to be the case that there are

és nagyon valószínű, hogy vannak

genetic factors we're not aware of.

genetikai tényezők, amikről nem tudunk.

So if a family suffers from one cot death, you'd put them in a high-risk group.

Ha egy családban volt egy bölcsőhalál, magas veszélyeztettségű csoportba kellene tenni őket.

They've probably got these environmental risk factors

Valószínűleg fennállnak ezek a környezeti

and/or genetic risk factors we don't know about.

és/vagy genetikai tényezők, amelyekről nem tudunk.

And to argue, then, that the chance of a second death is as if you didn't know

És egy második halál esélyével érvelni úgy, mintha nem tudnánk

that information is really silly.

ezt az információt nagyon buta dolog.

It's worse than silly -- it's really bad science.

Rosszabb, mint butaság -- rossz tudomány.

Nonetheless, that's how it was presented, and at trial nobody even argued it.

Mindenesetre ezt így mutatták be, és a tárgyaláson senki sem kérdőjelezte meg.

That's the first problem.

Ez az első probléma.

The second problem is, what does the number of one in 73 million mean?

A második probléma, hogy mit jelent az egy a 73 millióhoz?

So after Sally Clark was convicted --

Azután, hogy Sally Clarkot elítélték --

you can imagine, it made rather a splash in the press --

elképzelhetik, elég nagy média visszhangot váltott ki --

one of the journalists from one of Britain's more reputable newspapers wrote that

egy újságíró Nagy-Britannia egyik tekintélyes lapjában azt írta,

what the expert had said was,

hogy a szakértő azt mondta:

"The chance that she was innocent was one in 73 million."

"Annak az esélye, hogy ártatlan, egy a 73 millióhoz."

Now, that's a logical error.

Ez egy logikai hiba.

It's exactly the same logical error as the logical error of thinking that

Ugyanaz a logikai hiba, mint azt gondolni,

after the disease test, which is 99 percent accurate,

hogyha a teszt 99%-ban hiteles,

the chance of having the disease is 99 percent.

akkor annak az esélye, hogy valaki beteg 99%.

In the disease example, we had to bear in mind two things,

A betegség példában két dolgot kellett figyelembe vennünk,

one of which was the possibility that the test got it right or not.

az egyik annak a lehetősége volt, hogy a teszt hiteles volt vagy tévedett.

And the other one was the chance, a priori, that the person had the disease or not.

A másik az a priori esélye annak, hogy egy ember beteg vagy sem.

It's exactly the same in this context.

Pontosan ugyanez a helyzet ebben az esetben.

There are two things involved -- two parts to the explanation.

Két dologról van szó -- a magyarázat két részből áll.

We want to know how likely, or relatively how likely, two different explanations are.

Szeretnénk tudni, hogy mennyire valószínű egymáshoz képest, két különböző magyarázat.

One of them is that Sally Clark was innocent --

Az egyik az, hogy Sally Clark ártatlan volt --

which is, a priori, overwhelmingly likely --

ami, a priori, nagyon valószínű --

most mothers don't kill their children.

a legtöbb anya nem öli meg a gyermekét.

And the second part of the explanation

A magyarázat másik fele,

is that she suffered an incredibly unlikely event.

hogy egy hihetetlenül ritka esemény áldozata volt.

Not as unlikely as one in 73 million, but nonetheless rather unlikely.

Nem olyan ritka, mint egy a 73 millióhoz, de mindenesetre nagyon ritka.

The other explanation is that she was guilty.

A másik magyarázat, hogy bűnös volt.

Now, we probably think a priori that's unlikely.

Valószínűleg azt gondoljuk, hogy erre a priori nem nagy az esély.

And we certainly should think in the context of a criminal trial

És mindenképpen ezt kéne feltételeznünk egy bűnügyi tárgyaláson,

that that's unlikely, because of the presumption of innocence.

hogy ez valószínűtlen, az ártatlanság vélelme miatt.

And then if she were trying to kill the children, she succeeded.

És hogyha meg akarta ölni a gyerekeket, akkor sikerrel járt.

So the chance that she's innocent isn't one in 73 million.

Tehát az ártatlanságának valószínűsége nem egy a 73 millióhoz.

We don't know what it is.

Nem tudjuk, hogy mi az.

It has to do with weighing up the strength of the other evidence against her

Arról van szó, hogy fel kell mérni az ellene szóló többi bizonyíték erősségét

and the statistical evidence.

és a statisztikai bizonyítékokat.

We know the children died.

Tudjuk, hogy a gyerekek meghaltak.

What matters is how likely or unlikely, relative to each other,

Ami számít, hogy mennyire valószínű vagy valószínűtlen egymáshoz képest

the two explanations are.

a két magyarázat.

And they're both implausible.

És mindkettő valószínűtlen.

There's a situation where errors in statistics had really profound

Ez egy olyan helyzet, ahol a statisztikai hibáknak nagyon komoly

and really unfortunate consequences.

és sajnálatos következményei voltak.

In fact, there are two other women who were convicted on the basis of the

Sőt, két másik nőt is elítéltek ennek a gyermekorvosnak

evidence of this pediatrician, who have subsequently been released on appeal.

a tanúvallomása alapján, akiket később fellebbezés után felmentettek.

Many cases were reviewed.

Sok esetet újra megvizsgáltak.

And it's particularly topical because he's currently facing a disrepute charge

És ez különösen aktuális, mert az orvos ellen bizalmatlansági vádakat emeltek

at Britain's General Medical Council.

a brit orvosi kamaránál.

So just to conclude -- what are the take-home messages from this?

Csak befejezésként -- mit érdemes ebből megjegyezni?

Well, we know that randomness and uncertainty and chance

Tudjuk, hogy a véletlen, a bizonytalanság és a szerencse

are very much a part of our everyday life.

nagyon is részei a mindennapi életnek.

It's also true -- and, although, you, as a collective, are very special in many ways,

Az is igaz -- és bár Önök kollektíven nagyon különlegesek sok szempontból,

you're completely typical in not getting the examples I gave right.

teljesen tipikusak abban, hogy rosszul válaszoltak a kérdéseimre.

It's very well documented that people get things wrong.

Nagyon jól dokumentált, hogy az emberek tévednek.

They make errors of logic in reasoning with uncertainty.

Logikai hibákat követnek el, amikor a bizonytalannal érvelnek.

We can cope with the subtleties of language brilliantly --

Nagyon jól bánunk a nyelv finom árnyalataival --

and there are interesting evolutionary questions about how we got here.

és érdekes evolúciós kérdéseket vet fel, hogy hogy jutottunk ide.

We are not good at reasoning with uncertainty.

De nem tudunk jól érvelni a bizonytalansággal.

That's an issue in our everyday lives.

És ez egy probléma a mindennapi életünkben.

As you've heard from many of the talks, statistics underpins an enormous amount

És mint azt sok előadásban hallották, a statisztika nagyon sok

of research in science -- in social science, in medicine

tudományos kutatás alapja -- a társadalomtudományban,

and indeed, quite a lot of industry.

az orvostudományban, sok iparágban.

All of quality control, which has had a major impact on industrial processing,

A minőségellenőrzés, aminek nagy hatása volt az ipari folyamatokra,

is underpinned by statistics.

alapja a statisztika.

It's something we're bad at doing.

És elég rosszak vagyunk benne.

At the very least, we should recognize that, and we tend not to.

Legalább el kéne ismernünk ezt, de nem tesszük.

To go back to the legal context, at the Sally Clark trial

Hogy visszatérjek a jogi környezetre, a Sally Clark tárgyaláson

all of the lawyers just accepted what the expert said.

az összes ügyvéd elfogadta a szakértői véleményt.

So if a pediatrician had come out and said to a jury,

Ha egy gyermekorvos azt mondta volna az esküdteknek:

"I know how to build bridges. I've built one down the road.

"Tudom hogy kell hidakat építeni. Építettem egyet arrébb.

Please drive your car home over it,"

Hazafelé vezessenek át rajta",

they would have said, "Well, pediatricians don't know how to build bridges.

az mondták volna: "A gyerekorvosok nem tudják, hogy kell hidakat építeni.

That's what engineers do."

Ez a mérnökök munkája."

On the other hand, he came out and effectively said, or implied,

Másrészről viszont azt mondta, vagy legalábbis sugallta:

"I know how to reason with uncertainty. I know how to do statistics."

"Én tudom hogyan kell a bizonytalannal érvelni. Ismerem a statisztikát."

And everyone said, "Well, that's fine. He's an expert."

És mindenki azt mondta: "Ez rendben van. Ő a szakértő."

So we need to understand where our competence is and isn't.

Szóval meg kell értsük, hogy mihez értünk, és mihez nem.

Exactly the same kinds of issues arose in the early days of DNA profiling,

Ugyanezek a problémák merültek fel a DNS jellemzés hajnalán,

when scientists, and lawyers and in some cases judges,

amikor tudósok, ügyvédek, és időnként bírók,

routinely misrepresented evidence.

rendszeresen tévesen mutatták be a bizonyítékokat.

Usually -- one hopes -- innocently, but misrepresented evidence.

Általában -- remélhetőleg -- ártatlanul, de tévesen mutatták be a bizonyítékokat.

Forensic scientists said, "The chance that this guy's innocent is one in three million."

Az igazságügyi szakértő azt mondta: "Annak az esélye, hogy ez a férfi ártatlan egy a 3 millióhoz."

Even if you believe the number, just like the 73 million to one,

Még ha el is hisszük ezt a számot, csak úgy, mint az egy a 73 millióhoz,

that's not what it meant.

nem ezt jelenti.

And there have been celebrated appeal cases

És ennek eredményeként híres fellebbezések

in Britain and elsewhere because of that.

folynak Nagy-Britanniában és máshol.

And just to finish in the context of the legal system.

És csak hogy a jogrendszer kontextusában fejezzem be.

It's all very well to say, "Let's do our best to present the evidence."

Egy dolog azt mondani, hogy "Tegyünk meg minden tőlünk telhetőt a bizonyítékok bemutatására."

But more and more, in cases of DNA profiling -- this is another one --

De egyre többször, különösen a DNS jellemzések esetében -- ez egy másik ilyen --

we expect juries, who are ordinary people --

azt várjuk az esküdtektől, akik átlagemberek --

and it's documented they're very bad at this --

és bizonyítható, hogy ebben nagyon rosszak vagyunk --

we expect juries to be able to cope with the sorts of reasoning that goes on.

azt várjuk az esküdtektől, hogy elboldoguljanak ezzel a fajta érveléssel.

In other spheres of life, if people argued -- well, except possibly for politics --

Az élet más területein, ha az emberek -- nos, talán a politikát leszámítva --

but in other spheres of life, if people argued illogically,

de az élet más területein, ha az emberek illogikusan érvelnek,

we'd say that's not a good thing.

azt mondanánk, hogy ez nem egy jó dolog.

We sort of expect it of politicians and don't hope for much more.

A politikusainktól ezt tulajdonképpen elvárjuk és nem is remélünk többet.

In the case of uncertainty, we get it wrong all the time --

A bizonytalanság esetében folyton tévedünk --

and at the very least, we should be aware of that,

a legrosszabb esetben ennek tudatában kéne lennünk,

and ideally, we might try and do something about it.

a legjobban pedig megpróbálhatnánk változtatni ezen.

Thanks very much.

Nagyon köszönöm.