Peter Donnelly: How stats fool juries

Tłumaczenie: Anna Ciszek Korekta: Kinga Skorupska

As other speakers have said, it's a rather daunting experience --

Jak zauważyli moi przedmówcy, występowanie tu

a particularly daunting experience -- to be speaking in front of this audience.

jest wyjątkowo onieśmielające.

But unlike the other speakers, I'm not going to tell you about

Jednak w przeciwieństwie do nich nie będę mówił

the mysteries of the universe, or the wonders of evolution,

o tajemnicach wszechświata, cudach ewolucji

or the really clever, innovative ways people are attacking

czy naprawdę mądrych, innowacyjnych sposobach

the major inequalities in our world.

zwalczania nierówności na świecie.

Or even the challenges of nation-states in the modern global economy.

Ani nawet o wyzwaniach globalnej gospodarki.

My brief, as you've just heard, is to tell you about statistics --

Moim zadaniem, jest mówienie o statystyce.

and, to be more precise, to tell you some exciting things about statistics.

A dokładniej, mówienie rzeczy ekscytujących. Jest to...

And that's --

A dokładniej, mówienie rzeczy ekscytujących. Jest to...

(Laughter)

(Śmiech)

-- that's rather more challenging

... trochę większe wyzwanie niż innych mówców.

than all the speakers before me and all the ones coming after me.

... trochę większe wyzwanie niż innych mówców.

(Laughter)

(Śmiech)

One of my senior colleagues told me, when I was a youngster in this profession,

Gdy zaczynałem w tej profesji, starszy kolega powiedział mi,

rather proudly, that statisticians were people who liked figures

dosyć dumnie, że statystycy to ludzie, którzy lubią liczby,

but didn't have the personality skills to become accountants.

ale brakuje im obejścia, aby zostać księgowymi.

(Laughter)

(Śmiech)

And there's another in-joke among statisticians, and that's,

Krąży jeszcze inny żart:

"How do you tell the introverted statistician from the extroverted statistician?"

„Jak odróżnić statystyka-introwertyka od statystyka-ekstrawertyka?”

To which the answer is,

„Jak odróżnić statystyka-introwertyka od statystyka-ekstrawertyka?”

"The extroverted statistician's the one who looks at the other person's shoes."

„Statystyk-ekstrawertyk wpatruje się buty innej osoby.” (Śmiech)

(Laughter)

„Statystyk-ekstrawertyk wpatruje się buty innej osoby.” (Śmiech)

But I want to tell you something useful -- and here it is, so concentrate now.

Powiem wam coś ważnego, więc się skupcie.

This evening, there's a reception in the University's Museum of Natural History.

W Muzeum Historii Naturalnej było przyjęcie.

And it's a wonderful setting, as I hope you'll find,

To przepiękne miejsce,

and a great icon to the best of the Victorian tradition.

ikona najlepszych tradycji wiktoriańskich.

It's very unlikely -- in this special setting, and this collection of people --

W tym wyjątkowym miejscu i towarzystwie

but you might just find yourself talking to someone you'd rather wish that you weren't.

możecie spotkać ludzi z którymi nie chcecie rozmawiać.

So here's what you do.

Oto co powinniście zrobić.

When they say to you, "What do you do?" -- you say, "I'm a statistician."

Na pytanie o zawód odpowiedzcie: „Jestem statystykiem.” (Śmiech)

(Laughter)

Na pytanie o zawód odpowiedzcie: „Jestem statystykiem.” (Śmiech)

Well, except they've been pre-warned now, and they'll know you're making it up.

Nikt prócz nas nie będzie wiedział, że blefujecie.

And then one of two things will happen.

Spotkacie się z dwiema możliwymi reakcjami.

They'll either discover their long-lost cousin in the other corner of the room

Rozmówca odkryje kuzyna na drugim końcu sali i się oddali.

and run over and talk to them.

Rozmówca odkryje kuzyna na drugim końcu sali i się oddali.

Or they'll suddenly become parched and/or hungry -- and often both --

Lub nagle poczuje się głodny i spragniony

and sprint off for a drink and some food.

więc pobiegnie po coś do picia czy jedzenia,

And you'll be left in peace to talk to the person you really want to talk to.

uwalniając was od swojego towarzystwa.

It's one of the challenges in our profession to try and explain what we do.

Wyjaśnienie czym zajmują się statystycy jest wyzwaniem.

We're not top on people's lists for dinner party guests and conversations and so on.

Nie królujemy na listach gości i towarzyszy rozmowy.

And it's something I've never really found a good way of doing.

Nigdy nie byłem dobry w pogawędkach.

But my wife -- who was then my girlfriend --

Mojej żonie, wtedy jeszcze mojej dziewczynie,

managed it much better than I've ever been able to.

wychodziło to znacznie lepiej.

Many years ago, when we first started going out, she was working for the BBC in Britain,

Lata temu pracowała dla BBC w Wielkiej Brytanii,

and I was, at that stage, working in America.

a ja w tym czasie pracowałem w Ameryce

I was coming back to visit her.

i przyjeżdżałem ją odwiedzać.

She told this to one of her colleagues, who said, "Well, what does your boyfriend do?"

Zapytana kim zajmuje się jej chłopak,

Sarah thought quite hard about the things I'd explained --

pomyślała o rzeczach, które jej wyjaśniałem,

and she concentrated, in those days, on listening.

a wtedy jeszcze skupiała się na słuchaniu...

(Laughter)

(Śmiech)

Don't tell her I said that.

Tylko tego nie powtórzcie.

And she was thinking about the work I did developing mathematical models

Pomyślała o rozwijaniu modeli matematycznych

for understanding evolution and modern genetics.

opisujących ewolucję i współczesną genetykę,

So when her colleague said, "What does he do?"

więc na to pytanie po krótkim zawahaniu

She paused and said, "He models things."

odpowiedziała: „Modelowaniem.”

(Laughter)

(Śmiech)

Well, her colleague suddenly got much more interested than I had any right to expect

Nagle jej znajomy zainteresował się dużo bardziej

and went on and said, "What does he model?"

i pytał dalej: „A co modeluje?”

Well, Sarah thought a little bit more about my work and said, "Genes."

Na to Sarah odpowiedziała: „Geny.”

(Laughter)

(Śmiech)

"He models genes."

„Modeluje geny.”

That is my first love, and that's what I'll tell you a little bit about.

To była moja pierwsza miłość, dlatego o niej opowiem.

What I want to do more generally is to get you thinking about

Chcę abyście zastanowili się nad rolą

the place of uncertainty and randomness and chance in our world,

niepewności, losowości i przypadku w naszym świecie,

and how we react to that, and how well we do or don't think about it.

i nad tym, jak na nie reagujemy i kiedy je rozważamy.

So you've had a pretty easy time up till now --

Jak dotąd było w miarę przyjemnie...

a few laughs, and all that kind of thing -- in the talks to date.

Trochę śmiechu i takie tam. Teraz konkrety.

You've got to think, and I'm going to ask you some questions.

Zadam Wam kilka pytań więc ruszcie głowami.

So here's the scene for the first question I'm going to ask you.

Wyobraźcie sobie rzucanie monetą raz za razem.

Can you imagine tossing a coin successively?

Wyobraźcie sobie rzucanie monetą raz za razem.

And for some reason -- which shall remain rather vague --

Z pewnego powodu, którego teraz nie wyjaśnię,

we're interested in a particular pattern.

poszukamy konkretnej sekwencji.

Here's one -- a head, followed by a tail, followed by a tail.

Reszka, po niej orzeł i drugi orzeł.

So suppose we toss a coin repeatedly.

Załóżmy, że rzucamy monetą wielokrotnie.

Then the pattern, head-tail-tail, that we've suddenly become fixated with happens here.

Wzór reszka-orzeł-orzeł występuje tutaj.

And you can count: one, two, three, four, five, six, seven, eight, nine, 10 --

Liczymy: 1, 2, 3, 4, 5, 6, 7, 8, 9 i dziesięć.

it happens after the 10th toss.

Po dziesiątym rzucie.

So you might think there are more interesting things to do, but humor me for the moment.

Zastanawiacie się po co to robimy, ale wytrzymajcie jeszcze chwilę.

Imagine this half of the audience each get out coins, and they toss them

Wyobraźmy sobie, że połowa sali rzuca monetami

until they first see the pattern head-tail-tail.

aż po raz pierwszy wypadnie reszka-orzeł-orzeł.

The first time they do it, maybe it happens after the 10th toss, as here.

Może to być po dziesiątym rzucie.

The second time, maybe it's after the fourth toss.

Może po drugim, a może po czwartym.

The next time, after the 15th toss.

Innym razem może po piętnastym.

So you do that lots and lots of times, and you average those numbers.

Po wielokrotnych rzutach uśredniamy wyniki.

That's what I want this side to think about.

Chcę żebyście pomyśleli właśnie o tym.

The other half of the audience doesn't like head-tail-tail --

Druga część sali nie lubi sekwencji reszka-orzeł-orzeł.

they think, for deep cultural reasons, that's boring --

Ich kultura utrzymuje, że jest nudna,

and they're much more interested in a different pattern -- head-tail-head.

interesuje ich inny wzór - reszka-orzeł-reszka.

So, on this side, you get out your coins, and you toss and toss and toss.

Po tej stronie bierzecie monety i rzucacie.

And you count the number of times until the pattern head-tail-head appears

Liczycie ilość rzutów, aż do wzoru reszka-orzeł-reszka

and you average them. OK?

i obliczacie średnią. Dobrze?

So on this side, you've got a number --

Po wielokrotnych rzutach

you've done it lots of times, so you get it accurately --

macie dokładną średnią rzutów

which is the average number of tosses until head-tail-tail.

do wystąpienia wzoru reszka-orzeł-orzeł

On this side, you've got a number -- the average number of tosses until head-tail-head.

To samo robimy dla wzoru reszka-orzeł-reszka.

So here's a deep mathematical fact --

Istnieje matematyczna prawda:

if you've got two numbers, one of three things must be true.

przy dwóch liczbach, są trzy możliwości.

Either they're the same, or this one's bigger than this one,

Są takie same, pierwsza jest większa od drugiej lub na odwrót.

or this one's bigger than that one.

Są takie same, pierwsza jest większa od drugiej lub na odwrót.

So what's going on here?

A w naszym przypadku?

So you've all got to think about this, and you've all got to vote --

Pomyślcie o tym przez chwilę i zagłosujemy.

and we're not moving on.

Nie widać postępu.

And I don't want to end up in the two-minute silence

Wolałbym uniknąć dwuminutowej ciszy,

to give you more time to think about it, until everyone's expressed a view. OK.

Każdy wyrazi swoją opinię.

So what you want to do is compare the average number of tosses until we first see

Chcemy porównać średnią liczbę rzutów dla wzorów

head-tail-head with the average number of tosses until we first see head-tail-tail.

reszka-orzeł-reszka z reszka-orzeł-orzeł.

Who thinks that A is true --

Kto myśli, że A jest prawdziwe?

that, on average, it'll take longer to see head-tail-head than head-tail-tail?

Tzn, że R-O-R wypada później niż R-O-O.

Who thinks that B is true -- that on average, they're the same?

B: średnio wypadają po jednakowej liczbie rzutów?

Who thinks that C is true -- that, on average, it'll take less time

C: średnio R-O-R wypada wcześniej niż R-O-O?

to see head-tail-head than head-tail-tail?

C: średnio R-O-R wypada wcześniej niż R-O-O?

OK, who hasn't voted yet? Because that's really naughty -- I said you had to.

Kto się wstrzymał? To nieładnie - przecież powiedziałem, że musicie.

(Laughter)

(Śmiech)

OK. So most people think B is true.

Większość uważa, że prawdziwe jest B.

And you might be relieved to know even rather distinguished mathematicians think that.

Nawet dosyć znani matematycy tak myślą.

It's not. A is true here.

Ale to nie prawda, prawdziwe jest A.

It takes longer, on average.

Średnio wzór R-O-R wypada później,

In fact, the average number of tosses till head-tail-head is 10

według faktycznych wyliczeń po 10 rzutach,

and the average number of tosses until head-tail-tail is eight.

zaś R-O-O wypada średnio po 8 rzutach.

How could that be?

Jak to możliwe?

Anything different about the two patterns?

Czy te dwa wzory jakoś się różnią?

There is. Head-tail-head overlaps itself.

Właśnie tak: R-O-R nakłada się na siebie.

If you went head-tail-head-tail-head, you can cunningly get two occurrences

Wyrzucając R-O-R-O-R w sprytny sposób otrzymamy

of the pattern in only five tosses.

dwa razy żądaną sekwencję w zaledwie pięciu rzutach.

You can't do that with head-tail-tail.

W przypadku R-O-O to niemożliwe,

That turns out to be important.

co okazuje się dosyć istotne.

There are two ways of thinking about this.

Można zrozumieć to na dwa sposoby.

I'll give you one of them.

Przedstawię jeden z nich.

So imagine -- let's suppose we're doing it.

Wyobraźcie sobie, że naprawdę rzucamy monetą.

On this side -- remember, you're excited about head-tail-tail;

Po tej stronie - wypatrujecie R-O-O,

you're excited about head-tail-head.

po drugiej - R-O-R

We start tossing a coin, and we get a head --

Zaczynamy rzucanie monetą i wypada reszka

and you start sitting on the edge of your seat

i wy zaczynacie być podekscytowani,

because something great and wonderful, or awesome, might be about to happen.

bo może zaraz zdarzy się coś fantastycznego.

The next toss is a tail -- you get really excited.

Następny rzut - orzełek, emocje.

The champagne's on ice just next to you; you've got the glasses chilled to celebrate.

Już wstawiacie szampana do lodu.

You're waiting with bated breath for the final toss.

Czekacie na ostatni rzut.

And if it comes down a head, that's great.

I jeśli wypadnie reszka, to świetnie.

You're done, and you celebrate.

Udało się, możecie świętować.

If it's a tail -- well, rather disappointedly, you put the glasses away

Jeśli wypadnie orzełek

and put the champagne back.

szampan wraca do lodówki.

And you keep tossing, to wait for the next head, to get excited.

Rzucacie dalej w oczekiwaniu na kolejną reszkę.

On this side, there's a different experience.

Doświadczenia po tej stronie są inne.

It's the same for the first two parts of the sequence.

Pierwsze dwa elementy sekwencji przeżywacie podobnie:

You're a little bit excited with the first head --

podekscytowanie przy pierwszej reszce,

you get rather more excited with the next tail.

trochę większe przy orzełku.

Then you toss the coin.

Potem rzucacie monetą.

If it's a tail, you crack open the champagne.

Jeśli wypadnie orzełek, otwieracie szampana.

If it's a head you're disappointed,

Jeśli reszka, jesteście zawiedzeni,

but you're still a third of the way to your pattern again.

ale znowu jesteście na dobrej drodze.

And that's an informal way of presenting it -- that's why there's a difference.

Na tym właśnie polega różnica.

Another way of thinking about it --

Podchodząc inaczej:

if we tossed a coin eight million times,

jeśli rzucimy monetą 8 milionów razy,

then we'd expect a million head-tail-heads

będziemy spodziewać się, że R-O-R wypadnie milion razy,

and a million head-tail-tails -- but the head-tail-heads could occur in clumps.

i tak samo R-O-O - jednak sekwencje R-O-R mogą występować w grupach.

So if you want to put a million things down amongst eight million positions

Więc chcąc wyznaczyć milion sekwencji z 8 milionów pozycji,

and you can have some of them overlapping, the clumps will be further apart.

z których niektóre nakładają się na siebie, grupy sekwencji będą

It's another way of getting the intuition.

bardziej oddalone od siebie.

What's the point I want to make?

Co chcę przez to powiedzieć?

It's a very, very simple example, an easily stated question in probability,

To był prosty przykład, proste pytanie z prawdopodobieństwa,

which every -- you're in good company -- everybody gets wrong.

na które każdy podaje złą odpowiedź.

This is my little diversion into my real passion, which is genetics.

Z tej dygresji przejdźmy do mojej pasji - genetyki.

There's a connection between head-tail-heads and head-tail-tails in genetics,

Nasz eksperyment ma coś wspólnego z genetyką,

and it's the following.

mianowicie podczas rzucania monetą

When you toss a coin, you get a sequence of heads and tails.

otrzymujemy sekwencję reszek lub orzełków.

When you look at DNA, there's a sequence of not two things -- heads and tails --

W DNA, widzimy sekwencję nie dwóch elementów

but four letters -- As, Gs, Cs and Ts.

ale czterech liter -- A, G, C i T.

And there are little chemical scissors, called restriction enzymes

Istnieją chemiczne nożyczki, zwane enzymami restrykcyjnymi,

which cut DNA whenever they see particular patterns.

które przcinają DNA po pewnych sekwencjach.

And they're an enormously useful tool in modern molecular biology.

To narzędzie przydatne w nowoczesnej biologii molekularnej.

And instead of asking the question, "How long until I see a head-tail-head?" --

Zamiast pytać: "Po ilu rzutach wypadnie R-O-R?"

you can ask, "How big will the chunks be when I use a restriction enzyme

pytamy: "Jak duże otrzymam kawałki, gdy użyję enzymu,

which cuts whenever it sees G-A-A-G, for example?

który tnie gdy zobaczy sekwencję G-A-A-G?

How long will those chunks be?"

Jak długie będą te kawałki?"

That's a rather trivial connection between probability and genetics.

To trywialny związek pomiędzy prawdopodobieństwem i genetyką.

There's a much deeper connection, which I don't have time to go into

Istnieje też głębszy na który nie mamy czasu,

and that is that modern genetics is a really exciting area of science.

a który czyni z genetyki ekscytujące pole do badań.

And we'll hear some talks later in the conference specifically about that.

W dalszej części konferencji będą prezentacje na ten właśnie temat.

But it turns out that unlocking the secrets in the information generated by modern

Wyjaśnianie sekretów ukrytych w danych generowanych

experimental technologies, a key part of that has to do with fairly sophisticated --

przez technologie badawcze wiąże się z użyciem zaawansowanego...

you'll be relieved to know that I do something useful in my day job,

Ulży wam, że na co dzień robię coś pożytecznego,

rather more sophisticated than the head-tail-head story --

i bardziej skomplikowanego niż rzucanie monetą...

but quite sophisticated computer modelings and mathematical modelings

Używam modelowania komputerowego i matematycznego

and modern statistical techniques.

oraz nowoczesnej statystki.

And I will give you two little snippets -- two examples --

Przedstawię dwa przykłady projektów,

of projects we're involved in in my group in Oxford,

w które angażuje się mój zespół w Oksfordzie,

both of which I think are rather exciting.

a które uważam za dosyć interesujące.

You know about the Human Genome Project.

Znacie projekt poznania ludzkiego genomu.

That was a project which aimed to read one copy of the human genome.

Miał na celu odkodowanie ludzkiego genomu jednego człowieka.

The natural thing to do after you've done that --

W następnej kolejności naturalnym było

and that's what this project, the International HapMap Project,

rozpoczęcie International HapMap Project,

which is a collaboration between labs in five or six different countries.

w którym uczestniczą laboratoria w 5-6 krajach.

Think of the Human Genome Project as learning what we've got in common,

Projekt odczytania ludzkiego genomu miał odkryć, co nas łączy,

and the HapMap Project is trying to understand

natomiast projekt HapMap Projec to próba zrozumienia,

where there are differences between different people.

skąd się biorą różnice pomiędzy ludźmi.

Why do we care about that?

Dlaczego miałoby to nas obchodzić?

Well, there are lots of reasons.

Cóż, istnieje wiele powodów.

The most pressing one is that we want to understand how some differences

Najbardziej palący z nich to zrozumienie, jak niektóre różnice

make some people susceptible to one disease -- type-2 diabetes, for example --

wpływają na większą podatność na cukrzyce,

and other differences make people more susceptible to heart disease,

zaś inne czynią ludzi bardziej podatnymi na choroby serca,

or stroke, or autism and so on.

wylewy, autyzm i tym podobne.

That's one big project.

To jeden poważny projekt.

There's a second big project,

Kolejny duży projekt,

recently funded by the Wellcome Trust in this country,

niedawno sfinansowany z funduszy Wellcome Trust,

involving very large studies --

obejmuje szeroko zakrojone badania.

thousands of individuals, with each of eight different diseases,

Tysiące osób z każdą z ośmiu różnych chorób,

common diseases like type-1 and type-2 diabetes, and coronary heart disease,

takich jak cukrzyca typu 1 lub 2, niedokrwienie serca, depresja.

bipolar disease and so on -- to try and understand the genetics.

Sprawdzamy jakie jest ich podłoże biologiczne.

To try and understand what it is about genetic differences that causes the diseases.

Sprawdzamy czy różnice genetyczne są przyczyną tych problemów.

Why do we want to do that?

Dlaczego właśnie geny?

Because we understand very little about most human diseases.

Ponieważ niewiele rozumiemy o ludzkich chorobach.

We don't know what causes them.

Nie znamy ich dokładnych przyczyn.

And if we can get in at the bottom and understand the genetics,

Jeśli udałoby się zrozumieć genetykę,

we'll have a window on the way the disease works,

mielibyśmy wgląd w to, jak działają choroby.

and a whole new way about thinking about disease therapies

Otwarłyby się nowe drogi myślenia o leczeniu,

and preventative treatment and so on.

profilaktyce i tak dalej.

So that's, as I said, the little diversion on my main love.

To taka dygresja o mojej największej miłości.

Back to some of the more mundane issues of thinking about uncertainty.

Wracając do bardziej przyziemnych kwestii myślenia o niepewności.

Here's another quiz for you --

Przypuśćmy, że dostaliście test na pewną chorobę,

now suppose we've got a test for a disease

przypuśćmy, że dostaliście test na pewną chorobę,

which isn't infallible, but it's pretty good.

który jest całkiem niezły, choć nie doskonały.

It gets it right 99 percent of the time.

Daje prawidłowe wyniki w 99% przypadków.

And I take one of you, or I take someone off the street,

Wybieram kogoś stąd i kogoś z ulicy

and I test them for the disease in question.

i sprawdzam za pomocą tego testu.

Let's suppose there's a test for HIV -- the virus that causes AIDS --

Przypuśćmy, że to test na obecność wirusa HIV, wywołującego AIDS.

and the test says the person has the disease.

Test pokazuje, że wybrana osoba jest chora.

What's the chance that they do?

Jakie jest prawdopodobieństwo, że tak jest naprawdę?

The test gets it right 99 percent of the time.

Test daje prawidłowy wynik w 99% przypadków,

So a natural answer is 99 percent.

więc naturalna odpowiedź do 99%.

Who likes that answer?

Kto jest za?

Come on -- everyone's got to get involved.

No dalej - każdy musi zagłosować.

Don't think you don't trust me anymore.

Nie myślcie, że nie można mi już ufać.

(Laughter)

(Śmiech)

Well, you're right to be a bit skeptical, because that's not the answer.

Możecie być sceptyczni, bo to nie tak.

That's what you might think.

Oto, co możecie myśleć.

It's not the answer, and it's not because it's only part of the story.

To zła odpowiedź, ponieważ to tylko część całej historii.

It actually depends on how common or how rare the disease is.

Odpowiedź zależy od tego, jak częsta jest dana choroba.

So let me try and illustrate that.

Spróbuję to zilustrować.

Here's a little caricature of a million individuals.

Oto karykatura miliona osób.

So let's think about a disease that affects --

Pomyślmy o chorobie, która jest dosyć rzadka

it's pretty rare, it affects one person in 10,000.

i występuje u jednej osoby na 10 tysięcy.

Amongst these million individuals, most of them are healthy

Większość z tego miliona osób jest zdrowa,

and some of them will have the disease.

zaś niektórzy są chorzy.

And in fact, if this is the prevalence of the disease,

Przy takiej częstotliwości występowania około 100 osób

about 100 will have the disease and the rest won't.

będzie chorych, a reszta nie.

So now suppose we test them all.

Przypuśćmy, że wszystkich poddamy testowi.

What happens?

Co się okazuje?

Well, amongst the 100 who do have the disease,

Pomiędzy 100 chorymi osobami

the test will get it right 99 percent of the time, and 99 will test positive.

99 otrzyma pozytywny wynik - 99%.

Amongst all these other people who don't have the disease,

Pomiędzy tymi wszystkimi, którzy nie są chorzy,

the test will get it right 99 percent of the time.

test poda prawidłową diagnozę w 99% przypadków,

It'll only get it wrong one percent of the time.

zaś błędną przy zaledwie 1%.

But there are so many of them that there'll be an enormous number of false positives.

Jednak badana grupa jest tak duża, że liczba błędnych wyników będzie znaczna.

Put that another way --

Jednak badana grupa jest tak duża, że liczba błędnych wyników będzie znaczna.

of all of them who test positive -- so here they are, the individuals involved --

Ze wszystkich, którzy otrzymają pozytywny wynik

less than one in 100 actually have the disease.

mniej niż jeden na 100 będzie naprawdę chory.

So even though we think the test is accurate, the important part of the story is

Nawet jeśli sądzimy, że test jest dokładny, nadal brakuje nam

there's another bit of information we need.

istotnej części informacji.

Here's the key intuition.

Oto kluczowa intuicja.

What we have to do, once we know the test is positive,

Gdy już wiemy, że wynik testu jest pozytywny,

is to weigh up the plausibility, or the likelihood, of two competing explanations.

musimy porównać prawdopodobieństwo dwóch możliwych wyjaśnień.

Each of those explanations has a likely bit and an unlikely bit.

Każde z nich ma prawdopodobną część i mało prawdopodobną część.

One explanation is that the person doesn't have the disease --

Jedno wyjaśnienie jest takie, że dana osoba nie jest chora -

that's overwhelmingly likely, if you pick someone at random --

co jest prawdopodobne, jeśli została wybrana losowo -

but the test gets it wrong, which is unlikely.

tylko test podał nieprawidłowy wynik, co jest mało prawdopodobne.

The other explanation is that the person does have the disease -- that's unlikely --

Albo: dana osoba jest chora - co jest mało prawdopodobne -

but the test gets it right, which is likely.

i test podaje prawidłowy wynik, co jest bardzo prawdopodobne.

And the number we end up with --

Liczba, którą na końcu otrzymujemy --

that number which is a little bit less than one in 100 --

ta trochę mniejsza niż jeden na 100 -

is to do with how likely one of those explanations is relative to the other.

zależy od tego, które z tych wyjaśnień jest bardziej prawdopodobne.

Each of them taken together is unlikely.

Każde z nich razem jest dość mało prawdopodobne.

Here's a more topical example of exactly the same thing.

Pokażę teraz ten same problem.

Those of you in Britain will know about what's become rather a celebrated case

Mieszkając w Wielkiej Brytanii można było usłyszeć o sprawie

of a woman called Sally Clark, who had two babies who died suddenly.

Sally Clark, matki dwojga dzieci, które nagle zmarły.

And initially, it was thought that they died of what's known informally as "cot death,"

Początkowo za przyczynę uznano

and more formally as "Sudden Infant Death Syndrome."

zespół nagłej śmierci łóżeczkowej.

For various reasons, she was later charged with murder.

Potem oskarżono ją o morderstwo.

And at the trial, her trial, a very distinguished pediatrician gave evidence

Podczas rozprawy znany pediatra powiedział,

that the chance of two cot deaths, innocent deaths, in a family like hers --

że tutaj prawdopodobieństwo dwóch zgonów z tego samego powodu,

which was professional and non-smoking -- was one in 73 million.

w dobrze wykształconej i niepalącej rodzinie wynosi 1 do 73 milionów.

To cut a long story short, she was convicted at the time.

Pani Clark została wtedy uznana za winną.

Later, and fairly recently, acquitted on appeal -- in fact, on the second appeal.

Niedawno została uniewinniona w wyniku drugiej apelacji.

And just to set it in context, you can imagine how awful it is for someone

Możecie sobie wyobrazić, jak okropna musi być

to have lost one child, and then two, if they're innocent,

utrata dwojga dzieci i niesłuszne

to be convicted of murdering them.

oskarżenie o ich zamordowanie,

To be put through the stress of the trial, convicted of murdering them --

przejście przez piekło rozpraw

and to spend time in a women's prison, where all the other prisoners

i odsiadka w więzieniu dla kobiet,

think you killed your children -- is a really awful thing to happen to someone.

gdzie skazane myślą, że zabiłaś swoje dzieci.

And it happened in large part here because the expert got the statistics

Wszystko dlatego, że eksperci zinterpretowali statystki

horribly wrong, in two different ways.

nieprawidłowo, z dwóch rożnych powodów.

So where did he get the one in 73 million number?

Skąd pediatra wziął 1 na 73 miliony?

He looked at some research, which said the chance of one cot death in a family

Popatrzył na badania gdzie to prawdopodobnieństwo

like Sally Clark's is about one in 8,500.

w rodzinie typu pani Clark wynosi 1 na 8 i pół tysiąca.

So he said, "I'll assume that if you have one cot death in a family,

Założył, że jeśli wystąpił jeden zgon, to prawdopodobieństwo

the chance of a second child dying from cot death aren't changed."

śmierci drugiego dziecka jest takie samo jak pierwszego.

So that's what statisticians would call an assumption of independence.

To założenie niezależności zdarzeń.

It's like saying, "If you toss a coin and get a head the first time,

To stwierdzić, przy rzucaniu monetą,

that won't affect the chance of getting a head the second time."

że pierwszy wynik nie wpływa na prawdopodobieństwo następnego.

So if you toss a coin twice, the chance of getting a head twice are a half --

Prawdopodobieństwo wyrzucenia dwóch reszek pod rząd to 1/2 razy 1/2,

that's the chance the first time -- times a half -- the chance a second time.

Prawdopodobieństwo wypadnięcia pierwszej reszki razy drugiej.

So he said, "Here,

Ten lekarz powiedział: „Załóżmy,

I'll assume that these events are independent.

że te wydarzenia są niezależne.

When you multiply 8,500 together twice,

Mnożąc 8500 razy 8500

you get about 73 million."

otrzymujemy około 73 miliony."

And none of this was stated to the court as an assumption

Założenie to nie było przedstawione sędziom,

or presented to the jury that way.

ani wyjaśnione ławie przysięgłych.

Unfortunately here -- and, really, regrettably --

Niestety w takich sytuacjach jak ta

first of all, in a situation like this you'd have to verify it empirically.

konieczna jest, po pierwsze, weryfikacja empiryczna.

And secondly, it's palpably false.

Po drugie, założenie to jest po prostu błędne.

There are lots and lots of things that we don't know about sudden infant deaths.

Nie wiemy wszystkiego o nagłej śmierci łóżeczkowej.

It might well be that there are environmental factors that we're not aware of,

Możemy być nieświadomi wpływu czynników środowiskowych

and it's pretty likely to be the case that there are

i jest bardzo prawdopodobne, że istnieją

genetic factors we're not aware of.

czynniki genetyczne, których nie znamy.

So if a family suffers from one cot death, you'd put them in a high-risk group.

Jeśli w rodzinie wystąpi jedna śmierć łóżeczkowa, może być ona w grupie ryzyka.

They've probably got these environmental risk factors

Działały tam czynniki środowiskowe

and/or genetic risk factors we don't know about.

lub genetyczne, o których nie wiemy.

And to argue, then, that the chance of a second death is as if you didn't know

Argumentowanie, że prawdopodobieństwo drugiej śmierci jest takie,

that information is really silly.

jak byśmy nie wiedzieli o pierwszej, jest niedorzeczne. To błąd.

It's worse than silly -- it's really bad science.

jak byśmy nie wiedzieli o pierwszej, jest niedorzeczne. To błąd.

Nonetheless, that's how it was presented, and at trial nobody even argued it.

Tak to zostało przedstawione i nikt się nie sprzeciwił.

That's the first problem.

To pierwszy problem.

The second problem is, what does the number of one in 73 million mean?

Drugi problem to to, co oznacza 1 na 73 miliony?

So after Sally Clark was convicted --

Po skazaniu Sally Clark

you can imagine, it made rather a splash in the press --

jej sprawa trafiła na pierwsze strony gazet,

one of the journalists from one of Britain's more reputable newspapers wrote that

jeden z dziennikarzy z dobrej gazety napisał,

what the expert had said was,

że według eksperta,

"The chance that she was innocent was one in 73 million."

"Prawdopodobieństwo, że była niewinna wynosiło 1 do 73 milionów."

Now, that's a logical error.

To jest poważny błąd logiczny.

It's exactly the same logical error as the logical error of thinking that

Taki sam, jak myśleć, że po teście na daną chorobę,

after the disease test, which is 99 percent accurate,

który ma 99% skuteczności,

the chance of having the disease is 99 percent.

prawdopodobieństwo bycia chorym wynosi 99%.

In the disease example, we had to bear in mind two things,

W przypadku testu musimy wziąć pod uwagę dwie rzeczy.

one of which was the possibility that the test got it right or not.

Prawdopodobieństwo, że wynik testu był prawidłowy

And the other one was the chance, a priori, that the person had the disease or not.

i prawdopodobieństwo bycia chorym a priori.

It's exactly the same in this context.

W sprawie Sally Clark chodziło o to samo.

There are two things involved -- two parts to the explanation.

Istnieją dwa czynniki - dwie części wyjaśnienia.

We want to know how likely, or relatively how likely, two different explanations are.

Jak prawdopodobne, są te dwa różne wyjaśnienia?

One of them is that Sally Clark was innocent --

Jedno mówi, że Sally Clark była niewinna

which is, a priori, overwhelmingly likely --

i to a priori jest bardzo prawdopodobne,

most mothers don't kill their children.

większość matek nie zabija swoich dzieci.

And the second part of the explanation

Drugie możliwe wyjaśnienie mówi,

is that she suffered an incredibly unlikely event.

że przydarzyło się jej nieprawdopodobne zdarzenie.

Not as unlikely as one in 73 million, but nonetheless rather unlikely.

Wcale nie 1/73 mln, ale nadal mało prawdopodobne.

The other explanation is that she was guilty.

Mogła też być winna.

Now, we probably think a priori that's unlikely.

Tutaj uznamy je pewnie a priori za mało prawdopodobne.

And we certainly should think in the context of a criminal trial

Powinniśmy tak myśleć szczególnie w kontekście rozprawy sądowej

that that's unlikely, because of the presumption of innocence.

ze względu na zasadę domniemania niewinności.

And then if she were trying to kill the children, she succeeded.

I jeszcze, jeśli Clark próbowała zabić dzieci, udało jej się.

So the chance that she's innocent isn't one in 73 million.

Wtedy prawdopodobieństwo, że jest niewinna, nie wynosi wcale 1/73 miliona.

We don't know what it is.

Nie wiemy, ile wynosi.

It has to do with weighing up the strength of the other evidence against her

Należałoby porównać moc innych dowodów przeciwko niej

and the statistical evidence.

plus dane statystyczne.

We know the children died.

Wiemy, że dzieci zmarły.

What matters is how likely or unlikely, relative to each other,

Istotnym jest, jak bardzo prawdopodobne lub nie są względem siebie

the two explanations are.

dwa różne wyjaśnienia.

And they're both implausible.

Obydwa są mało prawdopodobne.

There's a situation where errors in statistics had really profound

W tej sytuacji błędy w statystyce miały naprawdę

and really unfortunate consequences.

ogromne i przykre konsekwencje.

In fact, there are two other women who were convicted on the basis of the

Dwie inne kobiety też zostały skazane na podstawie

evidence of this pediatrician, who have subsequently been released on appeal.

dowodów tego pediatry - po apelacji je uniewinniono.

Many cases were reviewed.

Wiele wyroków zostało zmienionych.

And it's particularly topical because he's currently facing a disrepute charge

Lekarz ten został oskarżony o kompromitację profesji

at Britain's General Medical Council.

przez Brytyjską Naczelną Radę Lekarską.

So just to conclude -- what are the take-home messages from this?

Jakie wnioski powinniśmy z tego wyciągnąć?

Well, we know that randomness and uncertainty and chance

Losowość, niepewność i prawdopodobieństwo

are very much a part of our everyday life.

odgrywają znaczną rolę w naszym życiu.

It's also true -- and, although, you, as a collective, are very special in many ways,

Jako grupa jesteście z wielu względów wyjątkowi,

you're completely typical in not getting the examples I gave right.

nie podaliście jednak prawidłowych odpowiedzi na moje przykłady.

It's very well documented that people get things wrong.

Błędne wnioskowanie w tym zakresie jest typowe.

They make errors of logic in reasoning with uncertainty.

Obcując z niepewnością popełniamy błędy logiczne.

We can cope with the subtleties of language brilliantly --

Doskonale radzimy sobie z językiem

and there are interesting evolutionary questions about how we got here.

i ewolucja ciekawie wyjaśnia jak to się stało.

We are not good at reasoning with uncertainty.

Jednak słabo radzimy sobie z niepewnością.

That's an issue in our everyday lives.

To problem życia codziennego.

As you've heard from many of the talks, statistics underpins an enormous amount

Na statystyce opiera się ogromna ilość

of research in science -- in social science, in medicine

badań naukowych (w socjologii, medycynie)

and indeed, quite a lot of industry.

i wiele sektorów przemysłowych.

All of quality control, which has had a major impact on industrial processing,

Kontrola jakości, która wpłynęła na produkcję przemysłową,

is underpinned by statistics.

opiera się na statystyce.

It's something we're bad at doing.

A to z nią sobie nie radzimy.

At the very least, we should recognize that, and we tend not to.

Powinniśmy to sobie uświadomić.

To go back to the legal context, at the Sally Clark trial

Na rozprawie Sally Clark

all of the lawyers just accepted what the expert said.

wszyscy zaakceptowali słowa eksperta.

So if a pediatrician had come out and said to a jury,

Jeśli pediatra powiedziałby ławie przysięgłych:

"I know how to build bridges. I've built one down the road.

"Umiem budować mosty. Postawiłem jeden na tej drodze.

Please drive your car home over it,"

Proszę przejechać przez niego w drodze do domu"

they would have said, "Well, pediatricians don't know how to build bridges.

większość byłaby sceptyczna,

That's what engineers do."

bo to zadanie dla inżyniera.

On the other hand, he came out and effectively said, or implied,

Ten sam lekarz zasugerował,

"I know how to reason with uncertainty. I know how to do statistics."

że zna się na statystyce

And everyone said, "Well, that's fine. He's an expert."

a wszyscy przyklasnęli: "Dobrze. Jest ekspertem."

So we need to understand where our competence is and isn't.

Musimy wiedzieć, co potrafimy, a czego nie.

Exactly the same kinds of issues arose in the early days of DNA profiling,

Podobnie było we wczesnych dniach analizowania DNA,

when scientists, and lawyers and in some cases judges,

gdy naukowcy, prawnicy, a czasem i sędziowie,

routinely misrepresented evidence.

notorycznie błędnie interpretowali materiał dowodowy.

Usually -- one hopes -- innocently, but misrepresented evidence.

Zazwyczaj nieświadomie, ale jednak błędnie.

Forensic scientists said, "The chance that this guy's innocent is one in three million."

Eksperci medycyny sądowej mówili: "Szansa, że jest niewinny wynosi 1 do 3 mln."

Even if you believe the number, just like the 73 million to one,

Nawet jeśli ufa się tym wyliczeniom

that's not what it meant.

to ich znaczenie jest całkiem inne.

And there have been celebrated appeal cases

Z tego powodu w Wielkiej Brytanii i innych krajach

in Britain and elsewhere because of that.

było wiele uniewinnień.

And just to finish in the context of the legal system.

W kontekście prawniczym łatwo powiedzieć

It's all very well to say, "Let's do our best to present the evidence."

"Zróbmy co w naszej mocy, aby przedstawić dowody."

But more and more, in cases of DNA profiling -- this is another one --

Jednak w sprawach wymagających ustalenia profilu DNA

we expect juries, who are ordinary people --

oczekujemy od ław sędziowskich, normalnych ludzi,

and it's documented they're very bad at this --

tego z czym sobie dobrze nie radzą,

we expect juries to be able to cope with the sorts of reasoning that goes on.

oczekujemy rozumienia statystycznej argumentacji.

In other spheres of life, if people argued -- well, except possibly for politics --

W innych sferach życia... Może z wyjątkiem polityki.

but in other spheres of life, if people argued illogically,

Gdyby ktoś używał nielogicznych argumentów,

we'd say that's not a good thing.

od razu byśmy się sprzeciwili.

We sort of expect it of politicians and don't hope for much more.

Po politykach jednak nie spodziewamy się wiele.

In the case of uncertainty, we get it wrong all the time --

Przy prawdopodobieństwie mylimy się cały czas.

and at the very least, we should be aware of that,

Przynajmniej powinniśmy być tego świadomi.

and ideally, we might try and do something about it.

Najlepiej, zaradźmy temu. Bardzo dziękuję.

Thanks very much.

Najlepiej, zaradźmy temu. Bardzo dziękuję.