Peter Donnelly: How stats fool juries

Tradutor: Margarida Ferreira Revisora: Mafalda Ferreira

Como outros oradores já disseram,

é uma experiência assustadora falar em frente desta audiência.

Mas, ao contrário dos outros oradores,

não vou falar dos mistérios do universo nem das maravilhas da evolução,

nem das formas inteligentes e inovadoras

As other speakers have said, it's a rather daunting experience --

com que as pessoas estão a atacar as desigualdades no nosso mundo.

a particularly daunting experience -- to be speaking in front of this audience.

Nem mesmo dos problemas das nações-estados na moderna economia mundial.

But unlike the other speakers, I'm not going to tell you about

the mysteries of the universe, or the wonders of evolution,

Como já ouviram dizer, vou falar de estatísticas

or the really clever, innovative ways people are attacking

e, para ser mais preciso, vou falar de coisas apaixonantes na estatística.

the major inequalities in our world.

(Risos)

Or even the challenges of nation-states in the modern global economy.

Para mim, é muito mais desafiador,

do que todos os oradores antes de mim e dos que vierem depois.

My brief, as you've just heard, is to tell you about statistics --

(Risos)

Um dos meus colegas mais velhos disse-me, quando eu era novato nesta profissão,

and, to be more precise, to tell you some exciting things about statistics.

And that's --

orgulhosamente, que os estatísticos eram pessoas que gostavam de números,

(Laughter)

-- that's rather more challenging

than all the speakers before me and all the ones coming after me.

mas não tinham a personalidade necessária para serem contabilistas.

(Laughter)

(Risos)

One of my senior colleagues told me, when I was a youngster in this profession,

Há uma outra piada, entre os estatísticos, que é:

"Qual a diferença entre um estatístico introvertido e um extrovertido?"

rather proudly, that statisticians were people who liked figures

but didn't have the personality skills to become accountants.

E a resposta é:

"O estatístico extrovertido é aquele que olha para os sapatos dos outros".

(Laughter)

And there's another in-joke among statisticians, and that's,

(Risos)

"How do you tell the introverted statistician from the extroverted statistician?"

Mas eu quero falar-vos de uma coisa útil — cá vai, por isso concentrem-se.

To which the answer is,

"The extroverted statistician's the one who looks at the other person's shoes."

Esta noite, há uma receção no Museu de História Natural da Universidade.

É um ambiente magnífico, espero que apreciem,

(Laughter)

é um muito representativo do melhor da tradição vitoriana.

But I want to tell you something useful -- and here it is, so concentrate now.

É pouco provável — neste ambiente especial e com este grupo de pessoas —

This evening, there's a reception in the University's Museum of Natural History.

mas talvez se encontrem a falar com alguém com quem preferiam não falar.

And it's a wonderful setting, as I hope you'll find,

and a great icon to the best of the Victorian tradition.

Nesse caso, façam o seguinte: Quando vos perguntarem:

"O que é que faz?", digam: "Sou estatístico".

It's very unlikely -- in this special setting, and this collection of people --

(Risos)

O pior é que agora já estão avisados e sabem que vocês estão a fingir.

but you might just find yourself talking to someone you'd rather wish that you weren't.

Então, acontece uma destas duas coisas.

So here's what you do.

Ou descobrem um primo distante no outro canto da sala

When they say to you, "What do you do?" -- you say, "I'm a statistician."

e vão a correr falar com ele,

ou ficam com sede ou fome, ou as duas coisas,

(Laughter)

Well, except they've been pre-warned now, and they'll know you're making it up.

e vão à procura duma bebida e de qualquer coisa para comer.

E vocês ficam à vontade para falarem com a pessoa que pretendem.

And then one of two things will happen.

They'll either discover their long-lost cousin in the other corner of the room

É um dos problemas na nossa profissão tentar explicar o que fazemos.

and run over and talk to them.

Não somos os melhores convivas para jantares nem para conversas.

Or they'll suddenly become parched and/or hungry -- and often both --

and sprint off for a drink and some food.

E é uma coisa para que nunca tive muito jeito

And you'll be left in peace to talk to the person you really want to talk to.

Mas a minha mulher — que, na altura, era minha namorada —

It's one of the challenges in our profession to try and explain what we do.

conseguia-o muito melhor do que eu.

We're not top on people's lists for dinner party guests and conversations and so on.

Há muitos anos, quando começámos a sair, ela trabalhava para a BBC, na Grã-Bretanha

e eu, naquela altura, trabalhava nos EUA.

And it's something I've never really found a good way of doing.

Eu tinha vindo visitá-la.

But my wife -- who was then my girlfriend --

Ela disse isso a uma colega, que perguntou:

managed it much better than I've ever been able to.

"O que é que o teu namorado faz?"

Many years ago, when we first started going out, she was working for the BBC in Britain,

Sarah pôs-se a refletir nas coisas que eu lhe contava

— naquele tempo, fazia um esforço para me escutar.

and I was, at that stage, working in America.

I was coming back to visit her.

(Risos)

She told this to one of her colleagues, who said, "Well, what does your boyfriend do?"

Não lhe digam que eu contei isto.

Pensava no trabalho que eu fazia a desenvolver modelos matemáticos

Sarah thought quite hard about the things I'd explained --

and she concentrated, in those days, on listening.

para compreender a evolução e a genética moderna.

Por isso, quando a colega perguntou: "O que é que ele faz?"

(Laughter)

ela respondeu: "Modela coisas".

Don't tell her I said that.

And she was thinking about the work I did developing mathematical models

(Risos)

A colega ficou muito mais interessada do que eu tinha o direito a esperar

for understanding evolution and modern genetics.

e continuou a perguntar: "O que é que ele modela?"

So when her colleague said, "What does he do?"

Sarah pensou um pouco mais no meu trabalho e disse: "Genes".

She paused and said, "He models things."

(Risos)

(Laughter)

Well, her colleague suddenly got much more interested than I had any right to expect

"Modela genes".

É esse o meu primeiro amor, e não vos digo mais nada sobre isso.

and went on and said, "What does he model?"

Well, Sarah thought a little bit more about my work and said, "Genes."

O que eu queria, de modo geral, é pôr-vos a pensar

(Laughter)

no papel da incerteza, do aleatório e do acaso, no nosso mundo,

"He models genes."

e como reagimos a isso, como pensamos nisso, bem ou mal.

That is my first love, and that's what I'll tell you a little bit about.

Vocês já passaram um bom bocado, até agora

What I want to do more generally is to get you thinking about

— umas gargalhadas, e isso tudo — nas palestras até aqui.

Vão ter que pensar e eu vou fazer umas perguntas.

the place of uncertainty and randomness and chance in our world,

Este é o cenário para a primeira pergunta que vou fazer.

and how we react to that, and how well we do or don't think about it.

Imaginem uma moeda a ser lançada ao ar, sucessivamente.

Por alguma razão — que se vai manter bastante vaga —

So you've had a pretty easy time up till now --

a few laughs, and all that kind of thing -- in the talks to date.

estamos interessados num padrão especial.

You've got to think, and I'm going to ask you some questions.

É este — uma cara, seguida por uma coroa, seguida por uma coroa

So here's the scene for the first question I'm going to ask you.

Suponham que atiram uma moeda ao ar, repetidas vezes.

Can you imagine tossing a coin successively?

Então, o padrão caras-coroa-coroa, que escolhemos, ocorre aqui.

And for some reason -- which shall remain rather vague --

we're interested in a particular pattern.

Podemos contar: um, dois, três, quatro, cinco, seis, sete, oito, nove, dez

Here's one -- a head, followed by a tail, followed by a tail.

— acontece após o 10.º lançamento.

So suppose we toss a coin repeatedly.

Podem pensar que há coisas mais interessantes para fazer,

Then the pattern, head-tail-tail, that we've suddenly become fixated with happens here.

mas tenham paciência.

Imaginem que esta metade da audiência tem moedas e as lançam ao ar,

And you can count: one, two, three, four, five, six, seven, eight, nine, 10 --

até que veem o padrão cara-coroa-coroa.

Pode acontecer que a primeira vez ocorra depois do 10.º lançamento.

it happens after the 10th toss.

So you might think there are more interesting things to do, but humor me for the moment.

A segunda vez talvez após o quarto.

A vez seguinte, após o 15.º.

Imagine this half of the audience each get out coins, and they toss them

Fazemos muitos lançamentos e tiramos a média a esses números.

É nisso que eu quero que este lado pense.

until they first see the pattern head-tail-tail.

A outra metade da audiência não gosta de cara-coroa-coroa.

The first time they do it, maybe it happens after the 10th toss, as here.

The second time, maybe it's after the fourth toss.

Por profundas razões culturais, pensam que é aborrecida.

The next time, after the 15th toss.

Estão mais interessados noutro padrão — cara-coroa-cara.

So you do that lots and lots of times, and you average those numbers.

Deste lado, recebem as moedas e começam os lançamentos.

That's what I want this side to think about.

Contam o número de vezes, até aparecer o padrão cara-coroa-cara

The other half of the audience doesn't like head-tail-tail --

e fazem a média. Ok?

they think, for deep cultural reasons, that's boring --

Então, deste lado, têm um número

and they're much more interested in a different pattern -- head-tail-head.

— fizeram isso montes de vezes, têm um número exato —

So, on this side, you get out your coins, and you toss and toss and toss.

que é o número médio de lançamentos até cara-coroa-coroa.

And you count the number of times until the pattern head-tail-head appears

Deste lado, têm o número médio de lançamentos até cara-coroa-cara.

and you average them. OK?

Há uma regra matemática fundamental

So on this side, you've got a number --

— se já têm os dois números, uma de três coisas é verdade.

you've done it lots of times, so you get it accurately --

Ou são iguais, ou este é maior do que este,

which is the average number of tosses until head-tail-tail.

ou este é maior do que este.

On this side, you've got a number -- the average number of tosses until head-tail-head.

O que se passa aqui?

Agora vão ter que pensar nisto e vão ter que votar

So here's a deep mathematical fact --

e daqui não saímos.

if you've got two numbers, one of three things must be true.

Não quero dar-vos tempo demais para refletir nisso,

Either they're the same, or this one's bigger than this one,

enquanto não tiverem votado todos.

or this one's bigger than that one.

Comparem o número médio de lançamentos até termos visto cara-coroa-coroa,

So what's going on here?

So you've all got to think about this, and you've all got to vote --

com o número médio de lançamentos até termos visto cara-coroa-cara.

and we're not moving on.

And I don't want to end up in the two-minute silence

to give you more time to think about it, until everyone's expressed a view. OK.

Quem acha que A é verdadeiro,

que, em média, é mais demorado ver caras-coroa-caras do que cara-coroa-coroa?

So what you want to do is compare the average number of tosses until we first see

Quem pensa que B é verdadeiro, que, em média, são iguais?

head-tail-head with the average number of tosses until we first see head-tail-tail.

Quem pensa que C é verdadeiro,

que, em média, é menos demorado ver cara-coroa-cara do que cara-coroa-coroa?

Who thinks that A is true --

that, on average, it'll take longer to see head-tail-head than head-tail-tail?

Quem é que não votou?

Isso é muito chato, eu disse que tinham que votar.

Who thinks that B is true -- that on average, they're the same?

(Risos)

A maior parte das pessoas acha que B é que é verdade.

Who thinks that C is true -- that, on average, it'll take less time

Podem ficar tranquilos porque eminentes matemáticos pensam o mesmo.

to see head-tail-head than head-tail-tail?

Mas não é. É A que é verdade,

OK, who hasn't voted yet? Because that's really naughty -- I said you had to.

(Laughter)

Demora mais tempo, em média.

O número médio de lançamentos até cara-coroa-cara é 10

OK. So most people think B is true.

e o número médio de lançamentos até cara-coroa-coroa é 8.

And you might be relieved to know even rather distinguished mathematicians think that.

It's not. A is true here.

Como é que isso pode ser?

Há alguma diferença entre os dois padrões?

It takes longer, on average.

In fact, the average number of tosses till head-tail-head is 10

and the average number of tosses until head-tail-tail is eight.

Há sim. Em cara-coroa-cara a última é igual à primeira.

How could that be?

Se fizessem cara-coroa-cara-coroa-cara, podiam obter facilmente duas ocorrências

Anything different about the two patterns?

do padrão apenas em cinco lançamentos.

Não podem fazer isso com cara-coroa-coroa.

There is. Head-tail-head overlaps itself.

Acontece que isto é importante.

Há duas formas de pensar nisto.

If you went head-tail-head-tail-head, you can cunningly get two occurrences

Vou dar-vos uma delas.

Suponhamos que começamos os lançamentos.

of the pattern in only five tosses.

Lembrem-se, deste lado estão obcecados com cara-coroa-coroa,

You can't do that with head-tail-tail.

e vocês com cara-coroa-cara.

Começamos os lançamentos e sai cara.

That turns out to be important.

There are two ways of thinking about this.

Vocês retorcem-se na cadeira,

I'll give you one of them.

porque pode estar para acontecer uma coisa maravilhosa, espantosa.

So imagine -- let's suppose we're doing it.

On this side -- remember, you're excited about head-tail-tail;

O lançamento seguinte é coroa — vocês ficam entusiasmadíssimos.

you're excited about head-tail-head.

O champanhe no gelo está perto, os copos estão gelados, para a festa.

We start tossing a coin, and we get a head --

Estão à espera, de respiração suspensa, do lançamento final.

and you start sitting on the edge of your seat

because something great and wonderful, or awesome, might be about to happen.

Se for cara, é ótimo.

Ficam contentes e é uma festa.

Se for coroa, desiludidos, põem os copos de lado

The next toss is a tail -- you get really excited.

The champagne's on ice just next to you; you've got the glasses chilled to celebrate.

e mandam embora o champanhe.

Continuam os lançamentos à espera que saia cara.

You're waiting with bated breath for the final toss.

Deste lado, há uma experiência diferente.

And if it comes down a head, that's great.

É o mesmo nas duas primeiras partes da sequência.

You're done, and you celebrate.

If it's a tail -- well, rather disappointedly, you put the glasses away

Ficam um pouco entusiasmados com a primeira cara

and put the champagne back.

— ficam mais entusiasmados com a coroa a seguir.

And you keep tossing, to wait for the next head, to get excited.

Depois lançam a moeda.

Se for coroa, podem abrir o champanhe.

On this side, there's a different experience.

Se for cara, ficam desiludidos

It's the same for the first two parts of the sequence.

mas voltam a estar a um terço do caminho do vosso padrão.

You're a little bit excited with the first head --

Esta é uma maneira informal de apresentar — é por isso que há uma diferença.

you get rather more excited with the next tail.

Then you toss the coin.

Outra forma de pensar nisso.

If it's a tail, you crack open the champagne.

Se lançarmos uma moeda oito milhões de vezes,

If it's a head you're disappointed,

podemos esperar um milhão de cara-coroa-cara

but you're still a third of the way to your pattern again.

e um milhão de cara-coroa-coroa mas cara-coroa-cara pode ocorrer em cachos.

And that's an informal way of presenting it -- that's why there's a difference.

Portanto, se quiserem pôr um milhão de coisas entre oito milhões de posições

Another way of thinking about it --

if we tossed a coin eight million times,

e podemos ter algumas que se sobrepõem, os cachos estarão mais separados.

then we'd expect a million head-tail-heads

and a million head-tail-tails -- but the head-tail-heads could occur in clumps.

É outra forma de tornarmos as coisas intuitivas.

Onde é que eu quero chegar?

É um exemplo muito simples, uma questão de probabilidade fácil

So if you want to put a million things down amongst eight million positions

and you can have some of them overlapping, the clumps will be further apart.

em que toda a gente se engana — e vocês estão bem acompanhados.

Esta é um pequeno desvio para chegar à minha paixão, que é a genética.

It's another way of getting the intuition.

What's the point I want to make?

Há uma ligação entre cara-coroa-cara e cara-coroa-coroa, na genética.

It's a very, very simple example, an easily stated question in probability,

que é a seguinte.

which every -- you're in good company -- everybody gets wrong.

Quando lançamos uma moeda, obtemos uma sequência de caras e coroas.

This is my little diversion into my real passion, which is genetics.

No ADN, há uma sequência que não é de duas coisas — caras e coroas —

There's a connection between head-tail-heads and head-tail-tails in genetics,

mas de quatro letras — A, G, C e T.

E há pequenas tesouras químicas, chamadas enzimas de restrição

and it's the following.

que cortam o ADN sempre que veem determinados padrões.

When you toss a coin, you get a sequence of heads and tails.

É uma ferramenta extremamente útil na moderna biologia molecular.

When you look at DNA, there's a sequence of not two things -- heads and tails --

Não perguntem: "Ao fim de quanto tempo ocorre uma cara-coroa-cara?"

but four letters -- As, Gs, Cs and Ts.

And there are little chemical scissors, called restriction enzymes

perguntem: "De que tamanho são os cachos se usar uma enzima de restrição

which cut DNA whenever they see particular patterns.

"que corta quando vê G-A-A-G, por exemplo?"

And they're an enormously useful tool in modern molecular biology.

"De que tamanho serão esses cachos?"

And instead of asking the question, "How long until I see a head-tail-head?" --

É uma ligação bastante trivial entre probabilidade e genética.

you can ask, "How big will the chunks be when I use a restriction enzyme

Há uma ligação muito mais profunda mas não tenho tempo para entrar nela

which cuts whenever it sees G-A-A-G, for example?

que faz da genética moderna uma área da ciência apaixonante.

How long will those chunks be?"

Vamos ouvir palestras nesta conferência especificamente sobre isso.

That's a rather trivial connection between probability and genetics.

Mas acontece que, para desbloquear os segredos

nos dados gerados pelas modernas tecnologias experimentais,

There's a much deeper connection, which I don't have time to go into

uma parte fundamental tem a ver

and that is that modern genetics is a really exciting area of science.

And we'll hear some talks later in the conference specifically about that.

— tranquilizem-se, eu faço algo de útil no meu trabalho —

com tecnologias mais sofisticada do que a história de cara-coroa-cara,

But it turns out that unlocking the secrets in the information generated by modern

com sofisticados modelos informáticos e matemáticos

experimental technologies, a key part of that has to do with fairly sophisticated --

e técnicas estatísticas modernas.

Vou dar-vos dois pequenos fragmentos — dois exemplos —

you'll be relieved to know that I do something useful in my day job,

de projetos em que estamos envolvidos no meu grupo em Oxford,

rather more sophisticated than the head-tail-head story --

que eu considero apaixonantes.

but quite sophisticated computer modelings and mathematical modelings

Vocês conhecem o Projeto do Genoma Humano.

Foi um projeto que pretendia ler uma cópia do genoma humano.

and modern statistical techniques.

And I will give you two little snippets -- two examples --

of projects we're involved in in my group in Oxford,

A coisa natural a fazer, depois de fazer aquilo

é Projeto o Internacional HapMap,

both of which I think are rather exciting.

You know about the Human Genome Project.

que é uma colaboração entre laboratórios de cinco ou seis países diferentes.

That was a project which aimed to read one copy of the human genome.

Pensem no Projeto do Genoma Humano como aprender o que temos em comum

The natural thing to do after you've done that --

e no Projeto HapMao como tentar compreender

and that's what this project, the International HapMap Project,

onde há diferenças entre pessoas diferentes.

which is a collaboration between labs in five or six different countries.

Porque é que nos preocupamos com isso?

Há muitas razões.

A mais importante é que queremos perceber como essas diferenças

Think of the Human Genome Project as learning what we've got in common,

podem tornar as pessoas suscetíveis a uma doença — digamos, diabetes tipo 2 —

and the HapMap Project is trying to understand

where there are differences between different people.

e outras diferenças tornam as pessoas mais suscetíveis a doenças cardíacas,

Why do we care about that?

Well, there are lots of reasons.

The most pressing one is that we want to understand how some differences

ou AVC, ou autismo, etc.

É um projeto importante.

make some people susceptible to one disease -- type-2 diabetes, for example --

Há outro projeto importante,

recém-financiado pela Welcome Trust neste país,

and other differences make people more susceptible to heart disease,

que envolve estudos muito amplos

— milhares de indivíduos, com uma de oito doenças diferentes,

doenças vulgares como diabetes tipo 1 e tipo 2, doenças coronárias,

or stroke, or autism and so on.

That's one big project.

There's a second big project,

doença bipolar, etc. — para tentar perceber a genética.

recently funded by the Wellcome Trust in this country,

involving very large studies --

Tentar perceber quais são as diferenças genéticas que causam as doenças.

thousands of individuals, with each of eight different diseases,

Porque é que queremos fazer isso?

common diseases like type-1 and type-2 diabetes, and coronary heart disease,

Porque sabemos muito pouco sobre a maior parte das doenças humanas.

Não sabemos o que é que as provoca.

bipolar disease and so on -- to try and understand the genetics.

Aprofundando e compreendendo a genética,

abrimos uma janela para a forma como funciona a doença

To try and understand what it is about genetic differences that causes the diseases.

e uma nova forma de pensar nas terapias para as doenças

Why do we want to do that?

e no tratamento preventivo.

Because we understand very little about most human diseases.

Este foi o desvio de que falei, à minha principal paixão.

We don't know what causes them.

And if we can get in at the bottom and understand the genetics,

Voltemos às questões mais prosaicas de pensar na incerteza.

we'll have a window on the way the disease works,

Eis outro questionário.

and a whole new way about thinking about disease therapies

and preventative treatment and so on.

Suponhamos que temos um teste para uma doença

que não é infalível, mas é muito bom.

So that's, as I said, the little diversion on my main love.

Acerta em cheio 99% das vezes.

Back to some of the more mundane issues of thinking about uncertainty.

Escolho um de vocês, ou alguém no meio da rua

e faço-lhe o teste para a doença em questão.

Here's another quiz for you --

Suponhamos que é um teste para o VIH — o vírus que provoca a SIDA —

now suppose we've got a test for a disease

which isn't infallible, but it's pretty good.

e o teste diz que a pessoa tem essa doença.

It gets it right 99 percent of the time.

Qual é a probabilidade que ela a tenha?

And I take one of you, or I take someone off the street,

O teste acerta em cheio 99% das vezes.

and I test them for the disease in question.

Portanto, a resposta natural é 88%.

Let's suppose there's a test for HIV -- the virus that causes AIDS --

Quem é que gosta desta resposta?

and the test says the person has the disease.

Vá, todos têm que participar.

Esqueçam que já não confiam em mim.

What's the chance that they do?

(Risos)

Têm razão em estar um pouco céticos, porque a resposta não é essa.

The test gets it right 99 percent of the time.

So a natural answer is 99 percent.

Essa é a que se pode pensar.

Mas não é a resposta, e não é porque seja apenas parte da história.

Who likes that answer?

Come on -- everyone's got to get involved.

Mas depende de a doença ser vulgar ou rara.

Don't think you don't trust me anymore.

Vou tentar ilustrar isso.

(Laughter)

Well, you're right to be a bit skeptical, because that's not the answer.

Isto é uma representação de um milhão de indivíduos.

That's what you might think.

Pensemos numa doença que seja rara

It's not the answer, and it's not because it's only part of the story.

que afete uma pessoa em 10 000.

It actually depends on how common or how rare the disease is.

Neste milhão de indivíduos, a maioria é saudável

So let me try and illustrate that.

e alguns deles terão a doença.

Here's a little caricature of a million individuals.

De facto, se for esta a prevalência da doença,

So let's think about a disease that affects --

cerca de 100 terão a doença e os restantes não.

it's pretty rare, it affects one person in 10,000.

Agora suponhamos que os testamos a todos.

Amongst these million individuals, most of them are healthy

O que acontece?

Entre os 100 que têm a doença,

and some of them will have the disease.

o teste acertará 99% das vezes e 99 terão um resultado positivo.

And in fact, if this is the prevalence of the disease,

about 100 will have the disease and the rest won't.

Entre as outras pessoas que não têm a doença,

So now suppose we test them all.

o teste acertará 99% das vezes.

What happens?

Só estará errado 1% das vezes.

Well, amongst the 100 who do have the disease,

Mas há tanta gente que o número de falsos positivos será enorme.

the test will get it right 99 percent of the time, and 99 will test positive.

Por outras palavras,

Amongst all these other people who don't have the disease,

de todos os que obtiverem positivo — estes são os indivíduos envolvido —

the test will get it right 99 percent of the time.

It'll only get it wrong one percent of the time.

menos de um em 100 têm mesmo a doença.

But there are so many of them that there'll be an enormous number of false positives.

Portanto, apesar de pensarmos que o teste é rigoroso, a parte importante da história

Put that another way --

of all of them who test positive -- so here they are, the individuals involved --

é que precisamos de mais informações.

less than one in 100 actually have the disease.

Esta é a intuição fundamental.

Quando sabemos que o teste é positivo,

So even though we think the test is accurate, the important part of the story is

temos que avaliar a plausibilidade de duas explicações opostas.

there's another bit of information we need.

Cada uma dessas explicações é, em parte, provável e, em parte, improvável.

Here's the key intuition.

Uma das explicações é que a pessoa não tem a doença

What we have to do, once we know the test is positive,

— que é uma probabilidade forte, se agarrarmos numa pessoa ao acaso —

is to weigh up the plausibility, or the likelihood, of two competing explanations.

mas o teste está errado, o que é pouco provável.

A outra explicação é que a pessoa tem a doença — o que é improvável —

Each of those explanations has a likely bit and an unlikely bit.

One explanation is that the person doesn't have the disease --

mas o teste está correto, o que é provável.

that's overwhelmingly likely, if you pick someone at random --

E acabamos com um número

— um pouco menor do que um em 100 —

but the test gets it wrong, which is unlikely.

que depende da probabilidade

The other explanation is that the person does have the disease -- that's unlikely --

de uma das explicações estar ligada à outra.

but the test gets it right, which is likely.

Cada uma delas, consideradas em conjunto, é pouco provável.

And the number we end up with --

Este é um exemplo mais atual, exatamente da mesma coisa.

that number which is a little bit less than one in 100 --

Os britânicos aqui conhecem um caso que ficou célebre

is to do with how likely one of those explanations is relative to the other.

duma mulher chamada Sally Clark, cujos dois bebés morreram subitamente.

Each of them taken together is unlikely.

Inicialmente, pensou-se que eles tinham morrido de "morte súbita",

Here's a more topical example of exactly the same thing.

Those of you in Britain will know about what's become rather a celebrated case

ou seja, "Síndrome da morte súbita infantil".

Por diversas razões, foi depois acusada de homicídio.

of a woman called Sally Clark, who had two babies who died suddenly.

No julgamento dela, um pediatra de renome testemunhou

And initially, it was thought that they died of what's known informally as "cot death,"

que a possibilidade de duas mortes súbitas de bebés, numa família como a dela

and more formally as "Sudden Infant Death Syndrome."

— que trabalhava e não era fumadora — era de uma em 73 milhões.

For various reasons, she was later charged with murder.

And at the trial, her trial, a very distinguished pediatrician gave evidence

Para abreviar, ela foi condenada.

that the chance of two cot deaths, innocent deaths, in a family like hers --

Mais tarde, há pouco tempo, foi absolvida num segundo apelo.

which was professional and non-smoking -- was one in 73 million.

Só para contextualizar, podem imaginar como deve ser terrível

perder um filho, ainda por cima dois, se estiverem inocentes,

To cut a long story short, she was convicted at the time.

e ser condenada por tê-los matado.

Later, and fairly recently, acquitted on appeal -- in fact, on the second appeal.

Sofrer a tensão do julgamento, ser condenada por homicídio,

estar numa prisão, onde as prisioneiras

And just to set it in context, you can imagine how awful it is for someone

pensam que matara os filhos — é terrível acontecer isso a alguém.

to have lost one child, and then two, if they're innocent,

E aconteceu, em grande parte, porque o especialista

to be convicted of murdering them.

To be put through the stress of the trial, convicted of murdering them --

interpretou mal as estatísticas, de duas formas diferentes.

and to spend time in a women's prison, where all the other prisoners

think you killed your children -- is a really awful thing to happen to someone.

Onde é que ele foi buscar o número de um em 73 milhões?

Leu alguma investigação que dizia que a probabilidade de uma morte súbita

And it happened in large part here because the expert got the statistics

numa família como a de Sally Clark era de uma em 8500.

horribly wrong, in two different ways.

E disse: "Parto do princípio que, se há uma morte súbita numa família,

So where did he get the one in 73 million number?

"a hipótese de uma segunda criança morrer de morte súbita, não muda".

He looked at some research, which said the chance of one cot death in a family

like Sally Clark's is about one in 8,500.

É o que os estatísticos chamam de "presunção de independência".

É como dizer: "Se numa moeda ao ar sair caras à primeira",

So he said, "I'll assume that if you have one cot death in a family,

"isso não afeta a hipótese de obter caras à segunda vez".

Assim, se lançarmos uma moeda duas vezes seguidas,

the chance of a second child dying from cot death aren't changed."

a hipótese de sair caras duas vezes

é 50% — da primeira vez — vezes 50% — da segunda vez.

So that's what statisticians would call an assumption of independence.

It's like saying, "If you toss a coin and get a head the first time,

Então, ele disse:

"Parto do princípio que são dois acontecimentos independentes.

that won't affect the chance of getting a head the second time."

So if you toss a coin twice, the chance of getting a head twice are a half --

"Quando multiplicamos 8500 por 8500,

"obtemos 73 milhões".

Nada disto foi explicado ao tribunal, como uma presunção

that's the chance the first time -- times a half -- the chance a second time.

nem apresentado ao júri dessa forma.

So he said, "Here,

Infelizmente — e lamentavelmente —

I'll assume that these events are independent.

primeiro que tudo, numa situação destas, devia ter sido verificada empiricamente.

When you multiply 8,500 together twice,

you get about 73 million."

E em segundo lugar, é obviamente falsa.

And none of this was stated to the court as an assumption

or presented to the jury that way.

Há imensas coisas que não sabemos sobre mortes súbitas de bebés.

Unfortunately here -- and, really, regrettably --

Pode tratar-se de fatores ambientais que desconhecemos,

first of all, in a situation like this you'd have to verify it empirically.

e é muito provável que haja fatores genéticos que desconhecemos

And secondly, it's palpably false.

Assim, se há uma morte súbita na família, deve-se pô-la num grupo de risco.

There are lots and lots of things that we don't know about sudden infant deaths.

Provavelmente, tem esses fatores de risco ambientais

It might well be that there are environmental factors that we're not aware of,

e/ou fatores de risco genético que desconhecemos.

E argumentar que há probabilidade de uma segunda morte

and it's pretty likely to be the case that there are

genetic factors we're not aware of.

sem conhecer essas informações, é idiota.

So if a family suffers from one cot death, you'd put them in a high-risk group.

É pior que idiota, é muito má ciência.

They've probably got these environmental risk factors

and/or genetic risk factors we don't know about.

Apesar disso, foi como foi apresentado, e no tribunal ninguém o contestou.

And to argue, then, that the chance of a second death is as if you didn't know

Este é o primeiro problema.

that information is really silly.

O segundo problema é: o que significa o número de um em 73 milhões?

It's worse than silly -- it's really bad science.

Depois de Sally Clark ser condenada

Nonetheless, that's how it was presented, and at trial nobody even argued it.

— podem imaginar, deu grande estrilho na imprensa —

um dos jornalistas de um dos mais respeitados jornais da Grã-Bretanha

That's the first problem.

The second problem is, what does the number of one in 73 million mean?

escreveu que o especialista tinha dito:

So after Sally Clark was convicted --

"A hipótese de que ela estivesse inocente era de uma em 73 milhões".

you can imagine, it made rather a splash in the press --

one of the journalists from one of Britain's more reputable newspapers wrote that

Isto é um erro de lógica.

É exatamente o mesmo erro de lógica como o erro de pensar

que, segundo o teste de doenças, que é 99% rigoroso,

what the expert had said was,

a hipótese de ter a doença é de 99%.

"The chance that she was innocent was one in 73 million."

No exemplo da doença, tivemos que ter em conta duas coisas,

Now, that's a logical error.

It's exactly the same logical error as the logical error of thinking that

uma que era a possibilidade de o teste ter acertado ou não.

after the disease test, which is 99 percent accurate,

E a outra era a possibilidade, a priori, de a pessoa ter a doença ou não.

the chance of having the disease is 99 percent.

É exatamente o mesmo neste contexto.

In the disease example, we had to bear in mind two things,

Há duas explicações envolvidas.

one of which was the possibility that the test got it right or not.

Queremos saber quão prováveis, ou relativamente prováveis,

And the other one was the chance, a priori, that the person had the disease or not.

são essas duas explicações diferentes.

Uma delas é que Sally Clark estava inocente

It's exactly the same in this context.

— o que, a priori, era esmagadoramente provável —

There are two things involved -- two parts to the explanation.

a maior parte das mães não mata os filhos.

A segunda parte da explicação

We want to know how likely, or relatively how likely, two different explanations are.

é que ela sofrera um acontecimento extraordinariamente improvável.

One of them is that Sally Clark was innocent --

Não tão improvável como um em 73 milhões, mas muito improvável na mesma.

which is, a priori, overwhelmingly likely --

A outra explicação é que ela era culpada.

most mothers don't kill their children.

Podemos pensar a priori numa coisa improvável.

And the second part of the explanation

— mas, no contexto de um julgamento criminal,

is that she suffered an incredibly unlikely event.

temos que pensar que é improvável, dada a presunção de inocência.

Not as unlikely as one in 73 million, but nonetheless rather unlikely.

Mas, se ela tinha tentado matar os bebés, tinha conseguido.

The other explanation is that she was guilty.

Portanto, a probabilidade de ela estar inocente não é de uma em 73 milhões.

Now, we probably think a priori that's unlikely.

And we certainly should think in the context of a criminal trial

Não sabemos qual é.

Tem a ver com a avaliação do peso das outras provas contra ela

that that's unlikely, because of the presumption of innocence.

And then if she were trying to kill the children, she succeeded.

e das provas estatísticas.

So the chance that she's innocent isn't one in 73 million.

Sabemos que as crianças morreram.

O que interessa é a probabilidade ou improbabilidade

We don't know what it is.

das duas explicações, uma em relação à outra.

It has to do with weighing up the strength of the other evidence against her

São ambas implausíveis.

and the statistical evidence.

É uma situação em que os erros na estatística

We know the children died.

tiveram consequências profundas e extremamente infelizes.

What matters is how likely or unlikely, relative to each other,

Há duas outras mulheres que foram condenadas

the two explanations are.

com base em provas deste pediatra, que vieram a ser libertadas no apelo.

And they're both implausible.

Muitos casos foram revistos.

There's a situation where errors in statistics had really profound

E é especialmente atual, porque enfrenta hoje uma carga de descrédito

and really unfortunate consequences.

no Conselho Médico Geral da Grã-Bretanha

In fact, there are two other women who were convicted on the basis of the

Para concluir, que mensagens levar para casa a partir disto?

evidence of this pediatrician, who have subsequently been released on appeal.

Sabemos que o aleatório e a incerteza e o acaso

Many cases were reviewed.

And it's particularly topical because he's currently facing a disrepute charge

fazem parte da nossa vida quotidiana.

at Britain's General Medical Council.

Também é verdade — embora vocês, enquanto coletivo, sejam muito especiais —

So just to conclude -- what are the take-home messages from this?

que vocês são típicos em não seguir os exemplos que dei.

Well, we know that randomness and uncertainty and chance

Está bem documentado que as pessoas interpretam mal as coisas.

are very much a part of our everyday life.

Fazem erros de lógica ao raciocinar com incerteza.

It's also true -- and, although, you, as a collective, are very special in many ways,

Lidamos lindamente com as subtilezas da linguagem

you're completely typical in not getting the examples I gave right.

e há questões evolucionárias sobre como chegámos lá.

Mas não somos bons a raciocinar com a incerteza.

It's very well documented that people get things wrong.

É um problema da nossa vida quotidiana.

They make errors of logic in reasoning with uncertainty.

Como ouviram em muitas palestras, a estatística sustenta

muita investigação na ciência — ciência social, medicina,

We can cope with the subtleties of language brilliantly --

and there are interesting evolutionary questions about how we got here.

e em muitas coisas da indústria.

O controlo de qualidade,

We are not good at reasoning with uncertainty.

que tem um importante impacto no fabrico industrial

That's an issue in our everyday lives.

repousa na estatística.

As you've heard from many of the talks, statistics underpins an enormous amount

É uma coisa que fazemos mal.

No mínimo, devíamos reconhecer isso, mas temos tendência para não o fazer.

of research in science -- in social science, in medicine

and indeed, quite a lot of industry.

Para voltar ao contexto legal e ao julgamento de Sally Clark,

All of quality control, which has had a major impact on industrial processing,

todos os advogados aceitavam o que o especialista disse.

is underpinned by statistics.

Se aparecesse um pediatra que dissesse a um júri:

It's something we're bad at doing.

At the very least, we should recognize that, and we tend not to.

"Sei construir pontes. Construí uma na estrada.

"Por favor, usem-na para voltar para casa".

To go back to the legal context, at the Sally Clark trial

teriam dito: "Os pediatras não sabem construir pontes.

all of the lawyers just accepted what the expert said.

"Isso é trabalho de engenheiros".

Por outro lado, ele apareceu e disse, ou sugeriu:

So if a pediatrician had come out and said to a jury,

"Sei raciocinar com a incerteza. Sei fazer estatísticas."

"I know how to build bridges. I've built one down the road.

Todos disseram: "Ótimo, Ele é especialista".

Please drive your car home over it,"

Precisamos de perceber onde está ou não está a nossa competência.

they would have said, "Well, pediatricians don't know how to build bridges.

That's what engineers do."

São exatamente as mesmas coisas que surgem hoje, no perfil do ADN,

On the other hand, he came out and effectively said, or implied,

quando os cientistas e advogados e, nalguns casos, os juízes,

"I know how to reason with uncertainty. I know how to do statistics."

And everyone said, "Well, that's fine. He's an expert."

interpretam mal as provas, de forma rotineira.

So we need to understand where our competence is and isn't.

Normalmente, é de forma inocente, mas interpretam mal as provas.

Exactly the same kinds of issues arose in the early days of DNA profiling,

Os cientistas forenses disseram:

"A hipótese de este tipo estar inocente é de uma em três milhões".

when scientists, and lawyers and in some cases judges,

Mesmo a acreditar neste número — tal como os 73 milhões para um —

routinely misrepresented evidence.

não é isso o que eu quero dizer.

Já houve recursos de apelos com êxito

Usually -- one hopes -- innocently, but misrepresented evidence.

na Grã-Bretanha e não só por causa disso.

Forensic scientists said, "The chance that this guy's innocent is one in three million."

Para acabar, no contexto do sistema legal,

é muito bonito dizer: Vamos fazer o nosso melhor para apresentar provas",

Even if you believe the number, just like the 73 million to one,

that's not what it meant.

Mas, cada vez mais, no caso do perfil de ADN — este é outro —

And there have been celebrated appeal cases

esperamos que os júris, que são pessoas vulgares

in Britain and elsewhere because of that.

And just to finish in the context of the legal system.

— e está documentado que são muito maus nisto —

esperamos que os júris consigam lidar com o tipo de raciocínio que se mantém.

It's all very well to say, "Let's do our best to present the evidence."

Noutras esferas da vida, as pessoas discutem — exceto talvez na política —

But more and more, in cases of DNA profiling -- this is another one --

we expect juries, who are ordinary people --

noutras esferas da vida, se as pessoas discutem sem lógica

and it's documented they're very bad at this --

diríamos que isso não é bom.

we expect juries to be able to cope with the sorts of reasoning that goes on.

Esperamos isso dos políticos e não esperamos muito mais.

In other spheres of life, if people argued -- well, except possibly for politics --

No caso da incerteza, estamos sempre a enganar-nos

e, no mínimo, devíamos ter consciência disso.

but in other spheres of life, if people argued illogically,

Devíamos fazer qualquer coisa quanto a isso.

we'd say that's not a good thing.

Obrigado.

We sort of expect it of politicians and don't hope for much more.

In the case of uncertainty, we get it wrong all the time --

and at the very least, we should be aware of that,

and ideally, we might try and do something about it.

Thanks very much.