Peter Donnelly: How stats fool juries

Peter Donnelly mostra como as estatísticas enganam os juris.

Tradutor: Carlos Uldérico Cirello Filho Revisor: Leandro Cianconi

As other speakers have said, it's a rather daunting experience --

Assim como outros já disseram, esta é uma experiência assustadora -

a particularly daunting experience -- to be speaking in front of this audience.

uma experiência particularmente assustadora - falar para este público.

But unlike the other speakers, I'm not going to tell you about

Mas diferente dos outros apresentadores, eu não vou falar para vocês sobre

the mysteries of the universe, or the wonders of evolution,

os mistérios do universo, ou as maravilhas da evolução,

or the really clever, innovative ways people are attacking

ou as maneiras realmente inteligentes ou inovadoras que as pessoas estão atacando

the major inequalities in our world.

as maiores desigualdades em nosso mundo.

Or even the challenges of nation-states in the modern global economy.

Ou ainda os desafios dos estados-nações na economia moderna global.

My brief, as you've just heard, is to tell you about statistics --

Meu assunto, como vocês acabaram de ouvir, é falar para vocês sobre estatísticas

and, to be more precise, to tell you some exciting things about statistics.

e, para ser mais preciso, para contar a vocês algumas coisas excitantes sobre estatísticas.

And that's --

E isto

(Laughter)

(Risos)

-- that's rather more challenging

isto ainda é muito mais desafiador

than all the speakers before me and all the ones coming after me.

do que todos os apresentadores antes de mim e todos que virão depois de mim.

(Laughter)

(Risos)

One of my senior colleagues told me, when I was a youngster in this profession,

Um dos meus colegas mais velhos me disse, quando era jovem nesta profissão

rather proudly, that statisticians were people who liked figures

bem orgulhoso, que os estatísticos eram pessoas que gostavam de números

but didn't have the personality skills to become accountants.

mas não tinham as habilidades de personalidade para se tornarem contadores.

(Laughter)

(Risos)

And there's another in-joke among statisticians, and that's,

E ainda tem uma piada interna entre os estatísticos, que é,

"How do you tell the introverted statistician from the extroverted statistician?"

"Como você diferencia um estatístico introvertido de um extrovertido?"

To which the answer is,

Ao que a resposta é,

"The extroverted statistician's the one who looks at the other person's shoes."

"O estatístico extrovertido é aquele que olha para os sapatos das outras pessoas."

(Laughter)

(Risos)

But I want to tell you something useful -- and here it is, so concentrate now.

Mas eu quero dizer a vocês algo útil - e aqui vai, vamos nos concentrar agora.

This evening, there's a reception in the University's Museum of Natural History.

Esta noite, tem uma recepção no Museu de História Natural da Universidade.

And it's a wonderful setting, as I hope you'll find,

É uma decoração maravilhosa, como eu espero que vocês irão achar,

and a great icon to the best of the Victorian tradition.

e é um grande ícone do melhor da tradição Vitoriana.

It's very unlikely -- in this special setting, and this collection of people --

É bem improvável - ainda mais nesta recepção, e com este tipo de gente -

but you might just find yourself talking to someone you'd rather wish that you weren't.

pode ser que você se encontre conversando com alguém que você preferiria que não estivesse.

So here's what you do.

Então, você faz assim:

When they say to you, "What do you do?" -- you say, "I'm a statistician."

Quando disserem a você, "O que você faz?" -- você diz, "Eu sou estatístico."

(Laughter)

(Risos)

Well, except they've been pre-warned now, and they'll know you're making it up.

Bom, a menos que já estejam pré-avisados, e eles vão saber que está inventando.

And then one of two things will happen.

Uma das duas coisas vai acontecer.

They'll either discover their long-lost cousin in the other corner of the room

Ou eles vão descobrir seus primos há muito tempo perdidos

and run over and talk to them.

no outro canto da sala e vão lá correndo conversar com eles.

Or they'll suddenly become parched and/or hungry -- and often both --

Ou de repente eles vão ficar com sede ou com fome -- ou ambos --

and sprint off for a drink and some food.

e vão atrás de bebida e alguma coisa para comer.

And you'll be left in peace to talk to the person you really want to talk to.

E então você será deixado em paz para conversar com a pessoa que você quer.

It's one of the challenges in our profession to try and explain what we do.

É um dos desafios de nossa profissão tentar e explicar o que nós fazemos.

We're not top on people's lists for dinner party guests and conversations and so on.

Nós não estamos no topo da listas de convidados das pessoas para uma festa e conversas e etc.

And it's something I've never really found a good way of doing.

E esta é uma coisa que eu nunca consegui achar um jeito bom de fazer.

But my wife -- who was then my girlfriend --

Mas minha mulher - que então era minha namorada -

managed it much better than I've ever been able to.

conseguiu isto muito melhor do que eu.

Many years ago, when we first started going out, she was working for the BBC in Britain,

Muitos anos atrás, quando a gente começou a sair, ela trabalhava pela BBC no Reino Unido,

and I was, at that stage, working in America.

e eu estava, na ocasião, trabalhando nos Estados Unidos.

I was coming back to visit her.

Eu estava voltando para visitá-la.

She told this to one of her colleagues, who said, "Well, what does your boyfriend do?"

E ela falou isto para um dos colegas dela, que disse, "Bom, o que o seu namorado faz?"

Sarah thought quite hard about the things I'd explained --

Sarah pensou bastante sobre as coisas que eu tinha explicado -

and she concentrated, in those days, on listening.

e ela se concentrava, naqueles dias, em me ouvir.

(Laughter)

(Risos)

Don't tell her I said that.

Não digam a ela que eu disse isto.

And she was thinking about the work I did developing mathematical models

E ela estava pensando sobre o trabalho que fiz desenvolvendo modelos matemáticos

for understanding evolution and modern genetics.

para entender a evolução e a genética moderna.

So when her colleague said, "What does he do?"

Então uma dos colegas dela disse, "O que ele faz?"

She paused and said, "He models things."

Ela parou, e disse, "Ele modela coisas.'

(Laughter)

(Risos)

Well, her colleague suddenly got much more interested than I had any right to expect

Bom, um dos colegas dela de repente ficou muito mais interessado do que eu tinha direito de esperar.

and went on and said, "What does he model?"

então seguiu em frente e disse, "O que ele modela?"

Well, Sarah thought a little bit more about my work and said, "Genes."

Bom, Sarah pensou um pouco mais sobre o meu trabalho e disse, "Genes (Jeans)."

(Laughter)

(Risos)

"He models genes."

"Ele modela genes (jeans)."

That is my first love, and that's what I'll tell you a little bit about.

Este foi meu primeiro amor, e é o que eu tenho para dizer um pouco a vocês

What I want to do more generally is to get you thinking about

O que eu quero fazer mais genericamente é fazer vocês pensarem sobre

the place of uncertainty and randomness and chance in our world,

o lugar da incerteza e do aleatório e das chances no nosso mundo,

and how we react to that, and how well we do or don't think about it.

e como nós reagimos a isto, e quão bem nós pensamos ou não sobre isto.

So you've had a pretty easy time up till now --

Então vocês tiveram uma folga até agora --

a few laughs, and all that kind of thing -- in the talks to date.

um pouco de risadas, e todas estas coisas -- nas conversas do dia.

You've got to think, and I'm going to ask you some questions.

Vocês tem que pensar, e eu vou fazer algumas perguntas a vocês.

So here's the scene for the first question I'm going to ask you.

Aqui está a cena para a primeira questão que eu vou perguntar a vocês.

Can you imagine tossing a coin successively?

Vocês conseguem imaginar jogar cara-ou-coroa sucessivamente?

And for some reason -- which shall remain rather vague --

E por alguma razão -- que vai ficar bem vaga --

we're interested in a particular pattern.

nós estamos interessados em um padrão em específico.

Here's one -- a head, followed by a tail, followed by a tail.

Aqui está um -- uma cara, seguida por uma coroa, seguida por uma coroa.

So suppose we toss a coin repeatedly.

Então suponha que nós joguemos a moeda repetidamente.

Then the pattern, head-tail-tail, that we've suddenly become fixated with happens here.

Então o padrão, cara-coroa-coroa, a que nós repentinamente ficamos presos acontece aqui.

And you can count: one, two, three, four, five, six, seven, eight, nine, 10 --

Então você pode contar: um, dois, três, quatro, cinco, seis, sete, oito, nove, 10 --

it happens after the 10th toss.

ela acontece após a décima jogada.

So you might think there are more interesting things to do, but humor me for the moment.

Então vocês podem estar pensando que há coisas mais interessantes para se fazer, mas me acompanhem por enquanto.

Imagine this half of the audience each get out coins, and they toss them

Imagine que a metade desta platéia pegue cada um uma moeda, e que eles as joguem.

until they first see the pattern head-tail-tail.

Até que eles vejam o padrão cara-coroa-coroa a primeira vez.

The first time they do it, maybe it happens after the 10th toss, as here.

Na primeira vez que eles façam isto, pode ser que isto acontece na décima jogada, como aqui.

The second time, maybe it's after the fourth toss.

Na segunda vez, pode ser após a quarta jogada.

The next time, after the 15th toss.

Na próxima, após a décima quinta jogada.

So you do that lots and lots of times, and you average those numbers.

Então você faz isto muitas e muitas vezes, e faz a média destes números

That's what I want this side to think about.

E sobre isto que eu quero vocês pensem.

The other half of the audience doesn't like head-tail-tail --

A outra metade da platéia não gosta de cara-coroa-coroa --

they think, for deep cultural reasons, that's boring --

eles acham, por razão culturais profundas, que é chato --

and they're much more interested in a different pattern -- head-tail-head.

e estão muito mais interessados um padrão diferente -- cara-coroa-cara.

So, on this side, you get out your coins, and you toss and toss and toss.

Então, deste lado, vocês pegam suas moedas, e jogam e jogam e jogam.

And you count the number of times until the pattern head-tail-head appears

E vocês contam o número de jogadas até que o padrão cara-coroa-cara apareça

and you average them. OK?

e vocês fazem as médias destes números, OK?

So on this side, you've got a number --

Então deste lado, vocês tem um número --

you've done it lots of times, so you get it accurately --

e vocês fizeram isto muitas vezes, então vocês o tem precisamente --

which is the average number of tosses until head-tail-tail.

qual é o número médio de jogadas até cara-coroa-coroa.

On this side, you've got a number -- the average number of tosses until head-tail-head.

Deste lado, vocês tem um número -- a média do número de jogadas até cara-coroa-cara.

So here's a deep mathematical fact --

Então aqui está uma fato matemático profundo --

if you've got two numbers, one of three things must be true.

se você tem dois números, uma destas três coisas deve ser verdade

Either they're the same, or this one's bigger than this one,

Ou eles são iguais, ou este é maior do que aquele,

or this one's bigger than that one.

ou aquele é maior do que este.

So what's going on here?

Então o que está acontecendo aqui?

So you've all got to think about this, and you've all got to vote --

Vocês todos tem que pensar sobre isto, e todos vão ter que votar --

and we're not moving on.

e nós não vamos ir adiante.

And I don't want to end up in the two-minute silence

E eu não quero acabar numa espera de dois minutos de silêncio

to give you more time to think about it, until everyone's expressed a view. OK.

para dar a vocês mais tempo para pensar sobre isto, até que todos tenham expressado um ponto de vista, OK.

So what you want to do is compare the average number of tosses until we first see

Então o que eu quero fazer é comparar a média do número de jogadas até que a gente veja

head-tail-head with the average number of tosses until we first see head-tail-tail.

cara-coroa-cara com a média de jogadas até que a gente veja cara-coroa-coroa.

Who thinks that A is true --

Quem acha que A é verdade--

that, on average, it'll take longer to see head-tail-head than head-tail-tail?

que, na média, vai demorar mais para ver cara-coroa-cara do que cara-coroa-coroa?

Who thinks that B is true -- that on average, they're the same?

Quem acha que B é verdade -- que na verdade, ambos serão iguais?

Who thinks that C is true -- that, on average, it'll take less time

Quem acha que C é verdade -- que, na média, vai tomar menos tempo

to see head-tail-head than head-tail-tail?

para ver cara-coroa-cara do que cara-coroa-coroa?

OK, who hasn't voted yet? Because that's really naughty -- I said you had to.

OK, quem não votou ainda? Porque isto é realmente impróprio -- eu disse que tinham que votar.

(Laughter)

(Risos)

OK. So most people think B is true.

OK. Então a maioria das pessoas pensam que B é verdade.

And you might be relieved to know even rather distinguished mathematicians think that.

E vocês podem se sentir aliviados que até os matemáticos mais distintos pensam isto.

It's not. A is true here.

Não é. "A" é verdade aqui.

It takes longer, on average.

Demora mais, na média.

In fact, the average number of tosses till head-tail-head is 10

De fato, o número médio de jogadas até cara-coroa-cara é 10.

and the average number of tosses until head-tail-tail is eight.

E o número médio de jogadas até cara-coroa-coroa é oito.

How could that be?

Como assim?

Anything different about the two patterns?

Alguma diferença entre os dois padrões?

There is. Head-tail-head overlaps itself.

Existe. Cara-coroa-cara se sobrepõe.

If you went head-tail-head-tail-head, you can cunningly get two occurrences

Se você obtém cara-coroa-cara-coroa-cara, você pode ter duas ocorrências

of the pattern in only five tosses.

do padrão em apenas 5 jogadas.

You can't do that with head-tail-tail.

Você não pode fazer isto com cara-coroa-coroa.

That turns out to be important.

Isto acaba sendo importante.

There are two ways of thinking about this.

Há duas formas de pensar sobre isto.

I'll give you one of them.

E eu vou mostrar uma delas a vocês.

So imagine -- let's suppose we're doing it.

Então pensem -- vamos supor que estamos fazendo isto.

On this side -- remember, you're excited about head-tail-tail;

Deste lado -- lembrem-se, você ficam felizes com cara-coroa-coroa,

you're excited about head-tail-head.

e vocês ficam felizes com cara-coroa-cara.

We start tossing a coin, and we get a head --

Nós vamos começar jogando uma moeda, e obtemos uma cara --

and you start sitting on the edge of your seat

e vocês sentam na ponta da cadeira

because something great and wonderful, or awesome, might be about to happen.

porque algo realmente bom e legal, ou maravilhoso, pode acontecer.

The next toss is a tail -- you get really excited.

A próxima jogada é uma coroa -- vocês realmente ficam excitados.

The champagne's on ice just next to you; you've got the glasses chilled to celebrate.

A champagne no gelo está do seu lado, você tem taças geladas para celebrar.

You're waiting with bated breath for the final toss.

E você está esperando quase sem ar pela última jogada.

And if it comes down a head, that's great.

Se vier uma cara, isto é ótimo.

You're done, and you celebrate.

Vocês acabam e vocês celebram.

If it's a tail -- well, rather disappointedly, you put the glasses away

Se for uma coroa -- bom, bem desapontado, você põe as taças de lado

and put the champagne back.

e a champagne de volta.

And you keep tossing, to wait for the next head, to get excited.

E ficam jogando, esperando a próxima cara, para ficarem excitados.

On this side, there's a different experience.

Neste outro lado, há uma experiência diferente.

It's the same for the first two parts of the sequence.

É o mesmo para as duas primeiras partes da sequência.

You're a little bit excited with the first head --

Vocês ficam excitados com a primeira cara --

you get rather more excited with the next tail.

ficam muito mais excitados com a próxima coroa.

Then you toss the coin.

E então vocês jogam uma moeda.

If it's a tail, you crack open the champagne.

Se for uma coroa, vocês estouram a champagne.

If it's a head you're disappointed,

Se for uma cara, vocês ficam desapontados,

but you're still a third of the way to your pattern again.

mas já estão a um terço do caminho ao seu padrão de novo.

And that's an informal way of presenting it -- that's why there's a difference.

E esta é uma maneira informal de apresentar isto -- do porquê há uma diferença

Another way of thinking about it --

Outra maneira de pensar sobre isto =--

if we tossed a coin eight million times,

Se nós jogássemos uma moeda oito milhões de vezes,

then we'd expect a million head-tail-heads

então nós esperaríamos um milhão de caras-coroas-caras

and a million head-tail-tails -- but the head-tail-heads could occur in clumps.

e uma milhão de caraa-coroas-coroas -- mas os caras-coroas-caras aconteceriam amontoados.

So if you want to put a million things down amongst eight million positions

Então se você põe um milhão de coisas no meio de oito milhões de posições

and you can have some of them overlapping, the clumps will be further apart.

e você pode ter algumas delas se sobrepondo, os amontoados vão estar ainda mais separados.

It's another way of getting the intuition.

Esta é a outra forma de entender a intuição.

What's the point I want to make?

Qual é a minha ideia?

It's a very, very simple example, an easily stated question in probability,

É um exemplo muito, muito simples, com uma pergunta facilmente colocada em probabilidade,

which every -- you're in good company -- everybody gets wrong.

que todos -- e vocês estão em boa compania -- todos erram.

This is my little diversion into my real passion, which is genetics.

É uma pequena fuga da minha real paixão, que é a genética.

There's a connection between head-tail-heads and head-tail-tails in genetics,

Há uma conexão entre caras-coroas-caras e cara-coroas-coroas e genética,

and it's the following.

e é a seguinte.

When you toss a coin, you get a sequence of heads and tails.

Quando você joga uma moeda, você tem uma sequência de caras e coroas.

When you look at DNA, there's a sequence of not two things -- heads and tails --

Quando você olha no DNA, há uma sequência não de duas coisas -- caras e coroas --

but four letters -- As, Gs, Cs and Ts.

mas de quatro letras -- As, Gs, Cs e Ts.

And there are little chemical scissors, called restriction enzymes

E há tesouras químicas, chamadas enzimas de restrição

which cut DNA whenever they see particular patterns.

que cortam o DNA sempre que encontram um padrão específico.

And they're an enormously useful tool in modern molecular biology.

E eles são uma ferramenta enormemente útil na biologia molecular moderna.

And instead of asking the question, "How long until I see a head-tail-head?" --

E ao invés de fazer a pergunta, "Quantas jogadas até eu ver cara-coroa-cara?" --

you can ask, "How big will the chunks be when I use a restriction enzyme

você pode perguntar, "Quais serão os tamanhos dos grupos quando eu usar uma enzima de restrição

which cuts whenever it sees G-A-A-G, for example?

que corta sempre que vê G-A-A-G, por exemplo?

How long will those chunks be?"

Quais são os tamanhos destes grupos?"

That's a rather trivial connection between probability and genetics.

Esta é uma conexão muito trivial entre probabilidade e genética.

There's a much deeper connection, which I don't have time to go into

E há uma conexão mais profunda, que eu não tenho tempo de falar

and that is that modern genetics is a really exciting area of science.

e que é que a genética moderna é uma área realmente excitante da ciência.

And we'll hear some talks later in the conference specifically about that.

E nós vamos escutar algumas apresentações mais tarde na conferência especifícamente sobre isto.

But it turns out that unlocking the secrets in the information generated by modern

Mas então que revelar os segredos na informação gerada pelas tecnologias

experimental technologies, a key part of that has to do with fairly sophisticated --

modernas de experimentação, uma parte chave tem a ver com um sofisticado

you'll be relieved to know that I do something useful in my day job,

vocês ficarão aliviados em saber que eu faço algo útil no meu trabalho diurno,

rather more sophisticated than the head-tail-head story --

muito mais sofisticado que a história cara-coroa-cara --

but quite sophisticated computer modelings and mathematical modelings

mas modelos de computação e de matemática bem sofisticados

and modern statistical techniques.

e técnicas estatísticas modernas.

And I will give you two little snippets -- two examples --

Eu vou mostrar dois pequenos pedaços -- dois exemplos --

of projects we're involved in in my group in Oxford,

de projetos que estamos envolvidos em meu grupo em Oxford,

both of which I think are rather exciting.

ambos que eu acho muito excitantes.

You know about the Human Genome Project.

Vocês conhecem sobre o Projeto Genoma Humano.

That was a project which aimed to read one copy of the human genome.

Este foi um projeto que tinha por meta ler uma cópia do genoma humano.

The natural thing to do after you've done that --

E a coisa natural a se fazer depois que você fez isto --

and that's what this project, the International HapMap Project,

e isto que é este projeto, Projeto Internacional HapMap,

which is a collaboration between labs in five or six different countries.

que é a colaboração entre laboratórios em cinco ou seis países diferentes.

Think of the Human Genome Project as learning what we've got in common,

Pense no Projeto Genoma Humano como um aprendizado do que nós temos em comum,

and the HapMap Project is trying to understand

e o Projeto HapMap está tentando entender

where there are differences between different people.

onde estão as diferenças entre as pessoas diferentes.

Why do we care about that?

Por que a gente se importa com isto?

Well, there are lots of reasons.

Bom, há muitas razões.

The most pressing one is that we want to understand how some differences

A mais forte é que nós queremos entender como algumas diferenças

make some people susceptible to one disease -- type-2 diabetes, for example --

podem fazer algumas pessoas mais suscetíveis a um tipo de doença -- diabete tipo-2, por exemplo --

and other differences make people more susceptible to heart disease,

e outras diferenças fazem as pessoas mais suscetíveis a doenças do coração,

or stroke, or autism and so on.

ou derrame, ou autismo e assim por diante.

That's one big project.

Este é um projeto grande.

There's a second big project,

E há um segundo projeto grande,

recently funded by the Wellcome Trust in this country,

recentemente financiado pelo Wellcome Trust neste país,

involving very large studies --

envolvendo grande estudos --

thousands of individuals, with each of eight different diseases,

milhares de indivíduos, cada um com uma destas oito doenças diferentes,

common diseases like type-1 and type-2 diabetes, and coronary heart disease,

doenças comuns como diabete tipo 1 e 2, doenças coronárias,

bipolar disease and so on -- to try and understand the genetics.

transtorno bipolar e assim por diante -- para testar e entender a genética.

To try and understand what it is about genetic differences that causes the diseases.

Para testar e entender o que há sobre as diferenças genéticas que causam as doenças.

Why do we want to do that?

Por que nós queremos fazer isto?

Because we understand very little about most human diseases.

Porque nós entendemos muito pouco sobre a maioria das doenças humanas.

We don't know what causes them.

Nós não sabemos o que as causam.

And if we can get in at the bottom and understand the genetics,

E se nós conseguirmos chegar ao fundo e entender a genética,

we'll have a window on the way the disease works,

nós teremos uma idéia sobre como as doenças funcionam.

and a whole new way about thinking about disease therapies

Uma forma totalmente diferente de pensar sobre as terapias das doenças

and preventative treatment and so on.

e sobre os tratamentos preventivos e assim por diante.

So that's, as I said, the little diversion on my main love.

E isto, como eu disse, é um pequeno desvio no meu grande amor,

Back to some of the more mundane issues of thinking about uncertainty.

De volta à algumas coisas mais mundanas do pensamento sobre a incerteza.

Here's another quiz for you --

Aqui vai uma outra pergunta a vocês --

now suppose we've got a test for a disease

agora vamos supor que nós temos um teste para uma doença

which isn't infallible, but it's pretty good.

que não é infalível, mas é muito bom.

It gets it right 99 percent of the time.

Ele acerta 99% das vezes.

And I take one of you, or I take someone off the street,

E eu pego um de vocês, ou pego alguém na rua,

and I test them for the disease in question.

e eu testo para a doença em questão

Let's suppose there's a test for HIV -- the virus that causes AIDS --

Vamos supor que seja um teste para o HIV - o vírus que causa a AIDS --

and the test says the person has the disease.

e o teste diz se a pessoa tem a doença.

What's the chance that they do?

Qual é a chance que ela tenha a doença?

The test gets it right 99 percent of the time.

O teste acerta 99% das vezes.

So a natural answer is 99 percent.

Então a resposta natural é 99%.

Who likes that answer?

Quem gosta desta resposta?

Come on -- everyone's got to get involved.

Vamos -- todo mundo tem que se envolver.

Don't think you don't trust me anymore.

Não pensem que vocês não confiam mais em mim.

(Laughter)

(Risos)

Well, you're right to be a bit skeptical, because that's not the answer.

Bom, vocês estão certos em serem um poucos céticos, porque esta não é a resposta.

That's what you might think.

Que é o que vocês poderiam pensar.

It's not the answer, and it's not because it's only part of the story.

Esta não é a resposta, e ela não é pois é apenas uma parte da história.

It actually depends on how common or how rare the disease is.

De fato isto depende de quão comum ou quão rara esta doença é.

So let me try and illustrate that.

Então deixem-me tentar e ilustrar isto.

Here's a little caricature of a million individuals.

Aqui está uma caricatura de um milhão de indivíduos

So let's think about a disease that affects --

Então vamos pensar sobre uma doença que afeta --

it's pretty rare, it affects one person in 10,000.

é bem rara, que afeta uma pessoa em 10.000.

Amongst these million individuals, most of them are healthy

Entre este milhão de indivíduos, quase todos deles estão saudáveis

and some of them will have the disease.

e alguns deles vão ter a doença.

And in fact, if this is the prevalence of the disease,

E de fato, se esta é a prevalência da doença,

about 100 will have the disease and the rest won't.

cerca de 100 terão a doença e o resto não terá.

So now suppose we test them all.

Então vamos supor que nós testamos todos eles.

What happens?

O que acontece?

Well, amongst the 100 who do have the disease,

Bom, entre os 100 que tem a doença,

the test will get it right 99 percent of the time, and 99 will test positive.

o teste vai acertar 99% das vezes, e 99 vão produzir um teste positivo.

Amongst all these other people who don't have the disease,

Entre todos os outros que não tem a doença,

the test will get it right 99 percent of the time.

o teste vai acertar 99 porcento das vezes.

It'll only get it wrong one percent of the time.

E ele só vai errar um porcento da vezes.

But there are so many of them that there'll be an enormous number of false positives.

Mas existe tantos deles que vai ter um número enorme de falso positivos.

Put that another way --

Colocado de outra forma --

of all of them who test positive -- so here they are, the individuals involved --

de todos aqueles que dão positivo -- aqui estão eles, os indivíduos envolvidos --

less than one in 100 actually have the disease.

menos de 1 em 100 de fato vão ter a doença.

So even though we think the test is accurate, the important part of the story is

Então mesmo que a gente pense que o teste é preciso, a parte importante da história é

there's another bit of information we need.

que há uma outra informação que nós precisamos.

Here's the key intuition.

Aqui está a intuição chave.

What we have to do, once we know the test is positive,

O que nós temos que fazer, uma vez que nós sabemos se o teste é positivo

is to weigh up the plausibility, or the likelihood, of two competing explanations.

é pesar a plausibilidade, ou a possibilidade, de duas explicações excludentes.

Each of those explanations has a likely bit and an unlikely bit.

Cada uma destas explicações tem uma parte provável e outra improvável.

One explanation is that the person doesn't have the disease --

Uma explicação é que a pessoa não tem a doença --

that's overwhelmingly likely, if you pick someone at random --

o que é muitíssimo provável, se você pegar alguém ao acaso --

but the test gets it wrong, which is unlikely.

mas o teste erra, o que é improvável.

The other explanation is that the person does have the disease -- that's unlikely --

A outra explicação é que a pessoa tem a doença -- o que é improvável --

but the test gets it right, which is likely.

mas o teste acerta, o que é provável.

And the number we end up with --

E o número que nós obtivemos --

that number which is a little bit less than one in 100 --

que é o número um pouco menor de 1 em 100 --

is to do with how likely one of those explanations is relative to the other.

tem a ver com quão provável uma destas explicações são em relação a outra.

Each of them taken together is unlikely.

Se juntar cada uma delas é improvável.

Here's a more topical example of exactly the same thing.

Um exemplo mais típico de uma coisa exatamente igual.

Those of you in Britain will know about what's become rather a celebrated case

Aqueles de vocês no Reino Unido vão saber sobre um caso que se tornou muito celebrado.

of a woman called Sally Clark, who had two babies who died suddenly.

de uma mulher chamada Sally Clark, que teve dois bebês que morreram repentinamente.

And initially, it was thought that they died of what's known informally as "cot death,"

E inicialmente, se pensou que eles morreram do que informalmente se conhece como morte súbita.

and more formally as "Sudden Infant Death Syndrome."

e mais formalmente como Síndrome da Morte Repentina Infantil.

For various reasons, she was later charged with murder.

Por várias razões, ela acabou sendo acusada de assassinato.

And at the trial, her trial, a very distinguished pediatrician gave evidence

E no julgamento dela, um pediatra muito distinto deu a evidência

that the chance of two cot deaths, innocent deaths, in a family like hers --

que a chance de duas mortes súbitas, mortes inocentes, numa família como a dela --

which was professional and non-smoking -- was one in 73 million.

que era profissional e não fumante -- era de uma em 73 milhões.

To cut a long story short, she was convicted at the time.

Para encurtar a história, ela foi condenada na ocasião.

Later, and fairly recently, acquitted on appeal -- in fact, on the second appeal.

Depois, e bem recentemente, saiu na apelação -- na verdade, na segunda apelação.

And just to set it in context, you can imagine how awful it is for someone

E apenas para pôr no contexto, você pode imaginar como é ruim para alguém

to have lost one child, and then two, if they're innocent,

perder uma criança, e então duas, se ela é inocente,

to be convicted of murdering them.

ser condenado por ter as assassinado.

To be put through the stress of the trial, convicted of murdering them --

Ser colocado no estresse do julgamento, condenado de assassiná-las --

and to spend time in a women's prison, where all the other prisoners

e passar um tempo na prisão feminina, onde todas as prisioneiras

think you killed your children -- is a really awful thing to happen to someone.

acham que você matou suas crianças -- é realmente uma coisa muito ruim de se acontecer a alguém

And it happened in large part here because the expert got the statistics

E isto aconteceu em grande parte aqui porque o especialista entendeu as estatísticas

horribly wrong, in two different ways.

de forma terrivelmente errada, e duas maneiras diferentes.

So where did he get the one in 73 million number?

Então de onde ele tirou o número um em 73 milhões?

He looked at some research, which said the chance of one cot death in a family

Ele viu em alguma pesquisa, que disse que a chance de uma morte súbita numa família

like Sally Clark's is about one in 8,500.

como a de Sally Clark é de cerca de um em oito mil e quinhentos.

So he said, "I'll assume that if you have one cot death in a family,

Então ele disse: "Eu vou assumir que você ter uma morte súbita numa família,

the chance of a second child dying from cot death aren't changed."

a chance de uma segunda criança morrer de morte súbita não muda."

So that's what statisticians would call an assumption of independence.

Isto é o que os estatísticos chamariam de suposição de independência.

It's like saying, "If you toss a coin and get a head the first time,

Isto é como dizer, "Se você jogar uma moeda e tiver cara na primeira vez,

that won't affect the chance of getting a head the second time."

isto não vai afetar a chance de ter cara na segunda vez."

So if you toss a coin twice, the chance of getting a head twice are a half --

Então se você joga uma moeda duas vezes, a change de ter cara duas vezes é meio --

that's the chance the first time -- times a half -- the chance a second time.

que é a chance da primeira vez -- vezes meio -- a chance da segunda vez.

So he said, "Here,

Então ele disse: "Bom, vamos assumir --

I'll assume that these events are independent.

eu vou assumir que estes eventos são independentes.

When you multiply 8,500 together twice,

Quando você multiplica oito mil e quinhentos juntos duas vezes,

you get about 73 million."

você tem cerca de 73 milhões."

And none of this was stated to the court as an assumption

E nada disto foi disto para ao tribunal como uma suposição

or presented to the jury that way.

ou apresentado ao juri desta forma.

Unfortunately here -- and, really, regrettably --

Infelizmente aqui -- e realmente, lamentavelmente --

first of all, in a situation like this you'd have to verify it empirically.

primeiro de tudo, numa situação como esta você tem que verificar isto de forma empírica.

And secondly, it's palpably false.

E em segundo, isto é paupavelmente falso.

There are lots and lots of things that we don't know about sudden infant deaths.

Há muitas e muitas coisas que nós não sabemos sobre mortes infantis súbitas.

It might well be that there are environmental factors that we're not aware of,

Pode bem ser que haja fatores ambientais que nós não sabemos,

and it's pretty likely to be the case that there are

e é bem provável que fosse o caso em que houvesse

genetic factors we're not aware of.

os fatores genéticos que nós não sabemos também.

So if a family suffers from one cot death, you'd put them in a high-risk group.

Então se uma família sofre de uma morte súbita, você os põe num grupo de alto risco.

They've probably got these environmental risk factors

Eles provavelmente tem estes fatores ambientais de risco

and/or genetic risk factors we don't know about.

e/ou fatores genéticos de risco que nós não sabemos.

And to argue, then, that the chance of a second death is as if you didn't know

E para questionar, então, a chance de uma segunda morte sem saber

that information is really silly.

esta informação é realmente boba.

It's worse than silly -- it's really bad science.

Pior que bobo -- isto é uma ciência muito ruim.

Nonetheless, that's how it was presented, and at trial nobody even argued it.

Embora, isto foi apresentado assim, e no julgamento ninguém questionou isto.

That's the first problem.

Este é o primeiro problema.

The second problem is, what does the number of one in 73 million mean?

O segundo problema é, o que este número de um em 73 milhões significa?

So after Sally Clark was convicted --

Então depois que Sally Clark foi condenada --

you can imagine, it made rather a splash in the press --

você pode imaginar, isto fez um alvoroço na imprensa --

one of the journalists from one of Britain's more reputable newspapers wrote that

um dos jornalistas de um dos jornais mais respeitados do Reino Unido escreveu que

what the expert had said was,

o que o especialista disse foi que,

"The chance that she was innocent was one in 73 million."

"A chance de ela ser inocente é de um em 73 milhões."

Now, that's a logical error.

Agora, isto é um erro de lógica.

It's exactly the same logical error as the logical error of thinking that

É o mesmo erro de lógica daquele erro de se pensar que

after the disease test, which is 99 percent accurate,

depois de um teste de uma doença, que é 99% preciso,

the chance of having the disease is 99 percent.

a chance de ter a doença é 99%.

In the disease example, we had to bear in mind two things,

No exemplo da doença, nós temos que ter em mente duas coisas,

one of which was the possibility that the test got it right or not.

uma que é a possibilidade do teste acertar ou não.

And the other one was the chance, a priori, that the person had the disease or not.

E a outra era a chance, a priori, de que a pessoa tivesse a doença ou não.

It's exactly the same in this context.

É exatamente o mesmo neste contexto.

There are two things involved -- two parts to the explanation.

Tem duas coisas envolvidas -- duas partes da explicação.

We want to know how likely, or relatively how likely, two different explanations are.

Nós queremos saber quão provável, ou relativamente provável, duas explicações diferentes são.

One of them is that Sally Clark was innocent --

Uma delas é que Sally Clark era inocente --

which is, a priori, overwhelmingly likely --

o que, a priori, é muitíssimo provável --

most mothers don't kill their children.

a maioria das mães não matam seus filhos.

And the second part of the explanation

E a segunda parte da explicação

is that she suffered an incredibly unlikely event.

que é que ela sofreu de um evento incrivelmente improvável.

Not as unlikely as one in 73 million, but nonetheless rather unlikely.

Não tão improvável como um em 73 milhões, mas ainda assim bem improvável.

The other explanation is that she was guilty.

A outra explicação é que ela era culpada.

Now, we probably think a priori that's unlikely.

Agora, nós provavelmente achamos a priori que é improvável.

And we certainly should think in the context of a criminal trial

E nós certamente pensamos isto no contexto de um julgamento criminal

that that's unlikely, because of the presumption of innocence.

que é improvável, por causa da presunção da inocência.

And then if she were trying to kill the children, she succeeded.

E então se ela estava tentando matar as crianças, ela conseguiu.

So the chance that she's innocent isn't one in 73 million.

Então a chance que ela seja inocente não é uma em 73 milhões.

We don't know what it is.

Nós não sabemos quanto é.

It has to do with weighing up the strength of the other evidence against her

Isto tem a ver com pesar a força de outra evidência contra ela

and the statistical evidence.

e a evidência estatística.

We know the children died.

Nós sabemos que as crianças morreram.

What matters is how likely or unlikely, relative to each other,

O que importa é quão provável ou improvável, relativamente uma a outra

the two explanations are.

são as duas explicações.

And they're both implausible.

Elas são ambas implausíveis.

There's a situation where errors in statistics had really profound

E há uma situação em que os erros em estatísticas tiveram realmente profundas e

and really unfortunate consequences.

realmente desafortunadas consequências.

In fact, there are two other women who were convicted on the basis of the

De fato, há outras duas mulheres que foram condenadas com base na evidência

evidence of this pediatrician, who have subsequently been released on appeal.

deste pediatra, que em seguida foram soltas na fase apelação.

Many cases were reviewed.

Muitos casos foram revistos.

And it's particularly topical because he's currently facing a disrepute charge

E isto é particularmente atual porque ele está enfrentando uma acusação de descrédito

at Britain's General Medical Council.

no Conselho Britânico Médico Geral.

So just to conclude -- what are the take-home messages from this?

Então apenas para concluir -- qual é a moral da história disto tudo?

Well, we know that randomness and uncertainty and chance

Bom, nós sabemos que o acaso, e a incerteza, e as chances

are very much a part of our everyday life.

fazem parte de verdade na nossa vida cotidiana.

It's also true -- and, although, you, as a collective, are very special in many ways,

Também é verdade -- e, embora, vocês, como um grupo, são especiais em muitas maneiras,

you're completely typical in not getting the examples I gave right.

é muito típico em não entender corretamente os exemplos que dei.

It's very well documented that people get things wrong.

É bem documentado que as pessoas entendem errado.

They make errors of logic in reasoning with uncertainty.

Eles cometem erros de lógica no pensamento sobre a incerteza.

We can cope with the subtleties of language brilliantly --

Nós podemos lidar com as sutilezas da linguagem brilhantemente --

and there are interesting evolutionary questions about how we got here.

e há questão interessantes sobre a evolução de como chegamos até aqui.

We are not good at reasoning with uncertainty.

Nós não somos bom em pensar com incertezas.

That's an issue in our everyday lives.

E isto é um problema na nossa vida diária.

As you've heard from many of the talks, statistics underpins an enormous amount

Assim como vocês ouviram em muitas das apresentações, as estatísticas apoiam uma quantidade enorme

of research in science -- in social science, in medicine

de pesquisa na ciência -- nas ciências sociais, na medicina

and indeed, quite a lot of industry.

e de fato, muito na indústria também.

All of quality control, which has had a major impact on industrial processing,

Todo o controle de qualidade, que tem tido um grande impacto no processamento industrial,

is underpinned by statistics.

é apoiado pelas estatísticas.

It's something we're bad at doing.

É algo que a gente não faz bem.

At the very least, we should recognize that, and we tend not to.

E no mínimo, nós deveríamos reconhecer isto, e nós tendemos a não fazer.

To go back to the legal context, at the Sally Clark trial

Voltando ao contexto legal, no julgamento de Sally Clark

all of the lawyers just accepted what the expert said.

todos os advogados simplesmente aceitaram o que os especialistas disseram

So if a pediatrician had come out and said to a jury,

Então se um pediatra vem e fala para o juri,

"I know how to build bridges. I've built one down the road.

"Eu sei como construir pontes. Eu construí uma ali na estrada.

Please drive your car home over it,"

Por favor, dirija o seu carro sobre ela."

they would have said, "Well, pediatricians don't know how to build bridges.

eles diriam, "Bem, pediatras não sabem como construir pontes.

That's what engineers do."

Isto é o que os engenheiros fazem."

On the other hand, he came out and effectively said, or implied,

Por outro lado, ele veio e disse de verdade, ou de maneira implícita,

"I know how to reason with uncertainty. I know how to do statistics."

"Eu sei como pensar sobre a incerteza. Eu sei estatísticas."

And everyone said, "Well, that's fine. He's an expert."

E todos disseram, "Bom, está tudo bem. Ele é um especialista."

So we need to understand where our competence is and isn't.

Então nós precisamos entender onde nossa competência está e não está.

Exactly the same kinds of issues arose in the early days of DNA profiling,

Exatamente os mesmos problemas que surgiram nos primeiros dias de identificação por DNA

when scientists, and lawyers and in some cases judges,

quando cientistas, e advogados e em alguns casos, juízes,

routinely misrepresented evidence.

rotineiramente apresentaram evidências erradas.

Usually -- one hopes -- innocently, but misrepresented evidence.

Normalmente -- assim se espera -- inocentemente, mas evidências erradas.

Forensic scientists said, "The chance that this guy's innocent is one in three million."

Cientistas forenses disseram: "A chance que este cara seja inocente é uma em três milhões."

Even if you believe the number, just like the 73 million to one,

Se você acredita neste número, assim como o de 73 milhões para um,

that's not what it meant.

isto não é o que ele significa.

And there have been celebrated appeal cases

E há casos celebrados de apelação

in Britain and elsewhere because of that.

no Reino Unido e em outros lugares por causa disto.

And just to finish in the context of the legal system.

E apenas para fechar no contexto do sistema legal.

It's all very well to say, "Let's do our best to present the evidence."

Está tudo bem dizer, "Vamos fazer o nosso melhor para apresentar a evidência."

But more and more, in cases of DNA profiling -- this is another one --

Mas mais e mais, nos casos de identificação por DNA -- e este é outro caso --

we expect juries, who are ordinary people --

nós esperamos que os júris, que são pessoas normais --

and it's documented they're very bad at this --

e está documentado que nós somos realmente ruins nisto --

we expect juries to be able to cope with the sorts of reasoning that goes on.

nós esperamos que os júris sejam capazes de lidar com os tipos de pensamento que surgem.

In other spheres of life, if people argued -- well, except possibly for politics --

Em outras áreas da vida, se as pessoas discutissem -- bom, exceto na políticas possivelmente

but in other spheres of life, if people argued illogically,

mas em outras áreas da vida, se as pessoas discutissem ilogicamente,

we'd say that's not a good thing.

nós diríamos que isto não é uma boa coisa.

We sort of expect it of politicians and don't hope for much more.

Nós até esperamos isto dos políticos e não esperamos por muito mais.

In the case of uncertainty, we get it wrong all the time --

No caso da incerteza, nós erramos o tempo todo --

and at the very least, we should be aware of that,

e no mínimo de verdade, nós deveríamos estar cientes disto.

and ideally, we might try and do something about it.

E idealmente, nós poderíamos tentar e fazer algo sobre isto.

Thanks very much.

Muito obrigado.