Peter Donnelly: How stats fool juries

Traduttore: Monica Scalici Revisore: Els De Keyser

As other speakers have said, it's a rather daunting experience --

Come gli altri conferenzieri hanno detto, è un'esperienza piuttosto emozionante...

a particularly daunting experience -- to be speaking in front of this audience.

davvero molto emozionante... parlare di fronte a quest'audience.

But unlike the other speakers, I'm not going to tell you about

Ma a differenza degli altri studiosi, non vi parlerò

the mysteries of the universe, or the wonders of evolution,

dei misteri dell'universo, o del miracolo dell'evoluzione,

or the really clever, innovative ways people are attacking

o dei modi innovativi e saggi con cui oggi le persone combattono

the major inequalities in our world.

le più grandi ingiustizie del nostro mondo.

Or even the challenges of nation-states in the modern global economy.

Non parlerò neppure dei cambiamenti degli stati nazionali nella nuova economia globale.

My brief, as you've just heard, is to tell you about statistics --

Come avete appena sentito, il mio compito oggi è dirvi qualcosa sulle statistiche...

and, to be more precise, to tell you some exciting things about statistics.

e, per essere precisi, dire qualcosa di eccitante sulle statistiche.

And that's --

E questo...

(Laughter)

(Risate)

-- that's rather more challenging

è addirittura più impegnativo

than all the speakers before me and all the ones coming after me.

di tutti gli oratori che anno parlato prima e che parleranno dopo di me.

(Laughter)

(Risate)

One of my senior colleagues told me, when I was a youngster in this profession,

Quando ero ancora un novellino in questo campo, uno dei miei colleghi più anziani mi disse,

rather proudly, that statisticians were people who liked figures

piuttosto orgoglioso, che gli esperti di statistica sono persone a cui piacciono i numeri

but didn't have the personality skills to become accountants.

ma che non posseggono le abilità sociali giuste per diventare contabili.

(Laughter)

(Risate)

And there's another in-joke among statisticians, and that's,

Ci sarebbe un'altra battuta, cioè

"How do you tell the introverted statistician from the extroverted statistician?"

"Da cosa si riconosce un esperto di statistica introverso da uno estroverso?"

To which the answer is,

La risposta è questa,

"The extroverted statistician's the one who looks at the other person's shoes."

"L'estroverso è quello che guarda le scarpe di chi gli è di fronte."

(Laughter)

(Risate)

But I want to tell you something useful -- and here it is, so concentrate now.

Ma ora vorrei raccontarvi qualcosa di utile... eccoci, provate a concentrarvi.

This evening, there's a reception in the University's Museum of Natural History.

Stasera ci sarà un ricevimento al Museo Universitario di Storia Naturale.

And it's a wonderful setting, as I hope you'll find,

E' un luogo meraviglioso, spero possa piacere anche a voi,

and a great icon to the best of the Victorian tradition.

un'icona della migliore tradizione vittoriana.

It's very unlikely -- in this special setting, and this collection of people --

E' piuttosto improbabile... in questo luogo particolare, e con questo tipo di persone...

but you might just find yourself talking to someone you'd rather wish that you weren't.

ma potreste ritrovarvi a parlare con qualcuno anche se sperereste il contrario.

So here's what you do.

Ed ecco quello che fareste-

When they say to you, "What do you do?" -- you say, "I'm a statistician."

Quando vi chiederanno "Di cosa ti occupi?"... risponderete: "Di statistica".

(Laughter)

(Risate)

Well, except they've been pre-warned now, and they'll know you're making it up.

Beh, a parte il fatto che ora saranno preavvisati, quindi sapranno che cosa gli svelerete.

And then one of two things will happen.

E ora la scelta è fra due possibilità.

They'll either discover their long-lost cousin in the other corner of the room

Potrebbero avvistare il cugino di quinto grado dall'altra parte della stanza

and run over and talk to them.

e correre da lui per salutarlo.

Or they'll suddenly become parched and/or hungry -- and often both --

Oppure potrebbe immediatamente sentirsi assetati e/o affamati... di solito entrambe le cose...

and sprint off for a drink and some food.

e lanciarsi alla ricerca di qualcosa da bere e da mangiare.

And you'll be left in peace to talk to the person you really want to talk to.

A questo punto, sarete lasciati in pace a chiacchierare con la persona con cui volevate davvero parlare.

It's one of the challenges in our profession to try and explain what we do.

Una delle vere sfide nel nostro lavoro è provare a spiegare quello che facciamo.

We're not top on people's lists for dinner party guests and conversations and so on.

Non siamo nella lista d'onore per essere invitati ad una cena o per fare conversazione.

And it's something I've never really found a good way of doing.

Queste sono cose in cui non sono mai riuscito troppo bene.

But my wife -- who was then my girlfriend --

Ma mia moglie... che è stata anche la mia fidanzata...

managed it much better than I've ever been able to.

affrontava la questione molto meglio di quanto abbia mai fatto io.

Many years ago, when we first started going out, she was working for the BBC in Britain,

Molti anni fa, quando abbiamo iniziato ad uscire insieme, lavorava per la BBC in Inghilterra

and I was, at that stage, working in America.

mentre io, in quel periodo, lavoravo in America.

I was coming back to visit her.

Tornavo per andare a trovarla.

She told this to one of her colleagues, who said, "Well, what does your boyfriend do?"

Ecco quello che ha risposto ad un suo collega che le aveva chiesto "Beh, di che cosa si occupa il tuo ragazzo?"

Sarah thought quite hard about the things I'd explained --

Sarah si mise a pensare a fondo alle cose che le avevo detto...

and she concentrated, in those days, on listening.

e si concentrò, in quel periodo, ad ascoltarmi.

(Laughter)

(Risate)

Don't tell her I said that.

Ma non raccontatele che ve l'ho detto.

And she was thinking about the work I did developing mathematical models

Ragionò sul lavoro che stavo facendo per sviluppare modelli matematici

for understanding evolution and modern genetics.

per la comprensione dell'evoluzione e della genetica moderna.

So when her colleague said, "What does he do?"

Quindi quando il suo collega le chiese "Di cosa si occupa?"

She paused and said, "He models things."

aspettò un momento e rispose "Modella le cose".

(Laughter)

(Risate)

Well, her colleague suddenly got much more interested than I had any right to expect

Bene, il collega tutto d'un tratto diventò molto più interessato di quanto avrei mai sospettato

and went on and said, "What does he model?"

e continuò chiedendo "E cosa modella?"

Well, Sarah thought a little bit more about my work and said, "Genes."

Ora, Sarah ci pensò ancora un attimo e disse "I geni".

(Laughter)

(Risate)

"He models genes."

"Modella i geni."

That is my first love, and that's what I'll tell you a little bit about.

Questo è stato il mio primo amore, e di cui vi parlerò per un po'.

What I want to do more generally is to get you thinking about

In generale, mi piacerebbe che ragionassimo insieme

the place of uncertainty and randomness and chance in our world,

su come il nostro mondo sia un luogo di incertezza, casualità e opportunità

and how we react to that, and how well we do or don't think about it.

e quale sia la nostra reazione riguardo, e come pensiamo o non pensiamo a questo.

So you've had a pretty easy time up till now --

Avete passato dei bei momenti...

a few laughs, and all that kind of thing -- in the talks to date.

qualche risata, questo tipo di cose... durante questa conferenza.

You've got to think, and I'm going to ask you some questions.

Dovrete riflettere, e io vi farò qualche domanda.

So here's the scene for the first question I'm going to ask you.

Ecco lo scenario per la mia prima domanda.

Can you imagine tossing a coin successively?

Riuscite ad immaginarvi mentre lanciate una moneta di continuo?

And for some reason -- which shall remain rather vague --

E per qualche ragione... che rimarrà piuttosto vaga...

we're interested in a particular pattern.

siamo interessati ad un aspetto in particolare.

Here's one -- a head, followed by a tail, followed by a tail.

Ad esempio... testa, poi croce, poi ancora croce.

So suppose we toss a coin repeatedly.

Immaginiamo di lanciare la moneta.

Then the pattern, head-tail-tail, that we've suddenly become fixated with happens here.

A questo punto il modello testa-croce-croce su cui ci eravamo improvvisamente concentrati si ripete.

And you can count: one, two, three, four, five, six, seven, eight, nine, 10 --

E voi potete contare: uno, due, tre, quattro, cinque, sei, sette, otto, nove, dieci...

it happens after the 10th toss.

Si ripete dopo il decimo lancio.

So you might think there are more interesting things to do, but humor me for the moment.

Ora, potreste pensare che ci siano cose decisamente più interessanti da fare, ma fatemi felice per un istante.

Imagine this half of the audience each get out coins, and they toss them

Immaginate che ognuno in questa metà del pubblico tiri fuori delle monete e le lanci

until they first see the pattern head-tail-tail.

fino a vedere la sequenza testa-croce-croce.

The first time they do it, maybe it happens after the 10th toss, as here.

La prima volta che si presenta potrebbe essere dopo 10 tiri, come nel nostro caso.

The second time, maybe it's after the fourth toss.

La seconda forse dopo il quarto.

The next time, after the 15th toss.

La volta successiva dopo 15.

So you do that lots and lots of times, and you average those numbers.

Quindi lo fate un sacco di volte, e otterreste questi numeri.

That's what I want this side to think about.

E' questo di cui chiedo a questa parte del pubblico di pensare.

The other half of the audience doesn't like head-tail-tail --

Diciamo che all'altra metà la combinazione testa-croce-croce non piaccia...

they think, for deep cultural reasons, that's boring --

a causa di profonde ragioni culturali pensano sia noiosa...

and they're much more interested in a different pattern -- head-tail-head.

e trovano decisamente più interessante un'altra combinazione... testa-croce-testa.

So, on this side, you get out your coins, and you toss and toss and toss.

Quindi, da questa parte, tirate fuori monete per poi lanciare e lanciare e ancora lanciare.

And you count the number of times until the pattern head-tail-head appears

Poi contate il numero di lanci prima che si verifichi testa-croce-testa

and you average them. OK?

e fate la media. D'accordo?

So on this side, you've got a number --

Da quest'altra parte, avete un numero...

you've done it lots of times, so you get it accurately --

l'avete ripetuto molte volte, quindi è preciso...

which is the average number of tosses until head-tail-tail.

che è la media di lanci prima di ottenere testa-croce-croce.

On this side, you've got a number -- the average number of tosses until head-tail-head.

Invece il numero che ottenete voi... la media di lanci per testa-croce-testa.

So here's a deep mathematical fact --

E qui abbiamo un'importante verità matematica...

if you've got two numbers, one of three things must be true.

quando avete due numeri, uno di questi tre fatti è vero per forza.

Either they're the same, or this one's bigger than this one,

O sono uguali, o il primo è maggiore,

or this one's bigger than that one.

o è il secondo a essere maggiore.

So what's going on here?

E nel nostro caso cosa succede?

So you've all got to think about this, and you've all got to vote --

Ora, pensate a questo, e poi dovrete votare...

and we're not moving on.

e non andremo avanti senza farlo.

And I don't want to end up in the two-minute silence

E non voglio neanche cadere nei due minuti di silenzio

to give you more time to think about it, until everyone's expressed a view. OK.

per darvi altro tempo per pensarci, finché tutti non avranno espresso il loro parere. Bene.

So what you want to do is compare the average number of tosses until we first see

Quello che dovreste fare è paragonare la media del numero di lanci fino ad ottenere

head-tail-head with the average number of tosses until we first see head-tail-tail.

testa-croce-testa con la media di testa-croce-croce.

Who thinks that A is true --

Chi pensa che la proposta A sia corretta...

that, on average, it'll take longer to see head-tail-head than head-tail-tail?

cioè, che secondo la media, impiegheremo più lanci per testa-croce-testa che per testa-croce-croce?

Who thinks that B is true -- that on average, they're the same?

E chi pensa che la corretta sia la B... secondo la media, sono due numeri uguali?

Who thinks that C is true -- that, on average, it'll take less time

Chi crede che C sia giusta... secondo la media, ci si impiega di meno

to see head-tail-head than head-tail-tail?

per ottenere testa-croce-testa che testa-croce-croce?

OK, who hasn't voted yet? Because that's really naughty -- I said you had to.

Bene, e chi è che non ha ancora votato? Siete davvero disubbidienti... vi ho detto che dovete votare.

(Laughter)

(Risate)

OK. So most people think B is true.

Allora, la maggioranza delle persone pensano che sia corretta la proposta B.

And you might be relieved to know even rather distinguished mathematicians think that.

A spero siate sollevati dal fatto che anche i matematici più illustri pensano sia così.

It's not. A is true here.

Solo che non è vero. La risposta corretta è A.

It takes longer, on average.

Considerando la media, si impiegano tempi diversi.

In fact, the average number of tosses till head-tail-head is 10

Infatti, la media di lanci prima di testa-croce-testa è 10

and the average number of tosses until head-tail-tail is eight.

mentre la media per testa-croce-croce è 8.

How could that be?

Come può essere possibile?

Anything different about the two patterns?

C'è qualcosa di diverso nelle due combinazioni?

There is. Head-tail-head overlaps itself.

In effetti, sì. Testa-croce-testa si sovrappone.

If you went head-tail-head-tail-head, you can cunningly get two occurrences

Se vi trovate testa-croce-testa-croce-testa, riuscirete a trovare facilmente per due volte

of the pattern in only five tosses.

la combinazione in solo cinque lanci.

You can't do that with head-tail-tail.

Ma non ci riuscirete con testa-croce-croce.

That turns out to be important.

E questo alla fine è importante.

There are two ways of thinking about this.

Ci sono due interpretazioni possibili per questo fatto.

I'll give you one of them.

Ora ve ne spiego una.

So imagine -- let's suppose we're doing it.

Immaginiamo... diciamo che state facendo la stessa cosa di prima.

On this side -- remember, you're excited about head-tail-tail;

Da questa parte... vi ricordate, vi interessa testa-croce-croce,

you're excited about head-tail-head.

e a voi testa-croce-testa.

We start tossing a coin, and we get a head --

Lanciamo una moneta, e viene fuori testa...

and you start sitting on the edge of your seat

ora siete aggrappati al bordo delle vostre poltroncine

because something great and wonderful, or awesome, might be about to happen.

perché qualcosa di magico e meraviglioso, di splendido, potrebbe accadere.

The next toss is a tail -- you get really excited.

Ora lanciamo di nuovo e esce croce... siete tutti molto emozionati.

The champagne's on ice just next to you; you've got the glasses chilled to celebrate.

Lo champagne è nella ghiacciaia vicino a voi, e i bicchieri sono pronti per brindare.

You're waiting with bated breath for the final toss.

Aspettate l'ultimo lancio trattenendo il respiro.

And if it comes down a head, that's great.

E se esce testa, è perfetto.

You're done, and you celebrate.

Ce l'avrete fatta e inizierete a festeggiare.

If it's a tail -- well, rather disappointedly, you put the glasses away

Se invece è croce... beh, con disappunto dovrete mettere via i bicchieri

and put the champagne back.

e riporre lo champagne.

And you keep tossing, to wait for the next head, to get excited.

E continuerete a lanciare, aspettando testa, per emozionarvi di nuovo.

On this side, there's a different experience.

Da quest'altra parte, l'esperienza sarà diversa.

It's the same for the first two parts of the sequence.

E' identica per i primi due lanci.

You're a little bit excited with the first head --

Sarete emozionati all'uscita di testa...

you get rather more excited with the next tail.

lo sarete ancora di più quando esce croce.

Then you toss the coin.

Ora lancio la moneta.

If it's a tail, you crack open the champagne.

Se esce croce, stapperete lo champagne.

If it's a head you're disappointed,

Se esce testa vi dispiacerà,

but you're still a third of the way to your pattern again.

ma sarete comunque a un terzo della strada per ottenere la combinazione giusta.

And that's an informal way of presenting it -- that's why there's a difference.

Questo è un modo informale per presentare il problema... è qui che c'è la differenza.

Another way of thinking about it --

Ecco un'altro modo di pensarla...

if we tossed a coin eight million times,

se lanciamo una moneta otto milioni di volte,

then we'd expect a million head-tail-heads

ci possiamo aspettare un milione di testa-croce-testa

and a million head-tail-tails -- but the head-tail-heads could occur in clumps.

e un milione di testa-croce-croce... ma testa-croce-testa può presentarsi in gruppi.

So if you want to put a million things down amongst eight million positions

Quindi, se volete provare a mettere un milione di cose in otto milioni di posizioni

and you can have some of them overlapping, the clumps will be further apart.

che possono essere sovrapposte, i gruppi saranno più lontani gli uni dagli altri.

It's another way of getting the intuition.

Questo è un altro modo per comprendere il fenomeno.

What's the point I want to make?

Dov'è che voglio arrivare?

It's a very, very simple example, an easily stated question in probability,

E' un esempio davvero molto semplice, un problema di facile soluzione con le probabilità,

which every -- you're in good company -- everybody gets wrong.

e che tutti... siete in buona compagnia... tutti sbagliano.

This is my little diversion into my real passion, which is genetics.

Questa è una piccola variante della mia vera passione, la genetica.

There's a connection between head-tail-heads and head-tail-tails in genetics,

C'è un legame tra testa-croce-testa e testa-croce-croce in genetica,

and it's the following.

ora ve la spiego.

When you toss a coin, you get a sequence of heads and tails.

Lanciando una moneta, si ha una sequenza di teste e i croci.

When you look at DNA, there's a sequence of not two things -- heads and tails --

Quando pensate al DNA non c'è una sequenza di due elementi... testa e croce...

but four letters -- As, Gs, Cs and Ts.

ma di quattro lettere... A, G, C e T.

And there are little chemical scissors, called restriction enzymes

E ci sono delle piccole forbici, gli enzimi di restrizione,

which cut DNA whenever they see particular patterns.

che tagliano il DNA ogni volta che trovano delle combinazioni particolari.

And they're an enormously useful tool in modern molecular biology.

Sono degli strumenti di enorme importanza nella moderna biologia molecolare.

And instead of asking the question, "How long until I see a head-tail-head?" --

Quindi, piuttosto che chiederci "Quanti lanci impiegherò per avere testa-croce-testa?"

you can ask, "How big will the chunks be when I use a restriction enzyme

potremo domandare "Quanto grosse saranno le parti se uso un enzima di restrizione

which cuts whenever it sees G-A-A-G, for example?

che taglia il DNA ogni volta che trova, ad esempio, G-A-A-G?

How long will those chunks be?"

E quanto lungo sarà?"

That's a rather trivial connection between probability and genetics.

Questa è una connessione abbastanza superficiale tra probabilità e genetica.

There's a much deeper connection, which I don't have time to go into

Ce n'è una molto più profonda, su cui non ho il tempo di dilungarmi

and that is that modern genetics is a really exciting area of science.

ed è per questo che la genetica moderna è un'area della scienza così eccitante.

And we'll hear some talks later in the conference specifically about that.

Più tardi potremo sentire degli interventi specifici su questo problema.

But it turns out that unlocking the secrets in the information generated by modern

Si è anche scoperto che scoprire i segreti delle informazioni generate dagli

experimental technologies, a key part of that has to do with fairly sophisticated --

esperimenti tecnologici si basa fondamentalmente su forme più sofisticate...

you'll be relieved to know that I do something useful in my day job,

credo sarete sollevati nel sapere che faccio anche qualcosa di utile nel mio lavoro,

rather more sophisticated than the head-tail-head story --

di più sofisticato del trucco con testa-croce-testa...

but quite sophisticated computer modelings and mathematical modelings

sui modelli sofisticati al computer, sui modelli matematici

and modern statistical techniques.

e sulle moderne tecniche statistiche.

And I will give you two little snippets -- two examples --

Vi darò due flash... insomma, due esempi...

of projects we're involved in in my group in Oxford,

sui progetti di cui mi occupo con il mio gruppo di Oxford,

both of which I think are rather exciting.

entrambi piuttosto interessanti.

You know about the Human Genome Project.

Conoscerete tutti il Human Genome Project.

That was a project which aimed to read one copy of the human genome.

Era un progetto che aveva lo scopo di decifrare il genoma umano.

The natural thing to do after you've done that --

La cosa ovvia da fare dopo esserci riusciti...

and that's what this project, the International HapMap Project,

è la nascita di un altro progetto, l'International HapMap Project,

which is a collaboration between labs in five or six different countries.

una collaborazione tra i laboratori di cinque o sei diversi paesi.

Think of the Human Genome Project as learning what we've got in common,

Provate ad immaginare lo Humane Genome Project come la comprensione di cosa abbiamo in comune,

and the HapMap Project is trying to understand

e lo HapMap Project come un tentativo di capire

where there are differences between different people.

dove si trovino le differenze tra persone diverse.

Why do we care about that?

Perché ci interessano queste cose?

Well, there are lots of reasons.

Sapete, ci sono molte ragioni.

The most pressing one is that we want to understand how some differences

Quella più importante è che vogliamo capire come alcune differenze

make some people susceptible to one disease -- type-2 diabetes, for example --

rendano alcune persone predisposte ad alcune malattie... il diabete di tipo 2, per esempio...

and other differences make people more susceptible to heart disease,

e altre differenze portino predisposizione a malattie cardiache,

or stroke, or autism and so on.

ictus o autismo.

That's one big project.

E' un progetto davvero straordinario.

There's a second big project,

E ce n'è anche un secondo,

recently funded by the Wellcome Trust in this country,

fondato da poco in questo stato dal Wellcome Trust,

involving very large studies --

che coinvolge un altissimo numero di studi...

thousands of individuals, with each of eight different diseases,

migliaia di persone, che soffrono di uno fra otto differenti sindromi,

common diseases like type-1 and type-2 diabetes, and coronary heart disease,

malattie comuni come il diabete di primo e secondo tipo, disfunzioni coronariche,

bipolar disease and so on -- to try and understand the genetics.

disturbo bipolare e altre... e cerchiamo di individuarne le cause genetiche.

To try and understand what it is about genetic differences that causes the diseases.

Individuare e capire quali sono le differenze genetiche che causano queste malattie.

Why do we want to do that?

Perché vogliamo farlo?

Because we understand very little about most human diseases.

Perché sappiamo davvero molto poco sulla maggior parte delle malattie umane.

We don't know what causes them.

Non sappiamo cosa le provochi.

And if we can get in at the bottom and understand the genetics,

Se riuscissimo ad andare a monte e conoscerne la genesi,

we'll have a window on the way the disease works,

saremo un passo in avanti nella comprensione di come si sviluppano.

and a whole new way about thinking about disease therapies

E quindi avremo un modo del tutto nuovo di programmare le terapie

and preventative treatment and so on.

e i trattamenti preventivi.

So that's, as I said, the little diversion on my main love.

E questo, come vi dicevo prima, è una piccola digressione verso il mio primo amore.

Back to some of the more mundane issues of thinking about uncertainty.

Ma torniamo ad un modo più ortodosso di pensare all'incertezza.

Here's another quiz for you --

Ed ecco a voi un altro quiz...

now suppose we've got a test for a disease

ora supponiamo di avere un esame per una malattia

which isn't infallible, but it's pretty good.

non infallibile, ma abbastanza preciso.

It gets it right 99 percent of the time.

Risulta affidabile per il 99 percento dei casi.

And I take one of you, or I take someone off the street,

E ora scelgo uno di voi, o qualcuno che passa per la strada,

and I test them for the disease in question.

e lo sottopongo alle analisi per la malattia in questione.

Let's suppose there's a test for HIV -- the virus that causes AIDS --

Diciamo che è un test per l'HIV... il virus che causa l'AIDS...

and the test says the person has the disease.

e secondo l'esame risulta che la persona è infetta.

What's the chance that they do?

Qual è la probabilità che sia vero?

The test gets it right 99 percent of the time.

L'esame è corretto il 99 percento delle volte.

So a natural answer is 99 percent.

Quindi la risposta più ovvia è il 99 percento.

Who likes that answer?

A chi piace questa risposta?

Come on -- everyone's got to get involved.

Coraggio... tutti devono essere coinvolti.

Don't think you don't trust me anymore.

Non voglio pensare che non vi fidate di me.

(Laughter)

(Risate)

Well, you're right to be a bit skeptical, because that's not the answer.

Beh, avete anche ragione a essere un po' scettici, perché quella non era la risposta.

That's what you might think.

E' quello che avreste potuto pensare.

It's not the answer, and it's not because it's only part of the story.

E non è la risposta perché vi ho raccontato solo una parte della storia.

It actually depends on how common or how rare the disease is.

Infatti, molto dipende da quanto comune o rara sia la malattia.

So let me try and illustrate that.

Permettetemi di farvi vedere.

Here's a little caricature of a million individuals.

Questa è una piccola caricatura di un milione di individui.

So let's think about a disease that affects --

E ora pensiamo a una malattia che colpisce...

it's pretty rare, it affects one person in 10,000.

diciamo che è abbastanza rara, colpisce una persona su 10000.

Amongst these million individuals, most of them are healthy

Quindi tra questo milione di persone la maggior parte è sana

and some of them will have the disease.

e solo qualcuno è malato.

And in fact, if this is the prevalence of the disease,

In effetti, se la percentuale della malattia fosse quella che vi ho detto,

about 100 will have the disease and the rest won't.

circa cento ne sarebbero colpiti e il resto no.

So now suppose we test them all.

Ora supponiamo di sottoporli tutti alle analisi.

What happens?

Cosa succede?

Well, amongst the 100 who do have the disease,

Vedete, tra i 100 che sono malati

the test will get it right 99 percent of the time, and 99 will test positive.

l'esame sarà corretto solo il 99 percento delle volte, quindi 99 volte sarà risulterà positivo.

Amongst all these other people who don't have the disease,

Tra le altre persone che non sono affette dalla malattia

the test will get it right 99 percent of the time.

il test continuerà ad essere corretto il 99 percento di volte.

It'll only get it wrong one percent of the time.

Sarà sbagliato solo per l'un percento.

But there are so many of them that there'll be an enormous number of false positives.

Ma ci sono talmente tanti sani rispetto ai malati che risulterà un numero enorme di falsi positivi.

Put that another way --

Guardiamo il problema da un altro punto di vista...

of all of them who test positive -- so here they are, the individuals involved --

di tutti quelli il cui esame risulta positivo... insomma, tra tutti quelli coinvolti...

less than one in 100 actually have the disease.

meno di uno su 100 è malato.

So even though we think the test is accurate, the important part of the story is

Quindi anche se crediamo che un test sia accurato, la cosa importante è che

there's another bit of information we need.

c'è un altra informazione di cui abbiamo bisogno.

Here's the key intuition.

E questo è il punto di svolta.

What we have to do, once we know the test is positive,

Quello che dobbiamo fare, una volta che un test risulta positivo,

is to weigh up the plausibility, or the likelihood, of two competing explanations.

è di considerare la credibilità, la probabilità secondo due diverse impostazioni.

Each of those explanations has a likely bit and an unlikely bit.

Ognuna di esse è più o meno credibile.

One explanation is that the person doesn't have the disease --

Una possibilità è che la persona non sia malata...

that's overwhelmingly likely, if you pick someone at random --

decisamente probabile, prendendo delle persona a caso...

but the test gets it wrong, which is unlikely.

ma che il test sia sbagliato, il che è improbabile.

The other explanation is that the person does have the disease -- that's unlikely --

L'altra spiegazione è che la persona è davvero malato... cosa improbabile...

but the test gets it right, which is likely.

e che il test sia corretto, che è probabile.

And the number we end up with --

Alla fine il numero che troviamo...

that number which is a little bit less than one in 100 --

che sarà leggermente inferiore rispetto a uno su 100...

is to do with how likely one of those explanations is relative to the other.

sarà basato su quanto probabile è una spiegazione rispetto all'altra.

Each of them taken together is unlikely.

Prese insieme, comunque, sono entrambi improbabili.

Here's a more topical example of exactly the same thing.

Ed ecco un esempio più attuale della stessa identica cosa.

Those of you in Britain will know about what's become rather a celebrated case

Molti di voi in Inghilterra sapranno di un caso ormai famoso

of a woman called Sally Clark, who had two babies who died suddenly.

di una donna di nome Sally Clark, i cui due bambini morirono improvvisamente.

And initially, it was thought that they died of what's known informally as "cot death,"

Inizialmente, si pensò che fossero morti per quello che famigliarmente è chiamata "morte in culla",

and more formally as "Sudden Infant Death Syndrome."

o, più formalmente, Sindrome della Morte Bianca.

For various reasons, she was later charged with murder.

Per diversi motivi, in seguito è stata processata per omicidio.

And at the trial, her trial, a very distinguished pediatrician gave evidence

E al processo, il suo processo, un pediatra spiegò

that the chance of two cot deaths, innocent deaths, in a family like hers --

che la possibilità di due morti in culla, due morti innocenti, in una famiglia come la sua...

which was professional and non-smoking -- was one in 73 million.

di professionisti non fumatori... era di una su 73 milioni.

To cut a long story short, she was convicted at the time.

Per farla breve, a quel punto venne condannata.

Later, and fairly recently, acquitted on appeal -- in fact, on the second appeal.

Più tardi, in realtà recentemente, è stata prosciolta in appello... in effetti, in secondo appello.

And just to set it in context, you can imagine how awful it is for someone

E solo per farvi capire la situazione, immaginate quanto possa essere terribile

to have lost one child, and then two, if they're innocent,

perdere un bambino, e poi un altro, e anche essendo innocenti

to be convicted of murdering them.

venire condannati per omicidio.

To be put through the stress of the trial, convicted of murdering them --

Dover sopportare lo stress del processo, essere condannati...

and to spend time in a women's prison, where all the other prisoners

passare il tempo in una prigione femminile, dove tutte le altre

think you killed your children -- is a really awful thing to happen to someone.

pensano che tu abbia ucciso i tuoi figli... è una cosa terrificante.

And it happened in large part here because the expert got the statistics

E in questo caso è accaduta soprattutto perché l'esperto ha interpretato i dati statistici

horribly wrong, in two different ways.

in modo assolutamente sbagliato, e per due motivi.

So where did he get the one in 73 million number?

Dov'è che aveva trovato uno su 73 milioni?

He looked at some research, which said the chance of one cot death in a family

Aveva letto alcune ricerche, secondo cui la possibilità di morte in culla in una famiglia

like Sally Clark's is about one in 8,500.

come quella di Sally Clark era una su 8500.

So he said, "I'll assume that if you have one cot death in a family,

Quindi si era detto "Supponendo di avere una morte in culla in una famiglia,

the chance of a second child dying from cot death aren't changed."

allora la possibilità che un altro bambino muoia è identica."

So that's what statisticians would call an assumption of independence.

E questo è quello che gli esperti in statistica chiamano assunto di indipendenza.

It's like saying, "If you toss a coin and get a head the first time,

Sarebbe un po' come dire "Se lanci una moneta e la prima volta esce testa,

that won't affect the chance of getting a head the second time."

questo non avrà alcun peso nella possibilità di avere testa anche la seconda volta".

So if you toss a coin twice, the chance of getting a head twice are a half --

Quindi se lanciate per due volte, la probabilità di avere per due volte testa è di metà...

that's the chance the first time -- times a half -- the chance a second time.

la possibilità di avere testa... e un'altra metà... per la seconda volta testa.

So he said, "Here,

Quindi ha pensato "Ehi, pensiamo...

I'll assume that these events are independent.

credo che questi eventi siano indipendenti.

When you multiply 8,500 together twice,

E quando moltiplichiamo 8500 per se stesso

you get about 73 million."

si ottiene circa 73 milioni".

And none of this was stated to the court as an assumption

E niente di tutto questo è stato spiegato alla corte come un'ipotesi

or presented to the jury that way.

o presentato in questo modo alla giuria.

Unfortunately here -- and, really, regrettably --

Sfortunatamente in questo caso... e, in realtà, purtroppo...

first of all, in a situation like this you'd have to verify it empirically.

in primo luogo, in situazioni simili c'è bisogno di verificare le teorie in modo empirico.

And secondly, it's palpably false.

E, comunque,era una statistica evidentemente falsa.

There are lots and lots of things that we don't know about sudden infant deaths.

Ci sono milioni di cose che non sappiamo sulle morti bianche.

It might well be that there are environmental factors that we're not aware of,

Possono concorrere fattori ambientali di cui non sappiamo nulla,

and it's pretty likely to be the case that there are

e ci sono buone probabilità che ci siano anche

genetic factors we're not aware of.

fattori genetici che noi non conosciamo.

So if a family suffers from one cot death, you'd put them in a high-risk group.

Quindi se una famiglia ha subito una morte in culla, la si considererebbe parte di un gruppo ad alto rischio.

They've probably got these environmental risk factors

Probabilmente erano presenti fattori ambientali di rischio

and/or genetic risk factors we don't know about.

e/o fattori genetici di cui non sappiamo niente.

And to argue, then, that the chance of a second death is as if you didn't know

E, quindi, sostenere che c'é un valore statistico su una seconda morte senza

that information is really silly.

avere queste informazioni è molto stupido.

It's worse than silly -- it's really bad science.

Anzi, è peggio che stupido... è scienza di livello bassissimo.

Nonetheless, that's how it was presented, and at trial nobody even argued it.

Inoltre, al processo sono state presentate queste prove e nessuno ne ha dubitato.

That's the first problem.

Questo è il primo punto.

The second problem is, what does the number of one in 73 million mean?

Il secondo problema è questo: cosa significa il numero 73 milioni?

So after Sally Clark was convicted --

Dopo che Sally Clark venne condannata...

you can imagine, it made rather a splash in the press --

ve lo immaginerete, è stata una manna dei giornali...

one of the journalists from one of Britain's more reputable newspapers wrote that

un giornalista di una delle testate inglesi più affidabili scrisse che

what the expert had said was,

quello che l'esperto aveva detto era

"The chance that she was innocent was one in 73 million."

"C'è una possibilità su 73 milioni che sia innocente."

Now, that's a logical error.

Ora, questo è un errore di logica.

It's exactly the same logical error as the logical error of thinking that

E' lo stesso identico errore di pensare che

after the disease test, which is 99 percent accurate,

dopo un esame medico, affidabile al 99 percento,

the chance of having the disease is 99 percent.

le possibilità di avere la malattia sono del 99 percento.

In the disease example, we had to bear in mind two things,

Nel caso della malattia, dobbiamo tenere a mente due fattori,

one of which was the possibility that the test got it right or not.

uno dei quali è la possibilità che il test sia o non sia corretto.

And the other one was the chance, a priori, that the person had the disease or not.

L'altro è la possibilità, a priori, che il paziente sia o non sia malato.

It's exactly the same in this context.

Nel contesto giudiziario si è presentato lo stesso problema.

There are two things involved -- two parts to the explanation.

Due fattori erano da considerare... due elementi della spiegazione.

We want to know how likely, or relatively how likely, two different explanations are.

E vorremmo sapere quanto probabili, o relativamente probabili, siano le due spiegazioni.

One of them is that Sally Clark was innocent --

Il primo è che Sally Clark fosse innocente...

which is, a priori, overwhelmingly likely --

cosa che, a priori, è decisamente probabile...

most mothers don't kill their children.

la maggior parte delle madri non uccide i propri bambini.

And the second part of the explanation

Il secondo, invece,

is that she suffered an incredibly unlikely event.

è che sia stata vittima di un evento incredibilmente improbabile.

Not as unlikely as one in 73 million, but nonetheless rather unlikely.

Non così tanto improbabile quanto uno su 73 milioni, ma comunque piuttosto raro.

The other explanation is that she was guilty.

L'altra possibile spiegazione è che fosse colpevole.

Now, we probably think a priori that's unlikely.

Ora, molto probabilmente crediamo a priori che non sia così.

And we certainly should think in the context of a criminal trial

E sicuramente dovremmo pensarlo in un processo,

that that's unlikely, because of the presumption of innocence.

ricordandoci della presunzione di innocenza.

And then if she were trying to kill the children, she succeeded.

Allora, se avesse cercato di uccidere i suoi bambini, ci era riuscita.

So the chance that she's innocent isn't one in 73 million.

Quindi la probabilità che fosse innocente non era di uno su 73 milioni.

We don't know what it is.

Non sappiamo quale fosse.

It has to do with weighing up the strength of the other evidence against her

Per saperlo sarebbe servito sommare le altre prove a suo carico

and the statistical evidence.

e la prova fornita dalla statistica.

We know the children died.

Sappiamo che i bambini sono morti.

What matters is how likely or unlikely, relative to each other,

Quello che importa è quanto siano realistiche o meno le due possibili

the two explanations are.

spiegazioni.

And they're both implausible.

E, in realtà, sono entrambe irrealistiche.

There's a situation where errors in statistics had really profound

Questa è una situazione in cui gli errori di statistica hanno avuto pesanti

and really unfortunate consequences.

e davvero infelici conseguenze.

In fact, there are two other women who were convicted on the basis of the

In fatti, ci sono state altre due donne condannate sulla base

evidence of this pediatrician, who have subsequently been released on appeal.

delle prove fornite dal pediatra, e che sono state in seguito scagionate.

Many cases were reviewed.

Molti altri casi sono stati riesaminati.

And it's particularly topical because he's currently facing a disrepute charge

Tutto questo è particolarmente attuale, perché in questo periodo lui sta subendo un processo di discredito

at Britain's General Medical Council.

presso il Britain's General Medical Council.

So just to conclude -- what are the take-home messages from this?

E ora, per concludere... qual è il succo da ricordarci di tutto il discorso?

Well, we know that randomness and uncertainty and chance

Beh, ciascuno di noi sa che il caso, l'incertezza e la probabilità

are very much a part of our everyday life.

fanno parte della vita di tutti i giorni.

It's also true -- and, although, you, as a collective, are very special in many ways,

Ma è anche vero... e, benché, come gruppo, siate eccezionali,

you're completely typical in not getting the examples I gave right.

siete stati assolutamente nella norma a sbagliare gli esercizi che vi ho proposto.

It's very well documented that people get things wrong.

E' documentato molto bene che le persone spesso sbagliano.

They make errors of logic in reasoning with uncertainty.

Spesso ragionando sull'improbabilità si fanno errori di logica.

We can cope with the subtleties of language brilliantly --

Riusciamo a destreggiarci brillantemente con le sottigliezze della lingua...

and there are interesting evolutionary questions about how we got here.

e ci sono domande interessantissimi sull'evoluzione riguardo il perché ne siamo capaci.

We are not good at reasoning with uncertainty.

Ma non siamo altrettanto bravi nel campo dell'incertezza.

That's an issue in our everyday lives.

E questo può essere un problema nella vita quotidiana.

As you've heard from many of the talks, statistics underpins an enormous amount

Come avrete sentito da molti dei conferenzieri, le statistiche sostengono un altissimo numero

of research in science -- in social science, in medicine

di ricerche scientifiche... nelle scienze sociali, in medicina

and indeed, quite a lot of industry.

e, alla fine, anche in gran parte delle ricerche industriali.

All of quality control, which has had a major impact on industrial processing,

Tutti i controlli sulla qualità, che sono di grandissima rilevanza nel processo industriale,

is underpinned by statistics.

si basano sulle statistiche.

It's something we're bad at doing.

Ma è qualcosa in cui riusciamo male.

At the very least, we should recognize that, and we tend not to.

In conclusione, ci dovremmo ricordare di questo fatto, ma tendiamo a non farlo.

To go back to the legal context, at the Sally Clark trial

Tornando al campo giuridico, durante il processo a Sally Clark

all of the lawyers just accepted what the expert said.

tutti gli avvocati non fecero altro che accettare quello che era stato detto dall'esperto.

So if a pediatrician had come out and said to a jury,

Ma se il pediatra se ne fosse uscito dicendo alla giuria dicendo

"I know how to build bridges. I've built one down the road.

"Ehi, so come costruire un ponte. Ne ho appena costruito uno qui in strada.

Please drive your car home over it,"

Potete passarci sopra per tornare a casa in macchina"

they would have said, "Well, pediatricians don't know how to build bridges.

gli avrebbero risposto "Beh, i pediatri non sanno costruire i ponti.

That's what engineers do."

Quello è un compito per gli ingegneri."

On the other hand, he came out and effectively said, or implied,

Ma d'altra parte lui è davvero saltato fuori dicendo, o comunque volendo dire

"I know how to reason with uncertainty. I know how to do statistics."

"So come operare con l'incertezza. So come interpretare le statistiche."

And everyone said, "Well, that's fine. He's an expert."

E tutti hanno risposto: "Ah, bene. Ascoltiamolo, è un esperto."

So we need to understand where our competence is and isn't.

Abbiamo tutti bisogno di capire cos'è e cosa non è nostra competenza.

Exactly the same kinds of issues arose in the early days of DNA profiling,

Lo stesso problema si presenta con le moderne tecnologie di profiling con il DNA,

when scientists, and lawyers and in some cases judges,

quando scienziati, avvocati e in qualche caso anche i giudici

routinely misrepresented evidence.

sistematicamente travisano il significato delle prove.

Usually -- one hopes -- innocently, but misrepresented evidence.

Di solito... al meno si spera... in buona fede, ma le interpretano male.

Forensic scientists said, "The chance that this guy's innocent is one in three million."

L'esperto forense dice "La probabilità che quest'uomo sia innocente è una su tre milioni."

Even if you believe the number, just like the 73 million to one,

E anche se fate fede al numero, come nel caso di uno su 73 milioni,

that's not what it meant.

non è questo il significato di una cifra.

And there have been celebrated appeal cases

E ci sono stati casi a cui si è ricorso all'appello

in Britain and elsewhere because of that.

in Inghilterra come ovunque per questo motivo.

And just to finish in the context of the legal system.

L'ultima cosa riguardo la legislatura.

It's all very well to say, "Let's do our best to present the evidence."

Va benissimo dire "Facciamo del nostro meglio per presentare le prove".

But more and more, in cases of DNA profiling -- this is another one --

Ma sempre più spesso, nel caso del DNA... per fare un altro esempio...

we expect juries, who are ordinary people --

pretendiamo che i membri della giuria, persone ordinarie...

and it's documented they're very bad at this --

ed è documentato che non sono preparatissimi a questo...

we expect juries to be able to cope with the sorts of reasoning that goes on.

pretendiamo che siano in grado di seguire ogni sorta di ragionamento sul DNA.

In other spheres of life, if people argued -- well, except possibly for politics --

In altri campi, quando le persone discutono... beh, forse a parte la politica.

but in other spheres of life, if people argued illogically,

Ma in tutti gli altri campi, se le persone sostengono cose senza senso,

we'd say that's not a good thing.

sappiamo che non sta andando bene.

We sort of expect it of politicians and don't hope for much more.

Possiamo aspettarcelo dai politici e neanche speriamo in qualcosa di meglio.

In the case of uncertainty, we get it wrong all the time --

Nel caso dell'incertezza, ci sbagliamo tutte le volte...

and at the very least, we should be aware of that,

e, alla fin fine, dobbiamo esserne consapevoli.

and ideally, we might try and do something about it.

L'ideale sarebbe provare a migliorare questa situazione.

Thanks very much.

Grazie mille.