Peter Donnelly: How stats fool juries

Peter Donnelly démontre comment les statistiques peuvent tromper les jurés

Traducteur: Emmanuel Cohen Relecteur: Elisabeth Buffard

As other speakers have said, it's a rather daunting experience --

Comme d'autres conférenciers l'ont dit, c'est plutôt intimidant --

a particularly daunting experience -- to be speaking in front of this audience.

particulièrement intimidant -- de parler devant vous.

But unlike the other speakers, I'm not going to tell you about

Mais contrairement à d'autres, je ne vous parlerai pas

the mysteries of the universe, or the wonders of evolution,

des mystères de l'univers, des merveilles de l'évolution,

or the really clever, innovative ways people are attacking

ou des manières intelligentes et innovantes de s'attaquer

the major inequalities in our world.

aux grandes inégalités de notre monde.

Or even the challenges of nation-states in the modern global economy.

Ni même des défis des états-nations dans l'économie mondiale moderne.

My brief, as you've just heard, is to tell you about statistics --

Mon exposé, comme on vous l'a annoncé, parle de statistiques --

and, to be more precise, to tell you some exciting things about statistics.

et, pour être plus précis, d'aspects vraiment passionnants desstatistiques .

And that's --

Et c'est --

(Laughter)

(Rires)

-- that's rather more challenging

-- c'est plus un défi pour moi

than all the speakers before me and all the ones coming after me.

que pour tous les autres conférenciers avant et après moi.

(Laughter)

(Rires)

One of my senior colleagues told me, when I was a youngster in this profession,

Un de mes aînés m'a dit, quand je débutais dans ce métier,

rather proudly, that statisticians were people who liked figures

plutôt fièrement, que les statisticiens étaient des gens qui aimaient les chiffres

but didn't have the personality skills to become accountants.

mais n'avaient pas la personnalité requise pour devenir comptables.

(Laughter)

(Rires)

And there's another in-joke among statisticians, and that's,

Il y a une autre blague que les statisticiens font à propos d'eux-mêmes,

"How do you tell the introverted statistician from the extroverted statistician?"

"Quelle est la différence entre un statisticien introverti et un statisticien extraverti ?"

To which the answer is,

Et la réponse est,

"The extroverted statistician's the one who looks at the other person's shoes."

"L'extraverti est celui qui regarde les chaussures de l'autre."

(Laughter)

(Rires)

But I want to tell you something useful -- and here it is, so concentrate now.

Mais je veux vous parler de quelque chose d'utile -- concentrez-vous.

This evening, there's a reception in the University's Museum of Natural History.

Ce soir, il y a une réception au musée d'histoire naturelle de l'université.

And it's a wonderful setting, as I hope you'll find,

Le cadre est magnifique, j'espère que vous en conviendrez,

and a great icon to the best of the Victorian tradition.

et il est très représentatif du meilleur de la tradition victorienne.

It's very unlikely -- in this special setting, and this collection of people --

Dans ce décor magnifique, avec tous ces gens réunis -- c'est peu probable

but you might just find yourself talking to someone you'd rather wish that you weren't.

mais vous pourriez vous vous retrouver dans une conversation et vouloir en sortir.

So here's what you do.

Dans ce cas voici ce que vous faites.

When they say to you, "What do you do?" -- you say, "I'm a statistician."

Quand on vous demande, "Que faites-vous dans la vie ?" -- vous dites, "Je suis statisticien."

(Laughter)

(Rires)

Well, except they've been pre-warned now, and they'll know you're making it up.

Sauf que maintenant ils sont prévenus, et qu'ils sauront que vous mentez.

And then one of two things will happen.

Alors il peut se passer deux choses.

They'll either discover their long-lost cousin in the other corner of the room

Soit ils vont se trouver un lointain cousin à l'autre bout de la salle

and run over and talk to them.

et courir pour aller lui parler.

Or they'll suddenly become parched and/or hungry -- and often both --

Soit ils vont soudain avoir très soif ou faim -- et souvent les deux --

and sprint off for a drink and some food.

et filer se servir à boire à ou manger.

And you'll be left in peace to talk to the person you really want to talk to.

Et vous pourrez tranquillement parler avec qui vous voulez.

It's one of the challenges in our profession to try and explain what we do.

C'est un des défis de notre profession d'essayer d'expliquer ce que nous faisons.

We're not top on people's lists for dinner party guests and conversations and so on.

Nous ne sommes pas les meilleurs convives dans les dîners en ville et les conversations mondaines...

And it's something I've never really found a good way of doing.

Et je ne suis pas vraiment doué pour cela.

But my wife -- who was then my girlfriend --

Mais ma femme -- ma petite amie alors --

managed it much better than I've ever been able to.

le faisait beaucoup mieux que moi.

Many years ago, when we first started going out, she was working for the BBC in Britain,

Il y a longtemps, quand nous nous sommes rencontrés, elle travaillait pour la BBC en Grande Bretagne,

and I was, at that stage, working in America.

et je travaillais, à ce moment-là, en Amérique.

I was coming back to visit her.

J'étais de retour pour la voir.

She told this to one of her colleagues, who said, "Well, what does your boyfriend do?"

Elle l'a dit à une de ses collèges, qui a demandé "Et que fait-il dans la vie ?"

Sarah thought quite hard about the things I'd explained --

Sarah s'est mise à réfléchir à ce que je lui avais raconté --

and she concentrated, in those days, on listening.

et elle faisait l'effort d'écouter, à cette époque.

(Laughter)

(Rires)

Don't tell her I said that.

Ne lui dites pas que j'ai dit ça.

And she was thinking about the work I did developing mathematical models

Et elle pensait à mon travail sur la conception de modèles mathématiques

for understanding evolution and modern genetics.

pour comprendre l'évolution et la génétique moderne.

So when her colleague said, "What does he do?"

Alors quand son collègue lui a dit "Que fait-il?"

She paused and said, "He models things."

Elle a hésité et a dit, "Il fait du design"

(Laughter)

(Rires)

Well, her colleague suddenly got much more interested than I had any right to expect

Alors sa collègue s'est sentie vivement intéressée, étrangement,

and went on and said, "What does he model?"

et elle a dit, "Et que fait-il comme design ?"

Well, Sarah thought a little bit more about my work and said, "Genes."

Alors Sarah a réfléchi un peu plus et a dit, "des jeans" (ndt gènes)

(Laughter)

(Rires)

"He models genes."

"Il design des jeans." (des gènes)

That is my first love, and that's what I'll tell you a little bit about.

C'est mon premier amour, je n'en dirai pas plus.

What I want to do more generally is to get you thinking about

Plus généralement je voudrais que vous pensiez

the place of uncertainty and randomness and chance in our world,

au rôle de l'incertain, de l'aléatoire et du hasard dans notre monde,

and how we react to that, and how well we do or don't think about it.

comment nous y réagissons, et comment nous voyons les choses.

So you've had a pretty easy time up till now --

Bon. Ca a été plutôt facile pour vous jusqu'ici --

a few laughs, and all that kind of thing -- in the talks to date.

vous avez ri, etc -- dans les conférences jusqu'à celle-ci.

You've got to think, and I'm going to ask you some questions.

Vous allez devoir réfléchir, et je vais vous poser des questions.

So here's the scene for the first question I'm going to ask you.

Pour ma première question, imaginez la situation suivante.

Can you imagine tossing a coin successively?

Si vous lancez une pièce plusieurs fois d'affilée,

And for some reason -- which shall remain rather vague --

Pour une raison donnée -- que je n'expliquerai pas pour le moment --

we're interested in a particular pattern.

nous nous intéressons à un séquence particulière.

Here's one -- a head, followed by a tail, followed by a tail.

En voici une -- face, suivi de pile, suivi de pile.

So suppose we toss a coin repeatedly.

Supposez donc que nous lancions une pièce plusieurs fois de suite.

Then the pattern, head-tail-tail, that we've suddenly become fixated with happens here.

La séquence, face-pile-pile, qui nous tient à coeur, se produit.

And you can count: one, two, three, four, five, six, seven, eight, nine, 10 --

Si l'on compte : un, deux, trois, quatre, cinq, six, sept, huit, neuf, dix --

it happens after the 10th toss.

elle se produit après le 10e lancer.

So you might think there are more interesting things to do, but humor me for the moment.

Vous pouvez penser qu'il y a des choses plus intéressantes à faire, mais laissez moi poursuivre.

Imagine this half of the audience each get out coins, and they toss them

Imaginez que cette moitié d'entre vous a des pièces, et les lance

until they first see the pattern head-tail-tail.

jusqu'à voir la séquence face-pile-pile.

The first time they do it, maybe it happens after the 10th toss, as here.

La première fois, ça se passera peut-être après le 10e lancer, comme ici.

The second time, maybe it's after the fourth toss.

La seconde fois, ce sera peut-être après le 4e lancer.

The next time, after the 15th toss.

La fois suivante, après le 15e.

So you do that lots and lots of times, and you average those numbers.

Vous relancez de nombreuses fois, et vous calculez la moyenne de ces chiffres.

That's what I want this side to think about.

Je veux que ce côté de la salle y réfléchisse.

The other half of the audience doesn't like head-tail-tail --

L'autre moitié de l'assistance, elle, n'aime pas face-pile-pile --

they think, for deep cultural reasons, that's boring --

ils trouvent ça ennuyeux, pour d'obscures raisons culturelles --

and they're much more interested in a different pattern -- head-tail-head.

et ils sont plus intéressés par une séquence différente -- face-pile-face.

So, on this side, you get out your coins, and you toss and toss and toss.

Donc, de ce côté; vous prenez vos pièces, et vous les lancez et relancez.

And you count the number of times until the pattern head-tail-head appears

Et vous comptez le nombre de lancers jusqu'à la séquence face-pile-face

and you average them. OK?

et vous faites la moyenne. OK ?

So on this side, you've got a number --

De ce côté-ci, vous obtenez un nombre --

you've done it lots of times, so you get it accurately --

Vous l'avez beaucoup fait, donc vous obtenez un nombre exact --

which is the average number of tosses until head-tail-tail.

le nombre moyen de lancers pour obtenir face-pile-pile.

On this side, you've got a number -- the average number of tosses until head-tail-head.

De ce côté-là -- le nombre moyen de lancers jusqu'à face-pile-face.

So here's a deep mathematical fact --

C'est une règle mathématique fondamentale --

if you've got two numbers, one of three things must be true.

si vous avez deux nombres, une des 3 choses suivantes est vraie.

Either they're the same, or this one's bigger than this one,

Ou bien ils sont égaux, ou bien l'un est plus grand que l'autre,

or this one's bigger than that one.

ou l'autre plus grand que l'un.

So what's going on here?

Que se passe-t-il dans notre cas ?

So you've all got to think about this, and you've all got to vote --

Vous devez tous y penser, et vous allez devoir voter --

and we're not moving on.

nous en restons là pour le moment.

And I don't want to end up in the two-minute silence

Je ne veux pas vous laisser trop de temps

to give you more time to think about it, until everyone's expressed a view. OK.

pour y réfléchir, jusqu'à ce que tout le monde ait voté. OK.

So what you want to do is compare the average number of tosses until we first see

Vous comparez le nombre de lancers moyen jusqu'à la première apparition

head-tail-head with the average number of tosses until we first see head-tail-tail.

de face-pile-face avec le nombre moyen de lancers jusqu'à face-pile-pile.

Who thinks that A is true --

Qui pense que A est vrai --

that, on average, it'll take longer to see head-tail-head than head-tail-tail?

qu'en moyenne, ce sera plus long pour face-pile-face que pour face-pile-pile ?

Who thinks that B is true -- that on average, they're the same?

Qui pense que B est vrai -- qu'en moyenne, ils sont égaux ?

Who thinks that C is true -- that, on average, it'll take less time

Qui pense que C est vrai -- qu'en moyenne, il faudra moins de temps

to see head-tail-head than head-tail-tail?

pour face-pile-face que pour face-pile-pile ?

OK, who hasn't voted yet? Because that's really naughty -- I said you had to.

OK, qui n'a pas voté ? Parce que c'est mal -- on a dit que vous deviez le faire.

(Laughter)

(Rires)

OK. So most people think B is true.

OK. Donc la majorité pense que B est vrai.

And you might be relieved to know even rather distinguished mathematicians think that.

Et vous serez rassurés de savoir que même de distingués mathématiciens le pensent aussi.

It's not. A is true here.

C'est faux. C'est A qui est vrai.

It takes longer, on average.

C'est plus long, en moyenne.

In fact, the average number of tosses till head-tail-head is 10

En fait, la moyenne du nombre de lancers nécessaires pour face-pile-face est 10

and the average number of tosses until head-tail-tail is eight.

et la moyenne pour face-pile-pile est 8.

How could that be?

Comment est-ce possible ?

Anything different about the two patterns?

Les deux séquences sont-elles différentes ?

There is. Head-tail-head overlaps itself.

Elles le sont. Face-pile-face se "mord la queue".

If you went head-tail-head-tail-head, you can cunningly get two occurrences

Si vous avez face-pile-face-pile-face, vous obtenez d'un coup deux occurrences

of the pattern in only five tosses.

de la séquence en seulement cinq lancers.

You can't do that with head-tail-tail.

Ce n'est pas possible avec face-pile-pile.

That turns out to be important.

Ceci s'avère important.

There are two ways of thinking about this.

Il y a deux manières de voir.

I'll give you one of them.

Je vais vous en donner une.

So imagine -- let's suppose we're doing it.

Supposons que nous sommes en train de lancer.

On this side -- remember, you're excited about head-tail-tail;

De ce côté -- rappelez-vous, vous êtes enthousiastes pour face-pile-pile,

you're excited about head-tail-head.

et vous, pour face-pile-face.

We start tossing a coin, and we get a head --

On lancer, et on obtient face --

and you start sitting on the edge of your seat

vous commencez à vous tortiller sur votre fauteuil

because something great and wonderful, or awesome, might be about to happen.

car quelque chose de grand et de merveilleux, est sur le point de se produire.

The next toss is a tail -- you get really excited.

Le second lancer donne un pile -- et vous vous emballez.

The champagne's on ice just next to you; you've got the glasses chilled to celebrate.

Le champagne glacé est juste à côté de vous, vous avez refroidi les flûtes et vous vous préparez fêter ça.

You're waiting with bated breath for the final toss.

Vous attendez, haletant, le lancer final.

And if it comes down a head, that's great.

Et s'il sort un face, c'est super.

You're done, and you celebrate.

Vous êtes contents, et vous fêtez ça.

If it's a tail -- well, rather disappointedly, you put the glasses away

Si c'est un pile -- bon, un peu déçus, vous rangez les flûtes

and put the champagne back.

et le champagne.

And you keep tossing, to wait for the next head, to get excited.

Et vous continuez vos lancers, vous attendez la sortie du prochain face pour vous emballer de nouveau.

On this side, there's a different experience.

De ce côté-là, vous vivez une expérience différente.

It's the same for the first two parts of the sequence.

C'est la même chose pour les deux premières parties de la séquence.

You're a little bit excited with the first head --

Vous êtes un peu excités par le premier face --

you get rather more excited with the next tail.

vous êtes encore plus excités avec le pile suivant.

Then you toss the coin.

Et vous relancez.

If it's a tail, you crack open the champagne.

Si c'est un pile, vous sabrez le champagne.

If it's a head you're disappointed,

Si c'est un face vous êtes déçus,

but you're still a third of the way to your pattern again.

mais vous êtes de nouveau au tiers de votre motif.

And that's an informal way of presenting it -- that's why there's a difference.

C'est une manière informelle de présenter les choses -- mais c'est pour cela qu'il y a une différence.

Another way of thinking about it --

Une autre manière de voir --

if we tossed a coin eight million times,

si vous avez lancé huit millions de fois,

then we'd expect a million head-tail-heads

alors nous devrions avoir un million de face-pile-face,

and a million head-tail-tails -- but the head-tail-heads could occur in clumps.

et un million de face-pile-pile -- mais face-pile-face pourrait apparaître en grappes.

So if you want to put a million things down amongst eight million positions

Donc sur huit millions de positions, si vous voulez en placer un million

and you can have some of them overlapping, the clumps will be further apart.

et que certains d'entre eux se recouvrent, les paquets seront plus séparés.

It's another way of getting the intuition.

C'est une autre façon de rendre les choses intuitives.

What's the point I want to make?

Qu'est-ce que je veux dire par là ?

It's a very, very simple example, an easily stated question in probability,

Il s'agit d'un exemple très, très simple, une question de probabilité facile,

which every -- you're in good company -- everybody gets wrong.

sur laquelle tout le monde se trompe -- et nous sommes en bonne compagnie.

This is my little diversion into my real passion, which is genetics.

Ceci est une petite digression pour en venir à ma véritable passion, la génétique.

There's a connection between head-tail-heads and head-tail-tails in genetics,

Il y a un lien entre face-pile-face et face-pile-pile en génétique,

and it's the following.

et c'est le suivant.

When you toss a coin, you get a sequence of heads and tails.

Quand vous lancez une pièce, vous obtenez une séquence de faces et de piles.

When you look at DNA, there's a sequence of not two things -- heads and tails --

Dans l'ADN il y a une séquence de non pas deux choses -- face et pile --

but four letters -- As, Gs, Cs and Ts.

mais de quatre lettres -- A, G, C et T.

And there are little chemical scissors, called restriction enzymes

Il y a de petits ciseaux chimiques, appelés enzymes de restriction,

which cut DNA whenever they see particular patterns.

qui coupent l'ADN à chaque fois qu'ils tombent sur une séquence particulière.

And they're an enormously useful tool in modern molecular biology.

C'est un outil extrêmement utile en biologie moléculaire moderne.

And instead of asking the question, "How long until I see a head-tail-head?" --

Au lieu de demander, "Au bout de combien de temps obtient-on un face-pile-face ?" --

you can ask, "How big will the chunks be when I use a restriction enzyme

vous pouvez demander, "De quelle taille sont les paquets si j'utilise une enzyme de restriction

which cuts whenever it sees G-A-A-G, for example?

qui coupe quand elle voit G-A-A-G, par exemple,

How long will those chunks be?"

De quelle taille sont ces paquets ?"

That's a rather trivial connection between probability and genetics.

C'est un lien des plus courants entre probabilité et génétique.

There's a much deeper connection, which I don't have time to go into

Il y a un lien plus profond encore, dont je n'ai pas eu le temps de parler

and that is that modern genetics is a really exciting area of science.

et qui fait de la génétique moderne une science vraiment passionnante.

And we'll hear some talks later in the conference specifically about that.

Nous entendrons d'autres conférences à ce sujet.

But it turns out that unlocking the secrets in the information generated by modern

Il s'avère que, pour comprendre les secrets que recèle les données générées par les technologies

experimental technologies, a key part of that has to do with fairly sophisticated --

expérimentales modernes, une des clés provient de techniques plutôt sophistiquées --

you'll be relieved to know that I do something useful in my day job,

rassurez-vous, je fais quelque chose d'utile dans mon travail,

rather more sophisticated than the head-tail-head story --

beaucoup plus sophistiquées que l'histoire de face-pile-face --

but quite sophisticated computer modelings and mathematical modelings

la modélisation informatique et mathématique

and modern statistical techniques.

et des techniques statistiques modernes.

And I will give you two little snippets -- two examples --

Je vais vous donner deux aperçus-- deux exemples --

of projects we're involved in in my group in Oxford,

de projets dont mon groupe à Oxford fait partie,

both of which I think are rather exciting.

qui sont tous les deux assez passionnants.

You know about the Human Genome Project.

Vous connaissez le projet Génome Humain.

That was a project which aimed to read one copy of the human genome.

Ce projet avait pour but de séquencer un génome humain complet.

The natural thing to do after you've done that --

Ce qui vient naturellement après ça --

and that's what this project, the International HapMap Project,

c'est le projet international HapMap,

which is a collaboration between labs in five or six different countries.

qui est une collaboration de laboratoires de cinq ou six pays différents.

Think of the Human Genome Project as learning what we've got in common,

Pensez au projet Génome Humain comme une manière d'apprendre ce que nous avons en commun

and the HapMap Project is trying to understand

et au projet HapMap comme une façon de comprendre

where there are differences between different people.

les différences entre des gens différents.

Why do we care about that?

Pourquoi se préoccuper de cela ?

Well, there are lots of reasons.

Et bien, il y a de nombreuses raisons.

The most pressing one is that we want to understand how some differences

La plus pressante est de comprendre comment ces différences

make some people susceptible to one disease -- type-2 diabetes, for example --

prédisposent certaines personnes à une maladie donnée -- disons, un diabète de type 2 --

and other differences make people more susceptible to heart disease,

et que d'autres différences prédisposent d'autres à des maladies du coeur,

or stroke, or autism and so on.

ou à des accidents vasculaires cérébraux, ou à l'autisme etc.

That's one big project.

C'est un grand projet.

There's a second big project,

Il y a un second grand projet.

recently funded by the Wellcome Trust in this country,

récemment financé par le Wellcome Trust dans ce pays,

involving very large studies --

qui implique de vastes études --

thousands of individuals, with each of eight different diseases,

des milliers d'individus, et huit maladies différentes,

common diseases like type-1 and type-2 diabetes, and coronary heart disease,

des maladies courantes comme les diabètes de type 1 et 2, l'infarctus du myocarde,

bipolar disease and so on -- to try and understand the genetics.

les maladies bipolaires etc -- pour essayer de comprendre leur génétique.

To try and understand what it is about genetic differences that causes the diseases.

Essayer de comprendre ce qui, dans les différences génétiques cause ces maladies.

Why do we want to do that?

Pourquoi voulons-nous faire cela ?

Because we understand very little about most human diseases.

Parce que nous connaissons très peu la plupart des maladies humaines.

We don't know what causes them.

Nous ne connaissons pas leurs causes.

And if we can get in at the bottom and understand the genetics,

Et si nous pouvons approfondir et comprendre leur génétique,

we'll have a window on the way the disease works,

nous aurons une accès à leur manière de fonctionner.

and a whole new way about thinking about disease therapies

Une toute nouvelle façon de concevoir les thérapies

and preventative treatment and so on.

et les traitements préventifs etc.

So that's, as I said, the little diversion on my main love.

C'était, comme je l'ai dit, une petite digression à ma passion principale.

Back to some of the more mundane issues of thinking about uncertainty.

Revenons à des problèmes plus prosaïques sur la manière de penser l'incertain.

Here's another quiz for you --

Voici un autre quizz --

now suppose we've got a test for a disease

supposez que nous ayons un test pour une maladie

which isn't infallible, but it's pretty good.

qui n'est pas infaillible, mais plutôt bon.

It gets it right 99 percent of the time.

Il est juste 99 pour cent du temps.

And I take one of you, or I take someone off the street,

Je choisis l'un de vous, ou quelqu'un dans la rue,

and I test them for the disease in question.

et je fais le test pour cette maladie.

Let's suppose there's a test for HIV -- the virus that causes AIDS --

Supposons qu'il existe un test pour le VIH -- le virus responsable du SIDA --

and the test says the person has the disease.

et que le test soit positif pour cette personne.

What's the chance that they do?

Quel est le pourcentage de chance que la personne soit effectivement malade ?

The test gets it right 99 percent of the time.

Le test est bon 99 pour cent des fois.

So a natural answer is 99 percent.

Donc la réponse naturelle est 99 pour cent.

Who likes that answer?

Qui aime cette réponse ?

Come on -- everyone's got to get involved.

Allez -- tout le monde est concerné.

Don't think you don't trust me anymore.

Oubliez que vous ne me faites plus confiance.

(Laughter)

(Rires)

Well, you're right to be a bit skeptical, because that's not the answer.

Bien, vous avez raison d'être un peu sceptiques, parce que ce n'est pas la bonne réponse.

That's what you might think.

C'est ce que vous pourriez croire.

It's not the answer, and it's not because it's only part of the story.

Ce n'est pas la réponse, parce qu'il manque des éléments.

It actually depends on how common or how rare the disease is.

La réponse dépend en fait de la rareté de la maladie.

So let me try and illustrate that.

Je vais vous donner un exemple.

Here's a little caricature of a million individuals.

Voici une représentation d'un million d'individus.

So let's think about a disease that affects --

Prenons une maladie qui affecte --

it's pretty rare, it affects one person in 10,000.

c'est une maladie rare, elle affecte une personne sur 10 000.

Amongst these million individuals, most of them are healthy

Parmi ce million d'individus, la plupart sont en bonne santé

and some of them will have the disease.

et certains ont la maladie.

And in fact, if this is the prevalence of the disease,

Et, si ceci est la prévalence de la maladie,

about 100 will have the disease and the rest won't.

100 l'auront et le reste non.

So now suppose we test them all.

Maintenant, supposez qu'on teste tout le monde.

What happens?

Que se passe-t-il ?

Well, amongst the 100 who do have the disease,

Et bien, sur les 100 qui ont la maladie,

the test will get it right 99 percent of the time, and 99 will test positive.

le test aura la bonne réponse 99 fois sur cent, et 99 seront testés positifs.

Amongst all these other people who don't have the disease,

Sur tous les autres, qui sont en bonne santé,

the test will get it right 99 percent of the time.

le test répondra juste à 99 pour cent.

It'll only get it wrong one percent of the time.

Il sera faux seulement une fois sur cent.

But there are so many of them that there'll be an enormous number of false positives.

Mais il y a tellement de gens qu'il y aura un grand nombre de faux positifs.

Put that another way --

Dit autrement --

of all of them who test positive -- so here they are, the individuals involved --

sur tous ceux qui sont testés positifs -- voici les individus concernés --

less than one in 100 actually have the disease.

moins d'un sur 100 a vraiment la maladie.

So even though we think the test is accurate, the important part of the story is

Donc même si nous considérons que le test est rigoureux, un élément important est

there's another bit of information we need.

qu'une partie de l'information est manquante.

Here's the key intuition.

Voici l'intuition essentielle.

What we have to do, once we know the test is positive,

Ce que nous devons faire, lorsque le test est positif

is to weigh up the plausibility, or the likelihood, of two competing explanations.

est de peser la plausibilité, ou la vraisemblance, de deux explications opposées.

Each of those explanations has a likely bit and an unlikely bit.

Chacune de ces explications est en partie vraisemblable et en partie peu vraisemblable.

One explanation is that the person doesn't have the disease --

Une explication est que la personne n'a pas la maladie --

that's overwhelmingly likely, if you pick someone at random --

ce qui est extrêmement probable, si vous prenez quelqu'un au hasard --

but the test gets it wrong, which is unlikely.

et que le test est faux, ce qui est peu probable.

The other explanation is that the person does have the disease -- that's unlikely --

L'autre explication est que la personne a la maladie -- c'est peu probable --

but the test gets it right, which is likely.

et que le test est juste, ce qui est probable.

And the number we end up with --

Et le nombre que nous obtenons --

that number which is a little bit less than one in 100 --

ce nombre est légèrement inférieur à 100 --

is to do with how likely one of those explanations is relative to the other.

dépend de la probabilité qu'une de ces explications est liée à l'autre.

Each of them taken together is unlikely.

Chacune des deux prises ensemble est improbable.

Here's a more topical example of exactly the same thing.

Voici un autre exemple pris dans l'actualité.

Those of you in Britain will know about what's become rather a celebrated case

Les britanniques ont entendu parler de ce cas devenu célèbre

of a woman called Sally Clark, who had two babies who died suddenly.

d'une femme nommée Sally Clark, dont les deux bébés sont morts soudainement.

And initially, it was thought that they died of what's known informally as "cot death,"

Initialement, on a pensé qu'ils étaient morts de ce que l'on appelle la mort subite du nourrisson

and more formally as "Sudden Infant Death Syndrome."

(familièrement en anglais : "mort du berceau")

For various reasons, she was later charged with murder.

Pour différentes raisons, on l'a plus tard accusée de meurtre.

And at the trial, her trial, a very distinguished pediatrician gave evidence

Et au procès, son procès, un pédiatre distingué a déclaré dans son témoignage

that the chance of two cot deaths, innocent deaths, in a family like hers --

que le pourcentage de chance d'avoir deux nourrissons morts du même syndrome, dans une famille comme la sienne --

which was professional and non-smoking -- was one in 73 million.

en activité et non fumeur -- était de 1 sur 73 millions.

To cut a long story short, she was convicted at the time.

Pour faire court, elle a été condamnée à l'époque.

Later, and fairly recently, acquitted on appeal -- in fact, on the second appeal.

Plus tard, assez récemment, elle a été acquittée en appel -- en fait, au second appel.

And just to set it in context, you can imagine how awful it is for someone

Pour replacer les choses dans leur contexte, imaginez l'épreuve pour quelqu'un

to have lost one child, and then two, if they're innocent,

de perdre un enfant, et un deuxième, et tout en étant innocent,

to be convicted of murdering them.

d'être reconnu coupable de meurtre.

To be put through the stress of the trial, convicted of murdering them --

De subir le stress du procès, d'être condamné pour meurtre --

and to spend time in a women's prison, where all the other prisoners

et d'être détenue dans une prison pour femmes, où toutes les autres prisonnières

think you killed your children -- is a really awful thing to happen to someone.

pensent que vous avez tué vos enfants -- c'est vraiment horrible.

And it happened in large part here because the expert got the statistics

Et c'est arrivé en grande partie parce que l'expert s'est totalement fourvoyé

horribly wrong, in two different ways.

sur ses statistiques, et ce sur deux points.

So where did he get the one in 73 million number?

Alors d'où a-t-il sorti son chiffre de 73 millions ?

He looked at some research, which said the chance of one cot death in a family

Il a lu quelques publications de recherche, qui disaient que la chance d'une mort subite du nourrisson dans une famille

like Sally Clark's is about one in 8,500.

comme celle de Sally Clark est à peu près d'une sur huit mille cinq cent.

So he said, "I'll assume that if you have one cot death in a family,

Et il a dit, "Je suppose que si on a un nourrisson mort du syndrome dans une famille,

the chance of a second child dying from cot death aren't changed."

le pourcentage de chance d'avoir une second enfant mort sont inchangées."

So that's what statisticians would call an assumption of independence.

C'est ce que les statisticiens appelleraient une hypothèse d'indépendance.

It's like saying, "If you toss a coin and get a head the first time,

C'est la même chose de dire, "Si vous lancez une pièce et obtenez face la première fois,

that won't affect the chance of getting a head the second time."

cela n'aura pas d'incidence sur vos chances d'avoir face la seconde fois."

So if you toss a coin twice, the chance of getting a head twice are a half --

Alors si vous lancez une pièce deux fois de suite, la probabilité d'obtenir deux faces est un demi --

that's the chance the first time -- times a half -- the chance a second time.

soit la probabilité du premier lancer -- multiplié par un demi -- la probabilité du second lancer.

So he said, "Here,

Alors il a dit, "Supposons --

I'll assume that these events are independent.

Je suppose que ces évènements sont indépendants.

When you multiply 8,500 together twice,

Quand vous multipliez huit mille cinq cents par huit mille cinq cents,

you get about 73 million."

vous obtenez à peu près 73 millions."

And none of this was stated to the court as an assumption

Et aucune de ces hypothèses n'a été exposée au tribunal

or presented to the jury that way.

ou présentée au jury de cette façon.

Unfortunately here -- and, really, regrettably --

Malheureusement -- et vraiment, de manière regrettable --

first of all, in a situation like this you'd have to verify it empirically.

d'abord, dans une telle situation il faudrait effectuer des vérifications empiriques.

And secondly, it's palpably false.

Et ensuite, c'est évidemment faux.

There are lots and lots of things that we don't know about sudden infant deaths.

Il y a énormément de choses que nous ne savons pas sur la mort subite du nourrisson.

It might well be that there are environmental factors that we're not aware of,

Il se peut que certains facteurs environnementaux inconnus soient à l'oeuvre,

and it's pretty likely to be the case that there are

et il y a de fortes chances qu'il y ait

genetic factors we're not aware of.

des facteurs génétiques que nous ne connaissons pas.

So if a family suffers from one cot death, you'd put them in a high-risk group.

Donc si une famille est victime d'une mort d'un nourrisson, elle devient de fait partie d'un groupe à haut risque.

They've probably got these environmental risk factors

Ìls sont probablement exposés à des facteurs de risque environnemental

and/or genetic risk factors we don't know about.

et/ou à ces facteurs génétiques que nous ne connaissons pas.

And to argue, then, that the chance of a second death is as if you didn't know

Et de prétendre, alors, connaître les chances d'avoir un second décès comme si on ignorait ces informations

that information is really silly.

est vraiment idiot.

It's worse than silly -- it's really bad science.

C'est pire qu'idiot -- c'est vraiment de la très mauvaise science.

Nonetheless, that's how it was presented, and at trial nobody even argued it.

Néanmoins, c'est ainsi que ça a été présenté, et au procès personne n'a essayé de contester.

That's the first problem.

C'est le premier problème.

The second problem is, what does the number of one in 73 million mean?

Le second problème est, que veut dire le nombre de un sur 73 millions ?

So after Sally Clark was convicted --

Après que Sally Clark a été reconnue coupable --

you can imagine, it made rather a splash in the press --

imaginez, ça a vraiment fait les gros titres de la presse --

one of the journalists from one of Britain's more reputable newspapers wrote that

un des journalistes de l'un des journaux les plus respectables de Grande Bretagne a écrit

what the expert had said was,

que selon l'expert,

"The chance that she was innocent was one in 73 million."

"Les chances qu'elle soit innocente était d'une sur 73 millions."

Now, that's a logical error.

Ça, c'est une erreur de logique.

It's exactly the same logical error as the logical error of thinking that

C'est exactement la même erreur de logique que de penser

after the disease test, which is 99 percent accurate,

après le test de la maladie, qui est 99 fois sur cent juste,

the chance of having the disease is 99 percent.

que la probabilité d'avoir la maladie est de 99 pour cent.

In the disease example, we had to bear in mind two things,

Dans l'exemple du test, il fallait avoir deux choses en tête,

one of which was the possibility that the test got it right or not.

l'une était la possibilité que le test se trompe ou pas.

And the other one was the chance, a priori, that the person had the disease or not.

L'autre était la probabilité, a priori, qu'une personne soit malade.

It's exactly the same in this context.

C'est exactement la même chose ici.

There are two things involved -- two parts to the explanation.

Il y a deux phénomènes à l'oeuvre -- deux faces à l'explication.

We want to know how likely, or relatively how likely, two different explanations are.

Nous voulons savoir la probabilité, ou la probabilité relative, de deux explications différentes.

One of them is that Sally Clark was innocent --

L'une des deux est que Sally Clark était innocente --

which is, a priori, overwhelmingly likely --

ce qui est, a priori, extrêmement probable --

most mothers don't kill their children.

la plupart des mères ne tuent pas leur enfants.

And the second part of the explanation

Et la seconde partie de l'explication

is that she suffered an incredibly unlikely event.

est qu'elle a subi un évènement incroyablement improbable.

Not as unlikely as one in 73 million, but nonetheless rather unlikely.

Pas aussi improbable que le suggère le un sur 73 millions, mais néanmoins assez improblable.

The other explanation is that she was guilty.

L'autre explication est qu'elle est coupable,

Now, we probably think a priori that's unlikely.

Nous pouvons penser a priori que c'est improbable.

And we certainly should think in the context of a criminal trial

Et certes, nous devrions penser dans le contexte d'un procès criminel

that that's unlikely, because of the presumption of innocence.

que c'est improbable, en raison de la présomption d'innocence.

And then if she were trying to kill the children, she succeeded.

Mais si elle a cherché à tuer les enfants, elle a réussi.

So the chance that she's innocent isn't one in 73 million.

Donc la probabilité qu'elle soit innocente n'est pas d'un sur 73 millions.

We don't know what it is.

Nous ne savons pas ce qu'elle vaut.

It has to do with weighing up the strength of the other evidence against her

Elle est liée à la pondération des preuves contre l'accusée

and the statistical evidence.

et des résultats statistiques.

We know the children died.

Nous savons que les enfants sont morts.

What matters is how likely or unlikely, relative to each other,

Ce qui compte, c'est la probabilité ou l'improbabilité relative

the two explanations are.

des deux explications.

And they're both implausible.

Qui sont toutes deux improbables.

There's a situation where errors in statistics had really profound

Il y a des situations dans lesquelles les erreurs de statistiques ont des conséquences

and really unfortunate consequences.

profondes et vraiment funestes.

In fact, there are two other women who were convicted on the basis of the

En fait, deux autres femmes ont aussi été condamnées sur la base

evidence of this pediatrician, who have subsequently been released on appeal.

du témoignage du pédiatre, et ont plus tard été libérées en appel.

Many cases were reviewed.

De nombreux cas ont été revus.

And it's particularly topical because he's currently facing a disrepute charge

C'est un sujet d'actualité car ce pédiatre subit actuellement un procès en disgrâce

at Britain's General Medical Council.

de la part de l'ordre des médecins de Grande Bretagne.

So just to conclude -- what are the take-home messages from this?

Pour conclure -- quels sont les messages que vous devez retenir de tout ça ?

Well, we know that randomness and uncertainty and chance

Bien, nous savons que le hasard, l'incertain, et la probabilité

are very much a part of our everyday life.

font partie de notre vie de tous les jours.

It's also true -- and, although, you, as a collective, are very special in many ways,

Collectivement, bien que spéciaux à bien des égards,

you're completely typical in not getting the examples I gave right.

vous êtes passés comme tout le monde à côté des exemples que j'ai donnés.

It's very well documented that people get things wrong.

C'est un fait que les gens ne comprennent pas ces choses-là.

They make errors of logic in reasoning with uncertainty.

Ils font des erreurs de logique lorsqu'ils raisonnent dans l'incertain.

We can cope with the subtleties of language brilliantly --

Nous pouvons nous débrouiller brillamment avec les subtilités du langage --

and there are interesting evolutionary questions about how we got here.

et il y a des travaux intéressants sur l'évolution pour expliquer pourquoi nous en sommes là.

We are not good at reasoning with uncertainty.

Nous ne sommes pas doués pour raisonner dans l'incertain.

That's an issue in our everyday lives.

C'est un problème dans nos vies de tous les jours.

As you've heard from many of the talks, statistics underpins an enormous amount

Comme vous l'avez entendu dans les conférences, les statistiques sous-tendent un grand nombre

of research in science -- in social science, in medicine

de recherches en science -- en science sociale, en médecine

and indeed, quite a lot of industry.

et aussi, bien sûr, dans l'industrie.

All of quality control, which has had a major impact on industrial processing,

Tout le contrôle de la qualité, qui a un impact majeur sur les processus industriels

is underpinned by statistics.

est sous-tendu par les statistiques.

It's something we're bad at doing.

C'est quelque chose que nous ne savons pas faire.

At the very least, we should recognize that, and we tend not to.

Tout au moins, nous devrions l'admettre, mais nous avons tendance à ne pas le faire.

To go back to the legal context, at the Sally Clark trial

Pour en revenir à la justice, au procès de Sally Clark

all of the lawyers just accepted what the expert said.

les avocats ont tous accepté ce que l'expert a dit.

So if a pediatrician had come out and said to a jury,

Mais si un pédiatre avait dit au jury,

"I know how to build bridges. I've built one down the road.

"Je sais construire des ponts. J'en ai construit un en bas de la rue.

Please drive your car home over it,"

Vous pouvez passer dessus en voiture"

they would have said, "Well, pediatricians don't know how to build bridges.

ils auraient dit, "Les pédiatres ne savent pas construire de ponts.

That's what engineers do."

C'est le travail des ingénieurs."

On the other hand, he came out and effectively said, or implied,

Mais il a dit, effectivement ou implicitement,

"I know how to reason with uncertainty. I know how to do statistics."

"Je sais raisonner dans l'incertain. Je connais les statistiques."

And everyone said, "Well, that's fine. He's an expert."

Et tout le monde a dit, "C'est OK. Il est expert."

So we need to understand where our competence is and isn't.

Nous devons savoir quelles sont nos compétences.

Exactly the same kinds of issues arose in the early days of DNA profiling,

Les mêmes problèmes ont été soulevés au début des tests ADN,

when scientists, and lawyers and in some cases judges,

quand les scientifiques, les avocats et certains juges,

routinely misrepresented evidence.

déformaient systématiquement la vérité.

Usually -- one hopes -- innocently, but misrepresented evidence.

En général -- on peut l'espérer -- innocemment, mais ils la déformaient quand même.

Forensic scientists said, "The chance that this guy's innocent is one in three million."

Les légistes disaient, "La probabilité que ce type soit innocent est d'un sur trois millions.

Even if you believe the number, just like the 73 million to one,

Même si vous croyez en ce nombre, comme un sur 73 millions,

that's not what it meant.

il ne veut pas dire ce que vous croyez.

And there have been celebrated appeal cases

Et il y a eu des cas célèbres d'appels

in Britain and elsewhere because of that.

en Grande Bretagne et ailleurs à cause de cela.

And just to finish in the context of the legal system.

Et juste pour finir sur le thème de la justice,

It's all very well to say, "Let's do our best to present the evidence."

c'est très bien de dire, "Faisons de notre mieux pour présenter les témoignages."

But more and more, in cases of DNA profiling -- this is another one --

Mais de plus en plus, dans les cas de tests ADN -- et c'en est un --

we expect juries, who are ordinary people --

nous attendons des jurés, qui sont des gens ordinaires --

and it's documented they're very bad at this --

et il est connu qu'ils ne savent pas le faire --

we expect juries to be able to cope with the sorts of reasoning that goes on.

nous attendons des jurés qu'ils soient capables de ce genre de raisonnements.

In other spheres of life, if people argued -- well, except possibly for politics --

Dans d'autres domaines de la vie, si les gens, en débattant -- disons, sauf en politique.

but in other spheres of life, if people argued illogically,

Mais dans d'autres domaines, si les gens utilisent des arguments illogiques,

we'd say that's not a good thing.

nous dirions que ce n'est pas une bonne chose.

We sort of expect it of politicians and don't hope for much more.

C'est ce que nous demandons aux politiciens et nous n'en demandons pas beaucoup plus.

In the case of uncertainty, we get it wrong all the time --

Dans le cas des probabilités, nous avons toujours faux --

and at the very least, we should be aware of that,

mais au moins, nous devrions en être conscients.

and ideally, we might try and do something about it.

Et idéalement, nous pourrions peut-être y faire quelque chose.

Thanks very much.

Merci beaucoup.