Peter Donnelly: How stats fool juries

翻訳: Tamami Inoue 校正: Masaki Yanagishita

As other speakers have said, it's a rather daunting experience --

他の講演者の方も話されましたが

a particularly daunting experience -- to be speaking in front of this audience.

この観客の前で話すのは 手ごわい経験です

But unlike the other speakers, I'm not going to tell you about

しかし 私がお話しするのは 他の方たちの様に

the mysteries of the universe, or the wonders of evolution,

宇宙の謎や 進化の神秘

or the really clever, innovative ways people are attacking

世界の不平等を解消する 革新的方法や

the major inequalities in our world.

また 現代のグローバル経済における―

Or even the challenges of nation-states in the modern global economy.

国家的課題などではありません

My brief, as you've just heard, is to tell you about statistics --

私は統計学について－

and, to be more precise, to tell you some exciting things about statistics.

より正確に言うと 統計学のワクワクするような話をします

And that's --

それは —

(Laughter)

（笑）

-- that's rather more challenging

他の講演者たちよりも

than all the speakers before me and all the ones coming after me.

随分と努力が必要です

(Laughter)

（笑）

One of my senior colleagues told me, when I was a youngster in this profession,

私が若輩者だった頃 先輩が誇らしげに教えてくれたのは

rather proudly, that statisticians were people who liked figures

統計学者は数字が得意だけれども

but didn't have the personality skills to become accountants.

会計士になれるほど 人格者ではないことです

(Laughter)

（笑）

And there's another in-joke among statisticians, and that's,

もう１つ 統計学者が 内輪で言っているジョークが

"How do you tell the introverted statistician from the extroverted statistician?"

「性格が内向的な統計学者と 外向的な統計学者を見分けるには？」

To which the answer is,

答えは

"The extroverted statistician's the one who looks at the other person's shoes."

「外向的統計学者は 相手の身なりをよく見ている」です

(Laughter)

（笑）

But I want to tell you something useful -- and here it is, so concentrate now.

今から役立つことを伝えたいので よく聞いてください

This evening, there's a reception in the University's Museum of Natural History.

今夜 大学の自然史博物館で パーティーがあります

And it's a wonderful setting, as I hope you'll find,

お気に召せばいいですが ―

and a great icon to the best of the Victorian tradition.

素晴らしい場所で 伝統あるビクトリア時代の象徴です

It's very unlikely -- in this special setting, and this collection of people --

そんな会場に こんな方々と一緒にいても

but you might just find yourself talking to someone you'd rather wish that you weren't.

この人とは話したくない という相手もいるかもしれません

So here's what you do.

こうすれば良いのです

When they say to you, "What do you do?" -- you say, "I'm a statistician."

「ご職業は？」と聞かれたら 「統計学者です」と答えてください

(Laughter)

（笑）

Well, except they've been pre-warned now, and they'll know you're making it up.

ここでネタをばらしてしまったので 今回は見え見えになってしまいましたが

And then one of two things will happen.

普通 次のどちらかのことが起きます

They'll either discover their long-lost cousin in the other corner of the room

久しぶりのイトコが あそこにいるので

and run over and talk to them.

話してきますといって去るか

Or they'll suddenly become parched and/or hungry -- and often both --

突然 のどの渇きや空腹が襲ってきて

and sprint off for a drink and some food.

飲み物や食べ物を急いで取りに行くのです

And you'll be left in peace to talk to the person you really want to talk to.

あなたは 落ち着いて 本当に話したい人の元へと向かえます

It's one of the challenges in our profession to try and explain what we do.

統計学者が何をするか説明するのは 努力を要することの１つです

We're not top on people's lists for dinner party guests and conversations and so on.

統計学者はパーティーや会談の 主賓としては招待されません

And it's something I've never really found a good way of doing.

良い説明方法は いまだに見つかっていません

But my wife -- who was then my girlfriend --

私の妻は まだガールフレンドだった頃に

managed it much better than I've ever been able to.

私よりも上手く その質問を切り抜けたことがありました

Many years ago, when we first started going out, she was working for the BBC in Britain,

付き合い始めた時 彼女はイギリスで BBCに勤めていました

and I was, at that stage, working in America.

私はその頃 アメリカで働いていました

I was coming back to visit her.

私が彼女を訪ねに来たときのことです

She told this to one of her colleagues, who said, "Well, what does your boyfriend do?"

「彼氏の職業は？」と聞かれたとき 彼女は同僚にこう答えたのです

Sarah thought quite hard about the things I'd explained --

サラは私の説明を一生懸命 思いだそうとしました

and she concentrated, in those days, on listening.

当時の彼女は 私の言うことを ちゃんと聞いていましたから

(Laughter)

（笑）

Don't tell her I said that.

これは内緒にしておいてください

And she was thinking about the work I did developing mathematical models

私の仕事は 進化と現代的遺伝学を理解するために

for understanding evolution and modern genetics.

数学的モデルを発展させることだと 彼女は考えていました

So when her colleague said, "What does he do?"

ですから 彼女は同僚から 「彼氏の職業は？」と聞かれた時

She paused and said, "He models things."

間をおいて こう言いました 「彼はモデルをするの」

(Laughter)

（笑）

Well, her colleague suddenly got much more interested than I had any right to expect

予期しなかったのですが その同僚は突然 興味津々になり

and went on and said, "What does he model?"

続けてこう言ったのです 「なんのモデルをしているの？」

Well, Sarah thought a little bit more about my work and said, "Genes."

で サラはちょっと考えて答えました 「ジーンズ（遺伝子）よ」

(Laughter)

（笑）

"He models genes."

「彼はジーンズのモデルをするの」

That is my first love, and that's what I'll tell you a little bit about.

これで本当に彼女が好きになりましたね 統計学者の仕事の話を続けましょう

What I want to do more generally is to get you thinking about

より一般的な事例を挙げて 皆さんに世の中の

the place of uncertainty and randomness and chance in our world,

不確定で 不規則で 偶然な 出来事を考えてもらい

and how we react to that, and how well we do or don't think about it.

それにどう反応するか 適切に考えることが できるかを検討してほしいのです

So you've had a pretty easy time up till now --

なので ここで 今までのデートの話で

a few laughs, and all that kind of thing -- in the talks to date.

笑うような気楽な時間は終了です

You've got to think, and I'm going to ask you some questions.

皆さんには いくつか問題を出したいと思います

So here's the scene for the first question I'm going to ask you.

第一問 こういう状況です

Can you imagine tossing a coin successively?

繰り返しコインを投げます

And for some reason -- which shall remain rather vague --

ある理由があって― それには特に触れませんが

we're interested in a particular pattern.

私たちはある特徴的パターンに 興味を持ちます

Here's one -- a head, followed by a tail, followed by a tail.

これが そのパターンです コインの表が出て 次に裏・裏

So suppose we toss a coin repeatedly.

コインを何度も 繰り返し投げることにします

Then the pattern, head-tail-tail, that we've suddenly become fixated with happens here.

すると 注目している 表・裏・裏のパターンがここで起こります

And you can count: one, two, three, four, five, six, seven, eight, nine, 10 --

数えられますね 1 2 3 4 5 6 7 8 9 10

it happens after the 10th toss.

10回目のコイントスの後の結果です

So you might think there are more interesting things to do, but humor me for the moment.

他にも興味深いことがと思うかもしれません でもちょっとお待ちください

Imagine this half of the audience each get out coins, and they toss them

観客を半分に分けて 表・裏・裏のパターンが出るまで

until they first see the pattern head-tail-tail.

各々がコインを投げると思ってください

The first time they do it, maybe it happens after the 10th toss, as here.

１度目には このように10回投げた後の結果はこうなり

The second time, maybe it's after the fourth toss.

２度目は４回のトスで 起こるかもしれません

The next time, after the 15th toss.

その次は 15回目のトスの後で

So you do that lots and lots of times, and you average those numbers.

それを何度も何度も行って 平均回数を出してください

That's what I want this side to think about.

それが こちら側の半分の人に やってもらいたいことです

The other half of the audience doesn't like head-tail-tail --

もう半数の観客は 表・裏・裏が好きじゃありません

they think, for deep cultural reasons, that's boring --

彼らは深遠な文化的理由から そんなのつまらないと思い

and they're much more interested in a different pattern -- head-tail-head.

他のパターンの方に興味を持ちました 表・裏・表です

So, on this side, you get out your coins, and you toss and toss and toss.

こちらの方たちはコインを取り出して トスを何回も繰り返して

And you count the number of times until the pattern head-tail-head appears

表・裏・表が出るまで 投げた回数を数えて

and you average them. OK?

その平均を出してください いいですね？

So on this side, you've got a number --

こちらの方たちは コイントスを繰り返して

you've done it lots of times, so you get it accurately --

表・裏・裏が出るまでの

which is the average number of tosses until head-tail-tail.

平均回数を正確に導きだしてください

On this side, you've got a number -- the average number of tosses until head-tail-head.

こちらの皆さんは同様に 表・裏・表の平均回数を出して下さい

So here's a deep mathematical fact --

数学的事実は以下の通りです

if you've got two numbers, one of three things must be true.

２つの平均回数が導き出せたら 次の３つの内１つが真実のはずです

Either they're the same, or this one's bigger than this one,

２つとも同じ数か こちら側の数が多いか

or this one's bigger than that one.

反対側の数が多いか

So what's going on here?

さて どうなるでしょう？

So you've all got to think about this, and you've all got to vote --

皆さんがこの問題を理解して 投票して欲しいと思います

and we're not moving on.

それまで 次へは進みません

And I don't want to end up in the two-minute silence

２分間静かに考えて 全員が答えを出して下さいね

to give you more time to think about it, until everyone's expressed a view. OK.

もっと時間が必要だ という状況にはしたくありません

So what you want to do is compare the average number of tosses until we first see

では 最初に表・裏・表が出た コイントス回数と

head-tail-head with the average number of tosses until we first see head-tail-tail.

表・裏・裏が出た回数を 比べましょう

Who thinks that A is true --

Aが真実だと思う人はいますか？

that, on average, it'll take longer to see head-tail-head than head-tail-tail?

「平均で表・裏・表の方が 表・裏・裏より回数が多い」です

Who thinks that B is true -- that on average, they're the same?

Bが真実だと思う人は？ 「平均回数は同じ」

Who thinks that C is true -- that, on average, it'll take less time

Cが真実だと思う人は？ 「平均で表・裏・表の方が

to see head-tail-head than head-tail-tail?

表・裏・裏より回数が少ない」

OK, who hasn't voted yet? Because that's really naughty -- I said you had to.

まだ投票してない人はいますか？ それはだめですよ

(Laughter)

（笑）

OK. So most people think B is true.

ほとんどの人が Bを真実だと思っていますので

And you might be relieved to know even rather distinguished mathematicians think that.

超優秀な数学者もそう考えると知れば 少しは安心ですよね

It's not. A is true here.

ところが Aが真実なのです

It takes longer, on average.

こちらの平均回数の方が多いのです

In fact, the average number of tosses till head-tail-head is 10

実は 表・裏・表が出るまで 平均回数は10回で

and the average number of tosses until head-tail-tail is eight.

表・裏・裏の平均は８回です

How could that be?

どうしてこうなったのでしょう？

Anything different about the two patterns?

２つのパターンに違いはあるのか？

There is. Head-tail-head overlaps itself.

表・裏・表はそれ自身に 重なっているのです

If you went head-tail-head-tail-head, you can cunningly get two occurrences

表・裏・表・裏・表と出たら たった５回のトスで

of the pattern in only five tosses.

そのパターンが２回発生しています

You can't do that with head-tail-tail.

表・裏・裏ではそんなことは起こりません

That turns out to be important.

それが肝です

There are two ways of thinking about this.

そこには２つの考え方があります

I'll give you one of them.

その１つを説明しましょう

So imagine -- let's suppose we're doing it.

先ほどやったことを思い出してください

On this side -- remember, you're excited about head-tail-tail;

こちら側の皆さんは 表・裏・裏を期待していました

you're excited about head-tail-head.

反対側は表・裏・表を期待していました

We start tossing a coin, and we get a head --

コインを投げたら 表が出ました

and you start sitting on the edge of your seat

皆さんは椅子に座り直します

because something great and wonderful, or awesome, might be about to happen.

何か凄くて素晴らしくて ステキなことが起こりそうだからです

The next toss is a tail -- you get really excited.

次のトスは裏です 嬉しいですね

The champagne's on ice just next to you; you've got the glasses chilled to celebrate.

氷の上のシャンパンがそばにあります お祝いの冷えたシャンパングラスがあります

You're waiting with bated breath for the final toss.

息をのんで 最後のトスを待ちます

And if it comes down a head, that's great.

次に表が出たら素晴らしい！

You're done, and you celebrate.

やった！お祝いだ！

If it's a tail -- well, rather disappointedly, you put the glasses away

裏だったら 少々ガッカリして シャンパングラスを退け

and put the champagne back.

シャンパンを返却します

And you keep tossing, to wait for the next head, to get excited.

そして 次の表が出るまで 興奮するためのコイントスを続けます

On this side, there's a different experience.

こちらは違う経験です

It's the same for the first two parts of the sequence.

最初の２つの結果は同じです

You're a little bit excited with the first head --

最初に表が出た時は少し興奮します

you get rather more excited with the next tail.

次に裏が出たらもっと興奮します

Then you toss the coin.

そして コインを投げます

If it's a tail, you crack open the champagne.

裏が出たら シャンパンを開けます

If it's a head you're disappointed,

もし表が出たらガッカリです

but you're still a third of the way to your pattern again.

それでも パターンの ３分の１は達成しているのです

And that's an informal way of presenting it -- that's why there's a difference.

くだけた感じの説明でしたが ２つのパターンが違うはこのためです

Another way of thinking about it --

もう１つの考え方は

if we tossed a coin eight million times,

もし 800万回コイントスをして

then we'd expect a million head-tail-heads

表・裏・表も 表・裏・裏も

and a million head-tail-tails -- but the head-tail-heads could occur in clumps.

100万回出ると予測しますが 表・裏・表は塊で出ることが可能です

So if you want to put a million things down amongst eight million positions

800万ヶ所に 100万個のものを置きたいなら

and you can have some of them overlapping, the clumps will be further apart.

そのいくつかは重なることもできます すると塊はもっと離れることになります

It's another way of getting the intuition.

これが直感的に理解する もう１つの方法なのです

What's the point I want to make?

お伝えしたいポイントは この問題が

It's a very, very simple example, an easily stated question in probability,

確率における とても単純で簡潔な例題であり

which every -- you're in good company -- everybody gets wrong.

ここにいる皆さんまでもが 間違いを犯すものだということです

This is my little diversion into my real passion, which is genetics.

私が本当に興味を持っている遺伝学にも 同じようなことがあります

There's a connection between head-tail-heads and head-tail-tails in genetics,

遺伝学でも表・裏・表と 表・裏・裏に関連があります

and it's the following.

以下の通りです

When you toss a coin, you get a sequence of heads and tails.

コインを投げると 表・裏の 順番が発生します

When you look at DNA, there's a sequence of not two things -- heads and tails --

DNAを観察すると順番がありますが それは表・裏の２つではなく

but four letters -- As, Gs, Cs and Ts.

A G C Tの４文字からなるものです

And there are little chemical scissors, called restriction enzymes

そして そこには「制限酵素」と呼ばれる 小さい化学的ハサミがあります

which cut DNA whenever they see particular patterns.

このハサミは あるパターンに遭遇すると そこでDNAを切ります

And they're an enormously useful tool in modern molecular biology.

現代分子生物学で このハサミは非常に便利な道具です

And instead of asking the question, "How long until I see a head-tail-head?" --

そして「表・裏・表が出るまでの長さは？」 という質問ではなく

you can ask, "How big will the chunks be when I use a restriction enzyme

「G-A-A-Gパターンが出た時に

which cuts whenever it sees G-A-A-G, for example?

制御酵素で切るとして その塊の長さは？」と―

How long will those chunks be?"

質問できるわけです

That's a rather trivial connection between probability and genetics.

これは確率と遺伝学の間の 些細な問題ですが

There's a much deeper connection, which I don't have time to go into

説明する時間が無いのですが そこには もっと深い関連があります

and that is that modern genetics is a really exciting area of science.

だから現代遺伝学は 本当にワクワクする科学分野なのです

And we'll hear some talks later in the conference specifically about that.

この後にも同じことについての TEDトークがありますよ

But it turns out that unlocking the secrets in the information generated by modern

現代の実験技術から生まれた情報で

experimental technologies, a key part of that has to do with fairly sophisticated --

解明した結果の重要部分は かなり洗練されています

you'll be relieved to know that I do something useful in my day job,

皆さんご安心ください 私の日常の仕事は

rather more sophisticated than the head-tail-head story --

表裏よりも もっと高等で有益なことです

but quite sophisticated computer modelings and mathematical modelings

とても複雑なコンピューターモデリングと 数学的モデリングと

and modern statistical techniques.

統計学的モデリングをしています

And I will give you two little snippets -- two examples --

では 皆さんにオックスフォード大学の 私の研究チームが

of projects we're involved in in my group in Oxford,

参加している２つのプロジェクトを 少しご説明します

both of which I think are rather exciting.

２つともとても面白いですよ

You know about the Human Genome Project.

ヒトゲノム計画はご存知でしょう

That was a project which aimed to read one copy of the human genome.

それは一人分のゲノム全体を 読み解くことを目的としていました

The natural thing to do after you've done that --

それが完了したので 次は

and that's what this project, the International HapMap Project,

国際HapMap計画です

which is a collaboration between labs in five or six different countries.

これは５～６カ国の研究室が 共同で行っています

Think of the Human Genome Project as learning what we've got in common,

ヒトゲノム計画では 人類共通の遺伝情報について解析しましたが

and the HapMap Project is trying to understand

HapMap計画は民族集団の間にある違いを

where there are differences between different people.

解明しようとしています

Why do we care about that?

何故それが必要なのでしょうか？

Well, there are lots of reasons.

その理由は沢山あります

The most pressing one is that we want to understand how some differences

最も緊急な課題は どの遺伝子の違いが

make some people susceptible to one disease -- type-2 diabetes, for example --

２型糖尿病や心臓病 脳卒中 自閉症などの

and other differences make people more susceptible to heart disease,

疾患を発症しやすくさせるかということを

or stroke, or autism and so on.

解明することです

That's one big project.

これが１つの大きなプロジェクトです

There's a second big project,

２番目の大きなプロジェクトは

recently funded by the Wellcome Trust in this country,

最近 ウェルカム・トラスト （研究者支援団体）から

involving very large studies --

研究費提供を受けています

thousands of individuals, with each of eight different diseases,

１型および ２型糖尿病 冠動脈性心疾患 双極性障害 など

common diseases like type-1 and type-2 diabetes, and coronary heart disease,

頻度の高い８つの疾患の それぞれの患者が何千人も協力して

bipolar disease and so on -- to try and understand the genetics.

その遺伝子を解析するという 大がかりなものです

To try and understand what it is about genetic differences that causes the diseases.

その疾患を引き起こす 遺伝子の違いを解析するのです

Why do we want to do that?

なぜ そんなことをしたいのか？

Because we understand very little about most human diseases.

なぜなら ヒトの疾患について ほとんど 解明されていないからです

We don't know what causes them.

疾患の原因を知らないのです

And if we can get in at the bottom and understand the genetics,

もしも 人類が遺伝学について その基本を理解したなら

we'll have a window on the way the disease works,

病気の仕組みが理解できて

and a whole new way about thinking about disease therapies

治療や予防的措置などについての

and preventative treatment and so on.

考え方が一新するでしょう

So that's, as I said, the little diversion on my main love.

前にも言ったようにこれが 私の情熱の一端です

Back to some of the more mundane issues of thinking about uncertainty.

もっとありふれた 「不確かさ」について考える問題に戻りましょう

Here's another quiz for you --

皆さんにもう１つクイズがあります

now suppose we've got a test for a disease

あなたはある病気に対して 完全ではないが

which isn't infallible, but it's pretty good.

かなり良い検査を受けました

It gets it right 99 percent of the time.

その検査は99%正確です

And I take one of you, or I take someone off the street,

私は皆さんの内の１人 もしくは通行人から数人を選んで

and I test them for the disease in question.

その検査をしたとします

Let's suppose there's a test for HIV -- the virus that causes AIDS --

例えばHIV（エイズウィルス）の 検査だとしましょう

and the test says the person has the disease.

そして 検査結果は 陽性（感染あり）だったとします

What's the chance that they do?

彼らが本当にHIVに罹っている可能性は？

The test gets it right 99 percent of the time.

99%正確なテストですよ

So a natural answer is 99 percent.

99%と答えるのが当たり前ですね

Who likes that answer?

そうだと思う人は？

Come on -- everyone's got to get involved.

皆さん参加して下さいよ！

Don't think you don't trust me anymore.

誰一人として 私を信用していないとは思いませんが

(Laughter)

（笑）

Well, you're right to be a bit skeptical, because that's not the answer.

皆さんは 「少し疑った方が良いかも　答えは違うのです」

That's what you might think.

そう思っているかも知れません

It's not the answer, and it's not because it's only part of the story.

答えは違います 何故なら 話はまだ一部だからです

It actually depends on how common or how rare the disease is.

実は 罹患率の高さで この答えは変わってきます

So let me try and illustrate that.

詳しく説明しましょう

Here's a little caricature of a million individuals.

ここに100万人を表した図があります

So let's think about a disease that affects --

１万人に１人しか罹らない

it's pretty rare, it affects one person in 10,000.

とても罹患率の低い病気を考えましょう

Amongst these million individuals, most of them are healthy

100万人のうち ほとんどは健康で

and some of them will have the disease.

わずかの人数がその患者です

And in fact, if this is the prevalence of the disease,

先ほどの罹患率で言えば

about 100 will have the disease and the rest won't.

100人だけが病気です

So now suppose we test them all.

では 全員を検査するとして

What happens?

どうなるでしょう？

Well, amongst the 100 who do have the disease,

病気にかかっている100人の内で

the test will get it right 99 percent of the time, and 99 will test positive.

99％正確な検査なので 99人の検査が陽性となります

Amongst all these other people who don't have the disease,

残りの病気じゃない人たちにも

the test will get it right 99 percent of the time.

99％正確な検査ですので

It'll only get it wrong one percent of the time.

1%に間違った結果が出ます

But there are so many of them that there'll be an enormous number of false positives.

結果 多くの数の人たちが 偽陽性になってしまうのです

Put that another way --

こうも考えられます―

of all of them who test positive -- so here they are, the individuals involved --

陽性の結果が出た全員の内で ―こちらの人たちです―

less than one in 100 actually have the disease.

実際の患者は 100分の1よりも低い確率です

So even though we think the test is accurate, the important part of the story is

ですから 正確だと思える検査でも そのほとんどの場合で

there's another bit of information we need.

もっと情報が必要なのです

Here's the key intuition.

これがキーなのです

What we have to do, once we know the test is positive,

検査で陽性と出た時に やらなければないけないことは

is to weigh up the plausibility, or the likelihood, of two competing explanations.

その妥当性や もっともらしさ（尤度）を 対立する２つの仮説から評価することです

Each of those explanations has a likely bit and an unlikely bit.

その仮説にはそれぞれ 少しずつ成立する時としない時があります

One explanation is that the person doesn't have the disease --

ランダムに１人を選んだ場合 一方の仮説では

that's overwhelmingly likely, if you pick someone at random --

その人が病気でない尤度は 非常に高いが

but the test gets it wrong, which is unlikely.

検査結果が間違い（偽陽性）である 尤度は低い

The other explanation is that the person does have the disease -- that's unlikely --

もう一方の仮説は その人が病気である尤度は低いが

but the test gets it right, which is likely.

検査結果が正しい（真陽性） 尤度は高いというものです

And the number we end up with --

最終的に統計学者が出すのは

that number which is a little bit less than one in 100 --

その可能性が100分の1より低いかどうか

is to do with how likely one of those explanations is relative to the other.

つまり どちらの仮説が他方より 高い尤度をもつかということです

Each of them taken together is unlikely.

いずれの仮説も総合的には尤度が低いのです

Here's a more topical example of exactly the same thing.

もっと話題になるような例を出してみましょう

Those of you in Britain will know about what's become rather a celebrated case

イギリス人ならサリー・クラークの 有名な事例をご存知でしょう

of a woman called Sally Clark, who had two babies who died suddenly.

彼女には赤ん坊が２人いましたが 突然 亡くなってしまいました

And initially, it was thought that they died of what's known informally as "cot death,"

当初 その２人は「コット・デス」 つまり 新生児突然死症候群で

and more formally as "Sudden Infant Death Syndrome."

亡くなったと考えられていました

For various reasons, she was later charged with murder.

しかし いろいろあって サリーは殺人者にさせられたのです

And at the trial, her trial, a very distinguished pediatrician gave evidence

裁判では とても著名な小児科医が こう証言しました

that the chance of two cot deaths, innocent deaths, in a family like hers --

「サリーの様に専門的職業を持ち かつ非喫煙者の家庭にコット・デスが

which was professional and non-smoking -- was one in 73 million.

非犯罪的に２回も起こる確率は 7,300万分の１である」

To cut a long story short, she was convicted at the time.

端折りますが サリーは有罪判決を受けました

Later, and fairly recently, acquitted on appeal -- in fact, on the second appeal.

その後つい最近になって 控訴審で無罪になりました

And just to set it in context, you can imagine how awful it is for someone

その人の身になって考えてみて下さい 我が子を２人も

to have lost one child, and then two, if they're innocent,

たて続けに亡くした人が ２人を殺したとして有罪になる

to be convicted of murdering them.

この事件が犯罪でなかったとしたら どれだけひどいことでしょう

To be put through the stress of the trial, convicted of murdering them --

裁判を通しての精神的重圧や 殺人と判決されること

and to spend time in a women's prison, where all the other prisoners

女性刑務所で過ごす間 他の犯罪者に子どもを殺したと思われることは

think you killed your children -- is a really awful thing to happen to someone.

当事者にとって 本当に悲劇と言いようがありません

And it happened in large part here because the expert got the statistics

そんなことが実際に起こったのです 何故ならその専門家は２つの方法で

horribly wrong, in two different ways.

統計を間違って解釈したのです

So where did he get the one in 73 million number?

その小児科医は7,300万分の1という数字を どこから出したのでしょう？

He looked at some research, which said the chance of one cot death in a family

彼が読んだいくつかの研究には サリーと似たような家庭内で起こる

like Sally Clark's is about one in 8,500.

コット・デスは約8,500分の1とあったのです

So he said, "I'll assume that if you have one cot death in a family,

ですから 彼はこう言いました 「家庭内のコット・デスが一度 起きた場合と

the chance of a second child dying from cot death aren't changed."

２度目のコット・デスが起こる確率は 変わらないと仮定する」

So that's what statisticians would call an assumption of independence.

統計学者はこれを 「事象が独立である」と言い

It's like saying, "If you toss a coin and get a head the first time,

「コイントスをして 最初に表が出ても

that won't affect the chance of getting a head the second time."

２回目も表が出る確率に影響しない」 と言うことです

So if you toss a coin twice, the chance of getting a head twice are a half --

つまり コインを２回トスして ２回とも表になる可能性は

that's the chance the first time -- times a half -- the chance a second time.

1回目の確率の50%で 0.5 × 0.5になるのです

So he said, "Here,

だから 彼はこう言いました

I'll assume that these events are independent.

「２つの出来事は独立していると仮定する

When you multiply 8,500 together twice,

8,500を二乗すれば

you get about 73 million."

7,300万になる」

And none of this was stated to the court as an assumption

それが 仮定だとは 裁判で語られませんでしたし

or presented to the jury that way.

陪審員にも そのように伝えていませんでした

Unfortunately here -- and, really, regrettably --

とても残念です

first of all, in a situation like this you'd have to verify it empirically.

まず最初に この状況では その仮定が経験的に妥当か確かめるべきでした

And secondly, it's palpably false.

第二に それは明白な誤りです

There are lots and lots of things that we don't know about sudden infant deaths.

新生児の突然死には 解明されていないことが山ほどあります

It might well be that there are environmental factors that we're not aware of,

まだ 発見されていない 環境因子があるかもしれませんし

and it's pretty likely to be the case that there are

まだ発見されていない 遺伝学的因子により

genetic factors we're not aware of.

引き起こされた可能性も高いのです

So if a family suffers from one cot death, you'd put them in a high-risk group.

ですから コット・デスが起こった家族は ハイリスク群に属するかも知れません

They've probably got these environmental risk factors

そこには まだ知られていない 環境的危険因子があったり

and/or genetic risk factors we don't know about.

その上 遺伝学的危険因子が あるかもしれないのです

And to argue, then, that the chance of a second death is as if you didn't know

こういう情報を知らないかのように ２番目の死亡の確率を語るのは

that information is really silly.

本当に愚かなことです

It's worse than silly -- it's really bad science.

愚かであるよりも 実に悪質な科学です

Nonetheless, that's how it was presented, and at trial nobody even argued it.

それなのに あんなことが裁判で示され 誰もそのことを議論しなかった

That's the first problem.

それが最初の問題です

The second problem is, what does the number of one in 73 million mean?

2番目の問題は7,300万分の１という 数字の意味するところです

So after Sally Clark was convicted --

サリー・クラークが有罪になった後

you can imagine, it made rather a splash in the press --

それが報道で波紋を呼んだというのは 想像に難くありません

one of the journalists from one of Britain's more reputable newspapers wrote that

イギリスで影響力のある新聞社の 記者はこう書きました

what the expert had said was,

「専門家が言うことには―

"The chance that she was innocent was one in 73 million."

『この女が無罪である確率は 7,300万分の１』とのこと」

Now, that's a logical error.

そう これは論理的エラーです

It's exactly the same logical error as the logical error of thinking that

この論理的エラーは 先ほどの99%確実な検査なら

after the disease test, which is 99 percent accurate,

病気に罹っている確率も99%だという

the chance of having the disease is 99 percent.

論理的エラーと全く同じものです

In the disease example, we had to bear in mind two things,

その例から 覚えておくべきことは ２つです

one of which was the possibility that the test got it right or not.

１つはその検査が 正しいか正しくないかの可能性

And the other one was the chance, a priori, that the person had the disease or not.

もう１つは その人が病気にかかっている可能性の推測

It's exactly the same in this context.

この状況では全く同じことです

There are two things involved -- two parts to the explanation.

そこにも２段階の説明が必要です

We want to know how likely, or relatively how likely, two different explanations are.

２つの異なった事象の尤度がどれほどか また関連して起こる尤度はどうでしょう？

One of them is that Sally Clark was innocent --

１つ目の事象はサリーが無罪であること

which is, a priori, overwhelmingly likely --

それは常識的に圧倒的に高尤度です

most mothers don't kill their children.

ほとんどの母親は我が子を殺しません

And the second part of the explanation

２つ目の事象は

is that she suffered an incredibly unlikely event.

彼女がこの非常に低尤度な出来事に 遭遇したこと

Not as unlikely as one in 73 million, but nonetheless rather unlikely.

7,300万分の１の数字程ではありませんが いずれにしても 起きにくいことです

The other explanation is that she was guilty.

対する事象はサリーが有罪ということです

Now, we probably think a priori that's unlikely.

今ならそれが普通に考えて 低尤度だと思うでしょう

And we certainly should think in the context of a criminal trial

刑事裁判として 尤度が低いと考えるべきです

that that's unlikely, because of the presumption of innocence.

なぜなら 推定無罪の原則があるからです

And then if she were trying to kill the children, she succeeded.

もしも 彼女が我が子を殺そうとしたのなら 成功しました

So the chance that she's innocent isn't one in 73 million.

サリーが無罪である可能性は 7300万分の１ではありません

We don't know what it is.

それがどういう数字になるのか分りません

It has to do with weighing up the strength of the other evidence against her

サリーを有罪とする 根拠の確からしさと

and the statistical evidence.

その統計学的根拠で決まります

We know the children died.

分かっているのは 子どもたちが死んだことです

What matters is how likely or unlikely, relative to each other,

争点は２人の死―２つの事象―には どれほど関連が

the two explanations are.

ありうるかということです

And they're both implausible.

この２つは両方ともありえないことです

There's a situation where errors in statistics had really profound

そこには本当に理解しがたく 悲劇的結果を生んだ

and really unfortunate consequences.

統計学に関してのエラーでした

In fact, there are two other women who were convicted on the basis of the

この小児科医の論拠が採用されて 他にも２人の女性が

evidence of this pediatrician, who have subsequently been released on appeal.

有罪にされましたが 裁判によって結果的に釈放されています

Many cases were reviewed.

多くの事件が再調査されました

And it's particularly topical because he's currently facing a disrepute charge

この小児科医は現在イギリス医学会議で

at Britain's General Medical Council.

査問にかけられていることが 話題になっています

So just to conclude -- what are the take-home messages from this?

では まとめます このことから何を学びましたか？

Well, we know that randomness and uncertainty and chance

そうです 不規則や不確定 偶然は

are very much a part of our everyday life.

日常的によくあることだということです

It's also true -- and, although, you, as a collective, are very special in many ways,

また 皆さんは多くの場合で 集団としてとても特別なのです

you're completely typical in not getting the examples I gave right.

皆さんがこれらの例を理解できないのは 当たり前のことです

It's very well documented that people get things wrong.

人々が物事を間違って解釈することは 実証済みです

They make errors of logic in reasoning with uncertainty.

人は不確実な理由付けで 論理的エラーを犯します

We can cope with the subtleties of language brilliantly --

言語の微妙さへの対処は 得意なのですが

and there are interesting evolutionary questions about how we got here.

そこにどのようにして到達したかについては 興味深い進化的問題があります

We are not good at reasoning with uncertainty.

私たちは 不確かさについて 論証することが苦手なので

That's an issue in our everyday lives.

日々の生活での難問となります

As you've heard from many of the talks, statistics underpins an enormous amount

多くのTEDトークでわかるように 統計学は広範な科学研究を裏付けます

of research in science -- in social science, in medicine

その分野は社会科学や 医学だけでなく

and indeed, quite a lot of industry.

多くの産業にも渡ります

All of quality control, which has had a major impact on industrial processing,

生産過程に大きな影響を与えてきた 品質管理は

is underpinned by statistics.

全て統計に裏付けられています

It's something we're bad at doing.

それを理解するのは 私たちが不得意とするところです

At the very least, we should recognize that, and we tend not to.

私たちはそれを無視しがちですが 最低限認識はすべきです

To go back to the legal context, at the Sally Clark trial

サリー・クラークの裁判に立ち返ると

all of the lawyers just accepted what the expert said.

全ての法律家が 専門家の言いなりになったのです

So if a pediatrician had come out and said to a jury,

ですから ある小児科医が陪審員に

"I know how to build bridges. I've built one down the road.

「私は橋の建設方法を知っています この先に橋を作りましたから

Please drive your car home over it,"

その橋を通って帰宅してください」 と言ったら

they would have said, "Well, pediatricians don't know how to build bridges.

きっとこう返事するでしょう 「小児科医が橋の建設だって？

That's what engineers do."

それはエンジニアがすることだ」

On the other hand, he came out and effectively said, or implied,

それなのに 彼のこんな発言は 説得力を発揮しました

"I know how to reason with uncertainty. I know how to do statistics."

「不確かさの扱いかたを知っています 私は統計を理解しているのですから」

And everyone said, "Well, that's fine. He's an expert."

すると 皆はこう言ったのです 「結構ですね 彼は専門家ですから」

So we need to understand where our competence is and isn't.

ですから 私たちは自分はなにが得意かを 理解する必要があります

Exactly the same kinds of issues arose in the early days of DNA profiling,

全く同じ様な問題がDNA鑑定の 初期に発生しました

when scientists, and lawyers and in some cases judges,

科学者も法律家も 時には裁判官たちまでも

routinely misrepresented evidence.

何度も証拠を間違えて提示したのです

Usually -- one hopes -- innocently, but misrepresented evidence.

たいてい悪意はなく ―そう願います 誤った証拠を提示したのです

Forensic scientists said, "The chance that this guy's innocent is one in three million."

犯罪学者がこう言いました 「無罪である確率は300万分の1だ」

Even if you believe the number, just like the 73 million to one,

7300万分の１の数字同様 その数字自体を信じたとしても

that's not what it meant.

そういう意味ではないのです

And there have been celebrated appeal cases

おかげで イギリスやほかの国でも

in Britain and elsewhere because of that.

よく知られた控訴例が続出しています

And just to finish in the context of the legal system.

法律制度の話として締めくくりますと

It's all very well to say, "Let's do our best to present the evidence."

「証拠を提出するのに最善を尽くしましょう」 とはよく言われますが

But more and more, in cases of DNA profiling -- this is another one --

DNA鑑定のような場合 何度も同じようなことが起こります

we expect juries, who are ordinary people --

陪審員は一般人ですし

and it's documented they're very bad at this --

検証は苦手だと実証されているのに

we expect juries to be able to cope with the sorts of reasoning that goes on.

私たちは陪審員が繰り返し出て来る 論証法に対処できることを期待してしまいます

In other spheres of life, if people argued -- well, except possibly for politics --

多分 政治に関する場合を除いて ある生活側面では論理的に議論し

but in other spheres of life, if people argued illogically,

他の側面では論理的でない議論をしたら

we'd say that's not a good thing.

それは良くないことだと思うでしょう

We sort of expect it of politicians and don't hope for much more.

政治家には起こることかもしれませんが それ以外で起こってほしくはありません

In the case of uncertainty, we get it wrong all the time --

しかし 不確かさを扱う場合 私たちはいつも間違いを犯します

and at the very least, we should be aware of that,

私たちは 最低限それに気づく必要があります

and ideally, we might try and do something about it.

理想を言えば 何か策を講じられればよいのですが

Thanks very much.

ありがとうございました