The method that can "prove" almost anything - James A. Smith

翻訳: Yoshiaki Yamagami 校正: Tomoyuki Suzuki

In 2011, a group of researchers conducted a scientific study

2011年に ある研究者のグループが 科学的な研究を実施し

to find an impossible result:

ありえない結果を得ました

that listening to certain songs can make you younger.

ある歌を聴くと若返るという結果です

Their study involved real people, truthfully reported data,

彼らの研究は 本物の人々 正直に報告されたデータ

and commonplace statistical analyses.

普通の統計分析で行われました

では その研究結果は どのようにして得られたのでしょうか

So how did they do it?

The answer lies in a statistical method scientists often use

その答えは 結果に何らかの意味があるのか あるいは 単なるランダムノイズなのかを

to try to figure out whether their results mean something or if they’re random noise.

科学者が見極めるときに よく用いる統計学的手法の中にあります

In fact, the whole point of the music study

実際 先ほどの音楽の研究の核心は

was to point out ways this method can be misused.

この手法が誤用される事例を 指摘することでした

A famous thought experiment explains the method:

有名な思考実験が この手法を 明らかにします

there are eight cups of tea,

ミルクティーのカップが８個あります

four with the milk added first, and four with the tea added first.

４個は ミルクを最初に注いだもので 残りの４個は 紅茶を最初に注いだものです

A participant must determine which are which according to taste.

被験者は それぞれのカップが どちらかを味をみて 判定します

There are 70 different ways the cups can be sorted into two groups of four,

８個のカップを ４個ずつの２つのグループに 分ける分け方は70通りで

and only one is correct.

その中のひとつだけが正解です

So, can she taste the difference?

被験者は 味の違いが判るでしょうか？

That’s our research question.

それが ここでの研究課題です

To analyze her choices, we define what’s called a null hypothesis:

被験者の選択を分析するため 被験者は区別をつけられないという

that she can’t distinguish the teas.

帰無仮説を立てます

If she can’t distinguish the teas,

被験者が 区別をつけられなくても

she’ll still get the right answer 1 in 70 times by chance.

70回に１回は 偶然 正解する可能性があります

1 in 70 is roughly .014.

70分の１は およそ0.014です

That single number is called a p-value.

この数値は p値と呼ばれます

In many fields, a p-value of .05 or below is considered statistically significant,

様々な分野において 0.05以下のp値は 統計的に有意

meaning there’s enough evidence to reject the null hypothesis.

すなわち 帰無仮説を棄却する 十分な根拠があることを意味します

Based on a p-value of .014,

p値が0.014であることから 研究者たちは

they’d rule out the null hypothesis that she can’t distinguish the teas.

被験者は 紅茶を区別できないとする 帰無仮説を棄却しました

Though p-values are commonly used by both researchers and journals

p値は 研究者や専門誌によって 科学的結果を評価するために

to evaluate scientific results,

一般的に使われていますが

they’re really confusing, even for many scientists.

多くの科学者にとっても 本当に 分かりにくいものです

That’s partly because all a p-value actually tells us

その理由のひとつは いずれの場合もp値は

is the probability of getting a certain result,

帰無仮説を真と仮定した場合に ある特定の結果を得る確率を

assuming the null hypothesis is true.

示しているからです

So if she correctly sorts the teas,

つまり 被験者が 紅茶を正しく選別した場合において

the p-value is the probability of her doing so

p値は 被験者が 実は区別できていなくても

assuming she can’t tell the difference.

正しい選別がなされる確率です

But the reverse isn’t true:

しかし 逆は真ではありません

the p-value doesn’t tell us the probability

p値は 被験者が紅茶を 正しく選別できる確率を

that she can taste the difference,

示しているわけではありませんが

which is what we’re trying to find out.

正しく選別する確率こそ 私たちが 求めているものです

So if a p-value doesn’t answer the research question,

では もし p値が 研究課題の答えにならないのであれば

why does the scientific community use it?

科学界は なぜ p値を使うのでしょうか？

Well, because even though a p-value doesn’t directly state the probability

なぜなら p値は 結果が偶然である可能性を

that the results are due to random chance,

直接 示すわけではありませんが

it usually gives a pretty reliable indication.

通常 かなり確かな示唆を提供します

At least, it does when used correctly.

少なくとも 正しく使われた場合は そうです

And that’s where many researchers, and even whole fields,

そして まさにここに 多くの科学者 さらには 専門領域全体が

have run into trouble.

陥る問題点があります

Most real studies are more complex than the tea experiment.

たいていの実際の研究は 先ほどの 紅茶の実験より複雑です

Scientists can test their research question in multiple ways,

科学者は 研究課題を複数の手法で検証します

and some of these tests might produce a statistically significant result,

そして 統計的に有意な結果が いくつかの手法で得られる一方 他の手法では

while others don’t.

得られないかもしれません

It might seem like a good idea to test every possibility.

全ての可能性を検証することは よい考えのように思えます

But it’s not, because with each additional test,

しかし そうではありません なぜなら 追加検証するごとに

the chance of a false positive increases.

誤って真であると判断する可能性が 高まるからです

Searching for a low p-value, and then presenting only that analysis,

低いp値を探し出し その分析のみを提示することは

is often called p-hacking.

しばしば p値ハッキングと呼ばれます

It’s like throwing darts until you hit a bullseye

これは まるで ど真ん中に命中するまでダーツを投げた後

and then saying you only threw the dart that hit the bull’s eye.

投げたのは ど真ん中に当たったダーツだけと 主張するようなものです

This is exactly what the music researchers did.

これが まさに 冒頭の音楽の研究者が行ったことです

They played three groups of participants each a different song

研究者たちは ３つの被験者のグループに 別々の歌を聴かせて

and collected lots of information about them.

たくさんの情報を集めました

The analysis they published included only two out of the three groups.

研究者が公表した分析には３グループのうち ２グループしか含まれていませんでした

Of all the information they collected,

集めた全ての情報のうち

their analysis only used participants’ fathers’ age—

分析に用いられたのは 被験者の父親の年齢だけでした ―

to “control for variation in baseline age across participants.”

「被験者間の 基準となる年齢の ばらつきを抑える」目的です

They also paused their experiment after every ten participants,

また 研究者たちは 10人の被験者ごとに実験を中断して

and continued if the p-value was above .05,

p値が0.05より大きければ 実験を継続し

but stopped when it dipped below .05.

0.05を下回ったときに 実験を停止しました

They found that participants who heard one song were 1.5 years younger

研究者たちは ある歌を聴いた被験者は 別の歌を聴いた被験者より

than those who heard the other song, with a p-value of .04.

1.5歳若く p値は0.04となることを 発見しました

Usually it’s much tougher to spot p-hacking,

一般的には p値ハッキングを見破ることは さらに困難です

because we don’t know the results are impossible:

その結果が あり得ないことだとは 知りようがなく

the whole point of doing experiments is to learn something new.

そもそも 実験の本質は 何か新しいことを 知ろうとすることだからです

Fortunately, there’s a simple way to make p-values more reliable:

幸い p値を もっと信頼できるものにする 簡単な方法があります

pre-registering a detailed plan for the experiment and analysis

実験と分析方法の詳細な計画を

あらかじめ 第三者がチェックできるよう 事前登録します

beforehand that others can check,

so researchers can’t keep trying different analyses

こうすれば研究者が 有意な結果が得られるまでの間に

分析方法を変えながら 試行を続けることはできません

until they find a significant result.

And, in the true spirit of scientific inquiry,

さらに 科学研究の本来の精神にのっとって

there’s even a new field that’s basically science doing science on itself:

基本的に科学を自ら科学する 新しい領域があります

studying scientific practices in order to improve them.

それは 科学的手法を改善するための 科学的手法の研究です