Is there a reproducibility crisis in science? - Matt Anticole

翻訳: Moe Shoji 校正: Tomoyuki Suzuki

In 2011, a team of physicists reported a startling discovery:

2011年に 物理学者のグループが 驚くべき発見をしました

neutrinos traveled faster than the speed of light

ニュートリノが光よりも 速く移動したというのです

by 60 billionths of a second

その差 ６百億分の１秒です

in their 730 kilometer trip from Geneva to a detector in Italy.

ジュネーブからイタリアにある検出器まで 730キロの道のりで観測されました

Despite six months of double checking, the bizarre discovery refused to yield.

半年間も再確認を重ねたにもかかわらず 奇妙な発見は揺らぎませんでした

But rather than celebrating a physics revolution,

しかし物理学の革命的発見を 祝うのではなく

the researchers published a cautious paper

研究者らは慎重な論文を発表しました

arguing for continued research in an effort to explain the observed anomaly.

観測された異常値を説明すべく 研究を続けるというものでした

In time, the error was tracked to a single incorrectly connected fiber optic cable.

その後 たった１本の光ファイバーケーブルの 誤接続のせいだと分かりました

This example reminds us that real science is more than static textbooks.

この例から分かるのは 実際の科学は 変化しない教科書以上のものだということです

Instead, researchers around the world are continuously publishing

それどころか 世界中の研究者らは絶えず

their latest discoveries

最新の発見を発表しており

with each paper adding to the scientific conversation.

どの論文も科学的対話に 貢献しています

Published studies can motivate future research,

発表された研究は それ以降の研究を動機付けたり

inspire new products,

製品化を促したり

and inform government policy.

政策決定の情報となりえます

So it's important that we have confidence in the published results.

ですから 発表される結果には 確証が持てる事が重要です

If their conclusions are wrong,

結論が誤っていれば

we risk time,

時間も

resources,

資源も

and even our health in the pursuit of false leads.

健康までも 誤った手がかりを 追求したことにより危険にさらすのです

When findings are significant,

発見が重要なものである場合には

they are frequently double-checked by other researchers,

しばしば 他の研究者の手によって 再検証がなされます

either by reanalyzing the data

これはデータの再分析か

or by redoing the entire experiment.

実験全体の追試によって 行われます

For example, it took repeated investigation of the CERN data

例えば 速度の計測の誤りが 分かるまでには

before the timing error was tracked down.

CERNのデータが 何度も調べられました

Unfortunately, there are currently neither the resources nor professional incentives

残念ながら 毎年発表される 百万本以上もの科学論文を

to double check the more than 1 million scientific papers published annually.

再確認するだけの人材も そのための報酬も用意できないのが現状です

Even when papers are challenged, the results are not reassuring.

論文に異議が唱えられても その結果に保証はありません

Recent studies that examined dozens of published pharmaceutical papers

数十の薬学の研究論文を調査した 最近の研究は

managed to replicate the results of less than 25% of them.

全体の25%未満の結果しか 再現できなかったのです

And similar results have been found in other scientific disciplines.

他の科学の分野においても 同様の結果が導かれています

There are a variety of sources for irreproducible results.

再現不可能な結果には 様々な要因が考えられます

Errors could hide in their original design, execution, or analysis of the data.

誤りは元の実験の設計、遂行 そしてデータ分析にあるかもしれません

Unknown factors,

未知の要因―

such as patients' undisclosed condition in a medical study,

例えば 医学研究における 患者が明らかにしていない症状などは

can produce results that are not repeatable in new test subjects.

新しい被験者では再現できない結果を 生み出しうるでしょう

And sometimes, the second research group can't reproduce the original results

時には 第２の研究グループが 元の結果を再現できないのは

simply because they don't know exactly what the original group did.

単に元のグループが行ったことを 把握していないためであることもあります

However, some problems might stem from systematic decisions

しかしながら 問題の中には 科学研究の手法における

in how we do science.

体系的な判断に 起因するものもあります

Researchers,

the institutions that employ them,

研究者も

雇用している研究機関も

and the scientific journals that publish findings

発見を発表する 科学の学術雑誌も

are expected to produce big results frequently.

重要な発見を頻繁に発表することを 求められています

Important papers can advance careers,

重要な発見は キャリアの発展につながりますし

generate media interest,

メディアの関心を引き

and secure essential funding,

必要不可欠な研究資金の 確保につながります

so there's slim motivation for researchers to challenge their own exciting results.

研究者らが自ら発見した刺激的な結果を 否定的な目で見る可能性が低いのはこのためです

In addition, little incentive exists

さらには 正しいと期待される仮説を

to publish results unsupportive of the expected hypothesis.

否定するような結果を発表する 動機付けはほとんどありません

That results in a deluge of agreement between what was expected

そのために予期されたものと 発見されたものが一致するような結果で

and what was found.

溢れかえります

In rare occasions, this can even lead to deliberate fabrication,

稀に このことが結果を意図的に ねつ造することにつながることもあります

such as in 2013, when a researcher spiked rabbit blood with human blood

2013年には ある研究者が 人間の血をウサギの血に混ぜて

to give false evidence that his HIV vaccine was working.

HIVのワクチンが機能しているという 偽の証明を行いました

The publish or perish mindset

「成果を発表できない者は去れ」 という考え方は

can also compromise academic journals' traditional peer-review processes

学術雑誌の伝統である査読の過程を 危うくすることもあります

which are safety checks

査読というのは 安全点検で

where experts examine submitted papers for potential shortcomings.

専門家らが提出された論文の 不備を検討するものです

The current system,

現行のシステムでは

which might involve only one or two reviewers,

１人か２人の査読者しか 関わらないため

can be woefully ineffective.

悲惨なほどに 非効果的になりえます

That was demonstrated in a 1998 study

このことは1998年の研究で 明らかにされています

where eight weaknesses were deliberately inserted into papers,

８つの不備を論文に わざと挿入した研究ですが

but only around 25% were caught upon review.

たった25％程度しか 査読時に検出されませんでした

Many scientists are working toward improving reproducibility in their fields.

多くの科学者はそれぞれの分野で 再現性を高めようと努力しています

There's a push to make researchers raw data,

研究者に対し 生データや

experimental procedures,

実験の手続き

and analytical techniques more openly available

分析の手法などを より自由に 他者が利用できるよう働きかけることで

in order to ease replication efforts.

再現努力を容易にする流れもあります

The peer review process can also be strengthened

査読の過程を 強化することによって

to more efficiently weed out weak papers prior to publication.

不完全な論文が出版される前に より効果的に取り除くこともできるでしょう

And we could temper the pressure to find big results

また 重要な発見をせねばという圧力も 和らげられるかもしれません

by publishing more papers that fail to confirm the original hypothesis,

元の仮説を裏付けられなかった という内容の論文をより多く出版するのです

an event that happens far more than current scientific literature suggests.

仮説の反証事例は現在の科学研究の 文献が示すよりもずっと頻繁に起きています

Science always has, and always will, encounter some false starts

科学はこれまでも これからも 常に出だしでつまずくものです

as part of the collective acquisition of new knowledge.

これは新しい知識を得る過程の 一部なのです

Finding ways to improve the reproducibility of our results

実験結果の再現性を高める方法を 見つけることで

can help us weed out those false starts more effectively,

出だしでのつまずきを より効果的に見つけられるでしょう

keeping us moving steadily toward exciting new discoveries.

そして わくわくするような新発見へと 着実に前進させてくれるはずです