Is there a reproducibility crisis in science? - Matt Anticole

번역: 정환 최 검토: Jihyeon J. Kim

In 2011, a team of physicists reported a startling discovery:

2011년, 한 물리학 연구팀은 깜짝 놀랄 만한 발표를 했습니다.

neutrinos traveled faster than the speed of light

중성미자가 광속보다

by 60 billionths of a second

600억분의 1초 차이로

in their 730 kilometer trip from Geneva to a detector in Italy.

제네바에서 이탈리아까지의 730km를 더 빨리 주파했다는 것입니다.

Despite six months of double checking, the bizarre discovery refused to yield.

여섯 달간 재차 확인했지만 이를 반박할만한 증거는 없었습니다.

But rather than celebrating a physics revolution,

하지만 이 물리적 혁명을 축하하는 대신,

the researchers published a cautious paper

과학자들은 조심스럽게 논문을 발표하여

arguing for continued research in an effort to explain the observed anomaly.

이례적인 관측결과를 설명하기 위해서 연구를 계속해야 한다고 주장했습니다.

In time, the error was tracked to a single incorrectly connected fiber optic cable.

이윽고, 이 일은 잘못 연결된 광섬유에 의한 오류로 밝혀졌습니다.

This example reminds us that real science is more than static textbooks.

이 예시는 우리에게 실제 과학이 교과서보다도 고정적임을 알려줍니다.

Instead, researchers around the world are continuously publishing

대신, 전 세계의 학자들은 최근 성과를 꾸준히 발표합니다.

their latest discoveries

with each paper adding to the scientific conversation.

과학적 설명을 추가한 논문과 함께 말입니다.

Published studies can motivate future research,

발표된 논문들은 향후의 연구에 동기부여가 되고,

inspire new products,

새 제품에 영감을 주기도 하며,

and inform government policy.

정부 정책에 도움이 되기도 합니다.

So it's important that we have confidence in the published results.

그래서 발표된 연구 결과에 대한 신뢰를 갖는 것이 중요합니다.

If their conclusions are wrong,

연구 결과가 틀렸다면,

we risk time,

시간,

resources,

자원,

and even our health in the pursuit of false leads.

심지어는 잘못된 발표를 따른 우리의 건강까지도 위험하기 때문입니다.

When findings are significant,

발견 결과가 중요한 것이라면,

they are frequently double-checked by other researchers,

보통 다른 연구자들이 재차 확인하고

either by reanalyzing the data

데이터를 다시 분석하거나

or by redoing the entire experiment.

전체적으로 다시 한번 실험해봅니다.

For example, it took repeated investigation of the CERN data

예를 들어, CERN 데이터를 먼저 재분석 했었다면

before the timing error was tracked down.

시간 측정에 오류가 있다는 것이 먼저 밝혀졌을 것입니다.

Unfortunately, there are currently neither the resources nor professional incentives

불행하게도, 현재로선 자원도, 전문 인력도 부족합니다.

to double check the more than 1 million scientific papers published annually.

매년 백만개 이상의 논문을 두 번씩 확인하기는 무리인 것입니다.

Even when papers are challenged, the results are not reassuring.

심지어 연구에 이의제기를 해도 안심할 수 있는 것은 아닙니다.

Recent studies that examined dozens of published pharmaceutical papers

수십여 개의 약학 논문을 분석한 최근의 연구는

managed to replicate the results of less than 25% of them.

그 결론들 중 25% 미만은 서로 겹친다는 것을 알아냈습니다.

And similar results have been found in other scientific disciplines.

그리고 또한 비슷한 결과가 다른 과학 분야에서도 발견됩니다.

There are a variety of sources for irreproducible results.

이러한 다양한 문제들은 결과를 재현 불가능하게 만듭니다.

Errors could hide in their original design, execution, or analysis of the data.

오류는 그들의 원래의 형태, 솜씨나 데이터 분석결과를 숨기게 될 수 있습니다.

Unknown factors,

알려지지 않은 사실이지만,

such as patients' undisclosed condition in a medical study,

의학 연구에서 환자가 스스로 밝히지 않은 상태는

can produce results that are not repeatable in new test subjects.

새로운 환자에게도 적용하기가 힘든 결과가 도출하게 만듭니다.

And sometimes, the second research group can't reproduce the original results

그리고 가끔, 후발 연구팀이 원래의 결과를 재현 못할 수 있습니다.

simply because they don't know exactly what the original group did.

간단하게도, 원래의 연구팀이 무엇을 어떻게 했는질 모르기 때문입니다.

However, some problems might stem from systematic decisions

그러나 문제는 결론을 내리기까지의 과정은 체계적인 줄기로 이어져서

in how we do science.

우리가 과학을 연구하는 방법과 같다는 것입니다.

Researchers,

the institutions that employ them,

연구자,

그들을 고용한 여러 기관들은

and the scientific journals that publish findings

그리고 그들의 발견을 개제하는 학술지들은

are expected to produce big results frequently.

연구자들이 대단한 발견을 자주 내놓기를 바랍니다

Important papers can advance careers,

좋은 논문은 훌륭한 경력이 되어주고,

generate media interest,

미디어의 관심을 받으며,

and secure essential funding,

필수적인 후원금을 확보해주기에

so there's slim motivation for researchers to challenge their own exciting results.

그들은 연구자들로 하여금 흥미로운 분야에만 종사하게 합니다.

In addition, little incentive exists

게다가 장려금이

to publish results unsupportive of the expected hypothesis.

기대 가설의 결과를 발표하기는 것엔 턱없이 적기도 합니다.

That results in a deluge of agreement between what was expected

이 결과는 무엇이 기대되는가에 대한

그리고 무엇이 발견되었는가에 대한 합의가 성행하는 중에 생겨난 것입니다

and what was found.

In rare occasions, this can even lead to deliberate fabrication,

드물게 이것들은 교묘한 거짓을 만들어내기도 합니다.

such as in 2013, when a researcher spiked rabbit blood with human blood

2013년에 한 연구자는 사람의 피에 토끼 피를 섞어서

to give false evidence that his HIV vaccine was working.

HIV 백신이 효과가 없다는 증거로 사용하기도 했습니다.

The publish or perish mindset

발표되거나 사장된 사고방식은

can also compromise academic journals' traditional peer-review processes

학술지의 전통적인 논문 심사 과정인 동등 비평 방식의

which are safety checks

안전한 확인 과정을,

where experts examine submitted papers for potential shortcomings.

즉 전문가들의 잠재적 결점을 찾아내려는 보고서 검토를 완화시킬 수 있습니다.

The current system,

현재 시스템은

which might involve only one or two reviewers,

검토자가 오직 한 명에서 두 명으로

can be woefully ineffective.

효율성이 몹시 떨어지게 됩니다

That was demonstrated in a 1998 study

이 문제는 1998년 연구에서 드러나게 되었는데,

where eight weaknesses were deliberately inserted into papers,

논문상에 8개나 되는 오류가 있었으나

but only around 25% were caught upon review.

그중 25%만이 발견되었습니다.

Many scientists are working toward improving reproducibility in their fields.

많은 과학자가그들의 분야에서 재현 가능성을 향상시키고자 일합니다.

There's a push to make researchers raw data,

이것들은 연구자들의 막 도출된 데이터와

experimental procedures,

실험 과정,

and analytical techniques more openly available

분석 기술을 더욱 개방적으로 공개하도록 했습니다.

in order to ease replication efforts.

재현을 쉽게 할 수 있도록 말입니다.

The peer review process can also be strengthened

논문 심사 과정도 강화시켜

to more efficiently weed out weak papers prior to publication.

더욱 효과적으로, 논문의 발표 이전에 오류를 제거하게끔 했습니다.

And we could temper the pressure to find big results

또한 우리는 결과를 찾는데만 집중하라는 압력을 누그러뜨릴 수도 있습니다.

by publishing more papers that fail to confirm the original hypothesis,

많은 논문들이 원래의 가설을 증명하는데 실패하게 끔 한 원흉으로,

an event that happens far more than current scientific literature suggests.

과학 소설의 제안보다도 못한 수준입니다.

Science always has, and always will, encounter some false starts

과학에선 언제나 잘못된 시작과 마주할 가능성이 있어왔고, 있을 것이며

as part of the collective acquisition of new knowledge.

이는 새로운 지식을 집단적 습득하는 과정에서 필연적인 것입니다.

Finding ways to improve the reproducibility of our results

우리의 결과 재현 가능성을 높힐 방법을 찾는 것은

can help us weed out those false starts more effectively,

이러한 잘못된 시작을 더욱 효과적으로 제거할 수 있도록 도울 것이고,

keeping us moving steadily toward exciting new discoveries.

우리가 새로운 발견을 향해 착실하게 나아가도록 해줄 것입니다.