Is there a reproducibility crisis in science? - Matt Anticole

Переводчик: Nataliia Pysemska Редактор: Yekaterina Jussupova

In 2011, a team of physicists reported a startling discovery:

В 2011 году команда физиков сообщила о поразительном открытии:

нейтрино преодолел 730-километровое расстояние

neutrinos traveled faster than the speed of light

by 60 billionths of a second

между Женевой и датчиками в Италии

in their 730 kilometer trip from Geneva to a detector in Italy.

на 60-миллиардную долю секунды быстрее скорости света.

Despite six months of double checking, the bizarre discovery refused to yield.

Полгода перепроверок не смогли опровергнуть странное открытие.

But rather than celebrating a physics revolution,

Но вместо того, чтобы праздновать революцию в физике,

the researchers published a cautious paper

исследователи опубликовали неоднозначную статью,

arguing for continued research in an effort to explain the observed anomaly.

призывающую к дополнительному исследованию,

которое объяснит наблюдаемую аномалию.

In time, the error was tracked to a single incorrectly connected fiber optic cable.

Со временем выяснилось, что ошибку вызвали

неправильно соединённые оптоволоконные кабели.

This example reminds us that real science is more than static textbooks.

Данный пример напоминает,

что настоящая наука не ограничивается написанным в учебниках.

Instead, researchers around the world are continuously publishing

Однако исследователи со всего мира

постоянно публикуют новейшие открытия,

their latest discoveries

with each paper adding to the scientific conversation.

каждой публикацией внося вклад в научную беседу.

Published studies can motivate future research,

Публикации могут стимулировать будущие исследования,

inspire new products,

вдохновлять на создание новых разработок

and inform government policy.

и определять государственную политику.

So it's important that we have confidence in the published results.

Поэтому важна уверенность в опубликованных результатах.

Если выводы неверны,

If their conclusions are wrong,

we risk time,

мы рискуем временем,

resources,

ресурсами

и даже здоровьем в погоне за ложными зацепками.

and even our health in the pursuit of false leads.

When findings are significant,

Если результаты значительны,

they are frequently double-checked by other researchers,

их часто перепроверяют другие исследователи:

повторно анализируют информацию

either by reanalyzing the data

or by redoing the entire experiment.

или воссоздают весь эксперимент.

For example, it took repeated investigation of the CERN data

Например, для обнаружения ошибки синхронизации

before the timing error was tracked down.

пришлось несколько раз исследовать данные ЦЕРН.

Unfortunately, there are currently neither the resources nor professional incentives

К сожалению, на данный момент

более миллиона ежегодно публикуемых научных статей

to double check the more than 1 million scientific papers published annually.

невозможно перепроверить из-за отсутствия ресурсов и профессиональных стимулов.

Even when papers are challenged, the results are not reassuring.

Иногда нельзя доверять даже тем данным, которые перепроверялись.

Recent studies that examined dozens of published pharmaceutical papers

В процессе недавних проверок

удалось воссоздать менее 25% результатов опубликованных фармацевтических статей.

managed to replicate the results of less than 25% of them.

And similar results have been found in other scientific disciplines.

Подобная ситуация обнаружена и в других научных дисциплинах.

There are a variety of sources for irreproducible results.

Существует множество источников невоспроизводимых результатов.

Errors could hide in their original design, execution, or analysis of the data.

Ошибки могут крыться в исходном замысле, исполнении или анализе данных.

Unknown factors,

Неизвестные факторы,

such as patients' undisclosed condition in a medical study,

например, неуказанное состояние пациента в медицинском исследовании,

могут дать результаты, которые невозможно воспроизвести на новых испытуемых.

can produce results that are not repeatable in new test subjects.

And sometimes, the second research group can't reproduce the original results

Иногда вторая исследовательская группа не может воссоздать исходные результаты,

simply because they don't know exactly what the original group did.

потому что точно неизвестны действия первоначальной группы.

However, some problems might stem from systematic decisions

Возможно, некоторые проблемы исходят из систематических решений,

in how we do science.

касающихся процесса проведения исследований.

Предполагается, что сами исследователи,

Researchers,

the institutions that employ them,

учреждения, в которых они работают,

and the scientific journals that publish findings

и научные журналы, в которых публикуются результаты,

are expected to produce big results frequently.

должны часто выдавать значимые результаты.

Important papers can advance careers,

Важные статьи могут способствовать карьерному росту,

generate media interest,

порождать заинтересованность СМИ

and secure essential funding,

и обеспечивать финансирование,

что вряд ли мотивирует исследователей

so there's slim motivation for researchers to challenge their own exciting results.

перепроверять полученные необычные результаты.

In addition, little incentive exists

Кроме того, у них нет достаточного стимула

to publish results unsupportive of the expected hypothesis.

публиковать результаты, противоречащие предполагаемой гипотезе.

That results in a deluge of agreement between what was expected

В результате открытия просто подтверждают предположения.

and what was found.

In rare occasions, this can even lead to deliberate fabrication,

В редких случаях это может привести к умышленной фальсификации данных.

such as in 2013, when a researcher spiked rabbit blood with human blood

Например, в 2013 году исследователь смешал кровь человека и кролика,

to give false evidence that his HIV vaccine was working.

чтобы получить ложные доказательства эффективности его вакцины от ВИЧ.

The publish or perish mindset

Такое давление «публикуй или сгинь»

can also compromise academic journals' traditional peer-review processes

ставит под сомнения традиционный процесс рецензирования в научных журналах,

which are safety checks

служащий проверкой надёжности,

where experts examine submitted papers for potential shortcomings.

при которой эксперты проверяют статьи на возможные недоработки.

The current system,

Действующая система,

which might involve only one or two reviewers,

которая предполагает наличие лишь 1–2 рецензентов,

can be woefully ineffective.

может быть удручающе неэффективной.

That was demonstrated in a 1998 study

Ярким примером того является исследование 1998 года,

where eight weaknesses were deliberately inserted into papers,

когда в публикации умышленно было допущено восемь ошибок,

but only around 25% were caught upon review.

но лишь около 25% из них были обнаружены при редактуре.

Many scientists are working toward improving reproducibility in their fields.

Многие учёные работают над улучшением воспроизводимости в своих отраслях науки.

There's a push to make researchers raw data,

Чтобы упростить попытки воспроизведения эксперимента,

experimental procedures,

исследователям необходим

and analytical techniques more openly available

открытый доступ к исходным данным,

in order to ease replication efforts.

этапам эксперимента и аналитическим методам.

The peer review process can also be strengthened

Экспертный обзор также можно усилить,

to more efficiently weed out weak papers prior to publication.

чтобы повысить эффективность отсеивания слабых статей до публикации.

Также можно ослабить давление получения значительных результатов,

And we could temper the pressure to find big results

by publishing more papers that fail to confirm the original hypothesis,

из-за которого публикуется много статей, чьи результаты не подтверждают гипотезу —

an event that happens far more than current scientific literature suggests.

подобное случается гораздо чаще,

чем говорится в современной научной литературе.

Science always has, and always will, encounter some false starts

Наука всегда будет сталкиваться с «фальстартами»,

as part of the collective acquisition of new knowledge.

которые являются частью коллективного получения новых знаний.

Finding ways to improve the reproducibility of our results

Обнаружение путей совершенствования воспроизводимости результатов

can help us weed out those false starts more effectively,

может помочь более эффективно отсеивать эти «фальстарты»

keeping us moving steadily toward exciting new discoveries.

на пути к новым восхитительным открытиям.