Is there a reproducibility crisis in science? - Matt Anticole

Será que há crise da possibilidade de reprodução na ciência? — Matt Anticole

Tradutor: Margarida Ferreira Revisora: Isabel Vaz Belchior

In 2011, a team of physicists reported a startling discovery:

Em 2011, uma equipa de físicos anunciou uma descoberta espantosa:

os neutrinos tinham viajado mais depressa do que a velocidade da luz

neutrinos traveled faster than the speed of light

by 60 billionths of a second

por 60 mil milionésimos de segundo

in their 730 kilometer trip from Geneva to a detector in Italy.

no seu percurso de 730 km de Genebra até a um detetor em Itália.

Despite six months of double checking, the bizarre discovery refused to yield.

Apesar de seis meses de dupla verificação, esta estranha descoberta manteve-se de pé.

But rather than celebrating a physics revolution,

Mas, em vez de festejar uma revolução na física,

the researchers published a cautious paper

os investigadores publicaram um artigo cauteloso,

arguing for continued research in an effort to explain the observed anomaly.

defendendo a continuação da investigação

na tentativa de explicar a anomalia observada.

In time, the error was tracked to a single incorrectly connected fiber optic cable.

Com o tempo, o erro foi detetado

num simples cabo de fibra ótica incorretamente ligado.

This example reminds us that real science is more than static textbooks.

Este exemplo recorda-nos que a ciência real é mais do que manuais estáticos.

Instead, researchers around the world are continuously publishing

Pelo contrário, os investigadores estão sempre a publicar

their latest discoveries

as suas descobertas mais recentes

with each paper adding to the scientific conversation.

em que cada artigo contribui para o diálogo científico.

Published studies can motivate future research,

Estudos publicados podem motivar investigações futuras,

inspire new products,

inspirar novos produtos,

and inform government policy.

e influenciar políticas governamentais.

So it's important that we have confidence in the published results.

Assim, é importante que tenhamos confiança nos resultados publicados.

If their conclusions are wrong,

Se as conclusões estiverem erradas,

we risk time,

pomos em risco o tempo,

resources,

os recursos

and even our health in the pursuit of false leads.

e até a nossa saúde, ao seguirmos pistas falsas.

When findings are significant,

Quando as descobertas são significativas,

they are frequently double-checked by other researchers,

são duplamente verificadas por outros investigadores,

either by reanalyzing the data

quer reanalisando os dados,

or by redoing the entire experiment.

quer refazendo toda a experiência.

For example, it took repeated investigation of the CERN data

Por exemplo, foi precisa uma investigação repetida dos dados do CERN

before the timing error was tracked down.

antes de ser detetado o erro.

Unfortunately, there are currently neither the resources nor professional incentives

Infelizmente, atualmente não há recursos nem incentivos profissionais

to double check the more than 1 million scientific papers published annually.

para a verificação dupla de mais de um milhão de artigos científicos

publicados anualmente.

Even when papers are challenged, the results are not reassuring.

Mesmo quando os artigos são postos em causa,

os resultados não são tranquilizadores.

Recent studies that examined dozens of published pharmaceutical papers

Estudos recentes que examinaram dezenas de artigos farmacêuticos publicados

managed to replicate the results of less than 25% of them.

só conseguiram reproduzir os resultados de menos de 25%.

And similar results have been found in other scientific disciplines.

Encontraram-se resultados idênticos noutras áreas científicas.

There are a variety of sources for irreproducible results.

Há uma série de razões para ser impossível reproduzir resultados.

Errors could hide in their original design, execution, or analysis of the data.

Os erros podem estar escondidos na conceção original,

na execução, ou na análise dos dados.

Unknown factors,

Fatores desconhecidos,

such as patients' undisclosed condition in a medical study,

como a situação confidencial de um doente num estudo médico,

can produce results that are not repeatable in new test subjects.

podem produzir resultados impossíveis de repetir em sujeitos de novos testes.

And sometimes, the second research group can't reproduce the original results

Por vezes, o segundo grupo de investigação

não consegue reproduzir os resultados originais

simply because they don't know exactly what the original group did.

apenas porque não sabe exatamente o que fez o grupo inicial.

However, some problems might stem from systematic decisions

No entanto, alguns problemas podem ter origem em decisões sistemáticas

in how we do science.

na forma como fazemos ciência.

Researchers,

the institutions that employ them,

Espera-se que os investigadores,

as instituições que os contratam,

and the scientific journals that publish findings

e as revistas científicas que publicam as descobertas,

are expected to produce big results frequently.

produzam grandes resultados com frequência.

Important papers can advance careers,

Artigos importantes podem fazer progredir carreiras,

generate media interest,

gerar o interesse dos "media",

and secure essential funding,

e assegurar financiamentos essenciais,

so there's slim motivation for researchers to challenge their own exciting results.

por isso, os investigadores não têm motivo

para contestarem os seus resultados entusiasmantes.

In addition, little incentive exists

Para além disso, há poucos incentivos

to publish results unsupportive of the expected hypothesis.

para publicar resultados que não apoiem a hipótese esperada.

That results in a deluge of agreement between what was expected

Isso resulta numa enxurrada de concordância

entre o que era esperado e o que se encontrou.

and what was found.

In rare occasions, this can even lead to deliberate fabrication,

Em raras ocasiões, até pode levar a falsificação deliberada

como, em 2013, quando um investigador

such as in 2013, when a researcher spiked rabbit blood with human blood

enriqueceu sangue de coelho com sangue humano,

to give false evidence that his HIV vaccine was working.

para dar uma prova falsa de que a sua vacina VIH estava a funcionar.

The publish or perish mindset

A mentalidade de "publicar ou morrer",

can also compromise academic journals' traditional peer-review processes

também pode comprometer

os processos académicos tradicionais de revisão pelos pares

which are safety checks

que são verificações de segurança

where experts examine submitted papers for potential shortcomings.

feitas por especialistas aos artigos apresentados,

procurando possíveis lacunas.

The current system,

O atual sistema

which might involve only one or two reviewers,

que pode envolver apenas um ou dois revisores,

can be woefully ineffective.

pode ser terrivelmente ineficaz.

That was demonstrated in a 1998 study

Isso ficou demonstrado num estudo de 1998

where eight weaknesses were deliberately inserted into papers,

em que foram introduzidas deliberadamente oito defeitos em artigos,

but only around 25% were caught upon review.

mas só cerca de 25% foram detetados na revisão.

Many scientists are working toward improving reproducibility in their fields.

Muitos cientistas estão a trabalhar

para melhorar a possibilidade de reprodução nas suas áreas.

There's a push to make researchers raw data,

Há a tendência para tornar mais acessíveis

experimental procedures,

os investigadores de dados em bruto,

and analytical techniques more openly available

os procedimentos experimentais,

e as técnicas analíticas,

in order to ease replication efforts.

para facilitar estas tentativas de reprodução.

The peer review process can also be strengthened

O processo de revisão pelos pares também pode ser reforçado

to more efficiently weed out weak papers prior to publication.

para eliminar mais eficazmente os artigos fracos, antes da publicação.

And we could temper the pressure to find big results

Podemos equilibrar a pressão para encontrar grandes resultados,

by publishing more papers that fail to confirm the original hypothesis,

publicando mais artigos em que não se confirma a hipótese inicial,

an event that happens far more than current scientific literature suggests.

uma coisa que acontece muito mais vezes

do que sugere a atual literatura científica.

Science always has, and always will, encounter some false starts

A ciência sempre encontrou, e sempre irá encontrar, falsas partidas,

as part of the collective acquisition of new knowledge.

o que faz parte da aquisição coletiva de novos conhecimentos.

Finding ways to improve the reproducibility of our results

Encontrar formas de melhorar

a possibilidade de reprodução dos resultados

can help us weed out those false starts more effectively,

pode ajudar-nos a eliminar essas falsas partidas mais eficazmente,

keeping us moving steadily toward exciting new discoveries.

e a avançar com segurança para novas descobertas empolgantes.