Is there a reproducibility crisis in science? - Matt Anticole

Tradutor: Raissa Mendes Revisor: Ruy Lopes Pereira

In 2011, a team of physicists reported a startling discovery:

Em 2011, uma equipe de físicos anunciou uma descoberta espantosa:

neutrinos tinham viajado mais rápido do que a velocidade da luz

neutrinos traveled faster than the speed of light

by 60 billionths of a second

por 60 bilionésimos de segundo

in their 730 kilometer trip from Geneva to a detector in Italy.

em sua viagem de 730 km de Genebra até a um detector na Itália.

Despite six months of double checking, the bizarre discovery refused to yield.

Apesar de seis meses de dupla verificação, essa estranha descoberta manteve-se de pé.

But rather than celebrating a physics revolution,

Mas, em vez de festejar uma revolução na física,

the researchers published a cautious paper

os pesquisadores publicaram um artigo cauteloso,

arguing for continued research in an effort to explain the observed anomaly.

defendendo a continuação da investigação

na tentativa de explicar a anomalia observada.

In time, the error was tracked to a single incorrectly connected fiber optic cable.

Com o tempo, o erro foi detectado

num simples cabo de fibra ótica incorretamente conectado.

O exemplo nos lembra de que a ciência real vai além dos manuais estáticos.

This example reminds us that real science is more than static textbooks.

Instead, researchers around the world are continuously publishing

Em vez disso, os pesquisadores estão sempre publicando

their latest discoveries

suas descobertas mais recentes

with each paper adding to the scientific conversation.

em que cada artigo contribui para o diálogo científico.

Published studies can motivate future research,

Estudos publicados podem motivar investigações futuras,

inspire new products,

inspirar novos produtos

and inform government policy.

e influenciar políticas governamentais.

So it's important that we have confidence in the published results.

Assim, é importante confiarmos nos resultados publicados.

Se suas conclusões estiverem erradas,

If their conclusions are wrong,

we risk time,

pomos em risco o tempo,

resources,

os recursos

e até a nossa saúde, ao seguirmos pistas falsas.

and even our health in the pursuit of false leads.

Quando as descobertas são significativas,

When findings are significant,

they are frequently double-checked by other researchers,

são duplamente verificadas por outros pesquisadores,

seja reanalisando os dados,

either by reanalyzing the data

or by redoing the entire experiment.

seja refazendo toda a experiência.

For example, it took repeated investigation of the CERN data

Por exemplo, foi preciso uma investigação repetida dos dados do CERN

before the timing error was tracked down.

antes de ser detectado o erro.

Unfortunately, there are currently neither the resources nor professional incentives

Infelizmente, atualmente não há recursos nem incentivos profissionais

to double check the more than 1 million scientific papers published annually.

para a dupla checagem de mais de 1 milhão de artigos científicos

publicados anualmente.

Even when papers are challenged, the results are not reassuring.

Mesmo quando os artigos são postos em causa,

os resultados não são tranquilizadores.

Recent studies that examined dozens of published pharmaceutical papers

Estudos recentes que examinaram dezenas de artigos farmacêuticos publicados

managed to replicate the results of less than 25% of them.

só conseguiram reproduzir os resultados de menos de 25%.

And similar results have been found in other scientific disciplines.

E resultados semelhantes foram encontrados em outras áreas científicas.

There are a variety of sources for irreproducible results.

Há uma série de razões que impedem a reprodução dos resultados.

Errors could hide in their original design, execution, or analysis of the data.

Pode haver erros escondidos na concepção original,

na execução, ou na análise dos dados.

Unknown factors,

Fatores desconhecidos,

such as patients' undisclosed condition in a medical study,

como a situação confidencial de um paciente num estudo médico,

can produce results that are not repeatable in new test subjects.

podem produzir resultados impossíveis de repetir em sujeitos de novos testes.

And sometimes, the second research group can't reproduce the original results

Às vezes, o segundo grupo de investigação não consegue reproduzir

os resultados originais

simply because they don't know exactly what the original group did.

simplesmente por não saber o que o grupo inicial fez exatamente.

However, some problems might stem from systematic decisions

No entanto, alguns problemas podem ter origem em decisões sistemáticas

in how we do science.

na forma como fazemos ciência.

Espera-se que os pesquisadores, as instituições que os contratam,

Researchers,

the institutions that employ them,

and the scientific journals that publish findings

e as revistas científicas que publicam as descobertas,

are expected to produce big results frequently.

produzam grandes resultados com frequência.

Important papers can advance careers,

Artigos importantes podem fazer progredir carreiras,

generate media interest,

gerar o interesse da mídia

and secure essential funding,

e assegurar financiamentos essenciais,

por isso os investigadores têm pouca motivação para contestar seus resultados.

so there's slim motivation for researchers to challenge their own exciting results.

In addition, little incentive exists

Para além disso, há poucos incentivos

to publish results unsupportive of the expected hypothesis.

para publicar resultados que não apoiem a hipótese esperada.

That results in a deluge of agreement between what was expected

Isso resulta numa enxurrada de concordância

entre o que era esperado e o que se encontrou.

and what was found.

In rare occasions, this can even lead to deliberate fabrication,

Em raras ocasiões, até pode levar à falsificação deliberada

such as in 2013, when a researcher spiked rabbit blood with human blood

como, em 2013, quando um investigador

enriqueceu sangue de coelho com sangue humano,

to give false evidence that his HIV vaccine was working.

para dar uma prova falsa de que a sua vacina HIV funcionava.

The publish or perish mindset

A mentalidade de "publicar ou morrer" também pode comprometer

can also compromise academic journals' traditional peer-review processes

os processos acadêmicos tradicionais de revisão pelos pares,

which are safety checks

que são verificações de segurança

where experts examine submitted papers for potential shortcomings.

feitas por especialistas nos artigos apresentados, procurando possíveis falhas.

The current system,

O sistema atual, que pode envolver apenas um ou dois revisores,

which might involve only one or two reviewers,

can be woefully ineffective.

pode ser terrivelmente ineficaz.

That was demonstrated in a 1998 study

Isso ficou demonstrado num estudo de 1998

where eight weaknesses were deliberately inserted into papers,

em que foram introduzidos deliberadamente oito defeitos em artigos,

but only around 25% were caught upon review.

mas só cerca de 25% deles foram detectados na revisão.

Muitos cientistas estão trabalhando

Many scientists are working toward improving reproducibility in their fields.

para melhorar a possibilidade de reprodução nas suas áreas.

There's a push to make researchers raw data,

Pressiona-se para que os dados, os procedimentos experimentais

experimental procedures,

and analytical techniques more openly available

e as técnicas analíticas usadas pelos pesquisadores fiquem mais acessíveis

in order to ease replication efforts.

para facilitar as tentativas de reprodução.

The peer review process can also be strengthened

A revisão feita pelos pares também pode ser reforçada

to more efficiently weed out weak papers prior to publication.

para eliminar mais eficazmente os artigos fracos, antes da publicação.

Podemos equilibrar a pressão para encontrar grandes resultados,

And we could temper the pressure to find big results

publicando mais artigos que contradigam a hipótese inicial,

by publishing more papers that fail to confirm the original hypothesis,

algo que acontece mais frequentemente do que sugere a literatura científica.

an event that happens far more than current scientific literature suggests.

Science always has, and always will, encounter some false starts

A ciência sempre encontrou, e sempre irá encontrar, princípios falsos,

as part of the collective acquisition of new knowledge.

o que faz parte da aquisição coletiva de novos conhecimentos.

Finding ways to improve the reproducibility of our results

Encontrar formas de melhorar a reprodutibilidade dos resultados

can help us weed out those false starts more effectively,

pode nos ajudar a eliminar esses princípios falsos mais eficazmente,

keeping us moving steadily toward exciting new discoveries.

e a avançar com segurança para novas descobertas empolgantes.