Ben Goldacre: Battling Bad Science

Translator: Stéphane Brault Reviewer: James Piton

So I'm a doctor, but I kind of slipped sideways into research,

Ja kuracisto mi estas, sed devojigis min scienca esploro,

and now I'm an epidemiologist.

kaj mi fariĝis epidemiologisto.

And nobody really knows what epidemiology is.

Neniu vere scias, kio estas epidemiologio

Epidemiology is the science of how we know in the real world

– la scienco, kiu permesas certi

if something is good for you or bad for you.

ĉu io estas sanfavora aŭ malsalubra.

And it's best understood through example

Sed ĝian kernan koncepton oni komprenas

as the science of those crazy, wacky newspaper headlines.

ekzemple, dank'al absurdegaj fraptitoloj tiaj,

And these are just some of the examples.

kelkaj el multego.

These are from the Daily Mail.

Tiuj devenas de la Daily Mail. En ĉiu lando troviĝas ĵurnalo tia,

Every country in the world has a newspaper like this.

kies strangega filozofa projekto

It has this bizarre, ongoing philosophical project

konsistas en la klasifikado de ĉiaj senvivaĵoj

of dividing all the inanimate objects in the world

en kancerkaŭzantaj kaj -preventantaj.

into the ones that either cause or prevent cancer.

Here are some of the things they said cause cancer:

Jen kelkaj lastatempe malkovritaj kaŭzoj laŭ ĝi:

eksedziĝo, Vifio, tuatelaĵoj kaj kafo.

divorce, Wi-Fi, toiletries and coffee.

Kaj jen kelkaj antaŭmalhelpantoj:

Some things they say prevent cancer:

krustoj, ruĝa kapsiko, glicirizo kaj kafo.

crusts, red pepper, licorice and coffee.

La kontraŭdiro falas en la okulojn:

So you can see there are contradictions.

en ambaŭ kategorioj troviĝas kafo.

Coffee both causes and prevents cancer.

Legante plu, oni komprenas, ke eble

As you start to read on, you can see

that maybe there's some political valence behind some of this.

subkaŝas sin iaj societaj antaŭjuĝoj ĉi tie:

For women, housework prevents breast cancer,

mastrumado mamkanceron forigas ĉe virinoj,

but for men, shopping could make you impotent.

sed butikumi impotentigas virojn…

(Laughter)

Do ni ja devas konsideri zorge

So we know that we need to start unpicking the science behind this.

la esplorojn cititajn tiukaze.

And what I hope to show is that unpicking the evidence behind dodgy claims

Mi esperas montri,

ke ekzameni la ruzajn asertojn

kaj la «pruvojn» ilin subtenantajn

isn't a kind of nasty, carping activity;

ne estas harfendi.

it's socially useful.

Ĝi ne nur utilas por la societo

But it's also an extremely valuable explanatory tool,

sed ankaŭ rolas

kiel klarigilo altvalora.

because real science is about critically appraising the evidence

Ĉar vera scienco strebas antaŭ ĉio

juĝi kritike la pruvojn sur kiuj baziĝas opinioj,

for somebody else's position.

kiel oni vidas en akademiaj eldonaĵoj

That's what happens in academic journals,

kaj sciencaj prelegoj.

it's what happens at academic conferences --

Kiam postdoktoriĝa studento prezentas rezultojn

the Q&A session after a postdoc presents data is often a bloodbath.

oni provas detrui lin per demandoj.

And nobody minds that; we actively welcome it.

Kaj neniu protestas, tutmale. Similas al

It's like a consenting intellectual S&M activity.

interkonsentita intelekta sadomasoĥista ludo.

(Laughter)

Mi volas montri la ĉefaĵojn,

So what I'm going to show you is all of the main things,

ĉiujn ĉefajn ecojn

de mia fako: la medicino

all of the main features of my discipline, evidence-based medicine.

bazita sur sciencaj pruvoj.

And I will talk you through all of these and demonstrate how they work,

Mi parolos pri tiuj ecoj

kaj demonstros kiel ili funkcias,

exclusively using examples of people getting stuff wrong.

ekskluzive per ekzemploj de oftegaj eraroj.

We'll start with the absolute weakest form of evidence known to man,

Komencu ni per la plejsupre malimpona pruvospeco:

aŭtoritato.

and that is authority.

Sciencistoj prifajfas la literojn, kiuj sekvas ies nomon.

In science, we don't care how many letters you have after your name --

Nur gravas la motivoj, kiuj pelas kredi.

we want to know what your reasons are for believing something.

Kiel scii, ĉu io estas

How do you know that something is good for us or bad for us?

favora aŭ ne?

But we're also unimpressed by authority because it's so easy to contrive.

Ni fajfas pri aŭtoritato ankaŭ pro tio,

ke ĝi estas tre facile simulita.

This is somebody called Dr. Gillian McKeith, PhD,

Jen iu D-ro Gillian McKeith, Ph.D.

– laŭ ŝia vera titolo, Gillian McKeith.

or, to give her full medical title, Gillian McKeith.

(Ridoj)

(Laughter)

Denove, en ĉiu lando troviĝas iu simila.

Again, every country has somebody like this.

Ŝi estas nia pridieta guruino.

She is our TV diet guru.

She has five series of prime-time television,

Dum ŝiaj kvin ĉeftempaj televidaj programeroj,

giving out very lavish and exotic health advice.

ŝi disdonas ĉiajn ekstravagancajn prisanajn konsilojn.

She, it turns out, has a non-accredited correspondence course PhD

Nu, envere ŝi sekvis nur neakreditan perpoŝtan kurson

de iu usona diplomfabriko.

from somewhere in America.

She also boasts that she's a certified professional member

Ŝi fanfaronas pri sia akredita aparteno

al la Usona Asocio de Prinutradaj Konsilistoj

of the American Association of Nutritional Consultants,

– impone, ĉu ne?

which sounds very glamorous; you get a certificate.

Oni ekhavas tiun atestilon, ktp.

This one belongs to my dead cat, Hettie. She was a horrible cat.

Nu, jen tiu de Hetti, mia forpasinta katino. Aĉa besto…

Simple vizitu la retpaĝaron, plenigu la aliĝilon,

You go to the website, fill out the form,

pagu USD 60, kaj vi ricevos la saman poŝte.

give them $60, it arrives in the post.

Ne nur pro tio ni opinias tiun virinon idiota.

That's not the only reason we think this person is an idiot.

Ŝi ankaŭ stultaĵojn elbuŝigas:

She also says things like eat lots of dark green leaves,

oni manĝu multon da malhelverda foliaro,

they contain chlorophyll and really oxygenate your blood.

ĉar ĝi enhavas multon da klorofilo, kiu oksigenigas la sangon.

El via mezlerneja biologikurso, vi sendube memoras,

And anybody who's done school biology remembers

ke klorofilo kaj kloroplastoj

that chlorophyll and chloroplasts only make oxygen in sunlight,

produktas oksigenon nur sub sunlumo,

and it's quite dark in your bowels after you've eaten spinach.

kaj niaj intestoj mallumas kiel karbominejo.

Sekve, ni bezonas veran sciencon, veran pruvojn.

Next, we need proper science, proper evidence.

So: "Red wine can help prevent breast cancer."

«Ruĝa vino helpas preventi mamkanceron»,

anoncas la Daily Telegraph de U.R.

This is a headline from The Daily Telegraph in the UK.

«Unu glaso da ruĝa vino ĉiutage povus evitigi mamkanceron.»

"A glass of red wine a day could help prevent breast cancer."

Mi legis la raporton, kaj temas

So you find this paper, and find that it is a real piece of science.

pri vera scienca esploro.

It's a description of the changes in the behavior of one enzyme

Ĝi priskribas la ŝanĝojn kaŭzitajn al iu enzimo

when you drip a chemical extracted from some red grape skin

kiam oni deponas ĥemiaĵon ekstraktitan de ruĝvinbera haŭto

sur kancerĉeloj

onto some cancer cells

in a dish on a bench in a laboratory somewhere.

en glasplateto, ie en iu laboratorio.

And that's a really useful thing to describe in a scientific paper.

Interesega ideo por scienca esploro,

sed por diri kiaj estas

But on the question of your own personal risk of getting breast cancer

la individuaj ŝancoj eviti mamkanceron

dank'al ruĝa vino,

if you drink red wine,

ĝi senvaloregas.

it tells you absolutely bugger all.

Fakte, la riskoj pri mamkancero

Actually, it turns out that your risk of breast cancer

iom altiĝas

increases slightly with every amount of alcohol you drink.

proporcie al la kvanto da alkoholo trinkita.

So what we want are studies in real human people.

Ni do bezonas esplorojn pri homaj organismoj.

And here's another example.

Jen alia ekzemplo, el la plej elstara

This is from Britain's "leading" diet nutritionist in the Daily Mirror,

brituja eksperto prinutrada, laŭ la Daily Mirror,

nia dua plej populara ĵurnalo.

our second-biggest selling newspaper.

«Aŭstralia esploro de 2001

"An Australian study in 2001 found that olive oil,

malkovris, ke olivoleo konsumita kun fruktoj, legomoj

in combination with fruits, vegetables and pulses,

kaj legumenoj mezureble preventas haŭtfaltiĝon.»

offers measurable protection against skin wrinklings,"

Oni poste konkludas:

and give the advice:

«Manĝu olivoleon kaj legomojn por malpli da haŭtfaltiĝoj».

"If you eat olive oil and vegetables, you'll have fewer wrinkles."

Helpeme, oni diras kie trovi la raporton.

They helpfully tell you how to find the paper,

Mi do legis ĝin, kaj konstatis, ke temas pri observada esploro.

and what you find is an observational study.

Kompreneble, neniu reiris

Obviously, nobody has been able to go back to 1930,

en la 1930-aj

ŝteli infanojn el akuŝejo,

get all the people born in one maternity unit,

and half of them eat lots of fruit and veg and olive oil,

nutrigi unu duonon el ili per fruktoj, legomoj kaj olivoleo,

doni al la alia duono krakmanĝaĵon,

half of them eat McDonald's,

and then we see how many wrinkles you've got later.

kaj mezuri kiom da haŭtfaltoj jarojn poste.

Vi devas taksi viajn kobajojn tiel kiel ili estas ĝuste nun.

You have to take a snapshot of how people are now.

Nu, vi kompreneble malkovros,

And what you find is, of course:

ke tiuj kiuj konsumas legomojn kaj olivoleon

people who eat veg and olive oil have fewer wrinkles.

But that's because people who eat fruit and veg and olive oil are freaks --

havas ja malpli da faltoj, ne dank'al tio, kion ili konsumas,

sed pro tio, ke ili estas anomalaj, nenormalaj.

they're not normal, they're like you; they come to events like this.

Ili similas vin; ili ĉeestas prelegojn kiel miaj.

(Laughter)

Ili estas rafinitaj, bonhavaj, probable ne laboras ekstere

They're posh, they're wealthy, less likely to have outdoor jobs,

nek manlaboras. Ili posedas

less likely to do manual labor,

they have better social support, are less likely to smoke;

pli bonan socian reton, kaj probable ne fumas.

Pro ĉiaj sociaj, politikaj

for a host of fascinating, interlocking

kaj kulturaj motivoj interrilataj,

social, political and cultural reasons,

ili probable havas malpli da faltoj.

they're less likely to have wrinkles.

Ne necese sinsekvas tio de legomoj aŭ olivoleo.

That doesn't mean it's the vegetables or olive oil.

(Ridoj)

(Laughter)

Pro tio, ideale, vi bezonas provojn.

So ideally, what you want to do is a trial.

People think they're familiar with the idea of a trial.

Ĉiuj pensas bone kompreni kio estas provo. Jen malnovega koncepto.

La unua mencio pri ĝi troviĝas en la Biblio: Danielo 1:12.

Trials are old; the first one was in the Bible, Daniel 1:12.

Simplega afero: prenu aron da homoj, duonigu ĝin,

It's straightforward: take a bunch of people, split them in half,

traktu iamaniere unu duonon, kaj malsame la alian,

treat one group one way, the other group, the other way.

kaj iom pli poste, rekunigu viajn kobajojn

A while later, you see what happened to each of them.

por konstati kiel fartas ili.

Jen ekzemplo de provo,

I'm going to tell you about one trial,

eble la plej priraportita fare de la britaj

which is probably the most well-reported trial

novaĵkomunikiloj dum la lasta jardeko:

in the UK news media over the past decade.

la provo pri fiŝoleaj kapsuloj.

This is the trial of fish oil pills.

Estis kredate, ke tiuj kapsuloj plibonigas la enlernejajn poentojn

The claim: fish oil pills improve school performance and behavior

kaj sintenon de ordinaraj geknaboj.

in mainstream children.

Sciencistoj anoncis: «Ni ĵus finis teston.

They said, "We did a trial.

All the previous ones were positive, this one will be too."

Ĉiuj antaŭaj estis pozitivaj, kaj certe, tiu ĉi ankaŭ estos».

Paroloj tiaj devus ĉiam estigi grandan malfidon.

That should ring alarm bells:

Se oni jam konas la rezultojn de sia provo, oni devus ne starigi ĝin.

if you know the answer to your trial, you shouldn't be doing one.

Aŭ ĝi estas fifiksita dekomence, aŭ oni havas

Either you've rigged it by design,

or you've got enough data so there's no need to randomize people anymore.

jam tiom da donitaĵoj, ke ne plu necesas hazarde elekti subjektojn.

Jen tion, kion la sciencistoj intencis fari:

So this is what they were going to do in their trial:

They were taking 3,000 children,

kunigi 3000 geinfanojn

they were going to give them these huge fish oil pills, six of them a day,

kaj doni al ili tiujn egajn fiŝoleajn kapsulojn,

ses ĉiutage,

and then, a year later, measure their school exam performance

kaj unu jaron poste, kompari

and compare their performance

iliajn ekzamenajn rezultojn

against what they predicted their exam performance would have been

kun la rezultoj antaŭviditaj

sen prenado de kapsuloj.

if they hadn't had the pills.

Now, can anybody spot a flaw in this design?

Ĉu iuj el vi rimarkas ian mankon en tiu procezo?

(Laughter)

La profesoroj pri metodologio

And no professors of clinical trial methodology

are allowed to answer this question.

de klinikaj provoj, silentu!

So there's no control group.

Ja mankas kontrolgrupo. Nenia kontrolgrupo…

But that sounds really techie, right? That's a technical term.

Nu, kia ĵargonaĵo…

fakte, teknika vorto ĝi estas.

The kids got the pills, and their performance improved.

Oni englutigis la kapsulojn al la geknaboj, kaj konstatis pliboniĝon.

What else could it possibly be if it wasn't the pills?

Dank'al kio alia, se ne la kapsuloj? Nu,

iIli maljuniĝis. Oni disvolviĝas kreskante.

They got older; we all develop over time.

And of course, there's the placebo effect,

Kaj kompreneble, ankaŭ gravas la placebo-efiko,

one of the most fascinating things in the whole of medicine.

unu el la plej fascinaj fenomenoj de la tuta medicino.

Temas pri pli ol nura sintena pliboniĝo aŭ forigo de doloro post preno de pilolo.

It's not just taking a pill and performance or pain improving;

Temas pri kredoj kaj esperoj,

it's about our beliefs and expectations, the cultural meaning of a treatment.

pri la kultura senco de kuracado.

Kaj tion demonstris arego da fascinaj studadoj

And this has been demonstrated in a whole raft of fascinating studies

komparantaj unu placebon al alia.

comparing one kind of placebo against another.

So we know, for example,

Ni scias, ekzemple, ke du sukerpiloloj ĉiutage

that two sugar pills a day are a more effective treatment

pli efikas kontraŭ gastraj ulceroj, ol nur unu.

for gastric ulcers

Du ĉiutage pli efikas,

than one sugar pill.

ol unu ĉiutage.

Two sugar pills a day beats one a day.

Ja ridinda, eĉ ŝoka rezulto, sed tamen vera.

That's an outrageous and ridiculous finding, but it's true.

We know from three different studies on three different types of pain

Tri apartaj studadoj pri tri apartaj dolortipoj montris,

ke salakva injekto pli efikas kontraŭ doloro,

that a saltwater injection is a more effective treatment

ol sukerpilolo, la preno de senefika ŝajnmedikamento,

than a sugar pill, a dummy pill with no medicine in it,

not because the injection or pills do anything physically to the body,

ne ĉar la injektoj aŭ piloloj iel efikas al la korpo,

but because an injection feels like a much more dramatic intervention.

sed pro tio ke injekto ŝajnas multe pli impona afero.

Kaj ĉar ni scias, ke niaj kredoj kaj esperoj

So we know that our beliefs and expectations can be manipulated,

estas manipuleblaj,

which is why we do trials where we control against a placebo,

ni faras testojn

en kiuj komparado al placebo eblas

where one half of the people get the real treatment,

– en kiuj duono de la subjektoj ricevas veran kuracadon

and the other half get placebo.

dum la alia duono ricevas placebon.

But that's not enough.

Tamen, ne sufiĉas.

What I've just shown you are examples

Tio, kion ni ĵus vidis estas ekzemploj pri la simplegaj manieroj

of the very simple and straightforward ways

per kiuj ĵurnalistoj, vendistaĉoj de manĝadsuplementoj

that journalists and food supplement pill peddlers and naturopaths

kaj naturkuracistoj

can distort evidence for their own purposes.

distordas pruvojn propracele.

What I find really fascinating

Sed vere fascinas min,

is that the pharmaceutical industry uses exactly the same kinds

ke la farmacia industrio

uzas la samajn ruzojn,

of tricks and devices,

aŭ variantojn iom pli rafinitajn,

but slightly more sophisticated versions of them,

in order to distort the evidence they give to doctors and patients,

por distordi la pruvojn montritajn al kuracistoj kaj pacientoj,

kaj uzatajn de ni por gravegaj decidoj.

and which we use to make vitally important decisions.

So firstly, trials against placebo:

Do, unue, komparoj kun placebo.

Ĉiuj kredas scii, ke provo devus konsisti el

everybody thinks a trial should be a comparison

komparo de la nova medikamento kun placebo.

of your new drug against placebo.

Fakte, en multaj situacioj, tio eraras,

But in a lot of situations that's wrong;

ĉar ofte jam ekzistas bonega kuracado plene havebla,

often, we already have a good treatment currently available.

do kial demandi ĉu la nova alternativa kuracado

So we don't want to know that your alternative new treatment

estas pli efika ol nenio?

is better than nothing,

Preferinde estus certiĝi, ke ĝi pli efikas, ol la havebla.

but that it's better than the best available treatment we have.

Malgraŭ ĉio, oni ree vidas testojn

And yet, repeatedly, you consistently see people doing trials

pri alplaceba komparado.

still against placebo.

And you can get licensed to bring your drug to market

Oni povas eĉ aprobigi medikamenton por merkatigo

with only data showing that it's better than nothing,

nur montrante, ke ĝi efikas pli ol nenio,

informo senutila por kuracisto kiel mi, kiam endas fari decidon.

which is useless for a doctor like me trying to make a decision.

Sed oni povas fifiksi donitaĵojn ja plurmaniere.

But that's not the only way you can rig your data.

Interalie, oni povas kompari

You can also rig your data

novan medikamenton

by making the thing you compare your new drug against

al absoluta sentaŭgaĵo.

really rubbish.

You can give the competing drug in too low a dose,

Oni povas doni nesufiĉan dozon de la konkuranta

medikamento, por ke ĝi malefiku.

so people aren't properly treated.

Aŭ doni dozojn tro altajn, por ke la pacientoj

You can give the competing drug in too high a dose,

ricevu kromefikojn kaŭze de ĝi.

so people get side effects.

And this is exactly what happened

Ekzakte kiel okazis rilate

with antipsychotic medication for schizophrenia.

al antipsikoziloj kontraŭ skizofrenio.

Twenty years ago, a new generation of antipsychotic drugs were brought in;

Antaŭ 20 jaroj, oni kreis novan tipon de antipsikoziloj,

kiuj teorie devus kaŭzi malpli da kromefikoj.

the promise was they would have fewer side effects.

Oni komencis fari testojn, kiuj komparis la novajn

So people set about doing trials of the new drugs against the old drugs.

medikamentojn al la antaŭaj,

But they gave the old drugs in ridiculously high doses:

sed la ĉi-lastajn oni donis je ridinde tro altaj dozoj

– po 20 ml da haloperidol ĉiutage.

20 milligrams a day of haloperidol.

Sensurprize, altaj dozoj

And it's a foregone conclusion if you give a drug at that high a dose,

signifas pli da kromefikoj,

it will have more side effects, and your new drug will look better.

kaj la konkuranta medikamento sekve ŝajnas supera.

Antaŭ dek jaroj, tiu situacio ripetiĝis kiam estingiĝis

Ten years ago, history repeated itself,

la kopirajto de Risperidone, unua reprezentanto de nova generacio

when risperidone, the first of the new-generation antipsychotic drugs,

de antipsikoziloj, kaj finfine eblis fabriki kopiojn.

came off copyright, so anybody could make copies.

Everybody wanted to show their drug was better than risperidone,

Ĉiuj deziris montri, ke ties nova medikamento pliefikas ol Risperidone,

kaj oni estigis aron da testoj komparantaj la novajn medikamentojn

so you see trials comparing new antipsychotic drugs

al ok miligramoj de Risperidone ĉiutage

against risperidone at eight milligrams a day.

– dozo nek sensenca, nek kontraŭleĝa,

Again, not an insane dose, not an illegal dose,

sed ja tre proksima al la supera limo.

but very much at the high end of normal.

Tiakondiĉe, kial ne ŝajnus pli bonaj la novaj?

So you're bound to make your new drug look better.

Denove sensurprize, la testoj

And so it's no surprise that overall,

industry-funded trials are four times more likely

financitaj de la industrio

donas rezultojn kvaroble pli pozitivaj,

to give a positive result

than independently sponsored trials.

ol tiuj de sendepende financitaj provoj.

But -- and it's a big but --

La problemo (ja granda) estas,

(Laughter)

(Ridoj)

ke kiam oni studas la metodojn

it turns out,

when you look at the methods used by industry-funded trials,

uzitajn en industrifinancitaj testoj,

oni konstatas, ke ili vere superas

that they're actually better than independently sponsored trials.

tiujn de la sendependaj provoj.

And yet, they always manage to get the result that they want.

Malgraŭ tio, la industrio ĉiam akiras la planitajn rezultojn.

So how does this work?

Kiel do povas esti?

(Laughter)

Kiel klarigi tiun strangan fenomenon?

How can we explain this strange phenomenon?

Well, it turns out that what happens

La respondo estas,

is the negative data goes missing in action;

ke la negativaj donitaĵoj vaporiĝas.

it's withheld from doctors and patients.

Oni kaŝas ilin al la kuracistoj kaj pacientoj.

And this is the most important aspect of the whole story.

Jen la plej grava aspekto de la situacio.

Ĝi situas ĉe la pinto de la pruvpiramido.

It's at the top of the pyramid of evidence.

Ni bezonas vidi la tutan donitaĵaron pri specifa kuracado

We need to have all of the data on a particular treatment

por juĝi ĉu ĝi estas efika aŭ ne.

to know whether or not it really is effective.

Per du apartaj manieroj oni povas scii

There are two different ways you can spot whether some data has gone missing.

ĉu parto de la donitaĵaro vaporiĝis:

per statistikoj, aŭ per faktaroj.

You can use statistics or you can use stories.

I prefer statistics, so that's what I'll do first.

Mi persone preferas statistikojn, kaj do komencas per ili.

This is a funnel plot.

Jen «funela kurbo».

A funnel plot is a very clever way of spotting

Grafikaĵoj tiaj estas elstara ilo por malkovri

if small negative trials have disappeared, have gone missing in action.

ĉu etaj negativaj provoj vaporiĝis, mistere malaperis.

This is a graph of all of the trials done on a particular treatment.

Tiu estas grafikaĵo pri ĉiuj provoj

faritaj rilate al specifa kuracado.

As you go up towards the top of the graph,

Ĉe la supro de la grafikaĵo,

what you see is each dot is a trial.

en kiu ĉiu punkto reprezentas provon,

As you go up, those are bigger trials, so they've got less error;

troviĝas la plej grandaj testoj, tiuj kiuj enhavas malpli da eraroj,

they're less likely to be randomly false positives or negatives.

kaj, sekve, malpli da hazardaj false pozitivaj aŭ negativaj rezultoj.

So they all cluster together.

Kiel vi konstatas, ili ariĝas.

The big trials are closer to the true answer.

La grandaj provoj estas pli proksimaj al la vero.

Then as you go further down at the bottom,

Pli malsupre, ĉe la malsupro mem

what you can see is, on this side, spurious false negatives,

kaj ĉi-flanke, troviĝas la false negativaj rezultoj,

and over on this side, spurious false positives.

kaj tie, la false pozitivaj rezultoj.

Per grafikaĵoj similaj, oni povas vidi

If there is publication bias,

ajnan biason, ajnan misteran malaperon

if small negative trials have gone missing in action,

you can see it on one of these graphs.

de malgrandaj negativaj provoj.

So you see here that the small negative trials

Ĉi tie, la malgrandaj negativaj provoj,

that should be on the bottom left have disappeared.

kiuj devus troviĝi malsupre, vaporiĝis.

Jen grafikaĵo montranta la ekziston de biaso

This is a graph demonstrating the presence of publication bias

en studadoj pri biaso:

in studies of publication bias.

laŭ mi, jen la plej amuza ŝerco

And I think that's the funniest epidemiology joke you will ever hear.

de la tuta repertuaro epidemiologia.

(Laughter)

Jen por la statistikoj, sed kion diri

That's how you can prove it statistically.

pri la faktoj?

But what about stories?

Well, they're heinous, they really are.

Nu, ili estas hororaj, ja hororaj.

This is a drug called reboxetine.

Jen medikamento nomata Reboxetine.

This is a drug which I, myself, have prescribed to patients.

Mi mem preskribis ĝin al miaj pacientoj.

Mi estas obsede skrupula kuracisto.

And I'm a very nerdy doctor.

I hope I go out of my way

Mi faras ĉiujn eblajn penojn por legi kaj kompreni la koncernajn dokumentojn.

to try and read and understand all the literature.

Kompreneble, mi legis ankaŭ pri tiu medikamento.

I read the trials on this.

They were all positive, all well-conducted.

Ĉiuj testoj estis pozitivaj, taŭge efektivigitaj.

I found no flaw.

Bedaŭrinde, poste riveliĝis

Unfortunately, it turned out, that many of these trials were withheld.

ke parton de la testaro oni ne publikigis.

In fact, 76 percent of all of the trials that were done on this drug

Pliprecize, 76 elcentoj

de la testoj pri tiu medikamento

oni ne konigis al kuracistoj kaj pacientoj.

were withheld from doctors and patients.

Jen pripensindaĵo…

Now if you think about it,

if I tossed a coin a hundred times,

Se mi ludas je dorso kaj fronto kun monero

and I'm allowed to withhold from you the answers half the times,

cent fojojn kaj rajtigas min kaŝi

la dorsajn rezultojn,

then I can convince you that I have a coin with two heads.

ĉu ne ŝajnos kvazaŭ

mi havas dufrontan moneron?

If we remove half of the data,

Forigante duonon de la donitaĵoj,

we can never know what the true effect size of these medicines is.

oni neniel povos konigi la veran efikon de tiuj medikamentoj.

Ne temas pri apartaj cirkonstancoj.

And this is not an isolated story.

Pli-malpli duono de la donitaĵoj pri antideprimiloj restis nepublikitaj,

Around half of all of the trial data on antidepressants has been withheld,

sed la afero estas eĉ pli malbona.

but it goes way beyond that.

The Nordic Cochrane Group were trying to get ahold of the data on that

Nordic Cochrane Group provis havigi al si la donitaĵojn pri tio

por bone aprezi la situacion.

to bring it all together.

Ĝi estas internacia senprofitcela gruparo,

The Cochrane Groups are an international nonprofit collaboration

kiu revizias ĉiujn primedicinajn donitaĵojn iam kreitajn.

that produce systematic reviews

of all of the data that has ever been shown.

Kaj ĝi bezonas disponi je la testaj donitaĵoj.

And they need to have access to all of the trial data.

Bedaŭrinde, la kompanioj rifuzis,

But the companies withheld that data from them.

So did the European Medicines Agency --

kaj ankaŭ la Eŭropa Primedikamenta Agentejo,

dum tri jaroj.

for three years.

This is a problem that is currently lacking a solution.

Tiu problemo momente restas sensolva.

And to show how big it goes, this is a drug called Tamiflu,

Kaj por montri kiom grava ĝi estas – jen Tamiflu,

which governments around the world

por kiu registaroj tra la mondo

have spent billions and billions of dollars on.

elspezis miliardojn kaj miliardojn,

laŭ la promeso, ke ĝi povus helpi

And they spend that money on the promise that this is a drug

malpliigi la kvanton.

which will reduce the rate of complications with flu.

de progripaj komplikaĵoj.

Ni jam havas donitaĵojn montrantajn,

We already have the data

showing it reduces the duration of your flu by a few hours.

ke ĝi malplilongigas la daŭron de la gripo je kelkaj horoj.

Sed estas indiferente al mi, kaj al ĉiuj registaroj.

But I don't care about that, governments don't care.

Mi bedaŭras, ke vi estas gripa – ja terura sperto

I'm sorry if you have the flu, I know it's horrible,

– sed ni ne intencas elspezi miliardojn

but we're not going to spend billions of dollars

por provi malplilongigi viajn simptomojn

trying to reduce the duration of your flu symptoms by half a day.

je duontago.

We prescribe these drugs.

Ni preskribas kaj stokas tiajn medikamentojn por urĝaĵoj,

We stockpile them for emergencies

pensante ke ili malpliigos la nombron de komplikaĵoj,

on the understanding they'll reduce the number of complications,

t.e. de pneŭmonioj, sekve, de mortoj.

which means pneumonia and death.

Cochrane Group pri kontaĝaj malsanoj, el Italujo,

The infectious diseases Cochrane Group, which are based in Italy,

de jaroj provas ekhavi

has been trying to get the full data in a usable form

de la fabrikantoj donitaĵojn en uzebla formo

out of the drug companies,

por findecidi ĉu la medikamento

so they can make a full decision

about whether this drug is effective or not,

efikas aŭ ne, kaj ĝi ne povas

and they've not been able to get that information.

ricevi tiun informon.

This is undoubtedly the single biggest ethical problem

Sendube, jen la plej grava

etika problemo, kiun la medecino

facing medicine today.

devas alfronti hodiaŭ.

Ni ne povas findecidi

We cannot make decisions in the absence of all of the information.

pro manko de informo.

So it's a little bit difficult from there

Tion dirinte, ŝajnas iom malfacile

to spin in some kind of positive conclusion.

eltrovi ian pozitivan konkludon.

Tamen, mi tion povus diri:

But I would say this:

I think that sunlight

laŭ mi la sunlumo

is the best disinfectant.

estas la plej efika profilaktiko

Ĉio, kion mi rakontis okazas malkaŝe,

All of these things are happening in plain sight,

and they're all protected by a force field of tediousness.

ŝirmata nur

de miasmo malkuraĝiganta.

And I think, with all of the problems in science,

Konsiderante la problemojn spertitajn de la scienco,

unu el la plej utilaj farotaĵoj

one of the best things that we can do

is to lift up the lid, finger around at the mechanics

estas levi la kovrilon

de la skatolo, ĵeti rigardon enen, kaj eĉ

and peer in.

aŭdaci enigi la manon. Koran dankon.

Thank you very much.

(Applause)

(Aplaŭdoj)