What doctors don't know about the drugs they prescribe | Ben Goldacre

Translator: Joseph Geni Reviewer: Morton Bast

Vertaald door: Rik Delaet Nagekeken door: Christel Foncke

Hi. So, this chap here,

Deze kerel hier

he thinks he can tell you the future.

denkt dat hij je de toekomst kan vertellen.

His name is Nostradamus, although here the Sun have

Zijn naam is Nostradamus, hoewel de Sun

made him look a little bit like Sean Connery. (Laughter)

hem hier een beetje op Sean Connery laat lijken. (Gelach)

And like most of you, I suspect, I don't really believe

Zoals de meesten van jullie, vermoed ik, geloof ik niet echt

that people can see into the future.

dat mensen in de toekomst kunnen kijken.

I don't believe in precognition, and every now and then,

Ik geloof niet in helderziendheid.

you hear that somebody has been able to predict something that happened in the future,

Af en toe hoor je dat iemand erin geslaagd is iets toekomstigs te voorspellen.

and that's probably because it was a fluke, and we only

Dat is dan waarschijnlijk een toevalstreffer.

hear about the flukes and about the freaks.

Alleen die komen in het nieuws.

We don't hear about all the times that people got stuff wrong.

We horen niets over de keren dat ze ernaast zaten.

Now we expect that to happen with silly stories

We verwachten niet beter met dwaze verhalen

about precognition, but the problem is,

over helderziendheid, maar het probleem is

we have exactly the same problem in academia

dat precies hetzelfde zich voordoet in de academische wereld.

and in medicine, and in this environment, it costs lives.

In de geneeskunde kost dat levens.

So firstly, thinking just about precognition, as it turns out,

Wat helderziendheid aangaat,

just last year a researcher called Daryl Bem conducted

blijkt dat vorig jaar de onderzoeker Daryl Bem

a piece of research where he found evidence

wat onderzoek deed waarbij hij bewijs vond

of precognitive powers in undergraduate students,

van voorspellende krachten bij eerstejaarsstudenten.

and this was published in a peer-reviewed academic journal

Dit werd gepubliceerd in een peer-reviewed wetenschappelijk tijdschrift

and most of the people who read this just said, "Okay, well,

en de meesten die dit lazen, zeiden:

fair enough, but I think that's a fluke, that's a freak, because I know

"Het zal wel kloppen." Maar ik denk dat het een toevalstreffer is, want ik weet

that if I did a study where I found no evidence

dat als ik een studie deed

that undergraduate students had precognitive powers,

die het tegenovergestelde uitwees,

it probably wouldn't get published in a journal.

ik het waarschijnlijk niet gepubliceerd zou krijgen in een tijdschrift.

And in fact, we know that that's true, because

We weten dat dat waar is

several different groups of research scientists tried

omdat diverse groepen van onderzoekers geprobeerd hebben

to replicate the findings of this precognition study,

om de bevindingen van deze studie in helderziendheid te repliceren.

and when they submitted it to the exact same journal,

Toen ze ze indienden bij hetzelfde tijdschrift,

the journal said, "No, we're not interested in publishing

kregen ze als antwoord: "We zijn niet geïnteresseerd in het publiceren van die replicatie.

replication. We're not interested in your negative data."

We zijn niet geïnteresseerd in jullie negatieve gegevens."

So this is already evidence of how, in the academic

Dit is al een bewijs uit de academische literatuur

literature, we will see a biased sample of the true picture

van hoe vooringenomenheid ('bias')

of all of the scientific studies that have been conducted.

wetenschappelijke studies kan beïnvloeden.

But it doesn't just happen in the dry academic field of psychology.

Maar het gebeurt niet alleen op het droge academische gebied van de psychologie.

It also happens in, for example, cancer research.

Het gebeurt ook in bijvoorbeeld het kankeronderzoek.

So in March, 2012, just one month ago, some researchers

In maart 2012, slechts één maand geleden, meldden sommige onderzoekers

reported in the journal Nature how they had tried

in het tijdschrift Nature hoe ze

to replicate 53 different basic science studies looking at

53 verschillende fundamentele wetenschapsstudies hadden proberen te herhalen.

potential treatment targets in cancer,

Het ging over een mogelijke behandeling van kanker.

and out of those 53 studies, they were only able

Van die 53 studies konden

to successfully replicate six.

er slechts zes met succes gerepliceerd worden.

Forty-seven out of those 53 were unreplicable.

47 van die 53 waren niet repliceerbaar.

And they say in their discussion that this is very likely

In hun discussie zeggen ze dat dit zeer waarschijnlijk komt

because freaks get published.

omdat uitzonderingsgevallen gepubliceerd worden.

People will do lots and lots and lots of different studies,

Mensen doen hopen verschillende studies.

and the occasions when it works they will publish,

Als het werkt, worden ze gepubliceerd.

and the ones where it doesn't work they won't.

Als het niet werkt, worden ze niet gepubliceerd.

And their first recommendation of how to fix this problem,

Dat is een probleem,

because it is a problem, because it sends us all down blind alleys,

omdat het ons allemaal op een dwaalspoor brengt.

their first recommendation of how to fix this problem

Hun eerste aanbeveling van hoe dit probleem op te lossen

is to make it easier to publish negative results in science,

is het vergemakkelijken van publicatie van negatieve resultaten in de wetenschap.

and to change the incentives so that scientists are

We moeten wetenschappers aansporen

encouraged to post more of their negative results in public.

om meer van hun negatieve resultaten openbaar te maken.

But it doesn't just happen in the very dry world

Maar het gebeurt niet alleen in de erg droge wereld

of preclinical basic science cancer research.

van het preklinisch basiskankeronderzoek.

It also happens in the very real, flesh and blood

Het gebeurt ook in de zeer reële,

of academic medicine. So in 1980,

vlees-en-bloed academische geneeskunde.

some researchers did a study on a drug called lorcainide,

In 1980 maakten een aantal onderzoekers een studie over lorcainide,

and this was an anti-arrhythmic drug,

een geneesmiddel tegen hartritmestoornissen.

a drug that suppresses abnormal heart rhythms,

een geneesmiddel tegen hartritmestoornissen.

and the idea was, after people have had a heart attack,

Men ging ervan uit dat als mensen een hartaanval hadden gekregen,

they're quite likely to have abnormal heart rhythms,

ze heel waarschijnlijk hartritmestoornissen zouden krijgen.

so if we give them a drug that suppresses abnormal heart

Een middel dat dat zou onderdrukken,

rhythms, this will increase the chances of them surviving.

zou hun overlevingskansen kunnen verhogen.

Early on its development, they did a very small trial,

Eerst deden ze een kleine test

just under a hundred patients.

met iets minder dan honderd patiënten.

Fifty patients got lorcainide, and of those patients, 10 died.

Vijftig patiënten kregen lorcainide en van die patiënten stierven er 10.

Another 50 patients got a dummy placebo sugar pill

50 andere patiënten kregen een placebo suikerpil

with no active ingredient, and only one of them died.

zonder actief ingrediënt en slechts één ervan stierf.

So they rightly regarded this drug as a failure,

Dit geneesmiddel werd terecht als een mislukking beschouwd,

and its commercial development was stopped, and because

en de commerciële ontwikkeling ervan gestopt.

its commercial development was stopped, this trial was never published.

Omdat de commerciële ontwikkeling niet doorging, werd dit onderzoek nooit gepubliceerd.

Unfortunately, over the course of the next five, 10 years,

Helaas hadden in de loop van de komende vijf, tien jaar,

other companies had the same idea about drugs that would

andere bedrijven hetzelfde idee over geneesmiddelen

prevent arrhythmias in people who have had heart attacks.

om hartritmestoornissen na hartaanvallen te voorkomen.

These drugs were brought to market. They were prescribed

Deze geneesmiddelen werden op de markt gebracht.

very widely because heart attacks are a very common thing,

Ze werden op zeer grote schaal voorgeschreven omdat hartaanvallen frequent voorkomen.

and it took so long for us to find out that these drugs

Het duurde lang voor we doorhadden dat deze geneesmiddelen

also caused an increased rate of death

meer sterfgevallen veroorzaakten.

that before we detected that safety signal,

Voordat we het doorhadden,

over 100,000 people died unnecessarily in America

stierven in Amerika meer dan 100.000 mensen onnodig

from the prescription of anti-arrhythmic drugs.

door het voorschrijven van geneesmiddelen tegen hartstoornissen.

Now actually, in 1993,

Pas in 1993 publiceerden

the researchers who did that 1980 study, that early study,

de onderzoekers van die vroege studie van 1980

published a mea culpa, an apology to the scientific community,

een verontschuldiging aan de wetenschappelijke gemeenschap.

in which they said, "When we carried out our study in 1980,

Ze zeiden: "Toen wij onze studie in 1980 uitvoerden,

we thought that the increased death rate that occurred

dachten we dat de verhoogde sterfte

in the lorcainide group was an effect of chance."

in de lorcainidegroep toeval was."

The development of lorcainide was abandoned for commercial reasons,

De ontwikkeling van lorcainide werd om commerciële redenen verlaten

and this study was never published;

en de studie werd nooit gepubliceerd.

it's now a good example of publication bias.

Het is nu een goed voorbeeld van 'publicatiebias'.

That's the technical term for the phenomenon where

Dat is de technische term voor het fenomeen waar

unflattering data gets lost, gets unpublished, is left

onflatteuze gegevens verloren gaan, ongepubliceerd blijven, de mist ingaan.

missing in action, and they say the results described here

Ze zeggen dat de hier beschreven resultaten

"might have provided an early warning of trouble ahead."

"misschien een vroegtijdige waarschuwing voor gevaar hadden kunnen zijn."

Now these are stories from basic science.

Nu zijn dit verhalen uit de basiswetenschap.

These are stories from 20, 30 years ago.

Dit zijn verhalen van 20, 30 jaar geleden.

The academic publishing environment is very different now.

De academische omgeving voor publicatie is nu heel anders.

There are academic journals like "Trials," the open access journal,

Er zijn wetenschappelijke tijdschriften zoals 'Trials', een 'open-accesstijdschrift'.

which will publish any trial conducted in humans

Dat publiceert elke test uitgevoerd op mensen

regardless of whether it has a positive or a negative result.

ongeacht of ze een positief of een negatief resultaat heeft.

But this problem of negative results that go missing in action

Maar het probleem van negatieve resultaten die de mist ingaan,

is still very prevalent. In fact it's so prevalent

komt nog steeds voor. In feite zozeer

that it cuts to the core of evidence-based medicine.

dat het de op bewijsmateriaal gebaseerde geneeskunde in het gedrang brengt.

So this is a drug called reboxetine, and this is a drug

Dit is het geneesmiddel reboxetine. Ik heb dit zelf voorgeschreven.

that I myself have prescribed. It's an antidepressant.

Het is een antidepressivum.

And I'm a very nerdy doctor, so I read all of the studies

Ik ben nogal een pietje-precies. Ik las alle studies

that I could on this drug. I read the one study that was published

die ik kon vinden over dit geneesmiddel. Ik las één studie

that showed that reboxetine was better than placebo,

die zei dat reboxetine beter was dan placebo

and I read the other three studies that were published

en drie andere studies

that showed that reboxetine was just as good as any other antidepressant,

die zeiden dat reboxetine even goed was als elk ander antidepressivum.

and because this patient hadn't done well on those other antidepressants,

Omdat deze patiënt niet goed op die andere antidepressiva had gereageerd,

I thought, well, reboxetine is just as good. It's one to try.

dacht ik dat het veilig was om het te proberen."

But it turned out that I was misled. In fact,

Maar het bleek dat ik werd misleid.

seven trials were conducted comparing reboxetine

Zeven tests waren uitgevoerd om reboxetine te vergelijken

against a dummy placebo sugar pill. One of them

met een placebo.

was positive and that was published, but six of them

Eén was positief en werd gepubliceerd, maar zes waren negatief

were negative and they were left unpublished.

en werden niet gepubliceerd.

Three trials were published comparing reboxetine

Drie tests werden gepubliceerd

against other antidepressants in which reboxetine

waar reboxetine werd vergeleken met andere antidepressiva.

was just as good, and they were published,

Reboxetine deed het net zo goed en ze werden gepubliceerd.

but three times as many patients' worth of data was collected

Maar van drie keer zoveel patiënten werden gegevens verzameld

which showed that reboxetine was worse than

waaruit bleek dat reboxetine slechter was

those other treatments, and those trials were not published.

dan de andere behandelingen en deze tests werden niet gepubliceerd.

I felt misled.

Ik voelde me misleid.

Now you might say, well, that's an extremely unusual example,

Nu zou je kunnen zeggen dat dit een uitzonderlijk geval is.

and I wouldn't want to be guilty of the same kind of

Ik wil niet beschuldigd worden

cherry-picking and selective referencing

van hetzelfde soort kersenplukken en selectieve referenties

that I'm accusing other people of.

waar ik andere mensen van beschuldig.

But it turns out that this phenomenon of publication bias

Maar het blijkt dat publicatiebias

has actually been very, very well studied.

een zeer goed bestudeerd verschijnsel is.

So here is one example of how you approach it.

Hier is een voorbeeld van hoe je het aanpakt.

The classic model is, you get a bunch of studies where

De klassieke manier is een hoop studies verzamelen

you know that they've been conducted and completed,

waarvan je weet dat ze voltooid zijn.

and then you go and see if they've been published anywhere

Vervolgens ga je na of ze gepubliceerd zijn

in the academic literature. So this took all of the trials

in de academische literatuur. Deze nam alle tests

that had ever been conducted on antidepressants

die ooit werden uitgevoerd

that were approved over a 15-year period by the FDA.

op door de FDA goedgekeurde antidepressiva over een periode van 15 jaar.

They took all of the trials which were submitted to the FDA as part of the approval package.

Zij namen alle tests die werden ingediend bij de FDA als onderdeel van het goedkeuringspakket.

So that's not all of the trials that were ever conducted on these drugs,

Dat zijn ze niet allemaal.

because we can never know if we have those,

Dat kan je nooit weten.

but it is the ones that were conducted in order to get the marketing authorization.

Alleen degenen die werden gedaan voor de vergunning om ze op de markt te brengen.

And then they went to see if these trials had been published

Dan gingen ze na of deze tests werden gepubliceerd

in the peer-reviewed academic literature. And this is what they found.

in de peer-reviewed wetenschappelijke literatuur.

It was pretty much a 50-50 split. Half of these trials

Ze vonden zowat 50-50.

were positive, half of them were negative, in reality.

De helft van deze tests was positief, de andere helft negatief.

But when they went to look for these trials in the peer-reviewed academic literature,

Maar toen ze deze tests opzochten in de peer-reviewed wetenschappelijke literatuur

what they found was a very different picture.

vonden ze een zeer verschillend beeld.

Only three of the negative trials were published,

Slechts drie van de negatieve tests werden gepubliceerd

but all but one of the positive trials were published.

en alle, op één na, van de positieve tests werden gepubliceerd.

Now if we just flick back and forth between those two,

Als we die twee met elkaar vergelijken

you can see what a staggering difference there was

kun je zien wat een enorm verschil er was

between reality and what doctors, patients,

tussen de werkelijkheid en wat artsen, patiënten,

commissioners of health services, and academics

commissarissen van gezondheidsdiensten en academici

were able to see in the peer-reviewed academic literature.

te zien kregen in de peer-reviewed wetenschappelijke literatuur.

We were misled, and this is a systematic flaw

We werden misleid. Dit is een systematische fout

in the core of medicine.

in het hart van de geneeskunde.

In fact, there have been so many studies conducted on

In feite zijn er nu meer dan honderd studies

publication bias now, over a hundred, that they've been

over publicatiebias uitgevoerd.

collected in a systematic review, published in 2010,

Ze werden in 2010 gebundeld in een systematische evaluatie.

that took every single study on publication bias

Daarin vond je elke ontdekte studie

that they could find.

over publicatiebias terug.

Publication bias affects every field of medicine.

Publicatiebias beïnvloedt elk gebied van de geneeskunde.

About half of all trials, on average, go missing in action,

Gemiddeld gaat ongeveer de helft van alle tests de mist in.

and we know that positive findings are around twice as likely

We weten dat de kans dat positieve bevindingen worden gepubliceerd

to be published as negative findings.

ongeveer tweemaal zo groot is als voor negatieve bevindingen.

This is a cancer at the core of evidence-based medicine.

Dit is een kanker in het hart van de op bewijsmateriaal gebaseerde geneeskunde.

If I flipped a coin 100 times but then

Als ik een munt 100 keer opgooi,

withheld the results from you from half of those tosses,

maar je de resultaten van de helft van deze worpen niet vertel,

I could make it look as if I had a coin that always came up heads.

kan ik je wijsmaken dat die munt altijd 'kop' geeft.

But that wouldn't mean that I had a two-headed coin.

Maar dat wil niet zeggen dat ik een munt heb met twee koppen.

That would mean that I was a chancer

Dat zou betekenen dat ik een beunhaas ben

and you were an idiot for letting me get away with it. (Laughter)

en jij een idioot door mij te geloven. (Gelach)

But this is exactly what we blindly tolerate

Maar dit is precies wat we blindelings tolereren

in the whole of evidence-based medicine.

in de op bewijsmateriaal gebaseerde geneeskunde.

And to me, this is research misconduct.

Voor mij is dit onderzoeksfraude.

If I conducted one study and I withheld

Als ik een studie uitvoerde en ik zweeg over

half of the data points from that one study,

de helft van de gegevenspunten uit die studie,

you would rightly accuse me, essentially, of research fraud.

zouden jullie mij terecht beschuldigen van fraude.

And yet, for some reason, if somebody conducts

Maar als iemand 10 gevallen onderzoekt

10 studies but only publishes the five that give the result that they want,

en alleen die vijf publiceert die het verlangde resultaat geven,

we don't consider that to be research misconduct.

dan vinden wij dat geen onderzoeksfraude.

And when that responsibility is diffused between

Wanneer die verantwoordelijkheid dan nog gespreid wordt

a whole network of researchers, academics,

over een heel netwerk van onderzoekers, academici,

industry sponsors, journal editors, for some reason

industriesponsors en tijdschriftredacteuren dan vinden wij het, eigenaardig genoeg

we find it more acceptable,

plots meer aanvaardbaar.

but the effect on patients is damning.

Maar het effect op patiënten is vernietigend.

And this is happening right now, today.

En dit gebeurt nu, vandaag.

This is a drug called Tamiflu. Tamiflu is a drug

Dit is Tamiflu. Tamiflu is een geneesmiddel

which governments around the world have spent billions

waaraan regeringen over de hele wereld miljarden hebben uitgegeven

and billions of dollars on stockpiling,

en nog eens miljarden dollars voor de aanleg van voorraden.

and we've stockpiled Tamiflu in panic,

We stockeerden in paniek Tamiflu

in the belief that it will reduce the rate of complications of influenza.

in de overtuiging dat het het aantal complicaties van griep zou verminderen.

Complications is a medical euphemism for pneumonia

'Complicaties' is een medisch eufemisme

and death. (Laughter)

voor longontsteking en dood. (Gelach)

Now when the Cochrane systematic reviewers

Toen de systematische revisoren van Cochrane

were trying to collect together all of the data from all

de gegevens van alle tests

of the trials that had ever been conducted on whether Tamiflu actually did this or not,

of Tamiflu al dan niet werkte, probeerden te verzamelen,

they found that several of those trials were unpublished.

vonden ze dat verscheidene van die tests niet waren gepubliceerd.

The results were unavailable to them.

De resultaten waren niet beschikbaar.

And when they started obtaining the writeups of those trials through various different means,

Ze gingen labnota's van die tests op verschillende manieren opvragen

through Freedom of Information Act requests, through

op basis van de Vrijheid op Infomatie Wet.

harassing various different organizations, what they found was inconsistent.

Ze zetten de bedrijven onder druk, maar wat ze vonden was inconsistent.

And when they tried to get a hold of the clinical study reports,

Ze konden de rapporten van de klinische studie

the 10,000-page long documents that have

-- een 10.000 pagina's dik document

the best possible rendition of the information,

met de best mogelijke informatie --

they were told they weren't allowed to have them.

niet in handen krijgen.

And if you want to read the full correspondence

Als je de volledige correspondentie,

and the excuses and the explanations given by the drug company,

de excuses en de uitleg van het bedrijf wilt lezen,

you can see that written up in this week's edition

vind je dat terug in de editie van deze week

of PLOS Medicine.

van PLoS Medicine.

And the most staggering thing of all of this, to me,

Het meest verbluffende is nog

is that not only is this a problem, not only do we recognize

dat dit niet het enige probleem is.

that this is a problem, but we've had to suffer fake fixes.

We krijgen ook nog te maken met valse correcties.

We've had people pretend that this is a problem that's been fixed.

We hebben mensen horen beweren dat het probleem is opgelost.

First of all, we had trials registers, and everybody said,

Ten eerste zijn er de testregistraties.

oh, it's okay. We'll get everyone to register their trials, they'll post the protocol,

Iedereen zei: "Oh, het is in orde. Iedereen registreert zijn tests en publiceert het protocol.

they'll say what they're going to do before they do it,

Ze moeten zeggen wat ze gaan doen voordat ze eraan beginnen.

and then afterwards we'll be able to check and see if all the trials which

Later kunnen we dan controleren of alle tests

have been conducted and completed have been published.

die werden voltooid, zijn gepubliceerd.

But people didn't bother to use those registers.

Maar de mensen namen niet de moeite om deze registers te gebruiken.

And so then the International Committee of Medical Journal Editors came along,

Daarom zegde de Internationale Commissie van Medische-Tijdschriftredacteuren:

and they said, oh, well, we will hold the line.

"Wij houden het wel in de gaten.

We won't publish any journals, we won't publish any trials,

We zullen geen artikelen of tests publiceren

unless they've been registered before they began.

tenzij ze ze registreerden voordat ze eraan begonnen.

But they didn't hold the line. In 2008, a study was conducted

Maar ze houden ze niet in de gaten. In 2008 werd een studie uitgevoerd

which showed that half of all of trials published by journals

waaruit bleek dat de helft van alle tests gepubliceerd door tijdschriften

edited by members of the ICMJE

van leden van het ICMJE (Internationaal Comité van Medische Tijdschriften Uitgevers)

weren't properly registered, and a quarter of them weren't registered at all.

niet correct waren geregistreerd, en een kwart ervan zelfs helemaal niet.

And then finally, the FDA Amendment Act was passed

Tenslotte werd een paar jaar geleden het FDA Amendement aangenomen.

a couple of years ago saying that everybody who conducts

Dat stelde dat iedereen

a trial must post the results of that trial within one year.

die een test uitvoert, de resultaten ervan binnen het jaar moet publiceren.

And in the BMJ, in the first edition of January, 2012,

In de eerste editie van het British Medical Journal van januari 2012

you can see a study which looks to see if people kept

kun je een studie zien over wie zich aan die regel heeft gehouden

to that ruling, and it turns out that only one in five

en het blijkt dat slechts één op de vijf

have done so.

dat heeft gedaan.

This is a disaster.

Dat is een ramp.

We cannot know the true effects of the medicines

We kunnen de echte effecten van geneesmiddelen die wij voorschrijven niet kennen

that we prescribe if we do not have access

als we geen toegang hebben

to all of the information.

tot alle informatie.

And this is not a difficult problem to fix.

Dat is geen moeilijk probleem om op te lossen.

We need to force people to publish all trials

We moeten mensen dwingen alle tests op mensen te publiceren.

conducted in humans, including the older trials,

Ook de oudere tests

because the FDA Amendment Act only asks that you publish the trials conducted after 2008,

omdat het FDA Amendement alleen vraagt de tests van na 2008 te publiceren

and I don't know what world it is in which we're only

en ik niet inzie waarom we alleen geneeskunde zouden beoefenen

practicing medicine on the basis of trials that completed in the past two years.

op basis van tests die in de afgelopen twee jaar werden voltooid.

We need to publish all trials in humans,

We moeten alle tests op mensen publiceren,

including the older trials, for all drugs in current use,

met inbegrip van de oudere, voor alle geneesmiddelen nu in gebruik.

and you need to tell everyone you know

Vertel aan iedereen die je kent

that this is a problem and that it has not been fixed.

dat dit een probleem is dat niet is opgelost.

Thank you very much. (Applause)

Hartelijk dank. (Applaus)

(Applause)

(Applaus)