Ben Goldacre: Battling Bad Science

Vertaald door: Rik Delaet Nagekeken door: Christel Foncke

So I'm a doctor, but I kind of slipped sideways into research,

Ik ben dokter maar maakte een zijsprongetje naar onderzoek.

and now I'm an epidemiologist.

Zo werd ik epidemioloog.

And nobody really knows what epidemiology is.

Niemand weet precies wat epidemiologie is.

Epidemiology is the science of how we know in the real world

Epidemiologie is de wetenschap over hoe we in de echte wereld

if something is good for you or bad for you.

kunnen uitmaken of iets goed of slecht voor je is.

And it's best understood through example

Je kan dat het best begrijpen door het voorbeeld

as the science of those crazy, wacky newspaper headlines.

van de wetenschap van die gekke, maffe krantenkoppen.

And these are just some of the examples.

Dit zijn er slechts enkele voorbeelden van.

These are from the Daily Mail.

Uit de Daily Mail. Elk land ter wereld heeft zo'n krant.

Every country in the world has a newspaper like this.

Ze heeft een bizar, doorlopend filosofisch project

It has this bizarre, ongoing philosophical project

om alle levenloze voorwerpen in de wereld op te delen

of dividing all the inanimate objects in the world

in ofwel kankerverwekkende ofwel kankervoorkomende.

into the ones that either cause or prevent cancer.

Here are some of the things they said cause cancer:

Hier enkele van de dingen waarvan ze onlangs zeiden dat ze kanker veroorzaken:

echtscheiding, Wi-Fi, toiletartikelen en koffie.

divorce, Wi-Fi, toiletries and coffee.

Hier enkele van de dingen waarvan ze zeggen dat ze kanker voorkomen:

Some things they say prevent cancer:

korsten, rode peper, zoethout en koffie.

crusts, red pepper, licorice and coffee.

Jullie kunnen al zien dat er wat tegenstrijdigheden zijn.

So you can see there are contradictions.

Koffie kan zowel kanker veroorzaken als voorkomen.

Coffee both causes and prevents cancer.

Als je doorleest, kan je zien

As you start to read on, you can see

that maybe there's some political valence behind some of this.

dat hier misschien een politieke bedoeling achter zit.

For women, housework prevents breast cancer,

Bij vrouwen voorkomt huishoudelijk werk borstkanker,

but for men, shopping could make you impotent.

maar mannen kunnen impotent worden door te winkelen.

(Laughter)

We moeten beginnen

So we know that we need to start unpicking the science behind this.

met de wetenschap hierachter uit te pluizen.

And what I hope to show is that unpicking the evidence behind dodgy claims

Ik hoop aan te tonen

dat het ontrafelen van deze onbetrouwbare beweringen,

het zoeken naar bewijs achter deze onbetrouwbare beweringen,

isn't a kind of nasty, carping activity;

niet overkomt als zoeken naar spijkers op laag water.

it's socially useful.

Het is maatschappelijk nuttig,

But it's also an extremely valuable explanatory tool,

maar het is ook een uiterst waardevolle

verklarende methode.

because real science is about critically appraising the evidence

Omdat echte wetenschap gaat over het kritisch beoordelen

van het bewijsmateriaal van iemands standpunt.

for somebody else's position.

Dat gebeurt in wetenschappelijke tijdschriften.

That's what happens in academic journals,

Dat gebeurt op wetenschappelijke congressen.

it's what happens at academic conferences --

De vraag-en-antwoordsessie na een postoperatieve datapresentatie,

the Q&A session after a postdoc presents data is often a bloodbath.

is vaak een bloedbad.

And nobody minds that; we actively welcome it.

Niemand neemt daar aanstoot aan. We verwelkomen het.

It's like a consenting intellectual S&M activity.

Het is als een intellectuele SM-activiteit met volle instemming.

(Laughter)

Wat ik jullie ga laten zien,

So what I'm going to show you is all of the main things,

zijn de belangrijkste dingen,

de belangrijkste kenmerken van mijn discipline -

all of the main features of my discipline, evidence-based medicine.

geneeskunde op basis van bewijs.

And I will talk you through all of these and demonstrate how they work,

Ik zal dat bespreken

en laten zien hoe het werkt

exclusively using examples of people getting stuff wrong.

uitsluitend aan de hand van voorbeelden van mensen die het mis hebben.

We'll start with the absolute weakest form of evidence known to man,

We beginnen met de absoluut zwakste vorm van bewijs die de mensheid kent:

autoriteit.

and that is authority.

In de wetenschap kan het ons niet schelen hoeveel letters je achter je naam hebt staan.

In science, we don't care how many letters you have after your name --

In de wetenschap willen we weten wat je redenen zijn om iets aan te nemen.

we want to know what your reasons are for believing something.

Hoe weet je dat iets goed

How do you know that something is good for us or bad for us?

of slecht voor ons is?

But we're also unimpressed by authority because it's so easy to contrive.

Maar we zijn ook onder de indruk van autoriteit

omdat ze zo gemakkelijk te simuleren is.

This is somebody called Dr. Gillian McKeith, PhD,

Deze hier heet Dr. Gillian McKeith Ph.D,

of, om haar volledige medische titel te noemen: 'Gillian McKeith'.

or, to give her full medical title, Gillian McKeith.

(Gelach)

(Laughter)

Overal kom je zo iemand tegen.

Again, every country has somebody like this.

Zij is onze tv-dieetgoeroe.

She is our TV diet guru.

She has five series of prime-time television,

Ze heeft vijf televisieprogramma's in primetime lopen

giving out very lavish and exotic health advice.

waarin ze uitgebreide en exotische gezondheidsadviezen verstrekt.

She, it turns out, has a non-accredited correspondence course PhD

Zij blijkt echter ergens in Amerika

een niet-erkende schriftelijke cursus Ph.D. behaald te hebben.

from somewhere in America.

She also boasts that she's a certified professional member

Ze beroept er zich op dat ze een gecertificeerd professioneel lid

van de 'American Association of Nutritional Consultants' is.

of the American Association of Nutritional Consultants,

Klinkt erg glamoureus en opwindend.

which sounds very glamorous; you get a certificate.

Je krijgt een certificaat en nog wat.

This one belongs to my dead cat, Hettie. She was a horrible cat.

Dit hier hoort toe aan mijn dode kat Hetti. Ze was een verschrikkelijke kat.

Ga gewoon naar de website, vul het formulier in,

You go to the website, fill out the form,

geef ze 60 dollar en je krijgt het per post.

give them $60, it arrives in the post.

Nu is dat niet de enige reden waarom we denken dat deze persoon een idioot is.

That's not the only reason we think this person is an idiot.

Ze zegt ook dingen als:

She also says things like eat lots of dark green leaves,

‘Je moet veel donkergroene bladeren eten,

they contain chlorophyll and really oxygenate your blood.

omdat ze heel veel chlorofyl bevatten. Dat zal je bloed van zuurstof voorzien.’

Iedereen die op school wat biologie heeft gehad, herinnert zich

And anybody who's done school biology remembers

dat chlorofyl en chloroplasten

that chlorophyll and chloroplasts only make oxygen in sunlight,

alleen zuurstof aanmaken in zonlicht.

and it's quite dark in your bowels after you've eaten spinach.

In je darmen is het heel donker nadat je spinazie hebt gegeten.

We moeten steunen op degelijke wetenschap, op degelijk bewijs.

Next, we need proper science, proper evidence.

So: "Red wine can help prevent breast cancer."

Nog zoiets. 'Rode wijn kan helpen bij het voorkomen van borstkanker.’

Dit is een kop van de Daily Telegraph in het Verenigd Koninkrijk

This is a headline from The Daily Telegraph in the UK.

‘Een glas rode wijn per dag zou kunnen helpen bij het voorkomen van borstkanker.’

"A glass of red wine a day could help prevent breast cancer."

Je zoekt het artikel op en je vindt

So you find this paper, and find that it is a real piece of science.

een echt stuk wetenschap.

It's a description of the changes in the behavior of one enzyme

Het is een beschrijving van de veranderingen in één enzym

when you drip a chemical extracted from some red grape skin

wanneer je wat chemisch extract uit de schil van wat rode druiven

op wat kankercellen

onto some cancer cells

in a dish on a bench in a laboratory somewhere.

in een schaaltje ergens in een laboratorium laat druppelen.

And that's a really useful thing to describe in a scientific paper.

Dat is een echt nuttig ding om te beschrijven

in een wetenschappelijk artikel.

But on the question of your own personal risk of getting breast cancer

Maar over de vraag van je eigen persoonlijke risico's

voor het krijgen van borstkanker als je rode wijn drinkt,

if you drink red wine,

vertelt het jullie absoluut geen sodemieter.

it tells you absolutely bugger all.

Het blijkt dat het risico op borstkanker

Actually, it turns out that your risk of breast cancer

in feite lichtjes verhoogt

increases slightly with every amount of alcohol you drink.

met elke hoeveelheid alcohol die je drinkt.

So what we want are studies in real human people.

Wat we willen zijn onderzoeken op echte mensen.

And here's another example.

Hier nog een voorbeeld.

This is from Britain's "leading" diet nutritionist in the Daily Mirror,

Dit is van de toonaangevende voedingsdeskundige van Groot-Brittannië in de Daily Mirror,

onze tweede meest verkochte krant.

our second-biggest selling newspaper.

‘Een Australische studie in 2001

"An Australian study in 2001 found that olive oil,

vond dat olijfolie in combinatie met fruit, groenten en peulvruchten

in combination with fruits, vegetables and pulses,

een meetbare bescherming biedt tegen rimpels.’

offers measurable protection against skin wrinklings,"

Dan geven ze je advies:

and give the advice:

‘Als je olijfolie en groenten eet, krijg je minder rimpels.'

"If you eat olive oil and vegetables, you'll have fewer wrinkles."

Ze zeggen je zelfs waar je het artikel kan vinden.

They helpfully tell you how to find the paper,

Je vindt een observationele studie.

and what you find is an observational study.

Uiteraard kan niemand

Obviously, nobody has been able to go back to 1930,

teruggaan naar 1930

om in een kraamafdeling de mensen te verdelen

get all the people born in one maternity unit,

and half of them eat lots of fruit and veg and olive oil,

in een helft die veel groenten, fruit en olijfolie zouden gaan eten

en de andere helft McDonald's.

half of them eat McDonald's,

and then we see how many wrinkles you've got later.

Om dan later te zien hoeveel rimpels ze zouden krijgen.

Je hebt een momentopname nodig van hoe de mensen nu zijn.

You have to take a snapshot of how people are now.

En je vindt natuurlijk dat mensen

And what you find is, of course:

die groenten en olijfolie eten minder rimpels hebben.

people who eat veg and olive oil have fewer wrinkles.

But that's because people who eat fruit and veg and olive oil are freaks --

Maar dat komt omdat mensen die groenten, fruit en olijfolie eten

freaks zijn, niet normaal. Ze zijn zoals jullie en

they're not normal, they're like you; they come to events like this.

komen naar evenementen als dit hier.

(Laughter)

Ze zijn chique, rijk, het is minder waarschijnlijk dat ze een baan in open lucht hebben,

They're posh, they're wealthy, less likely to have outdoor jobs,

het is minder waarschijnlijk dat ze handenarbeid doen,

less likely to do manual labor,

they have better social support, are less likely to smoke;

ze hebben betere sociale ondersteuning, zijn minder geneigd om te roken.

Om een hele reeks van fascinerende, in elkaar grijpende

for a host of fascinating, interlocking

sociale, politieke en culturele redenen,

social, political and cultural reasons,

hebben ze minder kans om rimpels te hebben.

they're less likely to have wrinkles.

Niet door de groenten en de olijfolie.

That doesn't mean it's the vegetables or olive oil.

(Gelach)

(Laughter)

In het ideale geval doe je een proef.

So ideally, what you want to do is a trial.

People think they're familiar with the idea of a trial.

Iedereen denkt zeer vertrouwd te zijn met het idee van een proef.

Proeven zijn zeer oud. De eerste proef stond in de Bijbel - Daniel 1:12.

Trials are old; the first one was in the Bible, Daniel 1:12.

Heel eenvoudig - je neemt een groep mensen, je deelt ze op in twee groepen en

It's straightforward: take a bunch of people, split them in half,

je behandelt de ene groep op de ene manier, de andere groep op de andere manier.

treat one group one way, the other group, the other way.

Een tijdje later volg je ze op

A while later, you see what happened to each of them.

en bekijkt wat er met elk van hen is gebeurd.

Daarom ga ik jullie wat vertellen over een onderzoek

I'm going to tell you about one trial,

dat waarschijnlijk het bekendste gerapporteerde onderzoek

which is probably the most well-reported trial

in de nieuwsmedia van het VK in het afgelopen decennium is.

in the UK news media over the past decade.

Het onderzoek naar visoliepillen.

This is the trial of fish oil pills.

Ze beweerden dat visoliepillen schoolprestaties en

The claim: fish oil pills improve school performance and behavior

gedrag zouden verbeteren bij gewone kinderen.

in mainstream children.

Zij zeiden: ’We hebben een onderzoek gedaan.

They said, "We did a trial.

All the previous ones were positive, this one will be too."

Alle vorige onderzoeken waren positief en dit zal ook wel meevallen.’

Dat moet altijd een alarmbelletje doen rinkelen.

That should ring alarm bells:

Want als je het antwoord op je proef al kent, hoef je ze eigenlijk niet te doen.

if you know the answer to your trial, you shouldn't be doing one.

Ofwel heb je ze zo ontworpen dat het gaat kloppen,

Either you've rigged it by design,

or you've got enough data so there's no need to randomize people anymore.

ofwel heb je al genoeg data en is er dus geen noodzaak om mensen willekeurig te gaan opdelen.

Zo gingen ze tewerk bij hun proef.

So this is what they were going to do in their trial:

They were taking 3,000 children,

Ze namen 3.000 kinderen.

they were going to give them these huge fish oil pills, six of them a day,

Die kregen allemaal van die enorme visoliepillen,

zes per dag.

and then, a year later, measure their school exam performance

Een jaar later maten ze hun examenprestaties

and compare their performance

en vergeleken hun prestaties

against what they predicted their exam performance would have been

met wat zij voorspelden dat hun examenprestaties zouden zijn geweest

als ze de pillen niet hadden gekregen.

if they hadn't had the pills.

Now, can anybody spot a flaw in this design?

Ziet hier iemand de fout in deze manier van werken?

(Laughter)

Professoren in de methodologie van klinisch onderzoek

And no professors of clinical trial methodology

are allowed to answer this question.

mogen deze vraag niet beantwoorden.

So there's no control group.

Er is geen controle, geen controlegroep.

But that sounds really techie, right? That's a technical term.

Maar dat klinkt echt technisch.

Dat is een technische term.

The kids got the pills, and their performance improved.

De kinderen kregen de pillen en hun prestaties verbeterden.

What else could it possibly be if it wasn't the pills?

Waardoor zou dat komen als het niet door de pillen kwam?

Zij werden ouder. We ontwikkelen ons allemaal in de loop van de tijd.

They got older; we all develop over time.

And of course, there's the placebo effect,

Natuurlijk speelt daar ook het placebo-effect.

one of the most fascinating things in the whole of medicine.

Het placebo-effect is een van de meest fascinerende dingen in de hele geneeskunde.

Het gaat niet alleen over het nemen van een pil en je prestaties en je pijn verbeteren.

It's not just taking a pill and performance or pain improving;

Het gaat over onze opvattingen en verwachtingen.

it's about our beliefs and expectations, the cultural meaning of a treatment.

Het gaat over de culturele betekenis van een behandeling.

Dit is aangetoond in een hele reeks boeiende studies

And this has been demonstrated in a whole raft of fascinating studies

waarbij de ene soort placebo vergeleken wordt met een andere.

comparing one kind of placebo against another.

So we know, for example,

We weten bijvoorbeeld dat twee suikerpillen per dag

that two sugar pills a day are a more effective treatment

een effectievere behandeling voor het wegwerken van maagzweren zijn

for gastric ulcers

dan één enkele suikerpil.

than one sugar pill.

Twee suikerpillen per dag werkt beter dan één suikerpil per dag.

Two sugar pills a day beats one a day.

Dat is een straffe en belachelijke conclusie, maar ze is waar.

That's an outrageous and ridiculous finding, but it's true.

We know from three different studies on three different types of pain

We weten uit drie verschillende studies over drie verschillende soorten pijn

dat een zoutwaterinjectie een effectievere behandeling tegen de pijn is

that a saltwater injection is a more effective treatment

dan het nemen van een suikerpil, een neppil zonder medicijn -

than a sugar pill, a dummy pill with no medicine in it,

not because the injection or pills do anything physically to the body,

niet omdat de injectie of de pillen iets fysieks doen met het lichaam,

but because an injection feels like a much more dramatic intervention.

maar omdat een injectie als een veel dramatischer ingreep aanvoelt.

We weten dat onze opvattingen en verwachtingen

So we know that our beliefs and expectations can be manipulated,

kunnen worden gemanipuleerd.

which is why we do trials where we control against a placebo,

Daarom doen we onderzoek.

We controleren tegenover een placebo.

where one half of the people get the real treatment,

De ene helft van de mensen krijgt de echte behandeling

and the other half get placebo.

en de andere helft een placebo.

But that's not enough.

Maar dat is niet genoeg.

What I've just shown you are examples

Ik heb voorbeelden gegeven van de zeer eenvoudige en ongecompliceerde manieren

of the very simple and straightforward ways

waarmee de journalisten, verkopers van voedingssupplementpillen

that journalists and food supplement pill peddlers and naturopaths

en natuurgenezers

can distort evidence for their own purposes.

bewijs kunnen verdraaien voor hun eigen doeleinden.

What I find really fascinating

Wat ik echt fascinerend vind

is that the pharmaceutical industry uses exactly the same kinds

is dat de farmaceutische industrie

precies dezelfde soort trucs en toestanden gebruikt,

of tricks and devices,

maar dan subtieler.

but slightly more sophisticated versions of them,

in order to distort the evidence they give to doctors and patients,

Ook zij verdraaien het bewijsmateriaal dat ze aan artsen en patiënten geven

en wij gebruiken dat om belangrijke beslissingen te nemen.

and which we use to make vitally important decisions.

So firstly, trials against placebo:

Ten eerste over vergelijkend onderzoek ten opzichte van placebo:

iedereen denkt te weten dat een proef een vergelijking

everybody thinks a trial should be a comparison

moet zijn tussen je nieuwe medicijn en een placebo.

of your new drug against placebo.

Maar eigenlijk is dat in veel situaties verkeerd.

But in a lot of situations that's wrong;

Vaak bestaat er al een zeer goede behandeling voor iets.

often, we already have a good treatment currently available.

In dat geval willen we niet weten

So we don't want to know that your alternative new treatment

dat je nieuwe behandeling beter is dan niets.

is better than nothing,

We willen weten of ze beter is dan de beste momenteel beschikbare behandeling.

but that it's better than the best available treatment we have.

Maar toch zie je keer op keer dat er nog steeds

And yet, repeatedly, you consistently see people doing trials

vergeleken wordt met een placebo.

still against placebo.

And you can get licensed to bring your drug to market

Je mag je geneesmiddel op de markt brengen

with only data showing that it's better than nothing,

als blijkt dat het beter is dan niets.

Voor een dokter is dat waardeloze informatie als je een beslissing moet nemen.

which is useless for a doctor like me trying to make a decision.

Maar dat is niet de enige manier waarop ze data manipuleren.

But that's not the only way you can rig your data.

Je kunt je data ook manipuleren

You can also rig your data

door je nieuwe medicijn met

by making the thing you compare your new drug against

echte rommel te vergelijken.

really rubbish.

You can give the competing drug in too low a dose,

Je kan het concurrerende medicijn in een te lage dosis toedienen

zodat mensen niet goed worden behandeld.

so people aren't properly treated.

Of je kan het concurrerende medicijn in een te hoge dosis geven

You can give the competing drug in too high a dose,

zodat de mensen bijwerkingen krijgen.

so people get side effects.

And this is exactly what happened

Dat is precies wat er gebeurd is

with antipsychotic medication for schizophrenia.

met antipsychotische medicatie voor schizofrenie.

Twenty years ago, a new generation of antipsychotic drugs were brought in;

20 jaar geleden kwam een nieuwe generatie van antipsychotica op de markt

met de belofte dat ze minder bijwerkingen zouden hebben.

the promise was they would have fewer side effects.

Ze deden proeven om deze nieuwe geneesmiddelen

So people set about doing trials of the new drugs against the old drugs.

te vergelijken met de oude.

But they gave the old drugs in ridiculously high doses:

Ze gaven de oude geneesmiddelen in zo'n belachelijk hoge doses -

20 milligram Haloperidol per dag.

20 milligrams a day of haloperidol.

Als je een geneesmiddel in zo'n hoge dosis toedient,

And it's a foregone conclusion if you give a drug at that high a dose,

is het een uitgemaakte zaak

it will have more side effects, and your new drug will look better.

dat het meer bijwerkingen zal hebben en dat je nieuwe geneesmiddel het beter zal doen.

Interessant genoeg herhaalde de geschiedenis zich 10 jaar geleden.

Ten years ago, history repeated itself,

Toen verviel het copyright van Risperidon, het eerste van de nieuwe generatie

when risperidone, the first of the new-generation antipsychotic drugs,

antipsychotische geneesmiddelen, zodat iedereen het kon namaken.

came off copyright, so anybody could make copies.

Everybody wanted to show their drug was better than risperidone,

Iedereen wilde laten zien dat hun medicijn beter was dan Risperidon.

Je kreeg een heleboel proeven waarbij nieuwe antipsychotica vergeleken

so you see trials comparing new antipsychotic drugs

werden met acht milligram Risperidon per dag.

against risperidone at eight milligrams a day.

Geen krankzinnig hoge dosis, geen illegale dosis,

Again, not an insane dose, not an illegal dose,

maar heel erg aan de hoge kant van normaal.

but very much at the high end of normal.

Natuurlijk gaat je nieuwe geneesmiddel er dan beter uitzien.

So you're bound to make your new drug look better.

Het is dus niet te verwonderen dat in het algemeen

And so it's no surprise that overall,

industry-funded trials are four times more likely

door de industrie gefinancierde studies

vier keer meer kans op een positief resultaat opleveren

to give a positive result

than independently sponsored trials.

dan onafhankelijk gesponsorde onderzoeken.

But -- and it's a big but --

Maar - en het is een grote maar -

(Laughter)

(Gelach)

Als je kijkt naar de methoden

it turns out,

when you look at the methods used by industry-funded trials,

die worden gebruikt bij de door de industrie gefinancierde studies,

dan blijkt dat ze eigenlijk beter zijn

that they're actually better than independently sponsored trials.

dan de onafhankelijk gesponsorde onderzoeken.

And yet, they always manage to get the result that they want.

Toch spelen ze het altijd klaar om het resultaat dat ze willen hebben te krijgen.

So how does this work?

Hoe?

(Laughter)

Hoe kunnen we dit vreemde fenomeen verklaren?

How can we explain this strange phenomenon?

Well, it turns out that what happens

Het blijkt dat

is the negative data goes missing in action;

de negatieve data worden verduistermaand.

it's withheld from doctors and patients.

Ze geraken nooit tot bij de artsen en patiënten.

And this is the most important aspect of the whole story.

Dat is het belangrijkste aspect aan het hele verhaal.

Het zit aan de top van de piramide van bewijsmateriaal.

It's at the top of the pyramid of evidence.

We moeten alle gegevens voor een bepaalde behandeling hebben

We need to have all of the data on a particular treatment

om te weten of ze al dan niet echt effectief is.

to know whether or not it really is effective.

Er zijn twee verschillende manieren waarmee je kan nagaan

There are two different ways you can spot whether some data has gone missing.

of sommige gegevens werden achtergehouden.

Je kunt gebruik maken van statistieken of van verhalen.

You can use statistics or you can use stories.

I prefer statistics, so that's what I'll do first.

Ik persoonlijk verkies statistieken, daar begin ik dus mee.

This is a funnel plot.

Dit hier heet een trechtergrafiek.

A funnel plot is a very clever way of spotting

Een trechtergrafiek is een heel slimme manier om na te gaan

if small negative trials have disappeared, have gone missing in action.

of kleine negatieve proeven verdwenen zijn, ‘vermist in actie’.

This is a graph of all of the trials done on a particular treatment.

Dit is een grafiek van alle proeven

die zijn gedaan voor een bepaalde behandeling.

As you go up towards the top of the graph,

Als je omhoog gaat naar de top van de grafiek

what you see is each dot is a trial.

stelt elk punt een proef voor.

As you go up, those are bigger trials, so they've got less error;

Hoe hoger je gaat, hoe omvangrijker de proeven zijn. Die hebben minder fouten.

they're less likely to be randomly false positives or negatives.

Ze zullen minder gemakkelijk willekeurig fout-positieven of willekeurig fout-negatieven zijn.

So they all cluster together.

Zodat ze allemaal samenkoeken.

The big trials are closer to the true answer.

De grote proeven zitten dichter bij het ware antwoord.

Then as you go further down at the bottom,

Als je verder naar beneden gaat,

what you can see is, on this side, spurious false negatives,

vind je aan deze kant de onechte fout-negatieven

and over on this side, spurious false positives.

en dan aan deze kant de onechte fout-positieven.

Als een publicatie een vertekend beeld geeft,

If there is publication bias,

als kleine negatieve proeven zijn weggelaten,

if small negative trials have gone missing in action,

you can see it on one of these graphs.

kan je dat zien op dit soort grafieken.

So you see here that the small negative trials

Hier kan je zien dat de kleine negatieve proeven

that should be on the bottom left have disappeared.

die aan de onderzijde links zouden moeten staan, verdwenen zijn.

Dit is een grafiek die aantoont dat de publicatie een vertekend beeld geeft

This is a graph demonstrating the presence of publication bias

in studies over publicaties die een vertekend beeld geven.

in studies of publication bias.

Ik denk dat dat de grappigste epidemiologische grap is

And I think that's the funniest epidemiology joke you will ever hear.

die jullie ooit zullen horen.

(Laughter)

Zo kan je het statistisch bewijzen,

That's how you can prove it statistically.

maar hoe zit het met de verhalen?

But what about stories?

Well, they're heinous, they really are.

Die zijn echt afschuwelijk, echt waar.

This is a drug called reboxetine.

Dit is het geneesmiddel Reboxetine.

This is a drug which I, myself, have prescribed to patients.

Ik heb het zelf voorgeschreven aan patiënten.

En ik ben dan nog een heel pietepeuterige arts.

And I'm a very nerdy doctor.

I hope I go out of my way

Ik probeer zoveel mogelijk te begrijpen en alle literatuur te lezen.

to try and read and understand all the literature.

Ik heb de proeven hierover nageplozen. Ze waren allemaal positief. Ze waren allemaal goed uitgevoerd.

I read the trials on this.

They were all positive, all well-conducted.

Ik vond geen fout.

I found no flaw.

Helaas bleek het

Unfortunately, it turned out, that many of these trials were withheld.

dat veel van deze proeven werden ingehouden.

In fact, 76 percent of all of the trials that were done on this drug

In feite kwam 76 procent

van alle proeven die op dit medicijn werden gedaan

nooit bij artsen en patiënten terecht.

were withheld from doctors and patients.

Het zou hetzelfde zijn

Now if you think about it,

if I tossed a coin a hundred times,

alsof ik een munt honderd keer zou opgooien

and I'm allowed to withhold from you the answers half the times,

en je de helft van de tijd

de uitkomst niet zou hoeven te vertellen.

then I can convince you that I have a coin with two heads.

Zo zou ik je dan kunnen overtuigen

dat ik een munt heb met aan beide zijden 'kop'.

If we remove half of the data,

Als wij de helft van de gegevens weglaten,

we can never know what the true effect size of these medicines is.

kunnen we nooit weten wat de ware omvang van het effect van deze medicijnen is.

Dit is geen alleenstaand verhaal.

And this is not an isolated story.

Ongeveer de helft van alle onderzoeksgegevens over antidepressiva werd ingehouden,

Around half of all of the trial data on antidepressants has been withheld,

maar het gaat veel verder dan dat.

but it goes way beyond that.

The Nordic Cochrane Group were trying to get ahold of the data on that

De Nordic Cochrane Group probeerde die gegevens vast te krijgen

om ze allemaal samen te brengen.

to bring it all together.

De Cochrane Groups zijn een internationale non-profit samenwerking

The Cochrane Groups are an international nonprofit collaboration

om van alle gegevens die ooit zijn aangetoond systematische reviews te produceren.

that produce systematic reviews

of all of the data that has ever been shown.

Ze moeten toegang hebben tot alle gegevens van een proef.

And they need to have access to all of the trial data.

Maar de bedrijven gaven hen die gegevens niet,

But the companies withheld that data from them.

So did the European Medicines Agency --

evenmin als het Europees Geneesmiddelenbureau,

drie jaar lang.

for three years.

This is a problem that is currently lacking a solution.

Dit is een probleem waarvoor er op dit moment geen oplossing is.

And to show how big it goes, this is a drug called Tamiflu,

Om te laten zien hoever dit gaat: dit is het geneesmiddel Tamiflu.

which governments around the world

Overheden overal ter wereld

have spent billions and billions of dollars on.

hebben regeringen er miljarden en miljarden dollars aan besteed.

Zij besteedden dat geld door de belofte

And they spend that money on the promise that this is a drug

dat dit een geneesmiddel zou zijn dat het aantal

which will reduce the rate of complications with flu.

complicaties van griep zou doen verminderen.

We hebben de gegevens al

We already have the data

showing it reduces the duration of your flu by a few hours.

waaruit blijkt dat het de duur van je griep een paar uur vermindert.

Maar daar zit ik niet echt mee in. Ook de regeringen niet.

But I don't care about that, governments don't care.

Het spijt me erg als je de griep hebt, ik weet dat het verschrikkelijk is,

I'm sorry if you have the flu, I know it's horrible,

maar we gaan geen miljarden dollars spenderen

but we're not going to spend billions of dollars

om de duur van jouw griepsymptomen

trying to reduce the duration of your flu symptoms by half a day.

met een halve dag te verminderen.

We prescribe these drugs.

We schrijven deze medicijnen voor, we leggen voorraden aan voor noodgevallen

We stockpile them for emergencies

met dien verstande dat ze het aantal complicaties

on the understanding they'll reduce the number of complications,

zoals longontsteking en dood, zullen verminderen.

which means pneumonia and death.

De Cochrane Group voor infectieziekten die in Italië zit,

The infectious diseases Cochrane Group, which are based in Italy,

heeft de volledige gegevens in een bruikbare vorm

has been trying to get the full data in a usable form

van de farmaceutische bedrijven proberen te krijgen.

out of the drug companies,

Daaruit hadden ze kunnen besluiten

so they can make a full decision

about whether this drug is effective or not,

of dit geneesmiddel al dan niet effectief is.

and they've not been able to get that information.

Ze konden die informatie niet krijgen.

This is undoubtedly the single biggest ethical problem

Dit is ongetwijfeld

het grootste ethische probleem

facing medicine today.

waarmee de geneeskunde vandaag geconfronteerd wordt.

We kunnen geen beslissingen nemen

We cannot make decisions in the absence of all of the information.

bij afwezigheid van alle informatie.

So it's a little bit difficult from there

Het is dus nogal moeilijk om hier

to spin in some kind of positive conclusion.

een positieve conclusie aan vast te knopen.

Maar ik zou zeggen:

But I would say this:

I think that sunlight

ik denk dat zonlicht

is the best disinfectant.

het beste ontsmettingsmiddel is.

Al deze dingen gebeuren onder onze neus

All of these things are happening in plain sight,

and they're all protected by a force field of tediousness.

en zijn allemaal beschermd

door een krachtveld van ‘doe-maar-op’.

And I think, with all of the problems in science,

Met alle problemen in de wetenschap

is een van de beste dingen die we kunnen doen:

one of the best things that we can do

is to lift up the lid, finger around at the mechanics

de motorkap optillen,

wat peuteren in de mechaniek en kijken hoe het ermee gesteld is.

and peer in.

Heel hartelijk bedankt.

Thank you very much.

(Applause)

(Applaus)