Ben Goldacre: Battling Bad Science

Ben Goldacre: Der Kampf gegen schlechte Wissenschaft

Übersetzung: Katrin Dinkel Lektorat: Karin Friedli

So I'm a doctor, but I kind of slipped sideways into research,

Ich bin eigentlich Arzt, bin aber sozusagen in die Forschung quer eingestiegen,

and now I'm an epidemiologist.

und bin jetzt ein Epidemiologe.

And nobody really knows what epidemiology is.

Niemand weiß so genau, was Epidemiologie ist.

Epidemiology is the science of how we know in the real world

Epidemiologie ist die Wissenschaft dessen, herauszufinden,

if something is good for you or bad for you.

ob etwas gut oder schlecht für uns ist.

And it's best understood through example

Am besten kann man das an Beispielen verstehen,

as the science of those crazy, wacky newspaper headlines.

als die Wissenschaft dieser verrückten, abgedrehten Zeitungsüberschriften.

And these are just some of the examples.

Diese hier sind nur ein paar Beispiele.

These are from the Daily Mail.

Diese hier sind von der Daily Mail. Jedes Land der Welt hat so eine Zeitung.

Every country in the world has a newspaper like this.

Sie hat dieses bizarre philosophische Projekt am laufen,

It has this bizarre, ongoing philosophical project

alle unbelebten Dinge der Welt dahingehend einzuteilen,

of dividing all the inanimate objects in the world

ob sie Krebs verursachen oder Krebs verhindern.

into the ones that either cause or prevent cancer.

Here are some of the things they said cause cancer:

Hier sind also einige der Dinge, über die sie in letzter Zeit gesagt haben, dass sie Krebs verursachen:

Scheidung, Wi-Fi, Körperpflegemittel und Kaffee.

divorce, Wi-Fi, toiletries and coffee.

Hier sind einige der Dinge, über die sie sagen, dass sie Krebs verhindern:

Some things they say prevent cancer:

Brotkrusten, rote Paprika, Lakritz und Kaffee.

crusts, red pepper, licorice and coffee.

Sie können also schon hier sehen, dass es Widersprüche gibt.

So you can see there are contradictions.

Kaffee verursacht und verhindert Krebs, sowohl als auch.

Coffee both causes and prevents cancer.

Und wenn Sie weiterlesen, können Sie sehen,

As you start to read on, you can see

that maybe there's some political valence behind some of this.

dass dahinter vielleicht eine Art politischer Wertigkeit steckt.

For women, housework prevents breast cancer,

Hausarbeit verhindert also Brustkrebs bei Frauen,

but for men, shopping could make you impotent.

aber Einkaufen könnte Männer impotent machen.

(Laughter)

Wir wissen also, dass wir anfangen müssen,

So we know that we need to start unpicking the science behind this.

die Wissenschaft dahinter aufzutrennen.

And what I hope to show is that unpicking the evidence behind dodgy claims

Ich hoffe, zeigen zu können,

dass die Untersuchung fragwürdiger Behauptungen,

die Untersuchung der Beweise, die fragwürdige Behauptungen belegen,

isn't a kind of nasty, carping activity;

nicht eine Art fieser Mäkelei ist.

it's socially useful.

Sie ist gesellschaftlich von Nutzen,

But it's also an extremely valuable explanatory tool,

aber sie ist auch eine extrem wertvolle

Erklärungshilfe.

because real science is about critically appraising the evidence

Denn wirkliche Wissenschaft dreht sich

um die kritische Auswertung der Beweise für die Meinung eines anderen.

for somebody else's position.

Das ist es, was in akademischen Fachblättern geschieht.

That's what happens in academic journals,

Das ist es, was an akademischen Konferenzen geschieht.

it's what happens at academic conferences --

Die Frage- und Antwortssession nach einer postoperativen Datenpräsentation

the Q&A session after a postdoc presents data is often a bloodbath.

ist oft ein Blutbad.

And nobody minds that; we actively welcome it.

Und das stört niemanden. Wir begrüßen es sogar.

It's like a consenting intellectual S&M activity.

Es ist, als ob wir einer intellektuellen sadomasochistischen Tätigkeit zustimmten.

(Laughter)

Was ich Ihnen also zeigen werde,

So what I'm going to show you is all of the main things,

sind alle wichtigen Dinge,

alle Hauptmerkmale meiner Disziplin –

all of the main features of my discipline, evidence-based medicine.

beweisbezogene Medizin.

And I will talk you through all of these and demonstrate how they work,

Ich werde sie Ihnen alle erklären

und demonstrieren, wie sie funktionieren,

exclusively using examples of people getting stuff wrong.

ausschließlich unter Verwendung von Beispielen von Leuten, die Dinge falsch verstehen.

We'll start with the absolute weakest form of evidence known to man,

Wir fangen also mit der absolut schwächsten From von Beweisen an, die bekannt ist,

und das ist Autorität.

and that is authority.

In der Wissenschaft ist es uns egal, wie viele Buchstaben Sie hinter Ihrem Namen haben.

In science, we don't care how many letters you have after your name --

In der Wissenschaft wollen wir wissen, welche Gründe Sie haben, etwas zu glauben.

we want to know what your reasons are for believing something.

Wie wissen wir, dass etwas gut für uns

How do you know that something is good for us or bad for us?

oder schlecht für uns ist?

But we're also unimpressed by authority because it's so easy to contrive.

Aber wir sind auch unbeeindruckt von Autorität,

denn sie ist so leicht vorzutäuschen.

This is somebody called Dr. Gillian McKeith, PhD,

Das ist eine Frau namens Dr. med. Gillian McKeith,

oder, um ihren vollen medizinischen Titel zu benutzen, Gillian McKeith.

or, to give her full medical title, Gillian McKeith.

(Gelächter)

(Laughter)

Nochmal: jedes Land hat so jemanden.

Again, every country has somebody like this.

Sie ist unser Fernseh-Ernährungsguru.

She is our TV diet guru.

She has five series of prime-time television,

Sie hat volle fünf Serien in der Hauptsendezeit,

giving out very lavish and exotic health advice.

und sie erteilt großzügige und exotische Gesundheitsratschläge.

She, it turns out, has a non-accredited correspondence course PhD

Es hat sich herausgestellt, dass sie in einem nichtanerkannten Fernkurs

irgendwo in Amerika promoviert hat.

from somewhere in America.

She also boasts that she's a certified professional member

Sie prahlt damit, dass sie ein zertifiziertes, professionelles Mitglied

des Amerikanischen Verbandes von Ernährungsberatern ist,

of the American Association of Nutritional Consultants,

was sehr glamourös und aufregend klingt.

which sounds very glamorous; you get a certificate.

Man bekommt da ein Zertifikat und alles.

This one belongs to my dead cat, Hettie. She was a horrible cat.

Dieses hier gehört meiner toten Katze Hetti. Sie war eine schreckliche Katze.

Sie gehen einfach zur Webseite, füllen ein Formular aus,

You go to the website, fill out the form,

bezahlen 60 Dollar und es kommt per Post.

give them $60, it arrives in the post.

Das ist nun nicht der einzige Grund, aus dem wir denken, dass diese Person eine Idiotin ist.

That's not the only reason we think this person is an idiot.

Sie kommt auch daher und sagt Sachen wie:

She also says things like eat lots of dark green leaves,

„Sie sollten eine Menge dunkelgrüner Blätter essen,

they contain chlorophyll and really oxygenate your blood.

denn sie beinhalten viel Chlorophyll, und das reichert Ihr Blut wirklich mit Sauerstoff an."

Jeder, der Schulbiologie hatte, erinnert sich,

And anybody who's done school biology remembers

dass Chlorophyll und Chlorophlasten

that chlorophyll and chloroplasts only make oxygen in sunlight,

nur im Sonnenlicht Sauerstoff produzieren,

and it's quite dark in your bowels after you've eaten spinach.

und es ist ziemlich dunkel in Ihren Därmen, nachdem Sie Spinat gegessen haben.

Als nächstes brauchen wir richtige Wissenschaft, richtige Beweise.

Next, we need proper science, proper evidence.

So: "Red wine can help prevent breast cancer."

Also: „Rotwein kann Brustkrebs verhindern."

Das ist eine Schlagzeile vom Daily Telegraph in Großbritannien.

This is a headline from The Daily Telegraph in the UK.

„Ein Glas Rotwein am Tag könnte Brustkrebs verhindern helfen."

"A glass of red wine a day could help prevent breast cancer."

Sie gehen also und finden diesen Fachartikel, und was Sie finden,

So you find this paper, and find that it is a real piece of science.

ist ein echtes Stück Wissenschaft.

It's a description of the changes in the behavior of one enzyme

Es ist eine Beschreibung der Veränderungen in einem Enzym,

when you drip a chemical extracted from some red grape skin

wenn man eine Chemikalie, die aus der Haut roter Weintrauben

gewonnen wurde, auf einige Krebszellen tropft,

onto some cancer cells

in a dish on a bench in a laboratory somewhere.

irgendwo in einer Schale auf einem Arbeitstisch in einem Labor.

And that's a really useful thing to describe in a scientific paper.

Es ist wirklich nützlich,

das in einem wissenschaftlichen Artikel zu beschreiben,

But on the question of your own personal risk of getting breast cancer

aber über die Frage Ihres eigenen persönichen Risikos,

Brustkrebs zu bekommen, wenn Sie Rotwein trinken,

if you drink red wine,

gibt es Ihnen rein gar keine Auskunft.

it tells you absolutely bugger all.

Es stellt sich tatsächlich heraus, dass Ihr Brustkrebs-Risiko

Actually, it turns out that your risk of breast cancer

sogar mit der kleinsten Menge Alkohol,

increases slightly with every amount of alcohol you drink.

die Sie trinken, leicht ansteigt.

So what we want are studies in real human people.

Was wir also wollen, sind Studien an echten Menschen.

And here's another example.

Hier ist ein anderes Beispiel.

This is from Britain's "leading" diet nutritionist in the Daily Mirror,

Das hier ist von Britanniens führendem Diät- und Ernährungsexperten im Daily Mirror,

die unsere Zeitung mit der zweitgrößten Auflage ist.

our second-biggest selling newspaper.

„Eine australische Studie von 2001 fand heraus,

"An Australian study in 2001 found that olive oil,

dass Olivenöl in Kombination mit Früchten, Gemüse und Hülsenfrüchten

in combination with fruits, vegetables and pulses,

messbaren Schutz gegen Hautfaltenbildung bietet.

offers measurable protection against skin wrinklings,"

Und dann geben sie Ihnen den Rat:

and give the advice:

„Wenn Sie Olivenöl und Gemüse essen, werden Sie weniger Hautfalten haben."

"If you eat olive oil and vegetables, you'll have fewer wrinkles."

Und sie sagen Ihnen sehr hilfsbereit, wie Sie den Fachartikel finden können.

They helpfully tell you how to find the paper,

Sie finden also den Artikel, und was Sie finden, ist eine Beobachtungsstudie.

and what you find is an observational study.

Offensichtlich war niemand in der Lage,

Obviously, nobody has been able to go back to 1930,

in das Jahr 1930 zurückzugehen,

alle Leute, die in einer Entbindungsstation geboren worden sind, herzunehmen,

get all the people born in one maternity unit,

and half of them eat lots of fruit and veg and olive oil,

und die Hälfte von ihnen viel Obst, Gemüse und Olivenöl,

und die andere Hälfte McDonald's essen zu lassen,

half of them eat McDonald's,

and then we see how many wrinkles you've got later.

um zu sehen, wie viele Falten sie später haben.

Man müsste einen Schnappschuss davon machen, wie die Leute heute aussehen.

You have to take a snapshot of how people are now.

Und was man herausfindet, ist natürlich,

And what you find is, of course:

dass Leute, die Gemüse und Olivenöl essen, weniger Hautfalten haben.

people who eat veg and olive oil have fewer wrinkles.

But that's because people who eat fruit and veg and olive oil are freaks --

Aber das ist, weil die Leute, die Obst, Gemüse und Olivenöl essen,

Freaks sind; Sie sind nicht normal, sie sind wie Sie:

they're not normal, they're like you; they come to events like this.

sie kommen zu Veranstaltungen wie dieser.

(Laughter)

Sie sind vornehm, sie sind wohlhabend. Sie arbeiten weniger wahrscheinlich im Freien,

They're posh, they're wealthy, less likely to have outdoor jobs,

sie verrichten weniger wahrscheinlich Handarbeiten,

less likely to do manual labor,

they have better social support, are less likely to smoke;

sie haben bessere soziale Betreuung, sie rauchen weniger wahrscheinlich –

es ist also wegen einer ganzen Heerschar faszinierender, ineinander greifender

for a host of fascinating, interlocking

sozialer, politischer und kultureller Gründe,

social, political and cultural reasons,

dass sie weniger wahrscheinlich Hautfalten haben.

they're less likely to have wrinkles.

Das heißt nicht, dass es das Gemüse oder das Olivenöl sind.

That doesn't mean it's the vegetables or olive oil.

(Gelächter)

(Laughter)

Idealerweise sollte man ein Experiment machen.

So ideally, what you want to do is a trial.

People think they're familiar with the idea of a trial.

Jeder denkt, er sei mit dem Konzept eines Experiments total vertraut.

Experimente sind sehr alt. Das erste Experiment war in der Bibel: Daniel 1:12.

Trials are old; the first one was in the Bible, Daniel 1:12.

Es ist ganz einfach: man nehme eine Gruppe von Menschen und teile sie in zwei Teile.

It's straightforward: take a bunch of people, split them in half,

Sie behandeln die eine Gruppe auf eine Weise, und die andere auf eine andere Weise,

treat one group one way, the other group, the other way.

und ein Weilchen später verfolgen Sie sie weiter

A while later, you see what happened to each of them.

und schauen, was aus jeder von ihnen geworden ist.

Ich erzähle Ihnen also von einem Experiment,

I'm going to tell you about one trial,

das das wahrscheinlich am meisten berichtete Experiment

which is probably the most well-reported trial

in den Nachrichtenmedien in Großbritannien der letzten zehn Jahre ist.

in the UK news media over the past decade.

Und das ist das Experiment mit den Fischölkapseln.

This is the trial of fish oil pills.

Die Behauptung war, dass Fischölkapseln Schulleistungen und -verhalten

The claim: fish oil pills improve school performance and behavior

von Durchschnittskindern verbessern.

in mainstream children.

Und sie sagten: „Wir haben ein Experiment gemacht.

They said, "We did a trial.

All the previous ones were positive, this one will be too."

All die vorhergegangenen Experimente waren positiv, und wir wissen, dass es dieses auch sein wird."

Das sollte immer die Alarmglocken auslösen.

That should ring alarm bells:

Denn wenn Sie bereits die Antwort Ihres Versuches kennen, sollten Sie keinen machen.

if you know the answer to your trial, you shouldn't be doing one.

Entweder haben Sie ihn durch gewollte Maßnahmen manipuliert,

Either you've rigged it by design,

or you've got enough data so there's no need to randomize people anymore.

oder Sie haben genügend Daten, dass es nicht mehr nötig ist, willkürlich Menschen auszuwählen.

Das ist es also, was sie in ihrem Experiement tun wollten.

So this is what they were going to do in their trial:

They were taking 3,000 children,

Sie nahmen 3.000 Kinder,

they were going to give them these huge fish oil pills, six of them a day,

und wollten ihnen allen diese riesigen Fischölkapseln geben.

Sechs davon am Tag.

and then, a year later, measure their school exam performance

Und dann, ein Jahr später, wollten sie ihre Leistungen in Schulprüfungen messen

and compare their performance

und diese wiederum mit der Vorhersage

against what they predicted their exam performance would have been

ihrer Leistungen vergleichen

wenn sie die Pillen nicht genommen hätten.

if they hadn't had the pills.

Now, can anybody spot a flaw in this design?

Kann irgendjemand einen Makel in diesem Design entdecken?

(Laughter)

Und keine Professoren klinischer Versuchsmethoden

And no professors of clinical trial methodology

are allowed to answer this question.

dürfen diese Frage beantworten.

So there's no control group.

Es gibt also keine Kontrolle, keine Kontrollgruppe.

But that sounds really techie, right? That's a technical term.

Aber es klingt wirklich technisch.

Es ist ein technischer Begriff.

The kids got the pills, and their performance improved.

Die Kinder bekamen die Pillen, und ihre Leistungen verbesserten sich.

What else could it possibly be if it wasn't the pills?

Was sonst als die Pillen hätte es auch sonst sein können?

Sie wurden älter. Wir alle entwickeln uns mit der Zeit.

They got older; we all develop over time.

And of course, there's the placebo effect,

Und selbstverständlich ist da auch der Placeboeffekt.

one of the most fascinating things in the whole of medicine.

Der Placeboeffekt ist eines der faszinierendsten Dinge in der gesamten Welt der Medizin.

Es geht nicht nur darum, eine Pille zu nehmen und Ihre Leistungen und ihre Schmerzen werden besser.

It's not just taking a pill and performance or pain improving;

Es geht um unsere Überzeugungen und Erwartungen.

it's about our beliefs and expectations, the cultural meaning of a treatment.

Es geht um die kulturelle Bedeutung einer Behandlung.

Und das wurde in einer ganzen Menge faszinierender Studien demonstriert,

And this has been demonstrated in a whole raft of fascinating studies

die eine Art von Placebo mit einer anderen vergleichen.

comparing one kind of placebo against another.

So we know, for example,

Wir wissen also zum Beispiel, dass zwei Zuckerpillen am Tag

that two sugar pills a day are a more effective treatment

ein effektiveres Verfahren sind, um Magengeschwüre loszuwerden

for gastric ulcers

als eine Zuckerpille.

than one sugar pill.

Zwei Zuckerpillen pro Tag besiegt eine Zuckerpille pro Tag.

Two sugar pills a day beats one a day.

Und das ist eine empörende und lächerliche Erkenntnis, aber sie ist wahr.

That's an outrageous and ridiculous finding, but it's true.

We know from three different studies on three different types of pain

Wir wissen aus drei verschiedenen Studien über drei verschiedene Arten von Schmerz,

dass eine Salzwasserinjektion eine effektivere Behandlung für Schmerz ist

that a saltwater injection is a more effective treatment

als eine Zuckerpille zu nehmen, eine Pillenattrappe, die keine Medizin beinhaltet –

than a sugar pill, a dummy pill with no medicine in it,

not because the injection or pills do anything physically to the body,

nicht, weil die Injektion oder die Pillen irgendeine Wirkung auf den Körper hätten,

but because an injection feels like a much more dramatic intervention.

sondern weil eine Spritze sich wie ein viel dramatischerer Eingriff anfühlt.

Wir wissen also, dass unsere Überzeugungen und Erwartungen

So we know that our beliefs and expectations can be manipulated,

manipuliert werden können,

which is why we do trials where we control against a placebo,

was der Grund dafür ist, dass wir Versuche machen,

in denen wir die Ergebnisse mit denen eines Placebos vergleichen –

where one half of the people get the real treatment,

in denen eine Hälfte der Leute eine wirkliche Behandlung

and the other half get placebo.

und die andere Hälfte ein Placebo bekommen.

But that's not enough.

Aber das ist nicht genug.

What I've just shown you are examples

Was ich Ihnen gerade gezeigt habe, sind Beispiele von ganz einfachen und offenen Methoden,

of the very simple and straightforward ways

wie Journalisten, Nahrungsergänzungsmittelhändler

that journalists and food supplement pill peddlers and naturopaths

und Naturheilkundige

can distort evidence for their own purposes.

die Beweise für ihre eigenen Zwecke verdrehen können.

What I find really fascinating

Was ich echt faszinierend finde ist,

is that the pharmaceutical industry uses exactly the same kinds

dass die Pharmaindustrie

sich ganz genau der gleichen Tricks und Hilfsmittel bedient,

of tricks and devices,

aber leicht ausgeklügelteren Versionen davon,

but slightly more sophisticated versions of them,

in order to distort the evidence they give to doctors and patients,

um die Beweise, die sie Ärzten und Patienten geben, zu verzerren,

und die wir benutzen, um Entscheidungen auf Leben und Tod zu treffen.

and which we use to make vitally important decisions.

So firstly, trials against placebo:

Also, erstens, Versuche gegen Placebos:

jeder denkt, er wisse, dass ein Versuch

everybody thinks a trial should be a comparison

ein Vergleich eines neuen Medikamentes mit einem Placebo sein sollte.

of your new drug against placebo.

Aber das ist in vielen Fällen falsch.

But in a lot of situations that's wrong;

Denn oft haben wir bereits eine sehr gute Behandlung, die derzeit zur Verfügung steht,

often, we already have a good treatment currently available.

wir wollen also nicht wissen, dass Ihre alternative, neue Behandlung

So we don't want to know that your alternative new treatment

besser als nichts ist.

is better than nothing,

Wir wollen wissen, dass es besser ist als das beste derzeit vorhandene Medikament, das wir haben.

but that it's better than the best available treatment we have.

Und trotzdem sehen Sie immer wieder Leute, die Versuche

And yet, repeatedly, you consistently see people doing trials

einem Placebo gegenüberstellen.

still against placebo.

And you can get licensed to bring your drug to market

Und Sie können die Lizenz, Ihr Medikament auf den Markt zu bringen,

with only data showing that it's better than nothing,

nur mit Daten bekommen, die zeigen dass es besser ist als nichts,

was für einen Arzt wie mich, der versucht, eine Entscheidung zu treffen, unnütz ist.

which is useless for a doctor like me trying to make a decision.

Aber das ist nicht die einzige Art und Weise, wie man Daten manipulieren kann.

But that's not the only way you can rig your data.

Man kann Daten auch manipulieren,

You can also rig your data

indem man das, womit man sein neues Medikamet vergleicht,

by making the thing you compare your new drug against

wirklich schlecht macht.

really rubbish.

You can give the competing drug in too low a dose,

Man kann das konkurrierende Medikament in zu niedrigen Dosen verabreichen,

so dass die Leute nicht richtig behandelt werden.

so people aren't properly treated.

Man kann das konkurrierende Medikament in zu hohen Dosen verabreichen,

You can give the competing drug in too high a dose,

so dass die Leute Nebenwirkungen bekommen.

so people get side effects.

And this is exactly what happened

Und genau das ist

with antipsychotic medication for schizophrenia.

mit Psychopharmaka gegen Schizophrenie passiert.

Twenty years ago, a new generation of antipsychotic drugs were brought in;

Vor 20 Jahren wurde eine neue Generation von Psychopharmaka eingeführt,

die versprachen, dass sie weniger Nebenwirkungen hätten.

the promise was they would have fewer side effects.

Die Leute machten sich also daren, Versuche mit diesen neuen Medikamenten

So people set about doing trials of the new drugs against the old drugs.

im Vergleich mit den alten Medikamenten durchzuführen,

But they gave the old drugs in ridiculously high doses:

aber sie verabreichten die alten Medikamente in lächerlich hohen Dosen –

20 Milligramm Haloperidol am Tag.

20 milligrams a day of haloperidol.

Es ist ein vorgefasster Schluss,

And it's a foregone conclusion if you give a drug at that high a dose,

wenn man ein Medikament in einer solch hohen Dosis verabreicht,

it will have more side effects, and your new drug will look better.

dass es mehr Nebenwirkungen haben wird, und dass Ihr neues Medikament besser aussehen wird.

Vor zehn Jahren hat sich die Geschichte interessanterweise wiederholt,

Ten years ago, history repeated itself,

als Risperidon, welches das erste Medikament einer neuen Generation Psychopharmaka war,

when risperidone, the first of the new-generation antipsychotic drugs,

sein Copyright verlor, also jeder Kopien machen konnte.

came off copyright, so anybody could make copies.

Everybody wanted to show their drug was better than risperidone,

Jeder wollte zeigen, dass sein Medikament besser als Risperidon war,

und so können Sie eine Reihe von Versuchen sehen, die neue Psychopharmaka

so you see trials comparing new antipsychotic drugs

mit Risperidon in der Dosis von acht Milligramm pro Tag vergleichen.

against risperidone at eight milligrams a day.

Und wieder: das ist keine irrsinnige Dosis, keine illegale Dosis,

Again, not an insane dose, not an illegal dose,

aber ganz nah an der Höchstgrenze vom Normalen.

but very much at the high end of normal.

Und so kommen sie nicht umhin, ihr neues Medikament besser zu machen.

So you're bound to make your new drug look better.

Daher ist es nicht überraschend,

And so it's no surprise that overall,

industry-funded trials are four times more likely

dass von der Industrie finanzierte Versuche im Großen und Ganzen

eine viermal so große Wahrscheinlichkeit haben, positiv auszufallen

to give a positive result

than independently sponsored trials.

als unabhängige Versuche.

But -- and it's a big but --

Aber – und das ist ein großes Aber –

(Laughter)

(Gelächter)

es stellt sich heraus, dass,

it turns out,

when you look at the methods used by industry-funded trials,

wenn man sich die Methoden der industriefinanzierten Versuche ansieht,

sie tatsächlich besser

that they're actually better than independently sponsored trials.

als die der unabhängigen Versuche sind.

And yet, they always manage to get the result that they want.

Und trotzdem schaffen sie es immer, die Resultate zu bekommen, die sie wollen.

So how does this work?

Wie funktioniert das?

(Laughter)

Wie können wir dieses seltsame Phänomen erklären?

How can we explain this strange phenomenon?

Well, it turns out that what happens

Nun, es erweist sich, dass

is the negative data goes missing in action;

negative Daten verlorengehen;

it's withheld from doctors and patients.

sie werden den Ärzten und Patienten vorenthalten.

And this is the most important aspect of the whole story.

Und das ist der wichtigste Aspekt der ganzen Geschichte.

Das ist die Spitze der Beweispyramide.

It's at the top of the pyramid of evidence.

Wir brauchen alle Daten über eine jeweilige Behandlung

We need to have all of the data on a particular treatment

um zu wissen, ob sie wirksam ist oder nicht.

to know whether or not it really is effective.

Es gibt zwei verschidene Möglichkeiten zu erkennen,

There are two different ways you can spot whether some data has gone missing.

ob einige Daten verlorengegangen sind.

Sie können Statistiken benutzen, oder Geschichten.

You can use statistics or you can use stories.

I prefer statistics, so that's what I'll do first.

Ich persönlich bevorzuge Statistiken, also rede ich darüber zuerst.

This is a funnel plot.

Das hier nennt man einen Funnel Plot.

A funnel plot is a very clever way of spotting

Ein Funnel Plot ist ein ganz schlaues Verfahren um zu erkunden,

if small negative trials have disappeared, have gone missing in action.

ob kleine negative Versuche verschwunden sind, verloren gegangen sind.

This is a graph of all of the trials done on a particular treatment.

Das ist also eine Grafik aller Versuche,

die über eine bestimmte Behandlung gemacht worden sind.

As you go up towards the top of the graph,

Wenn Sie nun nach oben gehen zur Spitze hin,

what you see is each dot is a trial.

sehen Sie, dass jeder Punkt ein Versuch ist.

As you go up, those are bigger trials, so they've got less error;

Je weiter Sie nach oben kommen, desto größer sind die Versuche, sie haben also weniger Fehler.

they're less likely to be randomly false positives or negatives.

Sie haben eine kleinere Wahrscheinlichkeit, zufällige falsche Positive oder Negative zu sein.

So they all cluster together.

Sie drängen sich also alle aneinander.

The big trials are closer to the true answer.

Die großen Versuche sind näher an der wahren Antwort.

Then as you go further down at the bottom,

Wenn Sie nun weiter nach unten gehen,

what you can see is, on this side, spurious false negatives,

dann sehen Sie hier, auf dieser Seite, die gefälschten falschen Negative

and over on this side, spurious false positives.

und auf der Seite die gefälschten falschen Positive.

Falls die Publikation Messabweichungen hat,

If there is publication bias,

wenn kleine, negative Versuche verlorengegangen sind,

if small negative trials have gone missing in action,

you can see it on one of these graphs.

kann man das auf einer dieser Graphiken sehen.

So you see here that the small negative trials

Sie können hier sehen, dass die kleinen negativen Versuche,

that should be on the bottom left have disappeared.

die unten links sein sollten, verschwunden sind.

Das ist eine Graphik, die die Präsenz von Messabweichungen

This is a graph demonstrating the presence of publication bias

in Studien von Publizierungsabweichungen demonstriert.

in studies of publication bias.

Ich denke, dass das der lustigste epidemiologische Witz ist,

And I think that's the funniest epidemiology joke you will ever hear.

denn Sie jemals hören werden.

(Laughter)

Das ist es, wie Sie es statistisch beweisen können,

That's how you can prove it statistically.

aber wie ist das mit den Geschichten?

But what about stories?

Well, they're heinous, they really are.

Nun, die sind wirklich abscheulich.

This is a drug called reboxetine.

Das ist ein Medikament, das Reboxetin heißt.

This is a drug which I, myself, have prescribed to patients.

Es ist ein Medikament, dass ich selber Patienten verschrieben habe.

Und ich bin ein Streber-Arzt.

And I'm a very nerdy doctor.

I hope I go out of my way

Ich versuche wirklich, alle Mühen auf mich zu nehmen und alle Literatur zu lesen und zu verstehen.

to try and read and understand all the literature.

Ich habe die Versuche daran gelesen. Sie waren alle positiv. Sie waren alle gut ausgeführt.

I read the trials on this.

They were all positive, all well-conducted.

Ich fand keine Makel.

I found no flaw.

Leider stellte sich heraus,

Unfortunately, it turned out, that many of these trials were withheld.

dass viele dieser Experimente zurückgehalten wurden.

In fact, 76 percent of all of the trials that were done on this drug

Und zwar wurden 76 Prozent

aller Experimente, die an diesem Medikament gemacht wurden,

den Ärzten und Patienten vorenthalten.

were withheld from doctors and patients.

Wenn Sie nun darüber nachdenken,

Now if you think about it,

if I tossed a coin a hundred times,

wenn ich eine Münze hundert Mal würfe,

and I'm allowed to withhold from you the answers half the times,

und ich Ihnen die Antworten zur Hälfte

vorenthalten dürfte,

then I can convince you that I have a coin with two heads.

dann kann ich Sie davon überzeugen,

dass ich eine Münze mit zwei Köpfen habe.

If we remove half of the data,

Wenn wir die Hälfte der Daten beseitigen,

we can never know what the true effect size of these medicines is.

können wir nie wissen, was die wahre Effektgröße dieser Medikamente ist.

Und das ist keine isolierte Geschichte.

And this is not an isolated story.

Ungefähr die Hälfte aller Versuchsdaten über Antidepressiva wurde zurückgehalten,

Around half of all of the trial data on antidepressants has been withheld,

aber es geht noch viel weiter.

but it goes way beyond that.

The Nordic Cochrane Group were trying to get ahold of the data on that

Die Noric Cochrane Group versuchte, die fehlenden Daten zu bekommen,

um alle zusammenzuführen.

to bring it all together.

Die Cochrane Groups sind ein internationaler gemeinnütziger Zusammenschluss,

The Cochrane Groups are an international nonprofit collaboration

der systematische Bewertungen aller Daten, die jemals veröffentlicht wurden, produziert.

that produce systematic reviews

of all of the data that has ever been shown.

Sie brauchen den Zugang zu allen Versuchsdaten.

And they need to have access to all of the trial data.

Aber die Firmen hielten Daten vor ihnen zurück,

But the companies withheld that data from them.

So did the European Medicines Agency --

und auch die Europäische Arzneimittelagentur,

während dreier Jahre.

for three years.

This is a problem that is currently lacking a solution.

Das ist ein Problem, für das es derzeit keine Lösung gibt.

And to show how big it goes, this is a drug called Tamiflu,

Um Ihnen zu zeigen, welche Ausmaße das hat: das ist ein Medikament namens Tamiflu,

which governments around the world

für das Regierungen in aller Welt

have spent billions and billions of dollars on.

Milliarden und Milliarden von Dollar ausgegeben haben.

Sie bezahlten dieses Geld für das Versprechen,

And they spend that money on the promise that this is a drug

dass dies ein Medikament ist, das den Anteil

which will reduce the rate of complications with flu.

der Komplikationen der Grippe verringert.

Wir haben die Daten bereits,

We already have the data

showing it reduces the duration of your flu by a few hours.

die zeigen, dass es die Dauer Ihrer Grippe um ein paar Stunden verkürzt.

Aber das ist mir egal. Den Regierungen ist das egal.

But I don't care about that, governments don't care.

Es tut mir sehr Leid, wenn Sie die Grippe haben, ich weiß, es ist schrecklich,

I'm sorry if you have the flu, I know it's horrible,

aber wir werden nicht Milliarden von Dollar ausgeben,

but we're not going to spend billions of dollars

um zu versuchen, die Dauer Ihrer Grippesymptome

trying to reduce the duration of your flu symptoms by half a day.

um einen halben Tag zu verringern.

We prescribe these drugs.

Wir verschreiben diese Medikamente, wir legen Vorräte für Notfälle an,

We stockpile them for emergencies

weil wir verstehen, dass sie die Anzahl der Komplikationen verringern,

on the understanding they'll reduce the number of complications,

das heißt Lungenentzündung und Tod.

which means pneumonia and death.

Cochrane Group, die in Italien ansässig ist,

The infectious diseases Cochrane Group, which are based in Italy,

versuchte, die kompletten Daten

has been trying to get the full data in a usable form

über Infektionskrankheiten in einer brauchbaren Form aus den Arzneimittelfirmen zu bekommen,

out of the drug companies,

damit sie eine komplette Entscheidung treffen kann,

so they can make a full decision

about whether this drug is effective or not,

ob dieses Medikament effektiv ist oder nicht,

and they've not been able to get that information.

und sie war nicht in der Lage, diese Information zu bekommen.

This is undoubtedly the single biggest ethical problem

Das ist zweifellos

das größte ethische Problem,

facing medicine today.

das die Medizin heutzutage hat.

Wir können keine Entscheidungen fällen,

We cannot make decisions in the absence of all of the information.

wenn wir nicht alle Informationen haben.

So it's a little bit difficult from there

Es ist also ein bisschen schwierig von hier

to spin in some kind of positive conclusion.

eine Art positiven Fazits hinzudrehen.

Aber ich würde das hier sagen:

But I would say this:

I think that sunlight

Ich denke, dass Sonnenlicht

is the best disinfectant.

das beste Desinfektionsmittel ist.

All diese Dinge passieren ganz offen,

All of these things are happening in plain sight,

and they're all protected by a force field of tediousness.

und sie sind durch ein Kraftfeld

der Langeweile geschützt.

And I think, with all of the problems in science,

Ich denke, mit all den Problemen in der Wissenschaft,

ist es das Beste,

one of the best things that we can do

is to lift up the lid, finger around at the mechanics

den Deckel hochzuheben,

im Mechanismus herumzufummeln und hineinzuschauen.

and peer in.

Vielen Dank.

Thank you very much.

(Applause)

(Applaus)