Ben Goldacre: Battling Bad Science

Translator: Amélie Gourdon Reviewer: Timothée Parrique

So I'm a doctor, but I kind of slipped sideways into research,

Je suis médecin, mais j'ai en quelques sorte pris une tangente vers la recherche,

and now I'm an epidemiologist.

et maintenant je suis épidémiologiste.

And nobody really knows what epidemiology is.

Personne ne sait vraiment ce qu'est l'épidémiologie.

Epidemiology is the science of how we know in the real world

L'épidémiologie est la science qui étudie comment savoir dans le monde réel

if something is good for you or bad for you.

si quelque chose est bon ou mauvais pour vous.

And it's best understood through example

C'est plus facile à comprendre avec un exemple

as the science of those crazy, wacky newspaper headlines.

comme celui de ces foldingues unes de journaux.

And these are just some of the examples.

Voici juste certains des exemples.

These are from the Daily Mail.

Ils viennent du "Daily Mail" [quotidien britannique]. Chaque pays du monde a un journal comme ça.

Every country in the world has a newspaper like this.

Il a ce bizarre, continu, projet philosophique

It has this bizarre, ongoing philosophical project

de diviser tous les objets inanimés du monde

of dividing all the inanimate objects in the world

entre ceux qui causent et ceux qui préviennent le cancer.

into the ones that either cause or prevent cancer.

Here are some of the things they said cause cancer:

Donc voici quelques-unes des choses qu'ils ont récemment déclarées comme causant le cancer :

le divorce, le Wifi, les produits de toilettes et le café.

divorce, Wi-Fi, toiletries and coffee.

Voici quelques-unes des choses qui d'après eux préviennent le cancer :

Some things they say prevent cancer:

les croûtes, le poivron rouge, la réglisse et le café.

crusts, red pepper, licorice and coffee.

Donc vous pouvez déjà voir qu'il y a des contradictions.

So you can see there are contradictions.

Le café à la fois provoque et prévient le cancer.

Coffee both causes and prevents cancer.

Et si vous continuez à lire, vous pouvez voir

As you start to read on, you can see

that maybe there's some political valence behind some of this.

qu'il y a peut-être une sorte de force politique derrière une part de ceci.

For women, housework prevents breast cancer,

Pour les femmes, le ménage prévient le cancer,

but for men, shopping could make you impotent.

mais pour les hommes, le shopping pourrait vous rendre impuissant.

(Laughter)

Nous savons donc que nous devons commencer

So we know that we need to start unpicking the science behind this.

à démonter la science derrière ceci.

And what I hope to show is that unpicking the evidence behind dodgy claims

Et j'espère montrer

que démonter les affirmations douteuses,

démonter les preuves derrière les affirmations douteuses,

isn't a kind of nasty, carping activity;

n'est pas une méchante activité de chamaillerie.

it's socially useful.

C'est socialement utile,

But it's also an extremely valuable explanatory tool,

mais c'est aussi un outil d'explication

extrêmement précieux.

because real science is about critically appraising the evidence

Parce que la vraie science consiste

en une évaluation critique des preuves en faveur de l'opinion d'un autre.

for somebody else's position.

C'est ce qui se passe dans les publications universitaires.

That's what happens in academic journals,

C'est ce qui se passe dans les conférences scientifiques.

it's what happens at academic conferences --

La session de questions et réponses après la présentation de données

the Q&A session after a postdoc presents data is often a bloodbath.

est souvent un bain de sang.

And nobody minds that; we actively welcome it.

Et ça ne dérange personne. Nous nous réjouissons de cela activement.

It's like a consenting intellectual S&M activity.

C'est comme une activité intellectuelle sadomasochiste avec consentement.

(Laughter)

Donc ce que je vais vous montrer

So what I'm going to show you is all of the main things,

sont toutes les choses importantes,

toutes les caractéristiques principales de ma discipline —

all of the main features of my discipline, evidence-based medicine.

la médecine factuelle.

And I will talk you through all of these and demonstrate how they work,

Et je vais vous guider à travers tout cela

et vous démontrer comment cela fonctionne,

exclusively using examples of people getting stuff wrong.

uniquement avec des exemples de gens comprenant mal les choses.

We'll start with the absolute weakest form of evidence known to man,

On va commencer avec la forme de preuves la plus faible connue de l'homme,

et il s'agit de l'autorité.

and that is authority.

En science, peu importe combien de titres se trouvent après votre nom.

In science, we don't care how many letters you have after your name --

En science, nous voulons savoir pour quelles raisons vous croyez en quelque chose.

we want to know what your reasons are for believing something.

Comment savez-vous que quelque chose est bon

How do you know that something is good for us or bad for us?

ou mauvais pour nous ?

But we're also unimpressed by authority because it's so easy to contrive.

Mais nous sommes également peu impressionnés par l'autorité

parce que c'est facile à inventer.

This is somebody called Dr. Gillian McKeith, PhD,

Voici quelqu'un nommé Dr. Gillian McKeith, docteur en philosophie,

ou pour donner son titre médical complet, Gillian McKeith.

or, to give her full medical title, Gillian McKeith.

(Rires)

(Laughter)

Encore une fois, il y a quelqu'un comme ça dans tous les pays.

Again, every country has somebody like this.

C'est notre guru diététique de télévision.

She is our TV diet guru.

She has five series of prime-time television,

Elle a cinq énormes séries dé télévision à heure de grande écoute,

giving out very lavish and exotic health advice.

distribuant de très somptueux et exotiques conseils de santé.

She, it turns out, has a non-accredited correspondence course PhD

Elle a, en réalité, un doctorat reçu après une formation non-accréditée, par correspondance,

de quelque part en Amérique.

from somewhere in America.

She also boasts that she's a certified professional member

Elle se vante aussi d'être un membre professionnel certifié

de l'Association Américaine des Nutritionnistes Consultants,

of the American Association of Nutritional Consultants,

ce qui sonne très glamour et excitant.

which sounds very glamorous; you get a certificate.

Vous avez un certificat et tout.

This one belongs to my dead cat, Hettie. She was a horrible cat.

Celui-ci appartient à ma défunte chatte Hetti. C'était une horrible chatte.

Vous avez juste sur le site internet, remplissez le formulaire,

You go to the website, fill out the form,

leur donnez 60 dollars, et ça arrive par courrier.

give them $60, it arrives in the post.

Maintenant, ce n'est pas la seule raison que nous avons de penser que cette personne est une idiote.

That's not the only reason we think this person is an idiot.

Elle va aussi en disant des choses comme

She also says things like eat lots of dark green leaves,

"Vous devriez manger beaucoup de feuilles vertes foncées,

they contain chlorophyll and really oxygenate your blood.

parce qu'elles contiennent beaucoup de chlorophylle, et cela oxygènera vraiment votre sang".

Et qui que ce soit ayant pris des cours de biologie à l'école se rappelle

And anybody who's done school biology remembers

que la chlorophylle et les chloroplastes

that chlorophyll and chloroplasts only make oxygen in sunlight,

ne produisent de l'oxygène que dans la lumière du soleil,

and it's quite dark in your bowels after you've eaten spinach.

et il fait plutôt sombre dans vos intestins après que vous ayez mangé des épinards.

Ensuite, nous avons besoin de vraie science, de vraies preuves.

Next, we need proper science, proper evidence.

So: "Red wine can help prevent breast cancer."

Donc, "Le vin rouge peut aider à prévenir le cancer du sein".

C'est un titre du "Daily Telegraph" au Royaume-Uni.

This is a headline from The Daily Telegraph in the UK.

"Un verre de vin par jour pourrait aider à prévenir le cancer du sein".

"A glass of red wine a day could help prevent breast cancer."

Donc vous cherchez et trouvez l'article scientifique, et ce que vous trouvez

So you find this paper, and find that it is a real piece of science.

est un vrai travail scientifique.

It's a description of the changes in the behavior of one enzyme

C'est une description des changements survenant dans une enzyme

when you drip a chemical extracted from some red grape skin

quand vous mettez une goutte d'un extrait chimique de peau de raisin rouge

sur des cellules cancéreuses

onto some cancer cells

in a dish on a bench in a laboratory somewhere.

dans une boîte de Petri sur une paillasse de laboratoire quelque part.

And that's a really useful thing to describe in a scientific paper.

Et c'est quelque chose de vraiment très utile à décrire

dans un article scientifique,

But on the question of your own personal risk of getting breast cancer

mais sur la question du risque que vous courrez

d'avoir le cancer du sein si vous buvez du vin rouge,

if you drink red wine,

cela ne vous dit foutrement absolument rien.

it tells you absolutely bugger all.

En fait, il s'avère que votre risque de cancer du sein

Actually, it turns out that your risk of breast cancer

augmente légèrement en réalité

increases slightly with every amount of alcohol you drink.

avec chaque quantité d'alcool que vous absorbez.

So what we want are studies in real human people.

Donc ce que nous voulons, ce sont des études faites avec de vrais humains.

And here's another example.

Voici un autre exemple.

This is from Britain's "leading" diet nutritionist in the Daily Mirror,

Ça vient de la principale diététicienne et nutritionniste britannique, dans le "Daily Mirror",

notre second journal en termes de ventes.

our second-biggest selling newspaper.

"Une étude australienne de 2001

"An Australian study in 2001 found that olive oil,

a observé que l'huile d'olive, en combinaison avec des fruits, des légumes et des légumes secs

in combination with fruits, vegetables and pulses,

offre une protection commensurable contre les rides".

offers measurable protection against skin wrinklings,"

Et alors il vous conseille :

and give the advice:

"Si vous mangez de l'huile d'olive et des légumes, vous aurez moins de rides'".

"If you eat olive oil and vegetables, you'll have fewer wrinkles."

Et ils vous indiquent gentiment comment trouver l'article scientifique.

They helpfully tell you how to find the paper,

Donc vous allez le chercher, et ce que vous trouvez est une étude observationnelle.

and what you find is an observational study.

Évidemment personne n'a été capable

Obviously, nobody has been able to go back to 1930,

de retourner dans les années 30,

de prendre toutes les personnes nées dans une maternité,

get all the people born in one maternity unit,

and half of them eat lots of fruit and veg and olive oil,

et de nourrir la moitié d'entre eux avec plein de fruits, de légumes et d'huile d'olive,

et l'autre moitié avec du McDonald's,

half of them eat McDonald's,

and then we see how many wrinkles you've got later.

et de voir alors combien de rides vous développez plus tard.

Vous devez prendre un instantané de comment les gens sont maintenant.

You have to take a snapshot of how people are now.

Et ce que vous trouvez, bien sûr,

And what you find is, of course:

c'est que les gens qui mangent des légumes et de l'huile d'olive ont moins de rides.

people who eat veg and olive oil have fewer wrinkles.

But that's because people who eat fruit and veg and olive oil are freaks --

Mais c'est parce que les gens qui mangent des fruits, des légumes et de l'huile d'olive,

ils sont farfelus, ils ne sont pas normaux, ils ne sont pas comme vous;

they're not normal, they're like you; they come to events like this.

ils viennent à des évènements comme celui-ci.

(Laughter)

Ils sont huppés, riches, moins susceptibles de travailler à l'extérieur,

They're posh, they're wealthy, less likely to have outdoor jobs,

ils sont moins susceptibles d'avoir un travail manuel,

less likely to do manual labor,

they have better social support, are less likely to smoke;

ils ont un meilleur soutien social, ils sont moins susceptibles de fumer.

Donc pour tout un tas de fascinantes, entremêlées,

for a host of fascinating, interlocking

raisons sociales, politiques et culturelles,

social, political and cultural reasons,

ils sont moins susceptibles d'avoir des rides.

they're less likely to have wrinkles.

Ça ne veut pas dire que c'est à cause des légumes ou de l'huile d'olive.

That doesn't mean it's the vegetables or olive oil.

(Rires)

(Laughter)

Donc idéalement ce que vous voulez faire, c'est un test.

So ideally, what you want to do is a trial.

People think they're familiar with the idea of a trial.

Et tout le monde pense être familier avec l'idée de test.

Les essais sont très anciens. Le premier était dans la Bible, Daniel 1:12.

Trials are old; the first one was in the Bible, Daniel 1:12.

C'est très simple : vous prenez un groupe de gens, vous les partagez en deux,

It's straightforward: take a bunch of people, split them in half,

vous traitez un groupe d'une façon, vous traitez l'autre groupe de l'autre façon,

treat one group one way, the other group, the other way.

et un peu plus tard, vous les revoyez

A while later, you see what happened to each of them.

et observez ce qui est arrivé à chacun d'entre eux.

Je vais vous raconter un test,

I'm going to tell you about one trial,

probablement le test le mieux rapporté

which is probably the most well-reported trial

dans les médias britanniques durant la dernière décennie.

in the UK news media over the past decade.

C'est le test des pilules à base d'huile de poisson.

This is the trial of fish oil pills.

Il était affirmé que les pilules d'huile de poisson améliorent la performance scolaire et le comportement

The claim: fish oil pills improve school performance and behavior

pour la majorité des enfants.

in mainstream children.

Et ils ont dit : "Nous faisons un test.

They said, "We did a trial.

All the previous ones were positive, this one will be too."

Tous les test précédents étaient positifs, et nous savons que celui-ci le sera aussi".

Cela devrait toujours éveiller la suspicion.

That should ring alarm bells:

Parce que si vous savez déjà la réponse à votre test, vous ne devriez pas en faire.

if you know the answer to your trial, you shouldn't be doing one.

Soit vous l'avez manipulé par son plan expérimental,

Either you've rigged it by design,

or you've got enough data so there's no need to randomize people anymore.

soit vous avez assez de données et il n'y a plus besoin de randomiser les participants.

Donc, c'est ce qu'ils allaient faire dans leur test.

So this is what they were going to do in their trial:

They were taking 3,000 children,

Ils ont pris 3 000 enfants,

they were going to give them these huge fish oil pills, six of them a day,

ils allaient leur donner ces énormes pilules d'huile de poisson,

six par jour,

and then, a year later, measure their school exam performance

et un an plus tard, ils allaient mesurer leur performance aux examens scolaires

and compare their performance

et comparer leur performance

against what they predicted their exam performance would have been

avec ce qu'ils avaient prédit que leur performance serait

s'ils n'avaient pas pris les pilules.

if they hadn't had the pills.

Now, can anybody spot a flaw in this design?

Est-ce que quelqu'un repère un défaut dans ce plan expérimental ?

(Laughter)

Et aucun professeur de méthodologie de tests cliniques

And no professors of clinical trial methodology

are allowed to answer this question.

n'est autorisé à répondre à cette question.

So there's no control group.

Donc il n'y a pas de contrôle, il n'y a pas de groupe contrôle.

But that sounds really techie, right? That's a technical term.

Mais cela semble vraiment technique.

C'est un terme technique.

The kids got the pills, and their performance improved.

Les gosses ont pris les pilules, et leur performance s'est améliorée.

What else could it possibly be if it wasn't the pills?

Qu'est-ce qui pourrait bien être en cause si ce n'est les pilules ?

Ils ont grandi. On se développe tous avec le temps.

They got older; we all develop over time.

And of course, there's the placebo effect,

Et évidemment, il y a aussi l'effet placebo.

one of the most fascinating things in the whole of medicine.

L'effet placebo est l'une des choses les plus fascinantes de toute la médecine.

Il ne s'agit pas seulement de prendre une pilule, et la douleur disparaît.

It's not just taking a pill and performance or pain improving;

Il s'agit de nos croyances et attentes.

it's about our beliefs and expectations, the cultural meaning of a treatment.

Il s'agit de la signification culturelle d'un traitement.

Et cela a été montré par tout un tas d'études fascinantes

And this has been demonstrated in a whole raft of fascinating studies

comparant un type de placebo avec un autre.

comparing one kind of placebo against another.

So we know, for example,

Donc nous savons par exemple que deux pastilles de sucre par jour

that two sugar pills a day are a more effective treatment

sont un traitement plus efficace contre les ulcères gastriques

for gastric ulcers

qu'une pastille de sucre.

than one sugar pill.

Deux pastilles de sucre par jour battent une pastille de sucre par jour.

Two sugar pills a day beats one a day.

C'est un résultat scandaleux et ridicule, mais c'est vrai.

That's an outrageous and ridiculous finding, but it's true.

We know from three different studies on three different types of pain

Nous savons, grâce à trois différentes études sur trois différents types de peine,

qu'une injection d'eau salée est un traitement contre la peine plus efficace

that a saltwater injection is a more effective treatment

que prendre une pastille de sucre, prendre une pilule factice sans molécule active —

than a sugar pill, a dummy pill with no medicine in it,

not because the injection or pills do anything physically to the body,

pas parce que l'injection ou les pilules ont une quelconque action physique sur le corps,

but because an injection feels like a much more dramatic intervention.

mais parce que l'injection paraît être une intervention plus dramatique.

Donc nous savons que nos croyances et nos attentes

So we know that our beliefs and expectations can be manipulated,

peuvent être manipulées,

which is why we do trials where we control against a placebo,

et c'est pourquoi on fait des tests

où on compare à un placebo —

where one half of the people get the real treatment,

où la moitié des gens reçoit le vrai traitement

and the other half get placebo.

et l'autre moitié reçoit un placebo.

But that's not enough.

Mais ce n'est pas suffisant.

What I've just shown you are examples

Ce que je viens de vous montrer sont des exemples de moyens très simples et directs

of the very simple and straightforward ways

pour les journalistes, les colporteurs de compléments alimentaires

that journalists and food supplement pill peddlers and naturopaths

et les naturopathes

can distort evidence for their own purposes.

de déformer les preuves dans leur propre intérêt.

What I find really fascinating

Ce que je trouve vraiment fascinant

is that the pharmaceutical industry uses exactly the same kinds

c'est que l'industrie pharmaceutique

utilise exactement le même genre de trucs et de systèmes,

of tricks and devices,

mais dans des versions légèrement plus sophistiquées,

but slightly more sophisticated versions of them,

in order to distort the evidence they give to doctors and patients,

afin de déformer les preuves qu'ils fournissent aux médecins et patients,

et que nous utilisons pour prendre de vitales décisions.

and which we use to make vitally important decisions.

So firstly, trials against placebo:

Premièrement, les tests contre un placebo :

tout le monde pense savoir qu'un test devrait

everybody thinks a trial should be a comparison

comparer votre nouveau traitement à un placebo.

of your new drug against placebo.

Mais en fait dans de nombreux cas, c'est incorrect.

But in a lot of situations that's wrong;

Parce que souvent il y a déjà un très bon traitement de disponible,

often, we already have a good treatment currently available.

donc nous ne voulons pas savoir si votre nouveau traitement alternatif

So we don't want to know that your alternative new treatment

est mieux que rien.

is better than nothing,

Nous voulons savoir s'il est meilleur que le meilleur traitement disponible à l'heure actuelle.

but that it's better than the best available treatment we have.

Pourtant, de façon répétée, vous voyez constamment des gens

And yet, repeatedly, you consistently see people doing trials

continuer à tester contre un placebo.

still against placebo.

And you can get licensed to bring your drug to market

Et vous pouvez obtenir une autorisation de mise sur le marché

with only data showing that it's better than nothing,

avec seulement des données montrant que votre produit est mieux que rien,

ce qui est inutile pour un médecin qui essaye de prendre une décision.

which is useless for a doctor like me trying to make a decision.

Mais ce n'est pas le seul moyen que vous avez de truquer vos données.

But that's not the only way you can rig your data.

Vous pouvez aussi truquer vos données

You can also rig your data

en rendant la chose à laquelle vous comparez votre nouveau produit,

by making the thing you compare your new drug against

vraiment nulle.

really rubbish.

You can give the competing drug in too low a dose,

Vous pouvez donner le produit concurrent à trop faible dose,

de sorte que les gens ne sont pas correctement traités.

so people aren't properly treated.

Vous pouvez donner le produit concurrent à trop forte dose,

You can give the competing drug in too high a dose,

de sorte que les gens souffrent d'effets secondaires.

so people get side effects.

And this is exactly what happened

Et c'est exactement ce qui s'est passé

with antipsychotic medication for schizophrenia.

avec les neuroleptiques traitant la schizophrénie.

Twenty years ago, a new generation of antipsychotic drugs were brought in;

Il y a 20 ans, une nouvelle génération de neuroleptiques a vu le jour,

promettant des effets secondaires réduits.

the promise was they would have fewer side effects.

Donc les gens ont commencé à tester ces nouveaux médicaments

So people set about doing trials of the new drugs against the old drugs.

contre les anciens,

But they gave the old drugs in ridiculously high doses:

mais ils ont donné les anciens à des doses ridiculement fortes —

20 milligrammes d'halopéridol par jour.

20 milligrams a day of haloperidol.

La conclusion est courue d'avance :

And it's a foregone conclusion if you give a drug at that high a dose,

si vous donnez un médicament à une si forte dose,

it will have more side effects, and your new drug will look better.

il y aura plus d'effets secondaires et votre nouveau produit paraîtra meilleur.

Il y a 10 ans, de façon intéressante l'histoire s'est répétée

Ten years ago, history repeated itself,

quand le rispéridone, qui était le premier des neuroleptiques de nouvelle génération,

when risperidone, the first of the new-generation antipsychotic drugs,

est passé dans le domaine public et que n'importe qui pouvait le reproduire.

came off copyright, so anybody could make copies.

Everybody wanted to show their drug was better than risperidone,

Tout le monde a voulu démontrer que leur traitement était meilleur que le rispéridone,

et donc vous pouviez voir un tas de tests comparant de nouveaux neuroleptiques

so you see trials comparing new antipsychotic drugs

avec le rispéridone, à huit milligrammes par jour.

against risperidone at eight milligrams a day.

Encore une fois, on ne parle de dose insensée, ou illégale,

Again, not an insane dose, not an illegal dose,

mais très proche de la limite haute du normal.

but very much at the high end of normal.

Donc vous êtes voués à ce que votre nouveau produit paraisse meilleur.

So you're bound to make your new drug look better.

Il n'y a donc pas de surprise que dans l'ensemble,

And so it's no surprise that overall,

industry-funded trials are four times more likely

les tests financés par l'industrie

sont quatre fois plus probables de produire un résultat positif

to give a positive result

than independently sponsored trials.

que les tests financés indépendamment.

But -- and it's a big but --

Mais — et c'est un gros mais —

(Laughter)

(Rires — jeu de mot : "but" = mais / "butt" = cul)

il s'avère,

it turns out,

when you look at the methods used by industry-funded trials,

que si vous regardez les méthodes utilisées dans les tests financés par l'industrie,

elles sont en fait meilleures

that they're actually better than independently sponsored trials.

que celles des tests indépendants.

And yet, they always manage to get the result that they want.

Et pourtant, ils arrivent toujours à obtenir le résultat désiré.

So how does this work?

Donc comment cela fonctionne-t-il ?

(Laughter)

Comment pouvons-nous expliquer cet étrange phénomène ?

How can we explain this strange phenomenon?

Well, it turns out that what happens

Eh bien, il s'avère que ce qui se passe

is the negative data goes missing in action;

est que les résultats négatifs disparaissent au vol ;

it's withheld from doctors and patients.

ils ne sont pas divulgués aux médecins et patients.

And this is the most important aspect of the whole story.

Et c'est l'aspect le plus important de toute cette histoire

C'est au sommet de la pyramide des preuves.

It's at the top of the pyramid of evidence.

Nous avons besoin de toutes les données sur un traitement spécifique

We need to have all of the data on a particular treatment

pour savoir s'il est vraiment efficace ou non.

to know whether or not it really is effective.

Et il y a deux façons différentes pour repérer

There are two different ways you can spot whether some data has gone missing.

si des données ont été dissimulées.

Vous pouvez utiliser les statistiques, ou vous pouvez utiliser les histoires.

You can use statistics or you can use stories.

I prefer statistics, so that's what I'll do first.

Personnellement je préfère les statistiques, donc c'est ce que je vais faire en premier.

This is a funnel plot.

Voici ce qu'on appelle un graphique en entonnoir.

A funnel plot is a very clever way of spotting

Un graphique en entonnoir est un moyen très habile de repérer

if small negative trials have disappeared, have gone missing in action.

si de petits tests négatifs ont disparu, ont été dissimulés au vol.

This is a graph of all of the trials done on a particular treatment.

Donc c'est une représentation graphique de tous les tests

qui ont été faits pour un traitement spécifique.

As you go up towards the top of the graph,

En allant vers le haut du graphique —

what you see is each dot is a trial.

chaque point que vous voyez est un test.

As you go up, those are bigger trials, so they've got less error;

Et en montant, vous trouvez les tests à plus grande échelle, qui comportent donc moins d'erreurs.

they're less likely to be randomly false positives or negatives.

Ils sont moins susceptibles d'être de faux positifs ou négatifs, dus au hasard.

So they all cluster together.

Donc ils sont tous regroupés.

The big trials are closer to the true answer.

Les tests à grande échelle sont plus proches de la réponse correcte.

Then as you go further down at the bottom,

Et en vous éloignant vers le bas,

what you can see is, on this side, spurious false negatives,

ce que vous pouvez voir, de ce côté-ci, sont les faux négatifs fallacieux,

and over on this side, spurious false positives.

et de ce côté-là, les faux positifs fallacieux.

S'il y a un biais de publication,

If there is publication bias,

si les petits tests négatifs ont été dissimulés au vol,

if small negative trials have gone missing in action,

you can see it on one of these graphs.

vous pouvez le voir sur un de ces graphiques.

So you see here that the small negative trials

Donc vous pouvez voir ici que les petits tests négatifs,

that should be on the bottom left have disappeared.

qui auraient dû se trouver en bas à gauche, ont disparu.

Celui-ci est un graphique qui révèle la présence d'un biais de publication

This is a graph demonstrating the presence of publication bias

dans les études sur le biais de publication.

in studies of publication bias.

Je pense que c'est la blague d'épidémiologie la plus drôle

And I think that's the funniest epidemiology joke you will ever hear.

que vous entendrez jamais.

(Laughter)

C'est ainsi que vous pouvez le prouver statistiquement,

That's how you can prove it statistically.

mais qu'en est-il des histoires ?

But what about stories?

Well, they're heinous, they really are.

Eh bien, elles sont ignobles, vraiment.

This is a drug called reboxetine.

Voici un traitement appelé réboxétine.

This is a drug which I, myself, have prescribed to patients.

C'est un produit que moi-même j'ai prescrit à des patients.

Et je suis un médecin très informé.

And I'm a very nerdy doctor.

I hope I go out of my way

J'essaye de faire des efforts pour lire et comprendre toute la littérature.

to try and read and understand all the literature.

J'ai lu les essais sur cela. Ils étaient tous très positifs. Ils étaient tous très bien menés.

I read the trials on this.

They were all positive, all well-conducted.

Je n'ai pas trouvé de problème.

I found no flaw.

Malheureusement il s'est avéré

Unfortunately, it turned out, that many of these trials were withheld.

que de nombreux tests avaient été dissimulés.

In fact, 76 percent of all of the trials that were done on this drug

En fait 76%

de tous les tests faits sur ce traitement

ont été cachés aux médecins et patients.

were withheld from doctors and patients.

Maintenant si vous y pensez,

Now if you think about it,

if I tossed a coin a hundred times,

si je lance une pièce cent fois,

and I'm allowed to withhold from you the answers half the times,

et que je suis autorisé à vous cacher

la réponse la moitié du temps,

then I can convince you that I have a coin with two heads.

alors je peux vous convaincre

que j'ai une pièce avec deux faces.

If we remove half of the data,

Si on retire la moitié des données,

we can never know what the true effect size of these medicines is.

on ne peut jamais savoir quel est vraiment la taille de l'effet de ces traitements.

Et ceci n'est pas un cas isolé.

And this is not an isolated story.

Environ la moitié des données des tests sur les antidépresseurs a été dissimulée,

Around half of all of the trial data on antidepressants has been withheld,

et cela va bien plus loin.

but it goes way beyond that.

The Nordic Cochrane Group were trying to get ahold of the data on that

Le Cochrane Group du Nord a essayé de mettre la main sur ces données

pour les rassembler.

to bring it all together.

Le Cochrane Group est une organisation internationale à but non lucratif

The Cochrane Groups are an international nonprofit collaboration

qui produit des revues systématiques de toutes les données jamais publiées.

that produce systematic reviews

of all of the data that has ever been shown.

Et ils ont besoin d'avoir accès à tous les données de tests.

And they need to have access to all of the trial data.

Mais les compagnies leur ont refusé l'accès aux données,

But the companies withheld that data from them.

So did the European Medicines Agency --

ainsi que l'Agence Européenne des Médicaments

pendant trois ans.

for three years.

This is a problem that is currently lacking a solution.

C'est n problème qui couramment manque d'une solution.

And to show how big it goes, this is a drug called Tamiflu,

Et pour vous montrer son ampleur, voici un médicament appelé Tamiflu,

which governments around the world

pour lequel les gouvernements autour du monde

have spent billions and billions of dollars on.

ont dépensé des milliards et des milliards de dollars.

Et ils ont dépensé cet argent avec la promesse

And they spend that money on the promise that this is a drug

que ce traitement réduirait le taux

which will reduce the rate of complications with flu.

de complications dues à la grippe.

Nous avons déjà les données

We already have the data

showing it reduces the duration of your flu by a few hours.

qu'il réduit la durée de votre grippe de quelques heures.

Mais ceci ne m'importe pas vraiment. Les gouvernements ne s'en soucient pas.

But I don't care about that, governments don't care.

Je suis vraiment désolé si vous avez la grippe, je sais que c'est horrible,

I'm sorry if you have the flu, I know it's horrible,

mais on ne va pas dépenser des milliards de dollars

but we're not going to spend billions of dollars

à essayer de réduire la durée de vos symptômes grippaux

trying to reduce the duration of your flu symptoms by half a day.

d'une demi-journée.

We prescribe these drugs.

Nous prescrivons ces médicaments, nous les stockons en cas d'urgence

We stockpile them for emergencies

dans l'idée qu'ils réduiront le nombre de complications,

on the understanding they'll reduce the number of complications,

c'est-à-dire de pneumonies, autrement dit de morts.

which means pneumonia and death.

Le Cochrane Group des maladies infectieuses, basé en Italie,

The infectious diseases Cochrane Group, which are based in Italy,

a essayé d'obtenir des compagnies pharmaceutiques

has been trying to get the full data in a usable form

les données complètes dans une forme utilisable,

out of the drug companies,

pour pouvoir décider

so they can make a full decision

about whether this drug is effective or not,

si ce traitement est efficace ou non,

and they've not been able to get that information.

et ils n'ont pas pu obtenir cette information.

This is undoubtedly the single biggest ethical problem

Ceci est indubitablement

le plus grand problème éthique

facing medicine today.

auquel aujourd'hui la médecine fait face.

On ne peut pas prendre de décisions

We cannot make decisions in the absence of all of the information.

sans avoir toute l'information.

So it's a little bit difficult from there

Donc c'est un peu difficile après ça

to spin in some kind of positive conclusion.

de passer à une conclusion en sorte positive.

Mais je dirais ceci :

But I would say this:

I think that sunlight

je pense que la lumière du jour

is the best disinfectant.

est le meilleur désinfectant.

Toutes ces choses se passent au grand jour,

All of these things are happening in plain sight,

and they're all protected by a force field of tediousness.

et ils sont tous protégés

par un champ de force fastidieuse.

And I think, with all of the problems in science,

Et je pense, avec tous les problèmes en science,

que l'une des meilleures choses qu'on puisse faire

one of the best things that we can do

is to lift up the lid, finger around at the mechanics

est de lever le couvercle,

de triturer la mécanique et de regarder à l'intérieur.

and peer in.

Merci beaucoup.

Thank you very much.

(Applause)

(Applaudissements)