Ben Goldacre: Battling Bad Science

מתרגם: Sigal Tifferet מבקר: Ido Dekkers

So I'm a doctor, but I kind of slipped sideways into research,

אני רופא, אבל איך שהוא גלשתי למחקר,

and now I'm an epidemiologist.

ועכשיו אני אפידמיולוג.

And nobody really knows what epidemiology is.

ואף אחד לא יודע מה זה אפידמיולוגיה.

Epidemiology is the science of how we know in the real world

אפידמיולוגיה היא המדע של איך יודעים בעולם האמיתי

if something is good for you or bad for you.

אם משהו טוב או רע עבורכם.

And it's best understood through example

והכי קל להבין אותו

as the science of those crazy, wacky newspaper headlines.

בתור המדע של הכותרות המוזרות בעיתון.

And these are just some of the examples.

והנה רק כמה דוגמאות.

These are from the Daily Mail.

אלה כולן מהדיילי מייל. לכל מדינה יש עיתון כזה.

Every country in the world has a newspaper like this.

יש להם פרוייקט מוזר ומתמשך

It has this bizarre, ongoing philosophical project

בו הם מחלקים את כל החפצים בעולם

of dividing all the inanimate objects in the world

לכאלה שגורמים סרטן או מונעים אותו.

into the ones that either cause or prevent cancer.

Here are some of the things they said cause cancer:

אז הנה כמה מהדברים שלטענתם גורמים לסרטן:

גירושין, Wi-Fi, קוסמטיקה וקפה.

divorce, Wi-Fi, toiletries and coffee.

ואלה לטענתם מונעים סרטן:

Some things they say prevent cancer:

פלפל אדום, ליקריץ, קפה והקשה של הלחם.

crusts, red pepper, licorice and coffee.

אז כבר אפשר לראות כמה סתירות.

So you can see there are contradictions.

קפה גם גורם וגם מונע סרטן.

Coffee both causes and prevents cancer.

וכשתקראו תראו שאולי

As you start to read on, you can see

that maybe there's some political valence behind some of this.

יש לכך מין רקע פוליטי.

For women, housework prevents breast cancer,

כי לנשים, עבודות בית מונעות סרטן,

but for men, shopping could make you impotent.

אבל לגברים, קניות יכולות לגרום לאימפוטנציה.

(Laughter)

אז אנחנו יודעים שצריך להתחיל

So we know that we need to start unpicking the science behind this.

להתיר את המדע שמאחורי זה.

And what I hope to show is that unpicking the evidence behind dodgy claims

ומה שאני מקווה להראות

הוא שהתרה של טענות בעיתיות

התרה של הראיות העומדות מאחורי הטענות הבעיתיות,

isn't a kind of nasty, carping activity;

היא לא פעילות קנטרנית,

it's socially useful.

אלא בעלת ערך חברתי שימושי,

But it's also an extremely valuable explanatory tool,

אבל גם בעלת ערך רב

ככלי מסביר.

because real science is about critically appraising the evidence

כי מדע אמיתי עוסק

בהערכה ביקורתית של ההוכחות לטענתו של אדם אחר.

for somebody else's position.

זה מה שקורה בכתבי עת אקדמיים.

That's what happens in academic journals,

זה מה שקורה בכנסים אקדמיים.

it's what happens at academic conferences --

זמן השאלות אחרי שמישהו מציג נתונים,

the Q&A session after a postdoc presents data is often a bloodbath.

דומה למרחץ דמים.

And nobody minds that; we actively welcome it.

ולאף אחד לא אכפת. אנחנו מברכים על זה.

It's like a consenting intellectual S&M activity.

זה כמו פעילות סאדו-מאזו אינטלקטואלית מתוך בחירה.

(Laughter)

אז מה שאני אראה לכם

So what I'm going to show you is all of the main things,

זה את כל הדברים העיקריים,

כל המאפיינים המרכזיים של התחום שלי -

all of the main features of my discipline, evidence-based medicine.

רפואה מבוססת ראיות.

And I will talk you through all of these and demonstrate how they work,

ואני אעבור איתכם עליהם

ואדגים לכם איך הם פועלים,

exclusively using examples of people getting stuff wrong.

בעזרת דוגמאות בהן אנשים טועים.

We'll start with the absolute weakest form of evidence known to man,

אז נתחיל עם ההוכחה החלשה ביותר,

וזאת הסמכות.

and that is authority.

במדע לא אכפת לנו כמה תארים יש לכם.

In science, we don't care how many letters you have after your name --

במדע אנחנו רוצים לדעת למה אתם מאמינים במשהו.

we want to know what your reasons are for believing something.

איך אתם יודעים שמשהו טוב עבורנו

How do you know that something is good for us or bad for us?

או רע עבורנו?

But we're also unimpressed by authority because it's so easy to contrive.

אבל אנחנו לא מתרשמים מסמכות,

כי כ"כ קל לזייף אותה.

This is somebody called Dr. Gillian McKeith, PhD,

הנה מישהי שנקראת ד"ר ג'יליאן מק'קית Ph.D (דוקטורט)

או בתוארה הרפואי המלא: גי'ליאן מק'קית.

or, to give her full medical title, Gillian McKeith.

(צחוק)

(Laughter)

בכל מדינה יש מישהו כמוה.

Again, every country has somebody like this.

היא גורו הדיאטות אצלנו בטלוויזיה.

She is our TV diet guru.

She has five series of prime-time television,

יש לה חמש סדרות בפריים-טיים בטלוויזיה,

giving out very lavish and exotic health advice.

בהן היא נותנת עצות רפואיות אקזוטיות ושופעות.

She, it turns out, has a non-accredited correspondence course PhD

מתברר שאת תואר ה Ph.D היא קיבלה מקורס בהתכתבות

שעשתה במכללה ללא הכרה פורמלית בארה"ב.

from somewhere in America.

She also boasts that she's a certified professional member

היא גם מתפארת בכך שהיא חברה רשומה

באיגוד האמריקאי של יועצים תזונתיים,

of the American Association of Nutritional Consultants,

שנשמע מרגש וזוהר.

which sounds very glamorous; you get a certificate.

מקבלים תעודה והכל.

This one belongs to my dead cat, Hettie. She was a horrible cat.

התעודה הזו שייכת לחתולה שלי הטי, ז"ל. היא היתה חתולה נוראית.

רק צריך להיכנס לאתר, למלא טופס,

You go to the website, fill out the form,

לשלם 60$, והיא מגיעה בדואר.

give them $60, it arrives in the post.

עכשיו, זו לא הסיבה היחידה שבגללה אני חושב שהיא אידיוטית.

That's not the only reason we think this person is an idiot.

היא גם אומרת דברים כמו

She also says things like eat lots of dark green leaves,

אתם צריכים לאכול הרבה עלים ירוקים כהים,

they contain chlorophyll and really oxygenate your blood.

כי יש בהם הרבה כלורופיל שיחמצן את הדם שלכם.

וכל מי שלמד קצת ביולוגיה בבי"ס זוכר

And anybody who's done school biology remembers

שכלורופיל וכלורופלסטים

that chlorophyll and chloroplasts only make oxygen in sunlight,

יכולים לייצר חמצן רק באור,

and it's quite dark in your bowels after you've eaten spinach.

ודי חשוך במעיים שלכם אחרי שאכלתם תרד.

הלאה. אנחנו זקוקים למדע טוב, הוכחות טובות.

Next, we need proper science, proper evidence.

So: "Red wine can help prevent breast cancer."

אז "יין אדום יכול לסייע במניעת סרטן השד."

זוהי כותרת מהדיילי טלגרף הבריטי,

This is a headline from The Daily Telegraph in the UK.

"כוס יין אדום ביום יכולה לסייע במניעת סרטן השד."

"A glass of red wine a day could help prevent breast cancer."

אז אתם מחפשים את המאמר ומה שמוצאים

So you find this paper, and find that it is a real piece of science.

זה שזה מדע רציני.

It's a description of the changes in the behavior of one enzyme

זה תיאור של השינויים באנזים אחד

when you drip a chemical extracted from some red grape skin

שמתרחשים כששמים כימיקל שמוצה מקליפת עינב אדום

על תאים סרטניים

onto some cancer cells

in a dish on a bench in a laboratory somewhere.

בצלחת, על שולחן עבודה, במעבדה כלשהי.

And that's a really useful thing to describe in a scientific paper.

וזה תיאור מאוד שימושי

בכתב עת מדעי,

But on the question of your own personal risk of getting breast cancer

אבל זה לא אומר לכם כלום

על הסיכון האישי שלכם ללקות בסרטן השד

if you drink red wine,

אם תשתו יין אדום.

it tells you absolutely bugger all.

למעשה, מתברר שהסיכון לסרטן השד

Actually, it turns out that your risk of breast cancer

עולה מעט

increases slightly with every amount of alcohol you drink.

עם כל מנת אלכוהול שתשתו.

So what we want are studies in real human people.

אז אנחנו מחפשים מחקרים בבני אדם אמיתיים.

And here's another example.

הנה עוד דוגמא.

This is from Britain's "leading" diet nutritionist in the Daily Mirror,

היא מגיעה מהתזונאית המובילה של בריטניה בדיילי מירור,

העיתון השני בגודלו.

our second-biggest selling newspaper.

"מחקר אוסטרלי ב2001

"An Australian study in 2001 found that olive oil,

מצא ששמן זית בשילוב עם פירות וירקות

in combination with fruits, vegetables and pulses,

מגן נגד קמטים בעור."

offers measurable protection against skin wrinklings,"

והם מציעים:

and give the advice:

אם תאכלו שמן זית וירקות, יהיו לכם פחות קמטים."

"If you eat olive oil and vegetables, you'll have fewer wrinkles."

ויאמר לזכותם שהם מפנים אתכם למאמר.

They helpfully tell you how to find the paper,

אז אתם מוצאים את המאמר ומגלים שזה מחקר תצפיתי.

and what you find is an observational study.

ברור שאף אחד לא

Obviously, nobody has been able to go back to 1930,

חזר בזמן ל 1930,

אסף את כל מי שנולד בבית היולדות,

get all the people born in one maternity unit,

and half of them eat lots of fruit and veg and olive oil,

נתן לחצי לאכול הרבה ירקות, פירות ושמן זית,

ולחצי השני נתן לאכול מקדונלדס,

half of them eat McDonald's,

and then we see how many wrinkles you've got later.

ואז ראה כמה קמטים היו להם אח"כ.

חייבים לצלם תמונת מצב של האנשים היום.

You have to take a snapshot of how people are now.

ומה שמוצאים, כמובן,

And what you find is, of course:

זה שיש פחות קמטים למי שאוכל ירקות ושמן זית.

people who eat veg and olive oil have fewer wrinkles.

But that's because people who eat fruit and veg and olive oil are freaks --

אבל זה משום שמי שאוכל ירקות, פירות ושמן זית,

הוא פריק, לא נורמלי, הם כמוכם,

they're not normal, they're like you; they come to events like this.

הם באים לארועים כאלה.

(Laughter)

הם עשירים, אופנתיים, עובדים פחות בחוץ,

They're posh, they're wealthy, less likely to have outdoor jobs,

עובדים פחות בעבודות פיזיות,

less likely to do manual labor,

they have better social support, are less likely to smoke;

יש להם תמיכה חברתית טובה יותר, הם מעשנים פחות -

אז ממגוון עשיר של סיבות מרתקות, חברתיות,

for a host of fascinating, interlocking

פוליטיות, תרבותיות, הקשורות זו לזו,

social, political and cultural reasons,

יש להם פחות סיכוי לקמטים בעור.

they're less likely to have wrinkles.

זה לא אומר שזה בגלל הירקות או שמן הזית.

That doesn't mean it's the vegetables or olive oil.

(צחוק)

(Laughter)

אז אידיאלית, היינו רוצים לערוך ניסוי.

So ideally, what you want to do is a trial.

People think they're familiar with the idea of a trial.

וכולם חושבים שהם מכירים היטב את הניסוי.

ניסויים הם מאוד ותיקים. הניסוי הראשון היה בתנ"ך, דניאל א', י"ב.

Trials are old; the first one was in the Bible, Daniel 1:12.

פשוט מאוד - קחו חבורה של אנשים, חלקו אותם לשניים,

It's straightforward: take a bunch of people, split them in half,

תתייחסו לכל קבוצה אחרת,

treat one group one way, the other group, the other way.

תעקבו אחריהם

A while later, you see what happened to each of them.

ותראו מה קורה לכל קבוצה.

אז אני אספר לכם על ניסוי אחד,

I'm going to tell you about one trial,

אולי הניסוי הכי מפורסם

which is probably the most well-reported trial

בתקשורת בבריטניה בעשור האחרון.

in the UK news media over the past decade.

וזה הניסוי של כמוסות שמן דגים.

This is the trial of fish oil pills.

שטען ששמן דגים משפר ביצועים בביה"ס והתנהגות

The claim: fish oil pills improve school performance and behavior

בילדים רגילים.

in mainstream children.

והם אמרו "ערכנו ניסוי.

They said, "We did a trial.

All the previous ones were positive, this one will be too."

כל הניסויים הקודמים הצליחו, ואנחנו יודעים שגם זה יצליח."

זה צריך להפעיל פעמון אזהרה.

That should ring alarm bells:

כי אם אתה כבר יודע מה תהיה תוצאת הניסוי, אתה לא צריך לערוך אותו.

if you know the answer to your trial, you shouldn't be doing one.

או שתחמנת בתכנון המחקר,

Either you've rigged it by design,

or you've got enough data so there's no need to randomize people anymore.

או שיש לך מספיק מידע ואתה לא צריך להקצות יותר אנשים.

אז זה מה שהם עמדו לעשות בניסוי שלהם.

So this is what they were going to do in their trial:

They were taking 3,000 children,

הם לקחו 3,000 ילדים,

they were going to give them these huge fish oil pills, six of them a day,

התכוונו לתת להם כמוסות שמן דגים ענקיות,

6 כמוסות ביום,

and then, a year later, measure their school exam performance

ושנה לאחר מכן רצו למדוד את ההצלחה שלהם במבחן

and compare their performance

ולהשוות את הציון שלהם

against what they predicted their exam performance would have been

לעומת מה שהם ניבאו שהציון יהיה

אילולא לקחו את הכמוסות.

if they hadn't had the pills.

Now, can anybody spot a flaw in this design?

מישהו רואה כאן איזו שהיא בעיה?

(Laughter)

לפרופסורים לשיטות מחקר קליניות

And no professors of clinical trial methodology

are allowed to answer this question.

אסור לענות.

So there's no control group.

אז אין כאן קבוצת ביקורת.

But that sounds really techie, right? That's a technical term.

וזה נשמע מאוד טכני,

זה מושג טכני.

The kids got the pills, and their performance improved.

הילדים קיבלו כמוסות והביצועים שלהם השתפרו.

What else could it possibly be if it wasn't the pills?

מה עוד יכול לגרום לכך פרט לכמוסות?

הם התבגרו. כולנו מתפתחים כל הזמן.

They got older; we all develop over time.

And of course, there's the placebo effect,

וכמובן, יש גם אפקט פלצבו.

one of the most fascinating things in the whole of medicine.

אפקט הפלצבו הוא אחד הדברים המרתקים ברפואה.

זה לא רק שכדור יכול לשפר ביצועים ולהפחית כאב.

It's not just taking a pill and performance or pain improving;

זה קשור לאמונות שלנו ולציפיות שלנו.

it's about our beliefs and expectations, the cultural meaning of a treatment.

זה קשור למשמעות התרבותית שיש לטיפול.

וזה הודגם במגוון מחקרים מרתקים

And this has been demonstrated in a whole raft of fascinating studies

המשווים בין סוגי פלצבו שונים.

comparing one kind of placebo against another.

So we know, for example,

אז אנחנו יודעים, למשל, ששני כדורי סוכר ביום

that two sugar pills a day are a more effective treatment

אפקטיביים יותר לחיסול אולקוס

for gastric ulcers

מאשר כדור סוכר אחד.

than one sugar pill.

שני כדורי סוכר ביום עדיפים על כדור אחד.

Two sugar pills a day beats one a day.

וזה ממצא מגוחך, אבל נכון.

That's an outrageous and ridiculous finding, but it's true.

We know from three different studies on three different types of pain

מ3 מחקרים על 3 סוגי כאב עולה

שהזרקת מי מלח מפחיתה כאב

that a saltwater injection is a more effective treatment

יותר מאשר כדור סוכר, כדור סרק ללא תרופה,

than a sugar pill, a dummy pill with no medicine in it,

not because the injection or pills do anything physically to the body,

לא משום שהזריקה או הכדור עושים משהו פיזי לגוף,

but because an injection feels like a much more dramatic intervention.

אלא משום שהזריקה נתפסת כטיפול יותר דרמטי.

אז אנחנו יודעים שהאמונות והציפיות שלנו

So we know that our beliefs and expectations can be manipulated,

ניתנות למניפולציה,

which is why we do trials where we control against a placebo,

ולכן אנחנו עורכים ניסויים

בהם משווים את הטיפול לפלצבו,

where one half of the people get the real treatment,

בהם חצי מקבלים את הטיפול האמיתי

and the other half get placebo.

וחצי מקבלים פלצבו.

But that's not enough.

אבל זה לא מספיק.

What I've just shown you are examples

הראיתי לכם את הדרכים הפשוטות

of the very simple and straightforward ways

דרכן יכולים עיתונאים, מוכרי תוספי מזון

that journalists and food supplement pill peddlers and naturopaths

ונתורופטים

can distort evidence for their own purposes.

לעוות את הנתונים למטרתם.

What I find really fascinating

מה שמרתק בעיני

is that the pharmaceutical industry uses exactly the same kinds

זה שתעשיית התרופות

משתמשת בדיוק באותם טריקים,

of tricks and devices,

אבל בגרסאות מעט יותר מתוחכמות,

but slightly more sophisticated versions of them,

in order to distort the evidence they give to doctors and patients,

על מנת לעוות את הנתונים שהם נותנים לרופאים ולפציינטים,

בהם אנו משתמשים לקבל החלטות.

and which we use to make vitally important decisions.

So firstly, trials against placebo:

אז ראשית, ניסוי מול פלצבו:

כולם חושבים שבניסוי צריך

everybody thinks a trial should be a comparison

להשוות את התרופה החדשה לעומת פלצבו.

of your new drug against placebo.

אבל למעשה, בהרבה מצבים זו שגיאה.

But in a lot of situations that's wrong;

כי לעיתים קרובות יש לנו כבר טיפול טוב זמין,

often, we already have a good treatment currently available.

אז אנחנו לא רוצים לדעת שהתרופה החדשה שלכם

So we don't want to know that your alternative new treatment

טובה יותר מכלום.

is better than nothing,

אנחנו רוצים לדעת שהיא טובה יותר מהטיפול הכי טוב שיש כיום.

but that it's better than the best available treatment we have.

ועדיין, שוב ושוב, אנשים עורכים ניסוי

And yet, repeatedly, you consistently see people doing trials

בהשוואה לפלצבו.

still against placebo.

And you can get licensed to bring your drug to market

ואפשר לקבל רשיון להכניס את התרופה לשוק

with only data showing that it's better than nothing,

רק עם מידע שמראה שהיא טובה יותר מכלום,

שזה חסר ערך לרופא כמוני שמנסה לקבל החלטה.

which is useless for a doctor like me trying to make a decision.

אבל זו לא הדרך היחידה בה אתם יכולים לעוות את הנתונים שלכם.

But that's not the only way you can rig your data.

אתם יכולים לעוות אותם

You can also rig your data

גם בכך שתשוו את התרופה שלכם אל

by making the thing you compare your new drug against

זבל.

really rubbish.

You can give the competing drug in too low a dose,

אתם יכולים לתת את התרופה המתחרה במינון נמוך מדי,

כך שאנשים לא באמת מטופלים.

so people aren't properly treated.

או במינון גבוה מדי,

You can give the competing drug in too high a dose,

כך שאנשים יקבלו תופעות לוואי.

so people get side effects.

And this is exactly what happened

וזה בדיוק מה שקרה

with antipsychotic medication for schizophrenia.

עם תרופות אנטי-פסיכוטיות לסכיזופרניה.

Twenty years ago, a new generation of antipsychotic drugs were brought in;

לפני 20 שנה, דור חדש של תרופות אנטי-פסיכוטיות הוכנס

עם הבטחה לפחות תופעות לוואי.

the promise was they would have fewer side effects.

אז אנשים התחילו לערוך ניסויים על התרופות האלה

So people set about doing trials of the new drugs against the old drugs.

בהשוואה לתרופות הישנות,

But they gave the old drugs in ridiculously high doses:

אבל הם נתנו את התרופות הישנות במינונים גבוהים באופן מגוחך,

20 מ"ג הלופרידול ליום.

20 milligrams a day of haloperidol.

וזו מסקנה ידועה,

And it's a foregone conclusion if you give a drug at that high a dose,

שאם תתנו תרופה במינון גבוה כזה,

it will have more side effects, and your new drug will look better.

יהיו לה יותר תופעות לוואי, והתרופה החדשה שלכם תיראה טוב יותר.

לפני 10 שנים, ההיסטוריה חזרה על עצמה,

Ten years ago, history repeated itself,

כשריספרידון, תרופה אנטי-פסיכוטית ראשונה מהדור החדש,

when risperidone, the first of the new-generation antipsychotic drugs,

איבדה את זכויות היוצרים, כך שכל אחד יכול היה להכין העתקים שלה.

came off copyright, so anybody could make copies.

Everybody wanted to show their drug was better than risperidone,

כולם רצו להראות שהתרופה שלהם טובה מריספרידון,

אז ראיתם מחקרים שמשווים תרופות אנטי-פסיכוטיות חדשות

so you see trials comparing new antipsychotic drugs

אל 8 מ"ג ריספרידון ליום.

against risperidone at eight milligrams a day.

שוב, זה לא מינון מופרע או בלתי חוקי,

Again, not an insane dose, not an illegal dose,

אבל בהחלט בקצה העליון של הנורמה.

but very much at the high end of normal.

ואז בטוח שהתרופה החדשה שלהם תיראה טוב יותר.

So you're bound to make your new drug look better.

לכן זה כלל לא מפתיע שבסה"כ,

And so it's no surprise that overall,

industry-funded trials are four times more likely

ניסויים הממומנים ע"י התעשייה

מציגים תוצאה חיובית פי 4 יותר

to give a positive result

than independently sponsored trials.

מאשר מחקרים בעלי מימון עצמאי.

But -- and it's a big but --

אבל - ויש כאן אבל גדול -

(Laughter)

(צחוק)

מתברר,

it turns out,

when you look at the methods used by industry-funded trials,

שכשבוחנים את השיטות בהם נערכים ניסויים הממומנים ע"י התעשיה,

הם בעצם יותר טובים

that they're actually better than independently sponsored trials.

מאשר מחקרים עצמאיים.

And yet, they always manage to get the result that they want.

ועדיין, הם תמיד מצליחים להשיג את התוצאה שהם רוצים.

So how does this work?

אז איך זה עובד?

(Laughter)

איך אפשר להסביר את התופעה המוזרה הזו?

How can we explain this strange phenomenon?

Well, it turns out that what happens

ובכן, מתברר שמה שקורה

is the negative data goes missing in action;

זה שהמידע השלילי "נעלם",

it's withheld from doctors and patients.

הוא מוסתר מרופאים ומפציינטים.

And this is the most important aspect of the whole story.

וזה הפן החשוב ביותר בכל הסיפור.

בפסגת פירמידת ההוכחות.

It's at the top of the pyramid of evidence.

אנחנו צריכים לקבל את כל הנתונים על טיפול מסוים

We need to have all of the data on a particular treatment

כדי לדעת אם הוא באמת יעיל.

to know whether or not it really is effective.

ויש שתי דרכים בהן ניתן לגלות

There are two different ways you can spot whether some data has gone missing.

אם חלק מהמידע "נעלם".

סטטיסטיקה או סיפורים.

You can use statistics or you can use stories.

I prefer statistics, so that's what I'll do first.

אישית, אני מעדיף סטטיסטיקה, אז אראה את זה קודם.

This is a funnel plot.

זה משהו שנקרא funnel plot.

A funnel plot is a very clever way of spotting

וזאת דרך מאוד מתוחכמת לזהות

if small negative trials have disappeared, have gone missing in action.

אם מחקרים שליליים קטנים "נעלמו".

This is a graph of all of the trials done on a particular treatment.

אז הנה הגרף של כל הניסויים

שנעשו על טיפול מסויים.

As you go up towards the top of the graph,

וככל שעולים במעלה הגרף,

what you see is each dot is a trial.

כל נקודה כאן היא ניסוי.

As you go up, those are bigger trials, so they've got less error;

וככל שאתם עולים, אלה הניסויים הגדולים יותר, אז הטעות בהם קטנה יותר.

they're less likely to be randomly false positives or negatives.

כלומר הם יתנו פחות תוצאות שגויות.

So they all cluster together.

אז הם מצטברים יחד.

The big trials are closer to the true answer.

הניסויים הגדולים קרובים יותר לתשובה האמיתית.

Then as you go further down at the bottom,

וככל שתרדו למטה,

what you can see is, on this side, spurious false negatives,

אפשר לראות בצד הזה את התוצאות השליליות השגויות,

and over on this side, spurious false positives.

ובצד הזה את התוצאות החיוביות השגויות.

אם יש הטיה בפרסום המחקרים,

If there is publication bias,

אם מחקרים שליליים קטנים "נעלמו",

if small negative trials have gone missing in action,

you can see it on one of these graphs.

אפשר יהיה לראות את זה באחד הגרפים האלה.

So you see here that the small negative trials

אז אפשר לראות שהמחקרים השליליים הקטנים

that should be on the bottom left have disappeared.

שהיו אמורים להימצא למטה משמאל - נעלמו.

זה גרף שמדגים הטיה בפרסום מחקרים

This is a graph demonstrating the presence of publication bias

במחקרים על הטיה בפרסום מחקרים.

in studies of publication bias.

ולדעתי זו הבדיחה האפידמיולוגית הכי מצחיקה

And I think that's the funniest epidemiology joke you will ever hear.

שאי פעם תשמעו.

(Laughter)

כך אפשר להוכיח את זה סטטיסטית.

That's how you can prove it statistically.

מה לגבי סיפורים?

But what about stories?

Well, they're heinous, they really are.

הם אכזריים. באמת.

This is a drug called reboxetine.

זו תרופה בשם רבוקסטין.

This is a drug which I, myself, have prescribed to patients.

תרופה שאני בעצמי רשמתי לפציינטים.

ואני רופא חנון.

And I'm a very nerdy doctor.

I hope I go out of my way

אני מקווה שאני יוצא מגדרי לנסות ולקרוא ולהבין את הספרות.

to try and read and understand all the literature.

קראתי את הניסויים עליה, הם כולם היו חיוביים, כולם נערכו נכון.

I read the trials on this.

They were all positive, all well-conducted.

לא מצאתי בעיה.

I found no flaw.

לרוע המזל, מתברר,

Unfortunately, it turned out, that many of these trials were withheld.

שניסויים רבים על התרופה הוסתרו.

In fact, 76 percent of all of the trials that were done on this drug

למעשה, 76%

מכל המחקרים שנעשו על התרופה הזו

הוסתרו מרופאים ומפציינטים.

were withheld from doctors and patients.

עכשיו, אם תחשבו על זה,

Now if you think about it,

if I tossed a coin a hundred times,

אם אני אזרוק מטבע 100 פעם,

and I'm allowed to withhold from you the answers half the times,

ומותר לי להסתיר מכם

את התשובות מחצית מהפעמים,

then I can convince you that I have a coin with two heads.

אז אני יכול לשכנע אתכם

שיש לי מטבע עם שני צידי פלי.

If we remove half of the data,

אם נסיר מחצית מהנתונים,

we can never know what the true effect size of these medicines is.

לעולם לא נוכל לדעת מה גודל האפקט האמיתי של התרופות הללו.

וזה לא מקרה בודד.

And this is not an isolated story.

בערך מחצית מנתוני הניסויים על תרופות אנטי-דכאוניות הוסתרה,

Around half of all of the trial data on antidepressants has been withheld,

אבל זה יותר מזה.

but it goes way beyond that.

The Nordic Cochrane Group were trying to get ahold of the data on that

קבוצת קוקריין הסקנדינבית ניסתה להשיג את הנתונים האלה,

לחבר הכל יחד.

to bring it all together.

קבוצות קוקריין הן שת"פ בינלאומי שלא למטרות רווח

The Cochrane Groups are an international nonprofit collaboration

שמייצרות סקירות שיטתיות של כל הנתונים שהוצגו.

that produce systematic reviews

of all of the data that has ever been shown.

והם צריכים גישה לכל נתוני הניסויים.

And they need to have access to all of the trial data.

אבל החברות מנעו מהם את המידע הזה.

But the companies withheld that data from them.

So did the European Medicines Agency --

וכך גם סוכנות התרופות האירופאית

במשך 3 שנים.

for three years.

This is a problem that is currently lacking a solution.

זו בעיה שכרגע אין לה פתרון.

And to show how big it goes, this is a drug called Tamiflu,

וכדי להראות את היקפה, זו תרופה בשם תמיפלו,

which governments around the world

שממשלות בכל העולם

have spent billions and billions of dollars on.

רכשו במיליארדי דולרים.

והם הוציאו את הכסף הזה על ההבטחה

And they spend that money on the promise that this is a drug

שהתרופה הזו תוריד את שכיחות

which will reduce the rate of complications with flu.

סיבוכי השפעת.

יש לנו כבר מידע

We already have the data

showing it reduces the duration of your flu by a few hours.

המראה שהיא מפחיתה את משך השפעת בכמה שעות.

אבל זה לא מעניין אותי או את הממשלות.

But I don't care about that, governments don't care.

אני מצטער אם יש לכם שפעת, אני יודע שזה נורא,

I'm sorry if you have the flu, I know it's horrible,

אבל לא נוציא מיליארדי דולרים

but we're not going to spend billions of dollars

כדי להפחית את משך הסימפטומים שלכם

trying to reduce the duration of your flu symptoms by half a day.

בחצי יום.

We prescribe these drugs.

אנחנו נותנים מרשמים לתרופות האלה, אוגרים אותן למקרי חירום

We stockpile them for emergencies

מתוך הנחה שהן יפחיתו את מספר הסיבוכים,

on the understanding they'll reduce the number of complications,

כלומר דלקת ריאות, כלומר מוות.

which means pneumonia and death.

קבוצת קוקריין למחלות זיהומיות הנמצאת באיטליה,

The infectious diseases Cochrane Group, which are based in Italy,

מנסה להשיג

has been trying to get the full data in a usable form

את המידע המלא בפורמט שימושי מחברות התרופות

out of the drug companies,

כך שהם יוכלו לקבל החלטה שלמה

so they can make a full decision

about whether this drug is effective or not,

לגבי האפקטיביות שלה,

and they've not been able to get that information.

והם לא מצליחים להשיג את המידע הזה.

This is undoubtedly the single biggest ethical problem

זוהי ללא ספק

הבעיה האתית החמורה ביותר

facing medicine today.

ברפואה היום.

אנחנו לא יכולים לקבל החלטות

We cannot make decisions in the absence of all of the information.

ללא המידע המלא.

So it's a little bit difficult from there

אז קשה להוציא מכאן

to spin in some kind of positive conclusion.

איזו שהיא מסקנה חיובית.

אבל אני יכול לומר כך:

But I would say this:

I think that sunlight

אני חושב שהשמש

is the best disinfectant.

היא המחטא הטוב ביותר.

כל הדברים האלה מתרחשים לעיני כל,

All of these things are happening in plain sight,

and they're all protected by a force field of tediousness.

והם מוגנים

בשדה כוח טרחני.

And I think, with all of the problems in science,

ועם כל הבעיות במדע,

אחד הדברים הכי טובים שניתן לעשות

one of the best things that we can do

is to lift up the lid, finger around at the mechanics

זה להרים את המכסה,

ולהציץ פנימה.

and peer in.

תודה רבה.

Thank you very much.

(Applause)

(מחיאות כפיים)