Ben Goldacre: Battling Bad Science

Translator: handarmin - Reviewer: Antonius Yudi Sendjaja

So I'm a doctor, but I kind of slipped sideways into research,

Saya seorang dokter, tapi saya sedikit melenceng ke riset,

and now I'm an epidemiologist.

dan sekarang saya seorang ahli epidemiologi.

And nobody really knows what epidemiology is.

Tidak seorang pun benar-benar tahu apa itu epidemiologi.

Epidemiology is the science of how we know in the real world

Epidemiologi adalah ilmu tentang bagaimana kita tahu

if something is good for you or bad for you.

apakah sesuatu itu baik atau buruk untuk Anda.

And it's best understood through example

Ini paling mudah dipahami melalui contoh

as the science of those crazy, wacky newspaper headlines.

seperti ilmu pengetahuan dari berita-berita surat kabar gila itu.

And these are just some of the examples.

Dan ini hanya beberapa contohnya.

These are from the Daily Mail.

Ini dari Daily Mail. Setiap negara di dunia punya surat kabar seperti ini.

Every country in the world has a newspaper like this.

Ada proyek filosofi aneh yang sedang berjalan

It has this bizarre, ongoing philosophical project

untuk memilah benda-benda mati di dunia

of dividing all the inanimate objects in the world

ke dalam jenis yang dapat menyebabkan atau mencegah kanker.

into the ones that either cause or prevent cancer.

Here are some of the things they said cause cancer:

Jadi inilah beberapa hal yang belakangan ini dikatakan menyebabkan kanker:

perceraian, Wi-Fi, perlengkapan mandi, dan kopi.

divorce, Wi-Fi, toiletries and coffee.

Inilah beberapa hal yang dikatakan mencegah kanker:

Some things they say prevent cancer:

remah-remah, lada merah, akar manis, dan kopi.

crusts, red pepper, licorice and coffee.

Jadi Anda sudah dapat melihat ada kontradiksi.

So you can see there are contradictions.

Kopi menyebabkan dan mencegah kanker.

Coffee both causes and prevents cancer.

Ketika Anda mulai membaca, Anda dapat lihat

As you start to read on, you can see

that maybe there's some political valence behind some of this.

bahwa mungkin ada agenda politik tertentu di belakangnya.

For women, housework prevents breast cancer,

Jadi pekerjaan rumah bagi wanita adalah mencegah kanker payudara,

but for men, shopping could make you impotent.

tapi untuk pria, berbelanja dapat membuat Anda impoten.

(Laughter)

Jadi kita tahu bahwa kita perlu mulai

So we know that we need to start unpicking the science behind this.

membongkar ilmu pengetahuan di balik hal ini.

And what I hope to show is that unpicking the evidence behind dodgy claims

Apa yang saya harapkan

adalah membongkar klaim tidak jelas ini,

membongkar bukti di balik klaim tidak jelas ini,

isn't a kind of nasty, carping activity;

ini bukanlah kegiatan yang jelek;

it's socially useful.

ini berguna secara sosial,

But it's also an extremely valuable explanatory tool,

tapi ini juga alat penjelasan yang sangat

berguna.

because real science is about critically appraising the evidence

Karena ilmu pengetahuan yang sesungguhnya adalah tentang

menilai bukti bukti dari posisi orang lain dengan kritis.

for somebody else's position.

Itulah yang terjadi pada jurnal akademik.

That's what happens in academic journals,

Itulah yang terjadi pada konferensi akademik.

it's what happens at academic conferences --

Sesi tanya jawab setelah operasi saat dokter menunjukkan data

the Q&A session after a postdoc presents data is often a bloodbath.

sering bermandikan darah.

And nobody minds that; we actively welcome it.

Tidak ada yang keberatan. Kita dengan senang hati menerimanya.

It's like a consenting intellectual S&M activity.

Ini seperti memberi izin untuk kegiatan S&M intelektual.

(Laughter)

Jadi apa yang akan saya tunjukkan pada Anda

So what I'm going to show you is all of the main things,

adalah semua hal-hal utama,

semua hal-hal utama dari disiplin saya --

all of the main features of my discipline, evidence-based medicine.

pengobatan yang didasarkan pada bukti.

And I will talk you through all of these and demonstrate how they work,

Saya akan berbicara tentang semua ini

dan memperagakan bagaimana cara kerjanya,

exclusively using examples of people getting stuff wrong.

dengan contoh bagaimana orang melakukannya secara salah.

We'll start with the absolute weakest form of evidence known to man,

Jadi kita akan mulai dengan bentuk bukti terlemah yang diketahui manusia,

dan itu adalah otoritas.

and that is authority.

Dalam ilmu pengetahuan, kita tidak peduli berapa banyak huruf yang ada pada nama Anda.

In science, we don't care how many letters you have after your name --

Dalam ilmu pengetahuan, kita ingin tahu apakah alasan Anda mempercayai sesuatu.

we want to know what your reasons are for believing something.

Bagaimana Anda tahu sesuatu itu baik atau buruk

How do you know that something is good for us or bad for us?

bagi kita?

But we're also unimpressed by authority because it's so easy to contrive.

Tapi kita juga tidak suka dengan otoritas,

karena itu sangat mudah dirancang.

This is somebody called Dr. Gillian McKeith, PhD,

Inilah seseorang bernamal Dr. Gillian McKeith Ph.D,

atau, dengan gelar medisnya, Gillian McKeith.

or, to give her full medical title, Gillian McKeith.

(Tawa)

(Laughter)

Sekali lagi, setiap negara memiliki seseorang seperti ini.

Again, every country has somebody like this.

Dia guru diet TV kita.

She is our TV diet guru.

She has five series of prime-time television,

Dia memiliki 5 serial TV di jam-jam utama

giving out very lavish and exotic health advice.

memberikan nasihat kesehatan yang eksotis dan berlebihan.

She, it turns out, has a non-accredited correspondence course PhD

Dia, ternyata, memiliki kelas korespondensi doktoral yang tidak terakreditasi

dari suatu tempat di Amerika.

from somewhere in America.

She also boasts that she's a certified professional member

Dia juga sesumbar bahwa dia seorang anggota resmi badan profesional

Asosiasi Konsultan Nutrisi Amerika,

of the American Association of Nutritional Consultants,

yang terdengar sangat mewah dan menarik.

which sounds very glamorous; you get a certificate.

Anda mendapatkan sertifikat dan semuanya.

This one belongs to my dead cat, Hettie. She was a horrible cat.

Ini milik almarhum kucing saya, Hetti, Dia kucing yang sangat jelek.

Anda hanya perlu mengunjungi situsnya, mengisi formulirnya,

You go to the website, fill out the form,

berikan mereka $60, dan itu dikirim melalui pos.

give them $60, it arrives in the post.

Sekarang itu bukan hanya alasan mengapa kita pikir orang ini seorang idiot.

That's not the only reason we think this person is an idiot.

Dia juga mengatakan hal-hal seperti,

She also says things like eat lots of dark green leaves,

Anda seharusnya makan banyak daun-daunan hijau tua,

they contain chlorophyll and really oxygenate your blood.

karena mengandung banyak klorofil, dan akan mengoksigenisasi darah Anda.

Setiap orang yang pernah belajar biologi ingat

And anybody who's done school biology remembers

bahwa klorofil dan kloroplas

that chlorophyll and chloroplasts only make oxygen in sunlight,

hanya menghasilkan oksigen saat terpapar cahaya matahari,

and it's quite dark in your bowels after you've eaten spinach.

dan dalam perut Anda sangat gelap setelah Anda makan bayam.

Berikutnya, kita perlu ilmu pengetahuan dan bukti yang benar.

Next, we need proper science, proper evidence.

So: "Red wine can help prevent breast cancer."

Jadi, "Anggur merah dapat membantu mencegah kanker payudara."

Ini berita utama dari Daily Telegraph di Inggris.

This is a headline from The Daily Telegraph in the UK.

"Satu gelas anggur merah sehari dapat membantu mencegah kanker payudara."

"A glass of red wine a day could help prevent breast cancer."

Jadi Anda mencari surat kabar ini, dan apa yang Anda temukan

So you find this paper, and find that it is a real piece of science.

apakah itu ilmu pengetahuan yang benar.

It's a description of the changes in the behavior of one enzyme

Inilah deskripsi dari perubahan satu enzim

when you drip a chemical extracted from some red grape skin

ketika Anda meneteskan zat kimia yang diekstrak dari kulit anggur merah

pada beberapa sel kanker

onto some cancer cells

in a dish on a bench in a laboratory somewhere.

dalam mangkuk di meja laboratorium entah di mana.

And that's a really useful thing to describe in a scientific paper.

Dan itu sangat berguna untuk menggambarkannya

dalam makalah ilmiah,

But on the question of your own personal risk of getting breast cancer

tapi tentang pertanyaan mengenai risiko pribadi Anda

mendapat kanker payudara jika Anda minum anggur merah,

if you drink red wine,

sebenarnya menyuruh Anda meminumnya.

it tells you absolutely bugger all.

Sebenarnya, yang ada adalah risiko kanker payudara

Actually, it turns out that your risk of breast cancer

naik sedikit

increases slightly with every amount of alcohol you drink.

dengan setiap jumlah alkohol yang Anda minum.

So what we want are studies in real human people.

Jadi apa yang kita inginkan adalah kajian pada manusia asli.

And here's another example.

Inilah contoh lainnya.

This is from Britain's "leading" diet nutritionist in the Daily Mirror,

Ini berasal dari ahli nutrisi dan diet ternama Inggris di Daily Mirror,

yang merupakan surat kabar terlaris kedua kita.

our second-biggest selling newspaper.

"Sebuah kajian dari Australia tahun 2001

"An Australian study in 2001 found that olive oil,

menemukan bahwa minyak zaitun dengan buah, sayuran, dan kacang-kacangan

in combination with fruits, vegetables and pulses,

memberikan perlindungan terhadap pengerutan kulit."

offers measurable protection against skin wrinklings,"

Dan mereka memberikan nasihat:

and give the advice:

"Jika Anda makan minyak zaitun dan sayuran, Anda akan memiliki lebih sedikit kerutan."

"If you eat olive oil and vegetables, you'll have fewer wrinkles."

Mereka memberi tahu Anda bagaimana mendapatkan makalahnya.

They helpfully tell you how to find the paper,

Lalu Anda mencari makalahnya, dan apa yang Anda dapat adalah hasil pengamatan.

and what you find is an observational study.

Sudah jelas tidak ada orang yang dapat

Obviously, nobody has been able to go back to 1930,

kembali ke tahun 1930,

mengumpulkan semua yang lahir dalam satu unit kelahiran,

get all the people born in one maternity unit,

and half of them eat lots of fruit and veg and olive oil,

dan setengah dari mereka memakan banyak buah dan sayuran dan minyak zaitun,

dan setengah dari mereka memakan McDonald's,

half of them eat McDonald's,

and then we see how many wrinkles you've got later.

dan kemudian kita lihat berapa banyak kerutan mereka.

Anda harus mengambil gambar bagaimana mereka sekarang.

You have to take a snapshot of how people are now.

Yang Anda temukan, tentu saja,

And what you find is, of course:

orang yang makan sayuran dan minyak zaitun memiliki lebih sedikit kerutan.

people who eat veg and olive oil have fewer wrinkles.

But that's because people who eat fruit and veg and olive oil are freaks --

Tapi itu karena orang yang makan buah, sayuran, dan minyak zaitun,

adalah orang gila, tidak normal, mereka seperti Anda;

they're not normal, they're like you; they come to events like this.

mereka datang ke acara-acara seperti ini.

(Laughter)

Mereka mewah, kaya, dan kemungkinan kecil bekerja di lapangan,

They're posh, they're wealthy, less likely to have outdoor jobs,

mereka kemungkinan kecil melakukan pekerjaan kasar,

less likely to do manual labor,

they have better social support, are less likely to smoke;

mereka punya dukungan sosial yang lebih bagus, lebih mungkin tidak merokok --

jadi untuk segala alasan sosial, politik, dan budaya

for a host of fascinating, interlocking

yang mengagumkan dan saling tergantung,

social, political and cultural reasons,

mereka kemungkinan kecil memiliki kerutan kulit.

they're less likely to have wrinkles.

Itu tidak berarti bahwa itu berkat sayuran atau minyak zaitun.

That doesn't mean it's the vegetables or olive oil.

(Tawa)

(Laughter)

Jadi idealnya apa yang diinginkan adalah sebuah uji coba.

So ideally, what you want to do is a trial.

People think they're familiar with the idea of a trial.

Semua orang berpikir mereka akrab dengan ide uji coba.

Uji coba itu sudah sangat tua. Uji coba pertama ada di alkitab -- Daniel 1:12.

Trials are old; the first one was in the Bible, Daniel 1:12.

Sangat ringkas -- Anda mengumpulkan sekumpulan orang, bagi mereka menjadi dua.

It's straightforward: take a bunch of people, split them in half,

Anda memperlakukan satu grup dengan satu cara, dan yang lainnya dengan cara lain,

treat one group one way, the other group, the other way.

dan sesaat kemudian, Anda mencari mereka

A while later, you see what happened to each of them.

dan melihat apa yang terjadi pada mereka.

Jadi saya akan memberi tahu Anda tentang satu uji coba,

I'm going to tell you about one trial,

yang mungkin adalah uji coba yang paling banyak dilaporkan

which is probably the most well-reported trial

di media Inggris dalam dekade terakhir.

in the UK news media over the past decade.

Ini uji coba dari pil minyak ikan.

This is the trial of fish oil pills.

Klaimnya, pil minyak ikan meningkatkan prestasi dan perilaku di sekolah

The claim: fish oil pills improve school performance and behavior

pada anak-anak sekolah umum.

in mainstream children.

Mereka berkata, "Kami telah melakukan uji coba.

They said, "We did a trial.

All the previous ones were positive, this one will be too."

Semua uji coba sebelumnya adalah positif dan kita tahu ini juga akan sama."

Itu seharusnya selalu mengkhawatirkan.

That should ring alarm bells:

Karena jika Anda sudah tahu hasil uji cobanya, tidak seharusnya uji coba itu dilakukan.

if you know the answer to your trial, you shouldn't be doing one.

Entah karena desainnya sudah bagus,

Either you've rigged it by design,

or you've got enough data so there's no need to randomize people anymore.

atau karena datanya sudah cukup sehingga tak perlu lagi mengambil orang secara acak.

Jadi inilah apa yang mereka lakukan diuji coba mereka.

So this is what they were going to do in their trial:

They were taking 3,000 children,

Mereka mengambil 3.000 anak-anak,

they were going to give them these huge fish oil pills, six of them a day,

mereka akan memberi mereka semua pil minyak ikan besar ini,

6 butir setiap harinya,

and then, a year later, measure their school exam performance

dan setahun kemudian, mereka akan mengukur prestasi ujian sekolah mereka

and compare their performance

dan membandingkan nilai ujian mereka

against what they predicted their exam performance would have been

dengan nilai ujian yang mereka perkirakan jika mereka

tidak makan pil itu.

if they hadn't had the pills.

Now, can anybody spot a flaw in this design?

Sekarang siapa saja yang dapat melihat adanya kekurangan dalam desain ini?

(Laughter)

Profesor di bidang metodologi uji coba klinis

And no professors of clinical trial methodology

are allowed to answer this question.

tidak diperbolehkan menjawab pertanyaan ini.

So there's no control group.

Jadi tidak ada kontrol, tidak ada grup kontrol.

But that sounds really techie, right? That's a technical term.

Tapi itu kedengaran terlalu teknis.

Itu istilah yang teknis.

The kids got the pills, and their performance improved.

Anak-anak ini makan pilnya, dan kemudian prestasi mereka naik.

What else could it possibly be if it wasn't the pills?

Apa lagi alasan yang mungkin selain karena pilnya?

Mereka bertambah tua. Kita semua bertumbuh seiring waktu.

They got older; we all develop over time.

And of course, there's the placebo effect,

Tentu saja, ada juga efek plasebonya.

one of the most fascinating things in the whole of medicine.

Efek plasebo adalah salah satu hal paling mengesankan dalam dunia pengobatan.

Itu bukan hanya tentang minum pil dan prestasi dan rasa sakit Anda membaik.

It's not just taking a pill and performance or pain improving;

Itu tentang kepercayaan dan pengharapan kita.

it's about our beliefs and expectations, the cultural meaning of a treatment.

Itu tentang arti budaya dari sebuah pengobatan.

Ini telah ditunjukkan dalam sebuah kajian lengkap yang mengesankan

And this has been demonstrated in a whole raft of fascinating studies

membandingkan satu macam plasebo dengan yang lainnya.

comparing one kind of placebo against another.

So we know, for example,

Jadi kita tahu, contohnya, dua pil gula setiap hari

that two sugar pills a day are a more effective treatment

adalah pengobatan yang lebih efektif untuk mengusir sariawan lambung

for gastric ulcers

daripada satu pil gula.

than one sugar pill.

Dua pil gula setiap hari mengalahkan satu pil gula setiap hari.

Two sugar pills a day beats one a day.

Itu penemuan yang konyol, tapi itu benar.

That's an outrageous and ridiculous finding, but it's true.

We know from three different studies on three different types of pain

Kita tahu dari 3 kajian berbeda pada 3 tipe rasa sakit berbeda

bahwa suntikan air garam itu pengobatan yang lebih efektif

that a saltwater injection is a more effective treatment

daripada pil gula, minum pil bohongan yang tidak mengandung obat apapun --

than a sugar pill, a dummy pill with no medicine in it,

not because the injection or pills do anything physically to the body,

bukan karena suntikan atau pil itu melakukan sesuatu dengan tubuh kita,

but because an injection feels like a much more dramatic intervention.

tapi karena sebuah suntikan terasa seperti tindakan yang lebih dramatis.

Jadi kita tahu bahwa kepercayaan dan pengharapan

So we know that our beliefs and expectations can be manipulated,

dapat dimanipulasi,

which is why we do trials where we control against a placebo,

oleh karena itu kita melakukan uji coba

di mana kita mengontrol terhadap sebuah plasebo --

where one half of the people get the real treatment,

di mana setengah dari orang orang mendapatkan pengobatan sesungguhnya

and the other half get placebo.

dan setengahnya lagi mendapatkan plasebo.

But that's not enough.

Tapi itu tidak cukup.

What I've just shown you are examples

Apa yang baru saja saya tunjukkan adalah contoh cara sederhana dan terus terang

of the very simple and straightforward ways

bagaimana jurnalis dan penjual pil suplemen makanan

that journalists and food supplement pill peddlers and naturopaths

dan naturopatik

can distort evidence for their own purposes.

dapat mengubah bukti demi tujuan mereka.

What I find really fascinating

Apa yang saya pikir benar-benar mengesankan

is that the pharmaceutical industry uses exactly the same kinds

adalah bahwa industri farmasi

menggunakan trik dan alat-alat yang sama

of tricks and devices,

tapi dengan versi yang lebih sedikit lebih rumit,

but slightly more sophisticated versions of them,

in order to distort the evidence they give to doctors and patients,

untuk mengubah bukti yang mereka berikan kepada dokter dan pasien,

yang kita gunakan untuk mengubah keputusan yang penting.

and which we use to make vitally important decisions.

So firstly, trials against placebo:

Pertama, uji coba terhadap plasebo:

setiap orang berpikir mereka tahu bagaimana uji coba seharusnya

everybody thinks a trial should be a comparison

adalah perbandingan dari obat baru Anda terhadap plasebo.

of your new drug against placebo.

Tapi sebenarnya pada banyak situasi hal itu salah.

But in a lot of situations that's wrong;

Karena sering kita sudah mendapat pengobatan sangat bagus yang sudah tersedia,

often, we already have a good treatment currently available.

jadi kita tidak ingin tahu apakah pengobatan alternatif baru Anda

So we don't want to know that your alternative new treatment

lebih baik daripada tidak melakukan apa apa.

is better than nothing,

Kita ingin tahu apakah itu lebih baik daripada pengobatan terbaik yang ada.

but that it's better than the best available treatment we have.

Tetap, Anda melihat orang orang terus melakukan uji coba

And yet, repeatedly, you consistently see people doing trials

terhadap plasebo.

still against placebo.

And you can get licensed to bring your drug to market

Anda mendapatkan izin membawa obat Anda ke pasaran

with only data showing that it's better than nothing,

hanya dengan data yang menunjukkan itu lebih baik daripada tidak sama sekali,

yang tak berguna untuk dokter seperti saya yang berusaha mengambil keputusan.

which is useless for a doctor like me trying to make a decision.

Tapi itu bukan satu-satunya cara melengkapi data Anda.

But that's not the only way you can rig your data.

Anda juga dapat melakukannya

You can also rig your data

dengan membuat hal di mana Anda membandingkan obat baru Anda

by making the thing you compare your new drug against

dengan sampah.

really rubbish.

You can give the competing drug in too low a dose,

Anda dapat memberikan obat pesaing dalam dosis yang sangat rendah,

sehingga orang tak terobati dengan layak.

so people aren't properly treated.

Anda dapat memberikan obat pesaing dalam dosis yang sangat tinggi,

You can give the competing drug in too high a dose,

sehingga orang terkena efek sampingnya.

so people get side effects.

And this is exactly what happened

Inilah apa yang terjadi

with antipsychotic medication for schizophrenia.

dengan obat antipsikotik untuk schizophrenia.

Twenty years ago, a new generation of antipsychotic drugs were brought in;

20 tahun yang lalu, sebuah obat antipsikotik generasi baru ditemukan

dan janjinya obat itu memiliki lebih sedikit efek samping.

the promise was they would have fewer side effects.

Jadi orang melakukan uji coba obat baru ini

So people set about doing trials of the new drugs against the old drugs.

dibandingkan dengan obat lama,

But they gave the old drugs in ridiculously high doses:

tapi mereka memberikan obat lama ini dengan dosis yang sangat tinggi --

20 miligram haloperidol per hari.

20 milligrams a day of haloperidol.

Itu kesimpulan yang tidak berguna,

And it's a foregone conclusion if you give a drug at that high a dose,

karena jika Anda memberikan obat dengan dosis setinggi itu,

it will have more side effects, and your new drug will look better.

itu akan membawa lebih banyak efek samping dan obat baru akan terlihat lebih baik.

10 tahun lalu, sejarah terulang sendiri dengan menarik,

Ten years ago, history repeated itself,

ketika risperidone, yang merupakan obat antipsikotik generasi baru pertama,

when risperidone, the first of the new-generation antipsychotic drugs,

keluar dari perlindungan hak cipta, sehingga semua orang dapat membuatnya.

came off copyright, so anybody could make copies.

Everybody wanted to show their drug was better than risperidone,

Semua orang ingin menunjukkan bahwa obat mereka lebih baik dari risperidone,

jadi Anda melihat ada banyak uji coba membandingkan obat antipsikotik baru

so you see trials comparing new antipsychotic drugs

dengan risperidone dengan dosis 8 miligram perhari.

against risperidone at eight milligrams a day.

Sekali lagi, bukan dosis yang gila, dosis yang ilegal,

Again, not an insane dose, not an illegal dose,

tapi berada pada batas atas dosis yang normal.

but very much at the high end of normal.

Jadi Anda terpaksa membuat obat baru Anda terlihat lebih baik.

So you're bound to make your new drug look better.

Jadi itu bukan hal mengejutkan bahwa pada umumnya,

And so it's no surprise that overall,

industry-funded trials are four times more likely

uji coba yang disponsori oleh industri

4 kali lebih mungkin menghasilkan hasil yang bagus

to give a positive result

than independently sponsored trials.

dibandingkan uji coba yang didanai secara terpisah.

But -- and it's a big but --

Tapi -- dan ini tapi yang besar --

(Laughter)

(Tawa)

kenyataannya,

it turns out,

when you look at the methods used by industry-funded trials,

ketika Anda melihat metode yang digunakan uji coba yang didanai industri.

di mana hasilnya lebih baik

that they're actually better than independently sponsored trials.

daripada uji coba yang didanai secara terpisah.

And yet, they always manage to get the result that they want.

Mereka tetap selalu mendapat hasil yang mereka inginkan.

So how does this work?

Jadi bagaimana hal ini bekerja?

(Laughter)

Bagaimana kita dapat menjelaskan fenomena aneh ini.

How can we explain this strange phenomenon?

Well, it turns out that what happens

Ternyata apa yang terjadi

is the negative data goes missing in action;

adalah data negatif hilang dalam prosesnya;

it's withheld from doctors and patients.

data itu ditahan dari dokter dan pasien.

And this is the most important aspect of the whole story.

Ini aspek paling penting dari seluruh kisah ini.

Itu berada pada ujung atas piramida buktinya.

It's at the top of the pyramid of evidence.

Kita perlu memiliki semua data dari pengobatan tertentu

We need to have all of the data on a particular treatment

agar tahu apakah itu benar-benar efektif atau tidak.

to know whether or not it really is effective.

Ada dua cara berbeda di mana Anda dapat melihat

There are two different ways you can spot whether some data has gone missing.

apakah beberapa data telah hilang dalam prosesnya.

Ada dapat menggunakan statistik atau cerita.

You can use statistics or you can use stories.

I prefer statistics, so that's what I'll do first.

Saya pribadi memilih statistik, jadi itu yang akan saya lakukan pertama.

This is a funnel plot.

Ini sesuatu yang disebut plot corong.

A funnel plot is a very clever way of spotting

Plot corong adalah cara yang sangat pintar untuk melihat

if small negative trials have disappeared, have gone missing in action.

jika uji coba negatif kecil telah hilang, dalam prosesnya.

This is a graph of all of the trials done on a particular treatment.

Jadi inilah grafik dari semua uji coba

yang telah dilakukan terhadap pengobatan tertentu.

As you go up towards the top of the graph,

Ketika Anda bergerak ke bagian atas grafiknya,

what you see is each dot is a trial.

apa yang Anda lihat setiap titik adalah sebuah uji coba.

As you go up, those are bigger trials, so they've got less error;

Naik ke atas, itu uji coba yang lebih besar, lebih sedikit kesalahan di dalamnya.

they're less likely to be randomly false positives or negatives.

Jadi lebih kecil kemungkinan adanya positif palsu acak, negatif palsu acak.

So they all cluster together.

Jadi semuanya berkelompok.

The big trials are closer to the true answer.

Uji coba besar itu lebih dekat ke jawaban sebenarnya.

Then as you go further down at the bottom,

Kemudian ketika Anda bergerak turun ke bawah,

what you can see is, on this side, spurious false negatives,

apa yang Anda lihat, pada sisi ini, negatif palsu,

and over on this side, spurious false positives.

dan pada sisi ini, positif palsu.

Jika ada keberpihakan dalam publikasi,

If there is publication bias,

jika uji coba negatif kecil telah hilang,

if small negative trials have gone missing in action,

you can see it on one of these graphs.

Anda dapat melihatnya dalam salah satu grafik ini.

So you see here that the small negative trials

Jadi Anda dapat melihat di sini ada uji coba negatif kecil

that should be on the bottom left have disappeared.

yang seharusnya ada di sisi kiri bawah telah hilang.

Grafik ini memperagakan adanya keberpihakan publikasi

This is a graph demonstrating the presence of publication bias

dalam kajian tentang keberpihakan publikasi.

in studies of publication bias.

Saya pikir itu lelucon epidemiologi terlucu

And I think that's the funniest epidemiology joke you will ever hear.

yang Anda akan pernah dengar.

(Laughter)

Itulah bagaimana Anda dapat membuktikannya dengan statistik,

That's how you can prove it statistically.

tapi bagaimana dengan cerita?

But what about stories?

Well, they're heinous, they really are.

Itu sangat mengerikan.

This is a drug called reboxetine.

Inilah obat yang disebut reboxetine.

This is a drug which I, myself, have prescribed to patients.

Ini obat yang saya telah resepkan sendiri ke pasien.

Saya seorang dokter yang sangat kutu buku.

And I'm a very nerdy doctor.

I hope I go out of my way

Saya mencoba membaca dan mengerti semua literatur yang ada.

to try and read and understand all the literature.

Saya membaca uji coba ini. Semuanya positif. Semuanya dilakukan dengan benar.

I read the trials on this.

They were all positive, all well-conducted.

Tidak ada kesalahan yang saya temukan.

I found no flaw.

Sialnya, kenyataannya,

Unfortunately, it turned out, that many of these trials were withheld.

banyak dari uji coba ini yang ditahan.

In fact, 76 percent of all of the trials that were done on this drug

Sebenarnya, 76 persen

dari semua uji coba yang dilakukan pada obat ini

ditahan dari dokter dan pasien.

were withheld from doctors and patients.

Sekarang jika Anda pikirkan ini,

Now if you think about it,

if I tossed a coin a hundred times,

Jika saya melemparkan koin seratus kali,

and I'm allowed to withhold from you the answers half the times,

dan saya diperbolehkan menahan jawabannya

setengah dari jumlah lemparan,

then I can convince you that I have a coin with two heads.

saya dapat meyakinkan Anda

bahwa saya memiliki koin bersisi sama.

If we remove half of the data,

Jika kita membuang sebagian data,

we can never know what the true effect size of these medicines is.

kita tidak akan pernah tahu apa efek sebenarnya dari obat-obatan ini.

Ini bukan cerita tersendiri.

And this is not an isolated story.

Sekitar setengah dari data uji coba terhadap antidepresan telah ditahan,

Around half of all of the trial data on antidepressants has been withheld,

tapi itu lebih dari itu.

but it goes way beyond that.

The Nordic Cochrane Group were trying to get ahold of the data on that

Grup Nordic Cochrane mencoba mendapatkan data-data yang ditahan

untuk digabungkan.

to bring it all together.

Grup Cochrane adalah kerja sama nirlaba internasional

The Cochrane Groups are an international nonprofit collaboration

yang memproduksi ulasan sistematik dari data-data yang pernah ditunjukkan.

that produce systematic reviews

of all of the data that has ever been shown.

Dan mereka memerlukan akses ke semua data uji coba.

And they need to have access to all of the trial data.

Tapi perusahaan-perusahaan menahan data data itu dari mereka,

But the companies withheld that data from them.

So did the European Medicines Agency --

dan juga Agensi Obat-obatan Eropa

selama 3 tahun.

for three years.

This is a problem that is currently lacking a solution.

Ini masalah yang kekurangan jalan keluar.

And to show how big it goes, this is a drug called Tamiflu,

Untuk menunjukkan seberapa besar hal ini, inilah obat yang disebut Tamiflu,

which governments around the world

di mana semua pemerintahan di seluruh dunia

have spent billions and billions of dollars on.

telah menghabiskan miliaran dolar untuk ini.

Mereka menghabiskan uang itu pada janji

And they spend that money on the promise that this is a drug

di mana obat ini akan menurunkan

which will reduce the rate of complications with flu.

laju komplikasi dari flu.

Kita telah memiliki data

We already have the data

showing it reduces the duration of your flu by a few hours.

yang menunjukkan obat ini menurunkan durasi flu Anda beberapa jam.

Tapi saya tidak terlalu peduli tentang itu. Pemerintah tidak terlalu peduli tentang itu.

But I don't care about that, governments don't care.

Saya minta maaf jika Anda terkena flu, saya tahu itu tidak enak,

I'm sorry if you have the flu, I know it's horrible,

tapi kita tidak akah menghabiskan miliaran dolar

but we're not going to spend billions of dollars

untuk mencoba mengurangi durasi gejala flu

trying to reduce the duration of your flu symptoms by half a day.

sebanyak setengah hari.

We prescribe these drugs.

Kita memberikan obat ini, kita menumpuknya untuk kondisi darurat

We stockpile them for emergencies

dengan pengertian obat ini akan mengurangi jumlah komplikasi,

on the understanding they'll reduce the number of complications,

yang berarti pneumonia dan berarti kematian.

which means pneumonia and death.

Grup Chochrane untuk penyakit menular, yang bermarkas di Italia,

The infectious diseases Cochrane Group, which are based in Italy,

telah mencoba mendapatkan

has been trying to get the full data in a usable form

data lengkap dalam bentuk yang dapat digunakan dari perusahaan obat

out of the drug companies,

sehingga mereka dapat membuat keputusan penuh

so they can make a full decision

about whether this drug is effective or not,

apakah obat ini efektif atau tidak,

and they've not been able to get that information.

dan mereka belum berhasil mendapatkan informasi itu.

This is undoubtedly the single biggest ethical problem

Ini sudah pasti

adalah masalah etika terbesar

facing medicine today.

yang dihadapi dunia pengobatan sekarang.

Kita tidak bisa mengambil keputusan

We cannot make decisions in the absence of all of the information.

tanpa adanya informasi lengkap.

So it's a little bit difficult from there

Jadi sedikit lebih sulit dari sana

to spin in some kind of positive conclusion.

untuk dapat mengeluarkan kesimpulan yang positif.

Tapi saya akan katakan ini:

But I would say this:

I think that sunlight

Saya pikir cahaya matahari

is the best disinfectant.

adalah pembasmi kuman terbaik.

Semua hal ini terjadi dalam pandangan yang jelas,

All of these things are happening in plain sight,

and they're all protected by a force field of tediousness.

dan mereka semua terlindungi

oleh selimut kemonotonan.

And I think, with all of the problems in science,

Dan saya pikir, dengan semua masalah yang ada pada ilmu pengetahuan,

salah satu hal terbaik yang bisa kita lakukan

one of the best things that we can do

is to lift up the lid, finger around at the mechanics

adalah mengangkat tutupnya,

bermain di sekitar mesinnya dan mengintip ke dalam.

and peer in.

Terima kasih banyak.

Thank you very much.

(Applause)

(Tepuk tangan)