What doctors don't know about the drugs they prescribe | Ben Goldacre

Translator: Joseph Geni Reviewer: Morton Bast

Translator: Antonius Yudi Sendjaja Reviewer: Yustina Suryanti

Hi. So, this chap here,

Pria ini

he thinks he can tell you the future.

merasa dia dapat memberi tahu masa depan.

His name is Nostradamus, although here the Sun have

Namanya Nostradamus, walaupun di tabloid the Sun ini

made him look a little bit like Sean Connery. (Laughter)

wajahnya agak mirip Sean Connery. (Tawa)

And like most of you, I suspect, I don't really believe

Dan seperti Anda kebanyakan, saya ragu, saya tidak percaya

that people can see into the future.

bahwa orang dapat melihat masa depan.

I don't believe in precognition, and every now and then,

Saya tidak pernah dan tidak akan percaya pada ramalan,

you hear that somebody has been able to predict something that happened in the future,

Anda pernah mendengar ada orang yang dapat meramal masa depan

and that's probably because it was a fluke, and we only

dan itu mungkin hanyalah kebetulan, dan kita hanya

hear about the flukes and about the freaks.

mendengar tentang kebetulan dan keganjilan.

We don't hear about all the times that people got stuff wrong.

Kita tidak pernah mendengar para peramal yang salah.

Now we expect that to happen with silly stories

Kini kita mengira hal itu hanya terjadi pada hal-hal konyol

about precognition, but the problem is,

namun masalahnya adalah

we have exactly the same problem in academia

masalah yang sama juga terjadi di dunia akademis,

and in medicine, and in this environment, it costs lives.

dan di bidang kedokteran, hal ini mengakibatkan hilangnya nyawa.

So firstly, thinking just about precognition, as it turns out,

Baiklah, pertama-tama, kita akan berbicara mengenai ramalan

just last year a researcher called Daryl Bem conducted

karena ternyata tahun lalu seorang peneliti bernama Daryl Bem

a piece of research where he found evidence

mengadakan penelitian di mana dia menemukan bukti

of precognitive powers in undergraduate students,

bahwa mahasiswa sarjana memiliki kekuatan untuk meramal

and this was published in a peer-reviewed academic journal

dan hasil ini diterbitkan di jurnal akademik

and most of the people who read this just said, "Okay, well,

dan kebanyakan orang yang membaca jurnal ini berkata, "Yah,

fair enough, but I think that's a fluke, that's a freak, because I know

cukup baik, namun saya rasa itu kebetulan, karena saya tahu

that if I did a study where I found no evidence

bahwa jika saya melakukan kajian dan tidak menemukan bukti

that undergraduate students had precognitive powers,

bahwa mahasiswa sarjana memiliki kekuatan untuk meramal,

it probably wouldn't get published in a journal.

hal itu tidak akan dapat diterbitkan di jurnal.

And in fact, we know that that's true, because

Dan sebenarnya, kita tahu hal itu benar

several different groups of research scientists tried

karena beberapa kelompok peneliti yang berbeda mencoba

to replicate the findings of this precognition study,

untuk mengulangi kajian ini

and when they submitted it to the exact same journal,

dan saat mereka mengirimkannya ke jurnal yang sama,

the journal said, "No, we're not interested in publishing

jurnal itu berkata, "Tidak, kami tidak tertarik untuk menerbitkan

replication. We're not interested in your negative data."

penelitian ulang. Kami tidak tertarik pada data buruk Anda."

So this is already evidence of how, in the academic

Hal ini telah menjadi bukti bagaimana di bidang akademik,

literature, we will see a biased sample of the true picture

kita akan melihat contoh yang berat sebelah dari gambaran sebenarnya

of all of the scientific studies that have been conducted.

akan semua penelitian ilmiah yang telah dilakukan.

But it doesn't just happen in the dry academic field of psychology.

Hal ini tidak hanya terjadi pada bidang psikologi.

It also happens in, for example, cancer research.

Namun juga terjadi, sebagai contoh, pada penelitian kanker.

So in March, 2012, just one month ago, some researchers

Jadi di bulan Maret 2012, bulan lalu, beberapa peneliti

reported in the journal Nature how they had tried

melaporkan di Nature bagaimana mereka mencoba

to replicate 53 different basic science studies looking at

mengulan 53 kajian ilmiah berbeda yang meneliti

potential treatment targets in cancer,

pengobatan potensial pada kanker,

and out of those 53 studies, they were only able

dan dari 53 kajian itu, mereka hanya dapat

to successfully replicate six.

mengulangi 6 kajian dengan sukses.

Forty-seven out of those 53 were unreplicable.

46 dari 53 kajian itu tidak dapat diulangi.

And they say in their discussion that this is very likely

Dan dalam diskusinya, mereka mengatakan bahwa hal ini sangat mungkin

because freaks get published.

disebabkan karena mereka menerbitkan kebetulan.

People will do lots and lots and lots of different studies,

Orang-orang akan melakukan banyak kajian berbeda

and the occasions when it works they will publish,

dan saat kajian itu berhasil, mereka akan menerbitkannya

and the ones where it doesn't work they won't.

dan saat kajian itu tidak berhasil, mereka tidak menerbitkannya.

And their first recommendation of how to fix this problem,

Sehingga saran mereka untuk mengatasi masalah ini,

because it is a problem, because it sends us all down blind alleys,

karena hal ini menjadi masalah, mengirim kita ke lorong yang gelap,

their first recommendation of how to fix this problem

saran pertama mereka untuk mengatasi masalah ini

is to make it easier to publish negative results in science,

adalah mempermudah penerbitan hasil ilmiah yang buruk,

and to change the incentives so that scientists are

dan mengubah dorongan yang diberikan sehingga para ilmuwan

encouraged to post more of their negative results in public.

terdorong untuk menerbitkan hasil buruk mereka kepada umum.

But it doesn't just happen in the very dry world

Namun hal ini tidak hanya terjadi pada bidang

of preclinical basic science cancer research.

penelitian ilmiah kanker praklinis.

It also happens in the very real, flesh and blood

Hal ini juga terjadi secara nyata

of academic medicine. So in 1980,

dalam bidang kedokteran. Pada tahun 1980

some researchers did a study on a drug called lorcainide,

beberapa peneliti melakukan kajian pada obat yang bernama lorcainide,

and this was an anti-arrhythmic drug,

yang merupakan obat untuk mengatasi

a drug that suppresses abnormal heart rhythms,

irama detak jantung yang tidak beraturan,

and the idea was, after people have had a heart attack,

dan idenya adalah, setelah seseorang mengalami serangan jantung,

they're quite likely to have abnormal heart rhythms,

mereka sangat mungkin memiliki irama jantung yang tidak normal

so if we give them a drug that suppresses abnormal heart

sehingga jika kita memberikan obat untuk menekan irama yang tidak normal ini,

rhythms, this will increase the chances of them surviving.

hal itu akan meningkatkan peluang orang itu bertahan hidup.

Early on its development, they did a very small trial,

Pada awal pengembangannya, mereka melakukan penelitian kecil

just under a hundred patients.

pada kurang dari 100 pasien.

Fifty patients got lorcainide, and of those patients, 10 died.

50 orang diberikan lorcainide, dan dari ke-50 orang itu, 10 orang meninggal.

Another 50 patients got a dummy placebo sugar pill

50 pasien lainnya diberikan plasebo

with no active ingredient, and only one of them died.

tanpa kandungan aktif apa-apa, dan hanya 1 orang yang meninggal.

So they rightly regarded this drug as a failure,

Jadi mereka menganggap itu adalah obat gagal,

and its commercial development was stopped, and because

dan pengembangan komersialnya dihentikan,

its commercial development was stopped, this trial was never published.

dan karena itu, percobaan ini tidak pernah diterbitkan.

Unfortunately, over the course of the next five, 10 years,

Sayangnya, selama 5 sampai 10 tahun berikutnya,

other companies had the same idea about drugs that would

perusahaan lainnya memiliki ide yang sama tentang obat yang akan

prevent arrhythmias in people who have had heart attacks.

mencegah irama jantung yang tidak normal pada penderita serangan jantung.

These drugs were brought to market. They were prescribed

Obat ini dipasarkan dan diresepkan dengan sangat luas

very widely because heart attacks are a very common thing,

karena serangan jantung adalah hal biasa,

and it took so long for us to find out that these drugs

dan perlu waktu sangat lama bagi kita untuk mengetahui bahwa

also caused an increased rate of death

obat ini meningkatkan resiko kematian

that before we detected that safety signal,

sehingga sebelum kita mengetahui tanda itu,

over 100,000 people died unnecessarily in America

lebih dari 100.000 orang meninggal di Amerika

from the prescription of anti-arrhythmic drugs.

akibat memakan obat ini.

Now actually, in 1993,

Sebenarnya di tahun 1993,

the researchers who did that 1980 study, that early study,

para peneliti yang melakukan kajian awal di tahun 1980 itu

published a mea culpa, an apology to the scientific community,

menerbitkan mea culpa, surat permohonan maaf kepada komunitas ilmiah

in which they said, "When we carried out our study in 1980,

di mana mereka berkata, "Saat kami melakukan kajian di tahun 1980,

we thought that the increased death rate that occurred

kami berpikir bahwa kematian yang lebih besar pada para penerima lorcainide

in the lorcainide group was an effect of chance."

adalah kebetulan."

The development of lorcainide was abandoned for commercial reasons,

Pengembangan lorcainide dihentikan karena alasan komersil

and this study was never published;

dan kajian ini tidak pernah diterbitkan.

it's now a good example of publication bias.

Ini adalah contoh yang bagus akan ketidakadilan dalam penerbitan.

That's the technical term for the phenomenon where

Itu adalah istilah teknis bagi peristiwa di mana

unflattering data gets lost, gets unpublished, is left

data yang buruk menghilang, tidak diterbitkan,

missing in action, and they say the results described here

dan mereka mengatakan hasil yang ada di sini

"might have provided an early warning of trouble ahead."

"mungkin menjadi peringatan awal akan masalah di masa depan."

Now these are stories from basic science.

Ini adalah kisah dari penelitian ilmiah dasar.

These are stories from 20, 30 years ago.

Ini adalah kisah dari 20 atau 30 tahun yang lalu.

The academic publishing environment is very different now.

Lingkungan penerbitan akademik kini benar-benar berbeda.

There are academic journals like "Trials," the open access journal,

Ada jurnal akademik seperti "Trials," dengan akses gratis

which will publish any trial conducted in humans

yang akan menerbitkan percobaan apapun pada manusia

regardless of whether it has a positive or a negative result.

entah hasilnya baik atau buruk.

But this problem of negative results that go missing in action

Namun masalah akan hasil buruk yang menghilang

is still very prevalent. In fact it's so prevalent

masih sangat lazim. Begitu lazimnya

that it cuts to the core of evidence-based medicine.

hingga menyentuh inti dari kedokteran berbasis bukti.

So this is a drug called reboxetine, and this is a drug

Inilah obat bernama reboxetine, saya sendiri

that I myself have prescribed. It's an antidepressant.

meresepkan obat ini. Ini adalah obat antidepresi.

And I'm a very nerdy doctor, so I read all of the studies

Saya adalah dokter kutu buku, sehingga saya membaca semua kajian

that I could on this drug. I read the one study that was published

tentang obat ini. Saya membaca sebuah kajian

that showed that reboxetine was better than placebo,

yang menunjkkan bahwa reboxetine lebih baik dibandingkan plasebo

and I read the other three studies that were published

dan ada 3 kajian lainnya yang diterbitkan

that showed that reboxetine was just as good as any other antidepressant,

yang menunjukkan bahwa reboxietine sama baiknya dengan obat antidepresi lainnya

and because this patient hadn't done well on those other antidepressants,

dan karena pasien ini tidak cocok dengan obat antidepresi yang lain,

I thought, well, reboxetine is just as good. It's one to try.

saya berpikir, reboxetine sama bagusnya, hanya salah satu pilihan untuk dicoba.

But it turned out that I was misled. In fact,

Namun ternyata saya disesatkan.

seven trials were conducted comparing reboxetine

Sebenarnya ada 7 kajian yang membandingkan reboxetine

against a dummy placebo sugar pill. One of them

dengan obat plasebo. Ada satu kajian

was positive and that was published, but six of them

yang hasilnya bagus dan diterbitkan, namun 6 kajian lainnya

were negative and they were left unpublished.

mendapat hasil buruk dan tidak diterbitkan.

Three trials were published comparing reboxetine

Tiga kajian yang membandingkan reboxetine

against other antidepressants in which reboxetine

dengan obat antidepresi lainnya menunjukkan

was just as good, and they were published,

reboxetine sama baiknya dengan yang lain dan diterbitkan,

but three times as many patients' worth of data was collected

namun data dari pasien yang jumlahnya 3 kali lebih banyak

which showed that reboxetine was worse than

yang menunjukkan bahwa reboxetine lebih buruk

those other treatments, and those trials were not published.

dibandingkan pengobatan lainnya, tidak diterbitkan.

I felt misled.

Saya merasa ditipu.

Now you might say, well, that's an extremely unusual example,

Anda mungkin berkata, itu contoh yang sangat tidak biasa

and I wouldn't want to be guilty of the same kind of

dan saya tidak ingin merasa bersalah karena

cherry-picking and selective referencing

masalah pemilihan hasil ini

that I'm accusing other people of.

di mana saya menggugat orang lain.

But it turns out that this phenomenon of publication bias

Namun ternyata peristiwa penerbitan yang timpang ini

has actually been very, very well studied.

telah sangat banyak dipelajari.

So here is one example of how you approach it.

Jadi inilah salah satu contoh pendekatannya.

The classic model is, you get a bunch of studies where

Model klasiknya adalah, ada sekelompok kajian di mana

you know that they've been conducted and completed,

Anda tahu kajian ini telah dilakukan dan diselesaikan

and then you go and see if they've been published anywhere

lalu Anda melihat hasilnya diterbitkan

in the academic literature. So this took all of the trials

pada jurnal akademik. Kajian ini mengambil semua penelitian

that had ever been conducted on antidepressants

yang pernah dilakukan pada obat antidepresi

that were approved over a 15-year period by the FDA.

yang disetujui oleh FDA selama 15 tahun terakhir.

They took all of the trials which were submitted to the FDA as part of the approval package.

Mereka melihat pada percobaan yang dikirimkan ke FDA sebagai bagian untuk mendapat persetujuan.

So that's not all of the trials that were ever conducted on these drugs,

Itu bukanlah semua percobaan yang pernah dilakukan pada obat ini

because we can never know if we have those,

karena kita tidak akan pernah tahu,

but it is the ones that were conducted in order to get the marketing authorization.

namun itulah data yang dilakukan untuk mendapatkan hak untuk pemasaran.

And then they went to see if these trials had been published

Lalu mereka melihat jika percobaan ini pernah diterbitkan

in the peer-reviewed academic literature. And this is what they found.

di jurnal akademik. Dan inilah yang mereka temukan.

It was pretty much a 50-50 split. Half of these trials

Hasilnya terbagi 50-50. Setengah dari percobaan ini

were positive, half of them were negative, in reality.

hasilnya bagus, dan setengahnya lagi buruk.

But when they went to look for these trials in the peer-reviewed academic literature,

namun saat mereka melihat percobaan ini di jurnal akademik,

what they found was a very different picture.

yang mereka temukan sangatlah berbeda.

Only three of the negative trials were published,

Hanya tiga dari hasil yang buruk ini diterbitkan,

but all but one of the positive trials were published.

namun hanya satu dari hasil yang baik yang tidak diterbitkan.

Now if we just flick back and forth between those two,

Jika kita membolak-balik kedua hasil ini

you can see what a staggering difference there was

Anda akan melihat perbedaan yang mencolok

between reality and what doctors, patients,

antara kenyataan dengan apa yang dilihat

commissioners of health services, and academics

oleh para dokter, pasien, anggota komisi kesehatan, dan akademisi

were able to see in the peer-reviewed academic literature.

di jurnal-jurnal akademik.

We were misled, and this is a systematic flaw

Kita dibohongi dan ini adalah kekurangan yang sistematik

in the core of medicine.

pada inti bidang kedokteran.

In fact, there have been so many studies conducted on

Sebenarnya, ada banyak kajian. lebih dari 100 kajian, yang dilakukan pada

publication bias now, over a hundred, that they've been

penerbitan yang berat sebelah, dan mereka mengumpulkan data

collected in a systematic review, published in 2010,

pada tinjauan sistematis yang diterbitkan pada tahun 2010,

that took every single study on publication bias

yang melihat pada setiap kajian dari penerbitan timpang

that they could find.

yang dapat mereka temukan.

Publication bias affects every field of medicine.

Ketimpangan dalam penerbitan memberi dampak pada setiap bidang kedokteran.

About half of all trials, on average, go missing in action,

Sekitar setengah dari seluruh percobaan menghilang

and we know that positive findings are around twice as likely

dan kita tahu bahwa hasil yang baik dua kali lebih mungkin

to be published as negative findings.

untuk dapat diterbitkan dibandingkan hasil yang buruk.

This is a cancer at the core of evidence-based medicine.

Ini adalah kanker pada inti dari pengobatan berbasis bukti.

If I flipped a coin 100 times but then

Jika saya melempar koin 100 kali

withheld the results from you from half of those tosses,

namun hanya mencatat setengah dari hasil lemparan itu

I could make it look as if I had a coin that always came up heads.

saya dapat membuatnya terlihat koin ini selalu menghasilkan kepala.

But that wouldn't mean that I had a two-headed coin.

Namun itu tidak berarti kedua koin saya adalah kepala.

That would mean that I was a chancer

Itu berarti saya adalah pengambil resiko

and you were an idiot for letting me get away with it. (Laughter)

dan Anda adaalah idiot yang membiarkan saya melakukannya. (Tawa)

But this is exactly what we blindly tolerate

Namun inilah yang kita biarkan

in the whole of evidence-based medicine.

pada kedokteran berbasis bukti

And to me, this is research misconduct.

Dan bagi saya, ini adalah kejahatan dalam penelitian.

If I conducted one study and I withheld

Jika saya melakukan sebuah kajian dan menahan

half of the data points from that one study,

setengah dari data dalam kajian itu,

you would rightly accuse me, essentially, of research fraud.

Anda dapat menuntut saya karena melakukan kecurangan.

And yet, for some reason, if somebody conducts

Namun, karena berbagai alasan, jika seseorang melakukan

10 studies but only publishes the five that give the result that they want,

10 kajian namun hanya menerbitkan 5 kajian yang memberikan hasil yang mereka inginkan,

we don't consider that to be research misconduct.

kita tidak menganggapnya melakukan kecurangan.

And when that responsibility is diffused between

Dan saat tanggung jawab itu terbagi di antara

a whole network of researchers, academics,

seluruh jaringan peneliti, akademisi,

industry sponsors, journal editors, for some reason

sponsor industri, penyunting jurnal, dan dalam beberapa hal

we find it more acceptable,

kia menganggap hal ini dapat diterima,

but the effect on patients is damning.

namun akibat bagi para pasien sangatlah buruk.

And this is happening right now, today.

Dan hal ini terjadi saat ini, hari ini.

This is a drug called Tamiflu. Tamiflu is a drug

Inilah obat bernama Tamiflu, obat di mana seluruh pemerintah

which governments around the world have spent billions

di dunia telah menghabiskan jutaan dolar

and billions of dollars on stockpiling,

untuk menumpuknya,

and we've stockpiled Tamiflu in panic,

dan kita menumpuk Tamiflu dengan panik

in the belief that it will reduce the rate of complications of influenza.

karena percaya bahwa obat ini dapat mengurangi laju komplikasi dari flu.

Complications is a medical euphemism for pneumonia

Komplikasi adalah kata yang halus dari pneumonia

and death. (Laughter)

dan kematian. (Tawa)

Now when the Cochrane systematic reviewers

Saat peninjau dari Cochrane melihatnya

were trying to collect together all of the data from all

dan mencoba mengumpulkan semua data dari

of the trials that had ever been conducted on whether Tamiflu actually did this or not,

semua percobaan yang pernah dilakukan, dan apakah Tamiflu bekerja atau tidak,

they found that several of those trials were unpublished.

mereka menemukan bahwa beberapa percobaan itu tidak diteribitkan.

The results were unavailable to them.

Hasilnya tidak tersedia.

And when they started obtaining the writeups of those trials through various different means,

Dan saat mereka mulai mendapat hasil penelitian ini melalui berbagai macam cara berbeda,

through Freedom of Information Act requests, through

lewat permintaan Aksi Kebebasan Informasi, lewat

harassing various different organizations, what they found was inconsistent.

menekan berbagai organisasi, apa yang mereka temukan adalah data yang tidak konsisten.

And when they tried to get a hold of the clinical study reports,

Lalu mereka mencoba menahan laporan kajian klinis ini,

the 10,000-page long documents that have

naskah sepanjang 10.000 halaman yang memuat

the best possible rendition of the information,

penampakan informasi terbaik yang mungkin diterbitkan,

they were told they weren't allowed to have them.

mereka berkata bahwa mereka tidak berhak memiliki naskah itu.

And if you want to read the full correspondence

Jika Anda ingin membaca percakapan utuh

and the excuses and the explanations given by the drug company,

termasuk alasan dan penjelasan yang diberikan oleh perusahaan obat itu,

you can see that written up in this week's edition

Anda dapat membacanya di PLOS Medicine

of PLOS Medicine.

edisi minggu ini.

And the most staggering thing of all of this, to me,

Dan yang paling mengejutkan dari hal ini

is that not only is this a problem, not only do we recognize

adalah bukan hanya ini menjadi masalah, bukan hanya kita tahu

that this is a problem, but we've had to suffer fake fixes.

bahwa ini adalah masalah, namun cara mengatasi masalah itu juga palsu.

We've had people pretend that this is a problem that's been fixed.

Kita telah melihat orang menganggap masalah ini sudah selesai.

First of all, we had trials registers, and everybody said,

Pertama, ada pendaftaran uji coba, dan orang-orang berkata

oh, it's okay. We'll get everyone to register their trials, they'll post the protocol,

baiklah. Semua orang harus mendaftarkan uji coba mereka, mereka mengirim prosedurnya,

they'll say what they're going to do before they do it,

mereka menjelaskan apa yang akan mereka lakukan sebelum melakukannya

and then afterwards we'll be able to check and see if all the trials which

lalu kita akan dapat menguji dan melihat apakah uji coba

have been conducted and completed have been published.

yang dilakukan telah diterbitkan.

But people didn't bother to use those registers.

Namun orang-orang tidak mempedulikan pendaftaran itu.

And so then the International Committee of Medical Journal Editors came along,

Sehingga Dewan Internasional dari Penyunting Jurnal datang

and they said, oh, well, we will hold the line.

dan berkata, bahwa mereka akan membuat aturan.

We won't publish any journals, we won't publish any trials,

Mereka tidak akan menerbitkan jurnal dan uji coba apapun

unless they've been registered before they began.

kecuali uji coba itu telah didaftarkan sebelumnya.

But they didn't hold the line. In 2008, a study was conducted

Namun mereka tidak memegang aturan itu. Di tahun 2008, sebuah kajian

which showed that half of all of trials published by journals

menunjukkan bahwa setengah uji coba yang diterbitkan di jurnal

edited by members of the ICMJE

yang disunting oleh anggota ICMJE

weren't properly registered, and a quarter of them weren't registered at all.

tidak terdaftar dengan benar, dan seperempatnya sama sekali tidak terdaftar.

And then finally, the FDA Amendment Act was passed

Akhirnya, Undang-Undang Perubahan FDA

a couple of years ago saying that everybody who conducts

yang mengatakan bahwa setiap orang yang melakukan uji coba

a trial must post the results of that trial within one year.

harus mengirimkan hasilnya dalam waktu satu tahun disetujui beberapa tahun yang lalu.

And in the BMJ, in the first edition of January, 2012,

Dan di dalam edisi pertama BMJ di bulan Januari 2012,

you can see a study which looks to see if people kept

Anda dapat melihat kajian yang melihat apakah orang-orang

to that ruling, and it turns out that only one in five

memegang aturan itu dan ternyata hanya 1 dari 5 orang

have done so.

yang melakukannya.

This is a disaster.

Ini adalah malapetaka.

We cannot know the true effects of the medicines

Kita tidak akan tahu dampak dari obat yang kita resepkan

that we prescribe if we do not have access

jika kita tidak memiliki akses

to all of the information.

pada semua informasi ini.

And this is not a difficult problem to fix.

Dan masalah ini tidak sulit untuk diselesaikan.

We need to force people to publish all trials

Kita harus memaksa orang-orang untuk menerbitkan semua uji coba

conducted in humans, including the older trials,

yang dilakukan pada manusia, termasuk uji coba terdahulu

because the FDA Amendment Act only asks that you publish the trials conducted after 2008,

karena Undang-Undang Perubahan FDA hanya meminta anda menerbitkan percobaan setelah tahun 2008

and I don't know what world it is in which we're only

dan saya tidak tahu di dunia seperti apa kita berada,

practicing medicine on the basis of trials that completed in the past two years.

di mana kita mempraktekkan kedokteran berdasarkan uji coba selama 2 tahun terakhir saja.

We need to publish all trials in humans,

Kita harus menerbitkan semua uji coba pada manusia

including the older trials, for all drugs in current use,

termasuk uji coba terdahulu, untuk semua obat yang sedang digunakan

and you need to tell everyone you know

dan Anda harus mengatakan kepada semua orang

that this is a problem and that it has not been fixed.

bahwa ini adalah masalah dan masalah ini belum selesai.

Thank you very much. (Applause)

Terima kasih banyak. (Tepuk tangan)

(Applause)

(Tepuk tangan)