Ben Goldacre: Battling Bad Science

번역: Jeong-Lan Kinser 검토: Bianca Lee

So I'm a doctor, but I kind of slipped sideways into research,

그래서요, 저는 의사랍니다, 하지만 저는 연구계로 미끄러져 들어와

and now I'm an epidemiologist.

이제는 역학자(epidemiologist)가 되었답니다

And nobody really knows what epidemiology is.

실제로는 아무도 역학이 뭔지를 몰라요

Epidemiology is the science of how we know in the real world

역학 (epidemiology)은 이 세계의 무언가가 우리에게 이로운지 해로운지

if something is good for you or bad for you.

우리가 아는 방법에 대한 과학입니다

And it's best understood through example

그건 말도 안되고 괴짜같은 뉴스 헤드라인의 과학과 같은

as the science of those crazy, wacky newspaper headlines.

예를 통해 잘 이해될 수 있습니다

And these are just some of the examples.

이건 몇가지의 예입니다

These are from the Daily Mail.

이건 데일리 메일 (Daily Mail)에 난 기사입니다. 모든 나라들은 이것과 비슷한 신문이 있죠

Every country in the world has a newspaper like this.

그건 이 세계의 움직이지 않는 물체들을

It has this bizarre, ongoing philosophical project

암을 야기시키거나 방지하는 물체로

of dividing all the inanimate objects in the world

분류하는 것인 괴상하면서도 지속적인 철학 프로젝트입니다

into the ones that either cause or prevent cancer.

Here are some of the things they said cause cancer:

여기 그들이 최근에 암을 야기시킨다고 말한 몇가지가 있습니다:

이혼, 와이-파이 (Wi-Fi), 세면도구, 그리고 커피

divorce, Wi-Fi, toiletries and coffee.

여기 그들이 암을 예방한다고 말한 몇가지가 있습니다

Some things they say prevent cancer:

빵껍질, 고추, 감초, 그리고 커피

crusts, red pepper, licorice and coffee.

여러분은 이미 모순이 있다는걸 볼 수 있습니다

So you can see there are contradictions.

커피는 암을 야기시키기도 하고 예방하기도 합니다

Coffee both causes and prevents cancer.

계속 기사를 읽어감에 따라,

As you start to read on, you can see

that maybe there's some political valence behind some of this.

이 배경에는 정치적 베일같은게 드리워져 있을 수 있다는것을 알게되죠

For women, housework prevents breast cancer,

여성을 위해서는, 가사일이 유방암을 예방하지만,

but for men, shopping could make you impotent.

남성에 대해서는, 쇼핑이 발기부전을 일으킬 수 있습니다

(Laughter)

그래서 우리는 이 배경의 과학을 후벼

So we know that we need to start unpicking the science behind this.

잘못짜진 바늘땀을 풀기 시작해야 할 필요가 있습니다

And what I hope to show is that unpicking the evidence behind dodgy claims

제가 보여드리고 싶은것은

책략적인 주장을 후벼 바늘땀을 푸는 것,

책략적인 주장 배경의 증거를 후벼 바늘땀을 푸는 것은,

isn't a kind of nasty, carping activity;

형편없이 트집잡는 활동의 종류가 아니라는 것입니다;

it's socially useful.

그건 사회적으로 유용하지만,

But it's also an extremely valuable explanatory tool,

또한 극도로 가치있는

설명의 수단이라는 것입니다

because real science is about critically appraising the evidence

왜냐하면 실제 과학은

누군가의 지위를 위한 증거를 비판적으로 평가하는 것이기 때문입니다

for somebody else's position.

그게 학술 저널에서 일어나는 일이지요

That's what happens in academic journals,

그게 학술 컨퍼런스에서 일어나는 일이지요

it's what happens at academic conferences --

수술후 회복실 병실에서 보여주는 데이터 이후의 질의응답 (Q&A) 시간은

the Q&A session after a postdoc presents data is often a bloodbath.

종종 피바다를 이룹니다

And nobody minds that; we actively welcome it.

그리고 아무도 개의치 않습니다. 우리는 적극적으로 그걸 환영하죠

It's like a consenting intellectual S&M activity.

그건 마치 지성적인 가학피학증 (Sado-Masochism) 활동을 동의하는 것과 같습니다

(Laughter)

그래서 제가 보여드리고자 하는것은

So what I'm going to show you is all of the main things,

증거를 기반으로한 약제인

제 학문분야 원리의 주요 특징들의 전부인,

all of the main features of my discipline, evidence-based medicine.

주요점들입니다

And I will talk you through all of these and demonstrate how they work,

저는 이 모든것들의 전 과정을 이야기해드릴 것이고

그것이 어떻게 작용하는지 보여드리겠습니다

exclusively using examples of people getting stuff wrong.

특별히 사람들이 잘못 이해하는 예를 이용해서요

We'll start with the absolute weakest form of evidence known to man,

사람들에게 알려진 증거의 절대적으로 가장 약한 형태부터 시작하겠는데,

그건 권위입니다

and that is authority.

과학에서는, 사람의 이름에 글자가 몇개 들어있는지 상관하지 않습니다

In science, we don't care how many letters you have after your name --

과학에서는, 사람이 어떤것을 믿는 이유를 알고 싶어합니다

we want to know what your reasons are for believing something.

뭔가가 우리에게 이득이 되는지♪

How do you know that something is good for us or bad for us?

해로운지 어떻게 아십니까?

But we're also unimpressed by authority because it's so easy to contrive.

또한 권위가 대단하다고 생각하지 않는데,

왜냐면 그것은 쉽게 고안될 수 있는것이기 때문이죠

This is somebody called Dr. Gillian McKeith, PhD,

이 사람은 질리안 맥키스 (Gillian McKeith) 박사인데,

또는, 그녀의 의료계에서의 완전한 호칭은, 질리안 맥키스(Gillian McKeith)입니다

or, to give her full medical title, Gillian McKeith.

(웃음)

(Laughter)

다시 말하자면, 모든 국가에는 이 사람과 비슷한 어떤 사람이 있습니다

Again, every country has somebody like this.

그녀는 우리의 TV 식이요법 전문가입니다

She is our TV diet guru.

She has five series of prime-time television,

그녀는 텔레비젼 황금시간대의 거대한 5개 시리즈를 확보해

giving out very lavish and exotic health advice.

호화롭고 이국적인 건강조언을 베풉니다

She, it turns out, has a non-accredited correspondence course PhD

판명이 난것은, 그녀는 아메리카 어딘가에서 인증받지 않은

통신과정의 박사학위를 땄습니다

from somewhere in America.

She also boasts that she's a certified professional member

그녀는 또한 그녀가 아주 화려하고 흥미로운

미국의 영양 상담자 협회의

of the American Association of Nutritional Consultants,

공인 전문 회원이라고 자랑합니다

which sounds very glamorous; you get a certificate.

모든것에 자격증을 받습니다

This one belongs to my dead cat, Hettie. She was a horrible cat.

이 자격증은 저의 죽은 고양이인 헤티 (Hetti) 가 받은 겁니다. 그녀는 끔찍한 고양이였습니다

누구나 웹사이트로 가서, 양식을 적어넣고,

You go to the website, fill out the form,

미화 60 달러를 지불하면, 우편으로 도착합니다

give them $60, it arrives in the post.

그것만이 이 사람이 백치라고 생각하는것도 아닙니다

That's not the only reason we think this person is an idiot.

그녀는 또한 더 나아가서 말하기를,

She also says things like eat lots of dark green leaves,

진녹색의 이파리를 많이 먹어야 하는데,

they contain chlorophyll and really oxygenate your blood.

왜냐하면 그 안에는 엽록소가 많이 포함되서, 그게 피를 정말 산화시킨다구요

학교 생물학을 마친 사람이라면 누구라도 기억하듯

And anybody who's done school biology remembers

엽록소와 엽록체가

that chlorophyll and chloroplasts only make oxygen in sunlight,

햇빛에서만 산소를 만들고

and it's quite dark in your bowels after you've eaten spinach.

시금치를 먹고난 다음에 대변은 상당히 진합니다

다음, 우리는 적절한 과학, 적절한 증거가 필요합니다

Next, we need proper science, proper evidence.

So: "Red wine can help prevent breast cancer."

그래서, "적포도는 유방암을 예방할 수 있습니다."

이것은 데일리 영국연방의 텔레그라프에서 헤드라인에서 따온것입니다

This is a headline from The Daily Telegraph in the UK.

"하루에 적포도주 한잔은 유방암 예방에 도움이 된다."

"A glass of red wine a day could help prevent breast cancer."

그래서 이 기사를 찾아가지만, 거기서 발견하는것은

So you find this paper, and find that it is a real piece of science.

한쪼가리의 실제 과학이죠

It's a description of the changes in the behavior of one enzyme

그건 어떤 연구소에 있는 벤치위의 접시에다가

when you drip a chemical extracted from some red grape skin

조금의 적포도 껍질에서 추출한 화학물을

약간의 암세포에 떨어뜨렸을때

onto some cancer cells

in a dish on a bench in a laboratory somewhere.

한개의 효소의 변화의 설명이죠

And that's a really useful thing to describe in a scientific paper.

그건 과학적인 기사에

설명하는 것이 정말로 유용한 것일지는 모르지만,

But on the question of your own personal risk of getting breast cancer

만일 적포도주를 마시면

유방암에 걸리는것에 대한 개인적 위험에 대한 의문에 대해

if you drink red wine,

알려주느냐 하는것은 절대적으로 코딱지 같이 하찮은 겁니다

it tells you absolutely bugger all.

실제로, 판명이 된 바로는

Actually, it turns out that your risk of breast cancer

매번 마시는 술의 양에 따라

increases slightly with every amount of alcohol you drink.

유방암의 위험은 약간씩 증가합니다

So what we want are studies in real human people.

우리가 원하는것은 실제 인간에게서의 연구죠

And here's another example.

여기 다른 예가 있습니다

This is from Britain's "leading" diet nutritionist in the Daily Mirror,

이것은 데일리 미러 (Daily Mirror)에 있는 영국의 선발적 식이요법과 영양사인데

그건 두번째로 잘 팔리는 신문입니다

our second-biggest selling newspaper.

"2001년의 호주 연구는

"An Australian study in 2001 found that olive oil,

과일, 야채와 두류와 더불어 올리브유를 조합하는것은

in combination with fruits, vegetables and pulses,

피부 노화에 대해 측정할만한 보로를 제공합니다"

offers measurable protection against skin wrinklings,"

그 다음에 신문이 조언을 베푸는것은:

and give the advice:

"만일 올리브유와 야채를 먹으면, 여러분은 더 적은 피부주름을 가지게 됩니다"

"If you eat olive oil and vegetables, you'll have fewer wrinkles."

그리고는 아주 유익하게 신문을 찾는 방법에 대해 말합니다

They helpfully tell you how to find the paper,

그래서 그 기사를 찾으면, 알게 되는것은 관측연구입니다

and what you find is an observational study.

명백히 그 누구도

Obviously, nobody has been able to go back to 1930,

1930년대로 되돌아갈 수 없죠

산부인과 병동하나에서 태어난 모든 사람들을 찾아서

get all the people born in one maternity unit,

and half of them eat lots of fruit and veg and olive oil,

그들 절반은 다량의 과일과 야채와 올리브유를 먹고

그 나머지 절반은 맥도널드를 먹일 수 없습니다

half of them eat McDonald's,

and then we see how many wrinkles you've got later.

그다음 우리가 보는것은 그 이후에 얼마나 많은 주름을 얻게 되었는지에 대한 것이죠

현재 사람들이 어떤 모습인지 스냅샷을 찍을 필요가 있어요

You have to take a snapshot of how people are now.

알게 되는것은, 물론

And what you find is, of course:

야채와 올리브유를 먹는 사람들은 더 적은 양의 주름을 지녔습니다

people who eat veg and olive oil have fewer wrinkles.

But that's because people who eat fruit and veg and olive oil are freaks --

하지만 그것은 과일과 야채와 올리브유를 먹는 사람들은

괴짜들이기 때문입니다, 그들은 정상이 아니예요, 그들은 여러분 같습니다,

they're not normal, they're like you; they come to events like this.

그들은 TED와 같은 이런 이벤트에 옵니다

(Laughter)

그들은 사치스럽고, 부자이고, 옥외의 직업을 가지는 확률이 적고,

They're posh, they're wealthy, less likely to have outdoor jobs,

육체 노동을 하는 확률이 적고,

less likely to do manual labor,

they have better social support, are less likely to smoke;

더 나은 사회지원을 받고, 담배를 피울 확률이 적죠

그래서 전체적 무리의 매력적이고, 서로 맞물려있는

for a host of fascinating, interlocking

사회적, 정치적, 그리고 문화적인 이유들로,

social, political and cultural reasons,

그들은 피부 주름을 가질 확률이 낮죠

they're less likely to have wrinkles.

그건 야채와 올리브유라는 것을 의미하는 것은 아닙니다

That doesn't mean it's the vegetables or olive oil.

(웃음)

(Laughter)

그래서 이상적으로 사람들이 하고자 원하는 것은 실험입니다

So ideally, what you want to do is a trial.

People think they're familiar with the idea of a trial.

모두다 자신들이 실험에 대한 개념에 친숙하다고 생각합니다

실험은 아주 오래되었습니다. 첫번째 실험은 다니엘서 1장 12절에 나오는 성경책에서였죠

Trials are old; the first one was in the Bible, Daniel 1:12.

그건 아주 간단합니다, 많은 사람들을 데려다가, 절반으로 가르고,

It's straightforward: take a bunch of people, split them in half,

하나의 그룹을 한가지 방식으로 처리하고, 나머지 하나의 그룹을 다른 방식으로 처리하고

treat one group one way, the other group, the other way.

시간이 약간 흐른후, 그들을 추적해서

A while later, you see what happened to each of them.

그들 각각에게 무슨일이 일어났는지 알아보는 겁니다

제가 하나의 실험에 대해 이야기를 해드리려 하는데

I'm going to tell you about one trial,

그것은 지난 10년동안 영국연방 뉴스 미디아에서

which is probably the most well-reported trial

필경 가장 잘 보고된 기사일겁니다

in the UK news media over the past decade.

이건 생선오일 약의 실험입니다

This is the trial of fish oil pills.

그 주장은 생선유약이 중심이 되는 어린이들의

The claim: fish oil pills improve school performance and behavior

학교 수행과 행동을 향상시켰다는 것이었습니다

in mainstream children.

그들이 말하길, "우리는 실험을 마쳤습니다

They said, "We did a trial.

All the previous ones were positive, this one will be too."

이전의 모든 실험들이 긍정적이었고, 우리는 이 실험도 긍정적이라는 것을 알고 있지요"

그 말은 항상 경고가 울린다는 것을 알아야 합니다

That should ring alarm bells:

왜냐하면 실험의 대답을 이미 알고 있다면, 그 실험은 하지 않아야 하기 때문이죠

if you know the answer to your trial, you shouldn't be doing one.

디자인으로 그 실험을 조작했거나,

Either you've rigged it by design,

or you've got enough data so there's no need to randomize people anymore.

충분한 데이터가 있어서 더이상 사람들을 임의추출할 필요가 없습니다

그래서 그들이 그들의 실험에서 하려 했던것은 이겁니다

So this is what they were going to do in their trial:

They were taking 3,000 children,

3,000 명의 어린이들을 데려다가,

they were going to give them these huge fish oil pills, six of them a day,

많은 생선오일 약을 줄 예정이었죠,

하루에 6개씩,

and then, a year later, measure their school exam performance

그리고 1년후, 학생들의 학교시험 수행을 측정하려는 예정이었고

and compare their performance

이 학교 시험 수행을

against what they predicted their exam performance would have been

만일 학생들이 약을 먹지 않았다면

학생들의 시험수행의 결과가 되었음직하게 예상되는것과 비교할 예정이었습니다

if they hadn't had the pills.

Now, can anybody spot a flaw in this design?

이 디자인에 헛점을 짚을 수 있는 사람이 계신가요?

(Laughter)

임상실험방법론 교수는

And no professors of clinical trial methodology

are allowed to answer this question.

이 질문에 대답하도록 허락되지 않습니다

So there's no control group.

통제가 없어요; 통제 그룹이 없습니다;

But that sounds really techie, right? That's a technical term.

그렇지만 그것은 굉장히 기술적으로 들리죠

그건 기술적인 용어입니다

The kids got the pills, and their performance improved.

어린이들이 약을 먹었고, 그 다음에 그들의 수행이 향상되었습니다

What else could it possibly be if it wasn't the pills?

만일 그 약이 아니었다면 다른 어떤것일 수 있겠습니까?

그 아이들이 자라났습니다. 우리 모두는 시간이 흐르면서 발달하지요

They got older; we all develop over time.

And of course, there's the placebo effect,

그리고 물론, 플라시보 (placebo) 효과도 있습니다

one of the most fascinating things in the whole of medicine.

이 플라시보(placebo)효과는 제약의 전체에서 가장 매력적인 것중의 하나입니다

그건 약을먹어서 수행과 고통이 더 나아지는것이 아니예요

It's not just taking a pill and performance or pain improving;

그건 우리의 믿음과 예상입니다

it's about our beliefs and expectations, the cultural meaning of a treatment.

그건 치료의 문화적인 의미입니다

이것은 한 종류의 플라시보 (placebo) 효과를 다른것에 비교한

And this has been demonstrated in a whole raft of fascinating studies

대단히 많은 매력적인 연구들에서 제시되어진 바 있습니다

comparing one kind of placebo against another.

So we know, for example,

그래서 우리는, 예를 들어, 하루에 두개의 설탕약이

that two sugar pills a day are a more effective treatment

한개의 설탕약보다 위궤양을 제거하는데

for gastric ulcers

더 효과적인 지료법이라는것을 알지요

than one sugar pill.

두개의 설탕약은 한개의 설탕약을 이깁니다

Two sugar pills a day beats one a day.

그건 터무니없고 허무맹랑한 결과지만, 그건 사실입니다

That's an outrageous and ridiculous finding, but it's true.

We know from three different studies on three different types of pain

우리는 세가지 다른 종류의 고통에서 세가지 다른 종류의 연구를 아는데

그건 소금물 주사가 설탕약을 복용하는 것보다,

that a saltwater injection is a more effective treatment

그 안에 약이 들어 있지 않은 가짜 약을 복용하는것이 더 효과적입니다

than a sugar pill, a dummy pill with no medicine in it,

not because the injection or pills do anything physically to the body,

그 주사나 약이 신체에 물리적으로 어떤 작용을 해서가 아니라

but because an injection feels like a much more dramatic intervention.

그 주사는 훨씬 더 극적인 개입으로 느껴지기 때문입니다

그래서 우리는 우리의 믿음과 기대가

So we know that our beliefs and expectations can be manipulated,

조작될 수 있다는 걸 압니다

which is why we do trials where we control against a placebo,

그건 우리가 플라시보에 대해서 통제하여

사람들의 절반은 진짜 치료를 받고

where one half of the people get the real treatment,

다른 절반은 플라시보(placebo) 치료를 받는

and the other half get placebo.

실험을 하는 이유입니다

But that's not enough.

그러나 그것만으로는 충분하지 않아요

What I've just shown you are examples

제가 막 여러분께 보여드린것은

of the very simple and straightforward ways

저널리스트와 음식 보조약품 행상인과

that journalists and food supplement pill peddlers and naturopaths

신경증환자들이

can distort evidence for their own purposes.

그들 자신의 목적을 위해 증거를 왜곡시킬 수 있는 아주 단순하고 직접적인 예들입니다

What I find really fascinating

제가 발견한 정말 매력적인 것은

is that the pharmaceutical industry uses exactly the same kinds

제약 산업은

정확히 똑같은 속임수와 책략이지만,

of tricks and devices,

그것들의 약간 더 세련된 판을

but slightly more sophisticated versions of them,

in order to distort the evidence they give to doctors and patients,

그들이 의사들과 환자들에게 제공하는 증거를 왜곡하기 위해서 사용하고

그리고 우리는 그것을 치명적으로 중요한 결정을 하는데 사용한다는 겁니다

and which we use to make vitally important decisions.

So firstly, trials against placebo:

그래서 먼저, 실험은 플라시보 (placebo)에 반합니다:

모든이들이 생각하기를 그 실험은

everybody thinks a trial should be a comparison

새로운 약을 플라시보(placebo)에 반하는 비교여야한다는 걸 안다고 생각합니다

of your new drug against placebo.

하지만 실제로 대단히 많은 상황에서 그건 옳지 않습니다

But in a lot of situations that's wrong;

왜냐면 종종 우리는 이미 현재 사용할 수 있는 대단히 좋은 치료가 있어서

often, we already have a good treatment currently available.

우리는 새로운 대안 치료가

So we don't want to know that your alternative new treatment

전무인것보다 낫다는 걸 알고 싶어하지 않습니다

is better than nothing,

우리는 그 새로운 대안치료가 우리가 가진 현재 가능한 가장 좋은 치료인지 알고 싶어합니다

but that it's better than the best available treatment we have.

하지만 여전히, 반복해서 우리는 사람들이

And yet, repeatedly, you consistently see people doing trials

여전히 플라시보(placebo)에 반해서 실험을 하는것을 보게됩니다

still against placebo.

And you can get licensed to bring your drug to market

의사결정을 하려고 하는 저같은 의사를 위해서는 쓸모없는

with only data showing that it's better than nothing,

전무한것보다 더 낫다는 것을 보여주는 데이터를 가지면

누구든 자격증을 받아서 자신의 약을 시장으로 가져갈 수 있습니다

which is useless for a doctor like me trying to make a decision.

하지만 그것만이 데이터를 조작할 수 있는 방법은 아닙니다

But that's not the only way you can rig your data.

데이터는 새로운 약에 반대해서

You can also rig your data

비교하는 약을 완전히 폐기물로 만드는것으로

by making the thing you compare your new drug against

조작할 수 있습니다

really rubbish.

You can give the competing drug in too low a dose,

경쟁하는 약의 1회 복용량을 아주 조금만 줘서

사람들이 적절하게 치료받지 않게 할 수 있습니다

so people aren't properly treated.

경쟁하는 약의 1회 복용량을 아주 많이 줘서

You can give the competing drug in too high a dose,

사람들이 부작용이 있게 할 수 있습니다

so people get side effects.

And this is exactly what happened

그리고 이것이 정신분열증을 위한

with antipsychotic medication for schizophrenia.

항정신병약에 일어난 바로 그 일입니다

Twenty years ago, a new generation of antipsychotic drugs were brought in;

20년전에, 항 정신병약의 새로운 세대가 도입되었고

약속은 그것들에는 더 적은 부작용이 있을거라는 것이었습니다

the promise was they would have fewer side effects.

그래서 사람들은 이 새로운 약을

So people set about doing trials of the new drugs against the old drugs.

오래된 약에 반해서 실험하려고 착수했지만

But they gave the old drugs in ridiculously high doses:

오래된 약에는 터무니없이 높은 1회 복용량을,

할로페리돌(holoperidol) 을 하루에 20밀리그램씩 주었습니다

20 milligrams a day of haloperidol.

그것은 이미 정해진 결론이었죠,

And it's a foregone conclusion if you give a drug at that high a dose,

그렇게 높은 1회 복용량의 약을 주면

it will have more side effects, and your new drug will look better.

더 많은 부작용이 있을것이고 새로운 약이 더 좋게 보이겠지요

10년전, 흥미롭게도 역사는 스스로 반복하죠

Ten years ago, history repeated itself,

최초의 새로운 세대의 한정신병 약이었던, 리스페리돈(risperidone) 이

when risperidone, the first of the new-generation antipsychotic drugs,

복제권이 방면되어서, 누구라도 복제할 수 있었습니다

came off copyright, so anybody could make copies.

Everybody wanted to show their drug was better than risperidone,

모든이가 자기들의 약이 리스페리돈(risperidone)보다 더 낫다고 보여주길 바랬습니다

그래서 여러개의 실험이 하루에 8 밀리그램 (milligrams)을 리스페리돈(risperidone)에 반해서

so you see trials comparing new antipsychotic drugs

새로운 항정신병 약에 반해서 비교하는것을 볼 수 있습니다

against risperidone at eight milligrams a day.

다시말하면, 정신이상의 1회 복용량은 아니고, 불법적인 1회 복용량은 아니지만,

Again, not an insane dose, not an illegal dose,

정상의 아주 높은 마지막 범위에 있죠

but very much at the high end of normal.

반드시 새로운 약이 더 좋게 보이도록 만들게 될 겁니다

So you're bound to make your new drug look better.

그래서 그건 산업기금의 실험이 전체적으로

And so it's no surprise that overall,

industry-funded trials are four times more likely

독립적으로 지원받은 실험보다

네 배가 긍정적인 결과를 낳을 확률이 있다는것은

to give a positive result

than independently sponsored trials.

전혀 놀랄만한 사실이 아닌것이죠

But -- and it's a big but --

하지만 (but)--또 그건 아주 큰 하지만 (but: 이 단어는 궁둥이라는 단어, butt과 발음이 같은 동음이의어) 인데

(Laughter)

(웃음)

판명된 바로는,

it turns out,

when you look at the methods used by industry-funded trials,

산업기금의 실험에 이용된 방법을 보면

독립적으로 지원받은 실험보다

that they're actually better than independently sponsored trials.

실제로 더 낫습니다

And yet, they always manage to get the result that they want.

그럼에도, 그들은 항상 그들이 원하는 결과를 얻도록 관리합니다

So how does this work?

이렇게 작용하는 방법은 뭘까요?

(Laughter)

이 이상한 현상을 우리가 설명할 방법은 무엇일까요?

How can we explain this strange phenomenon?

Well, it turns out that what happens

어떤일이 일어나는지 판명이 된것은

is the negative data goes missing in action;

부정적인 데이터가 행방불명이 되는겁니다

it's withheld from doctors and patients.

그건 의사들과 환자들에게서 억제당합니다

And this is the most important aspect of the whole story.

그리고 이것이 전체적인 이야기에서 가장 중요한 요점입니다

그건 증거 피라미드의 꼭대기에 있습니다

It's at the top of the pyramid of evidence.

우리는 그것이 진정으로 효과적인지 아닌지 인지하기 위해

We need to have all of the data on a particular treatment

특정한 치료에서 모든 데이터를 입수해야만 합니다

to know whether or not it really is effective.

약간의 데이터가 행방불명이 되었는지 아닌지를

There are two different ways you can spot whether some data has gone missing.

점찍을 수 있는 2 가지 다른 방법이 있습니다

통계학을 이용할 수 있고, 또는 이야기를 이용할 수 있지요

You can use statistics or you can use stories.

I prefer statistics, so that's what I'll do first.

저는 개인적으로 확률을 선호합니다, 그래서 그걸 먼저 하겠습니다

This is a funnel plot.

이것은 깔대기 플롯이라고 부르는 겁니다

A funnel plot is a very clever way of spotting

이 깔대기 플롯은 만일 작은 부정적 실험이 행방불명이 된 경우, 사라진 경우

if small negative trials have disappeared, have gone missing in action.

점찍는 아주 영리한 방법입니다

This is a graph of all of the trials done on a particular treatment.

그래서 특정한 치료에서 행해진

모든 실험의 그래프입니다

As you go up towards the top of the graph,

그래프의 위쪽으로 올라감에 따라

what you see is each dot is a trial.

보게 되는것은 각각의 점이 실험이라는 겁니다

As you go up, those are bigger trials, so they've got less error;

그리고 위로 올라감에 따라, 규모가 더 큰 실험에는, 더 적은 오류가 있습니다

they're less likely to be randomly false positives or negatives.

그래서 그것들은 무작위적으로 잘못된 긍정적이 될 확률과, 무작위적으로 잘못된 부정적이 될 확률이 적습니다.

So they all cluster together.

그것들은 모두 함께 그룹 지어집니다

The big trials are closer to the true answer.

큰 규모의 실험은 참 대답에 가깝습니다

Then as you go further down at the bottom,

그다음 바닥의 아래쪽으로 더 내려가면,

what you can see is, on this side, spurious false negatives,

보이는것은 이쪽 위에, 위조의 틀린 부정적 결과가 있고

and over on this side, spurious false positives.

이쪽 위에, 위조의 틀린 긍정적인 결과가 있습니다

만일 출판의 편견이 있는경우,

If there is publication bias,

작은 부정적 실험이 행방불명이 된 경우

if small negative trials have gone missing in action,

you can see it on one of these graphs.

이 그래프중 하나에서 볼 수 있습니다

So you see here that the small negative trials

그래서 여기서 볼 수 있는것은

that should be on the bottom left have disappeared.

아래 왼쪽에서 사라진 작은 부정적인 실험입니다

이것은 출판편견의 연구에서

This is a graph demonstrating the presence of publication bias

출판편견의 현존을 제시하는 그래프입니다

in studies of publication bias.

그래서 제 생각에는 그건 여러분이 평생 듣게 될

And I think that's the funniest epidemiology joke you will ever hear.

가장 웃기는 역학 농담입니다

(Laughter)

그것이 확률적으로 증명하는 방법입니다

That's how you can prove it statistically.

하지만 이야기는 어떨까요?

But what about stories?

Well, they're heinous, they really are.

글쎄요 그것은 가증스럽습니다, 그건 정말 그래요

This is a drug called reboxetine.

이것은 레복세틴(reboxetine)이라 부르는 약입니다

This is a drug which I, myself, have prescribed to patients.

이것은 제 자신이 환자들에게 처방한 약입니다

저는 아주 괴상한 의사입니다

And I'm a very nerdy doctor.

I hope I go out of my way

저는 제 방식으로 나가는 건 시도해보고 읽어서 모든 연구자료를 읽고 싶어하지요

to try and read and understand all the literature.

저는 이것에 관한 실험을 읽었습니다. 실험들은 모두 긍정적이었습니다

I read the trials on this.

They were all positive, all well-conducted.

실험들은 모두 잘 실행되었어요. 저는 헛점을 발견하지 못했습니다

I found no flaw.

불행하게도, 판명된것은,

Unfortunately, it turned out, that many of these trials were withheld.

이 실험중 많은 숫자가 억제되었었습니다

In fact, 76 percent of all of the trials that were done on this drug

사실, 이 약으로 행해졌던 모든 실험의

76퍼센트가

의사와 환자들에게서 억제되었었습니다

were withheld from doctors and patients.

자, 이제 그것에 대해 생각해 볼 경우,

Now if you think about it,

if I tossed a coin a hundred times,

제가 동전을 100번 던져서

and I'm allowed to withhold from you the answers half the times,

여러분에게서 절반만큼의 그 대답을

억제하도록 허락받았다면

then I can convince you that I have a coin with two heads.

그러면 저는 머리가 두개있는 동전이 제게 있다고

설득할 수 있습니다

If we remove half of the data,

만일 우리가 데이터의 절반을 제거할 경우,

we can never know what the true effect size of these medicines is.

우리는 이러한 의약의 실제 효과정도를 절대로 알 수 없습니다

그리고 이것은 산발적인 이야기가 아닙니다

And this is not an isolated story.

항우울증에 관한 실험 데이터 전부의 절반정도는 억제되었지만

Around half of all of the trial data on antidepressants has been withheld,

그것은 그 이상을 넘어섭니다

but it goes way beyond that.

The Nordic Cochrane Group were trying to get ahold of the data on that

노르틱 코크레인 그룹 (Nordic Cochrane Group)은 데이터를

모두 수집하기 위한 입수에 노력하고 있습니다

to bring it all together.

코크레인 그룹(Cochrane Group)은 한번이라도 보여진 데이터 전부의

The Cochrane Groups are an international nonprofit collaboration

조직적인 리뷰를 제공하는 국제적 비영리 협동단체입니다

that produce systematic reviews

of all of the data that has ever been shown.

그리고 그들은 실험 데이터의 전보에 접근할 필요가 있습니다

And they need to have access to all of the trial data.

하지만 회사들은 그들에게서 데이터를 억제하고

But the companies withheld that data from them.

So did the European Medicines Agency --

유럽 제약 대리기관 (European Medicines Agency)도

3년동안 그렇게 했습니다

for three years.

This is a problem that is currently lacking a solution.

이것은 현재 해결책을 결여하는 문제입니다

And to show how big it goes, this is a drug called Tamiflu,

그래서 그게 어느정도가 크게 가는지 보여드리자면, 이것은

which governments around the world

전 세계의 정부들이 몇십억의 돈을 썼던

have spent billions and billions of dollars on.

아미플루 (Tamiflu)라고 하는 약입니다

그들은 이 약이 독감 합병증의

And they spend that money on the promise that this is a drug

비율을 줄여줄것이라는 약속에서

which will reduce the rate of complications with flu.

그 돈을 씁니다

우리는 그것이 몇시간으로 독감 기간을 줄이는

We already have the data

showing it reduces the duration of your flu by a few hours.

것을 보여주는 데이터를 이미 가지고 있습니다

하지만 저는 그것을 개의치 않습니다. 정부는 그것을 개의치 않습니다

But I don't care about that, governments don't care.

만약 여러분이 독감을 앓으신다면 아주 죄송합니다, 제가 그게 끔찍하다는걸 알지요

I'm sorry if you have the flu, I know it's horrible,

하지만 우리는 여러분의 독감 증상의 기간을

but we're not going to spend billions of dollars

한나절로 줄이기 위한 노력으로 수십억 달러를

trying to reduce the duration of your flu symptoms by half a day.

소비하지는 않을것입니다

We prescribe these drugs.

우리는 죽음을 의미하는 폐렴의

We stockpile them for emergencies

합병증의 숫자를 그들이 줄일것이라는 이해에서

on the understanding they'll reduce the number of complications,

이 약들을 처방하고, 비상시를 위해 비축합니다

which means pneumonia and death.

이 전염성이 있는 질병을, 이탈리아에 근거를 둔, 코크레인 그룹(Cochrane Group)이

The infectious diseases Cochrane Group, which are based in Italy,

이 약이 효과적인지 아닌지의

has been trying to get the full data in a usable form

완전한 결정을 위해서 제약회사에서 나온

out of the drug companies,

이용할 수 있는 형태의

so they can make a full decision

about whether this drug is effective or not,

완전한 데이터를 입수하려고 노력하고 있는데

and they've not been able to get that information.

그들은 그 정보를 입수할 수가 없었습니다

This is undoubtedly the single biggest ethical problem

이것은 의심할 바 없이

오늘날 제약계가 당면한

facing medicine today.

가장 큰 단 하나의 도덕적 문제입니다

우리는 모든 정보가 부재된 상태에서는

We cannot make decisions in the absence of all of the information.

의사결정을 할 수 없습니다

So it's a little bit difficult from there

그래서 긍정적인 결론같은 걸로 돌리기에는

to spin in some kind of positive conclusion.

약간 힘이 듭니다

그렇지만 저는 이렇게 말하겠습니다:

But I would say this:

I think that sunlight

제 생각에는 햇살이

is the best disinfectant.

가장 최고의 살균제입니다

이런 모든일들이 명백한 시야에서 일어나고 있고,

All of these things are happening in plain sight,

and they're all protected by a force field of tediousness.

그것들은 전부 따분함의 동력 분야로

모두 보호받습니다

And I think, with all of the problems in science,

그리고 저는, 과학에서의 모든 문제들과 함께,

우리가 할 수 있는 가장 최고의 것들중 하나는

one of the best things that we can do

is to lift up the lid, finger around at the mechanics

뚜껑을 들어올려

역학의 주변에 손을 대고 내부를 응시하는 겁니다

and peer in.

대단히 감사합니다

Thank you very much.

(Applause)

(박수)