The method that can "prove" almost anything - James A. Smith

번역: Soohyun Park 검토: JY Kang

In 2011, a group of researchers conducted a scientific study

2011년 한 연구진은

과학적인 연구를 통해 말도 안되는 결론을 도출했습니다.

to find an impossible result:

that listening to certain songs can make you younger.

특정 노래를 들으면 젊어진다는 것이었습니다.

Their study involved real people, truthfully reported data,

이들의 연구는 실제 사람, 있는 그대로 수집된 데이터,

and commonplace statistical analyses.

일반적인 통계 분석으로 이루어졌습니다.

So how did they do it?

어떻게 그런 결론을 얻은 것일까요?

The answer lies in a statistical method scientists often use

답은 과학자들이 사용한 통계적 방법에 있습니다.

to try to figure out whether their results mean something or if they’re random noise.

결과가 유의미한 것인지 불규칙적인 노이즈인지 분석하는 것이죠.

In fact, the whole point of the music study

사실 음악 실험의 핵심은

was to point out ways this method can be misused.

통계적 방법이 잘못 사용될 수 있음을 지적하는 것이었습니다.

A famous thought experiment explains the method:

이 방법을 설명해주는 유명한 사고 실험이 있습니다.

there are eight cups of tea,

여기에 8잔의 차가 있습니다.

four with the milk added first, and four with the tea added first.

4개는 우유를 먼저 넣고 다른 4개에는 차를 먼저 넣습니다.

A participant must determine which are which according to taste.

참가자는 맛으로 이들을 구분해야 합니다.

There are 70 different ways the cups can be sorted into two groups of four,

8잔을 4개씩 2개 묶음으로 나누는 데는 70가지의 방법이 있고

and only one is correct.

그 중의 하나만이 정답입니다.

So, can she taste the difference?

참가자는 맛의 차이를 느낄 수 있을까요?

That’s our research question.

이것이 우리의 연구 과제입니다.

To analyze her choices, we define what’s called a null hypothesis:

참가자의 선택을 분석하기 위해 다음과 같은 귀무가설을 정의합니다.

that she can’t distinguish the teas.

가설 : 참가자는 맛을 구분할 수 없다.

If she can’t distinguish the teas,

만약 맛을 구분할 수 없다고 하더라도

she’ll still get the right answer 1 in 70 times by chance.

참가자는 70번에 1번 꼴로 우연히 정답을 맞출 수도 있습니다.

1 in 70 is roughly .014.

70번에 1번이면 약 0.014 이고,

That single number is called a p-value.

이 숫자를 p-값이라고 합니다.

In many fields, a p-value of .05 or below is considered statistically significant,

많은 분야에서 0.05 이하의 p-값은 통계적으로 유의미한 것으로 간주되며

meaning there’s enough evidence to reject the null hypothesis.

이는 귀무가설이 틀렸음을 입증하기에 충분하다는 걸 의미합니다.

Based on a p-value of .014,

우리는 0.014의 p-값에 근거해

they’d rule out the null hypothesis that she can’t distinguish the teas.

참가자가 맛을 구분하지 못 한다는 귀무가설이 틀렸다고 할 수 있는 거죠.

Though p-values are commonly used by both researchers and journals

연구자와 학술지 모두 과학적 결과를 평가하기 위해

to evaluate scientific results,

p-값을 흔하게 이용하지만

they’re really confusing, even for many scientists.

많은 과학자들에게도 p-값은 매우 헷갈리는 것입니다.

That’s partly because all a p-value actually tells us

p-값이 실제로 우리에게 알려주는 것은

is the probability of getting a certain result,

귀무가설이 참이라고 가정할 때

assuming the null hypothesis is true.

특정 결과를 얻을 확률이기 때문입니다.

So if she correctly sorts the teas,

따라서 만약에 참가자가 차를 정확하게 분류한다면,

the p-value is the probability of her doing so

p-값은 참가자가 맛을 구분할 수 없다는 가정하에서

assuming she can’t tell the difference.

맛을 구분할 확률을 의미합니다.

But the reverse isn’t true:

하지만 이것의 반대는 참이 아닙니다.

the p-value doesn’t tell us the probability

p-값은 우리가 알고자 하는 것

that she can taste the difference,

즉, 참가자가 맛을 구분할 확률을 알려주지 않습니다.

which is what we’re trying to find out.

So if a p-value doesn’t answer the research question,

p-값이 연구 문제에 답을 주지 못 한다면

why does the scientific community use it?

과학계는 왜 p-값을 사용하는 걸까요?

Well, because even though a p-value doesn’t directly state the probability

결과가 무작위한 우연에 의한 것일 확률을

that the results are due to random chance,

p-값이 직접적으로 나타내지는 않더라도

it usually gives a pretty reliable indication.

p-값은 일반적으로 꽤 신뢰할만한 지표가 됩니다.

At least, it does when used correctly.

적어도 올바르게 사용될 때에는 말이죠.

And that’s where many researchers, and even whole fields,

그리고 이 지점에서 모든 분야의 많은 연구자들은 문제에 봉착합니다.

have run into trouble.

Most real studies are more complex than the tea experiment.

대부분의 실제 연구는 차 실험보다 훨씬 복잡합니다.

Scientists can test their research question in multiple ways,

과학자들은 연구 문제를 여러 방법으로 실험해 볼 수 있습니다.

and some of these tests might produce a statistically significant result,

이들 중 일부만 통계적으로 유의미한 결과를 보이고

while others don’t.

나머지는 의미 없을 수도 있죠.

It might seem like a good idea to test every possibility.

모든 가능성을 실험해 보는 것이 좋은 생각처럼 보일 수도 있습니다.

But it’s not, because with each additional test,

하지만 그렇지 않습니다.

추가적인 실험을 할 때마다 거짓 양성의 가능성이 커지기 때문이죠.

the chance of a false positive increases.

Searching for a low p-value, and then presenting only that analysis,

낮은 p-값을 찾고 해당 분석만을 제시하는 것을

is often called p-hacking.

흔히 p-해킹이라고 합니다.

It’s like throwing darts until you hit a bullseye

이것은 마치 과녁의 정중앙을 맞힐 때까지 다트를 던지고는

and then saying you only threw the dart that hit the bull’s eye.

그 다트 하나만을 던졌다고 말하는 것과 같습니다.

This is exactly what the music researchers did.

이것이 바로 음악 실험의 연구자들이 한 일입니다.

They played three groups of participants each a different song

그들은 세 그룹의 참가자들에게 각각 다른 음악을 들려주었고

and collected lots of information about them.

참가자들에 대한 많은 정보를 수집했습니다.

The analysis they published included only two out of the three groups.

이들이 발표한 분석에는 세 그룹 중 두 그룹만이 포함되어 있었고

Of all the information they collected,

수집한 많은 정보들 중에서

their analysis only used participants’ fathers’ age—

참가자들의 아버지 나이만을 분석에 적용함으로써

to “control for variation in baseline age across participants.”

참가자 간 기준 연령 편차를 조절했죠..

They also paused their experiment after every ten participants,

또한 10명의 참가자가 추가될 때마다 실험을 잠시 중지한 후

and continued if the p-value was above .05,

p-값이 0.05를 넘으면 실험을 계속했지만

but stopped when it dipped below .05.

p-값이 0.05 아래로 떨어지면 실험을 중단했습니다.

They found that participants who heard one song were 1.5 years younger

그들은 특정 음악을 들은 참가자들이

다른 음악을 들은 참가자들보다 1.5살 어리다는 것을 발견했는데

than those who heard the other song, with a p-value of .04.

이때의 p-값은 0.04였습니다.

Usually it’s much tougher to spot p-hacking,

일반적으로 p-해킹을 잡아내기는 상당히 어렵습니다.

because we don’t know the results are impossible:

우리는 결과가 불가능한 것인지 알 수 없기 때문입니다.

the whole point of doing experiments is to learn something new.

실험을 하는 이유는 새로운 것을 알기 위해서입니다.

Fortunately, there’s a simple way to make p-values more reliable:

다행히 p-값의 신뢰도를 높이는 간단한 방법이 있습니다.

pre-registering a detailed plan for the experiment and analysis

실험과 분석에 대한 자세한 계획을 사전에 등록하게 하여

beforehand that others can check,

다른 사람이 확인할 수 있도록 하면

so researchers can’t keep trying different analyses

연구자들은 유의미한 결과를 발견할 때까지

until they find a significant result.

계속해서 다른 분석을 시도하는 행위를 할 수 없게 됩니다.

And, in the true spirit of scientific inquiry,

참된 과학적 연구 정신에는

there’s even a new field that’s basically science doing science on itself:

근본적으로 과학 스스로 과학을 행하여 과학적 관행을 연구하고 개선시키는

studying scientific practices in order to improve them.

새로운 분야도 있습니다.