The method that can "prove" almost anything - James A. Smith

Переводчик: Yekaterina Jussupova Редактор: Anton Zamaraev

In 2011, a group of researchers conducted a scientific study

В 2011 году группа учёных запустила исследование,

to find an impossible result:

доказавшее нечто невероятное:

that listening to certain songs can make you younger.

прослушивание определённых песен приводит к омоложению.

Their study involved real people, truthfully reported data,

В исследовании участвовали реальные люди, использовались достоверные данные

and commonplace statistical analyses.

и общепринятые методы статистического анализа.

So how did they do it?

Как же они это доказали?

The answer lies in a statistical method scientists often use

Дело в одном статистическим методе, который учёные часто используют,

to try to figure out whether their results mean something or if they’re random noise.

чтобы понять, действительно ли результаты значимы или это случайное совпадение.

In fact, the whole point of the music study

Настоящей целью этого музыкального исследования

was to point out ways this method can be misused.

было показать, как вышеупомянутый метод может неверно использоваться.

A famous thought experiment explains the method:

Понять его помогает известный мыслительный эксперимент.

there are eight cups of tea,

Даны восемь чашек чая с молоком.

four with the milk added first, and four with the tea added first.

В четыре из них сначала налили молоко, а в другие четыре — чай.

A participant must determine which are which according to taste.

Участники должны определить по вкусу, в какую чашку что было налито первым.

There are 70 different ways the cups can be sorted into two groups of four,

Существуют 70 способов распределения чашек на две группы по четыре чашки в каждой,

and only one is correct.

но лишь один из них — правильный.

So, can she taste the difference?

Так почувствует ли разницу участница эксперимента?

That’s our research question.

Это предмет нашего исследования.

To analyze her choices, we define what’s called a null hypothesis:

Для анализа определим так называемую нулевую гипотезу:

участница не сможет определить разницу во вкусе чая.

that she can’t distinguish the teas.

If she can’t distinguish the teas,

Даже если она не почувствует разницу,

she’ll still get the right answer 1 in 70 times by chance.

то в одном случае из семидесяти всё же случайно даст верный ответ.

1 in 70 is roughly .014.

1 из 70 примерно равно 0,014.

That single number is called a p-value.

Это число называется p-значением.

In many fields, a p-value of .05 or below is considered statistically significant,

Обычно p-значение, равное 0,05 и меньше, считается статистически значимым,

meaning there’s enough evidence to reject the null hypothesis.

то есть достаточным для того, чтобы признать нулевую гипотезу неверной.

Based on a p-value of .014,

Наше p-значение равно 0,014, и значит мы признаём гипотезу,

they’d rule out the null hypothesis that she can’t distinguish the teas.

что участница не определит разницу, неверной.

Though p-values are commonly used by both researchers and journals

Хотя p-значение часто используется как в исследованиях, так и в публикациях

to evaluate scientific results,

для оценки научных результатов,

they’re really confusing, even for many scientists.

даже многие учёные затрудняются в его толковании.

That’s partly because all a p-value actually tells us

Отчасти это происходит потому, что p-значение указывает

is the probability of getting a certain result,

на вероятность определённого результата

assuming the null hypothesis is true.

в предположении, что нулевая гипотеза верна.

So if she correctly sorts the teas,

Поэтому если участница правильно распознает чай,

the p-value is the probability of her doing so

то p-значение является вероятностью успеха при условии,

assuming she can’t tell the difference.

что она не может почувствовать разницу.

But the reverse isn’t true:

Но обратное неверно:

the p-value doesn’t tell us the probability

p-значение не даёт вероятность того,

что она может определить разницу по вкусу,

that she can taste the difference,

which is what we’re trying to find out.

а это именно то, что мы пытаемся выяснить.

So if a p-value doesn’t answer the research question,

Но если p-значение не отвечает на вопрос исследования,

why does the scientific community use it?

почему же учёные постоянно его используют?

Well, because even though a p-value doesn’t directly state the probability

Потому что, хотя p-значение и не даёт вероятность того,

that the results are due to random chance,

что результаты исследования случайны,

it usually gives a pretty reliable indication.

оно всё же обычно является достаточно надёжным показателем.

At least, it does when used correctly.

По крайней мере, при правильной интерпретации.

And that’s where many researchers, and even whole fields,

А именно с этим у многих учёных, и даже у целых областей науки,

have run into trouble.

возникают трудности.

Most real studies are more complex than the tea experiment.

Большинство настоящих исследований куда сложнее, чем эксперимент с чаем.

Scientists can test their research question in multiple ways,

Учёные используют в исследовании различные подходы,

and some of these tests might produce a statistically significant result,

и некоторые из них показывают статистически значимые результаты,

в то время как другие — нет.

while others don’t.

It might seem like a good idea to test every possibility.

Может показаться, что использование разных методов — хорошая идея.

But it’s not, because with each additional test,

Но это не так, ведь каждое новое испытание

the chance of a false positive increases.

увеличивает шанс получения ложноположительного результата.

Searching for a low p-value, and then presenting only that analysis,

Целенаправленный поиск низкого p-значения с дальнейшим учётом для анализа его одного

is often called p-hacking.

часто называют вылавливанием данных.

It’s like throwing darts until you hit a bullseye

Это как бросать дротики пока не попадёте в «яблочко»,

and then saying you only threw the dart that hit the bull’s eye.

а потом заявить, что бросили всего один дротик и сразу попали в центр мишени.

This is exactly what the music researchers did.

Именно это и сделали в музыкальном исследовании.

They played three groups of participants each a different song

Участникам в каждой из трёх групп включали разные песни,

and collected lots of information about them.

после чего собирали о них многочисленную информацию.

The analysis they published included only two out of the three groups.

В опубликованных результатах учитывались лишь две группы из трёх.

Of all the information they collected,

Из всей собранной информации

their analysis only used participants’ fathers’ age—

использовался только возраст отцов участников,

to “control for variation in baseline age across participants.”

так как это позволяло «сократить возрастной разброс».

They also paused their experiment after every ten participants,

Вдобавок после каждого десятого участника проверялось p-значение:

and continued if the p-value was above .05,

если оно было выше 0,05 — эксперимент продолжали,

but stopped when it dipped below .05.

а если ниже — его останавливали.

They found that participants who heard one song were 1.5 years younger

Было обнаружено, что те, кто прослушал одну из песен, были на 1,5 года моложе

than those who heard the other song, with a p-value of .04.

тех, кто прослушал другую песню — с p-значением равным 0,04.

Usually it’s much tougher to spot p-hacking,

Обычно обнаружить вылавливание данных куда сложнее,

because we don’t know the results are impossible:

ведь мы не знаем, какие результаты получить невозможно:

the whole point of doing experiments is to learn something new.

эксперименты проводят как раз для того, чтобы открыть что-то новое.

Fortunately, there’s a simple way to make p-values more reliable:

К счастью, есть простой способ повышения надёжности p-значения:

pre-registering a detailed plan for the experiment and analysis

заранее расписать процедуру исследования и анализа

beforehand that others can check,

и сделать этот протокол доступным для проверки,

so researchers can’t keep trying different analyses

чтобы учёные не могли прибегать к дополнительным методам

until they find a significant result.

вплоть до получения значимого результата.

And, in the true spirit of scientific inquiry,

Вот так на волне истинного научного знания

there’s even a new field that’s basically science doing science on itself:

появилась новая область науки, занимающаяся изучением самой себя:

studying scientific practices in order to improve them.

она исследует научные методы с целью их улучшения.