How statistics can be misleading - Mark Liddell

Переводчик: Roman Ianvarev Редактор: Yekaterina Jussupova

Statistics are persuasive.

Статистика убедительна.

So much so that people, organizations, and whole countries

Настолько, что люди, организации и целые страны

base some of their most important decisions on organized data.

принимают важнейшие решения, опираясь на систематизированные данные.

But there's a problem with that.

Но существует проблема.

Any set of statistics might have something lurking inside it,

В любом наборе статистических данных может таиться то,

something that can turn the results completely upside down.

что способно полностью перевернуть результаты с ног на голову.

For example, imagine you need to choose between two hospitals

Представьте, что вам нужно выбрать одну из двух больниц

for an elderly relative's surgery.

для операции пожилого родственника.

Out of each hospital's last 1000 patient's,

Из последней тысячи пациентов этих больниц

900 survived at Hospital A,

в больнице А выжило 900 человек,

while only 800 survived at Hospital B.

а в больнице Б — 800.

So it looks like Hospital A is the better choice.

Похоже, что больница А — лучший выбор.

But before you make your decision,

Но принимая решение, имейте в виду,

remember that not all patients arrive at the hospital

что состояние здоровья пациентов, прибывших в больницу,

with the same level of health.

было неодинаковым.

And if we divide each hospital's last 1000 patients

Если разделить последнюю тысячу пациентов обеих больниц

into those who arrived in good health and those who arrived in poor health,

на тех, кто прибыл в хорошем и в плохом состоянии здоровья,

the picture starts to look very different.

получится совсем другая картина.

Hospital A had only 100 patients who arrived in poor health,

В больницу А прибыло лишь 100 пациентов в плохом состоянии здоровья,

of which 30 survived.

из которых 30 выжили.

But Hospital B had 400, and they were able to save 210.

В больницу Б поступило 400 тяжелобольных, из которых удалось спасти 210.

So Hospital B is the better choice

Таким образом больница Б — лучший выбор

for patients who arrive at hospital in poor health,

для пациентов, прибывающих в плохом состоянии здоровья,

with a survival rate of 52.5%.

с коэффициентом выживаемости — 52,5 %.

And what if your relative's health is good when she arrives at the hospital?

А если на момент поступления в больницу здоровье вашего родственника в норме?

Strangely enough, Hospital B is still the better choice,

Удивительно, но и тут больница Б — лучший выбор

with a survival rate of over 98%.

с коэффициентом выживаемости — 98%.

So how can Hospital A have a better overall survival rate

Но почему у больницы А суммарный показатель выживаемости выше,

if Hospital B has better survival rates for patients in each of the two groups?

если у больницы Б выше показатель выживаемости пациентов обеих групп?

What we've stumbled upon is a case of Simpson's paradox,

То, с чем мы столкнулись, называется парадоксом Симпсона,

where the same set of data can appear to show opposite trends

при котором набор данных может показывать обратную тенденцию

depending on how it's grouped.

в зависимости от того, как он сгруппирован.

This often occurs when aggregated data hides a conditional variable,

Такое случается, когда сводные данные содержат условную переменную,

sometimes known as a lurking variable,

также известную, как скрытая переменная.

which is a hidden additional factor that significantly influences results.

Это скрытый дополнительный фактор, существенно влияющий на результаты.

Here, the hidden factor is the relative proportion of patients

В данном случае скрытый фактор — это доля пациентов,

who arrive in good or poor health.

прибывших в хорошем или плохом состоянии здоровья.

Simpson's paradox isn't just a hypothetical scenario.

Парадокс Симпсона — это не просто гипотетический сценарий.

It pops up from time to time in the real world,

Время от времени он возникает в реальном мире,

sometimes in important contexts.

иногда при важных обстоятельствах.

One study in the UK appeared to show

Исследование, проведённое в Великобритании,

that smokers had a higher survival rate than nonsmokers

показало более высокую долю выживаемости курящих людей, нежели некурящих,

over a twenty-year time period.

более чем за 20-летний период времени.

That is, until dividing the participants by age group

Но разделение участников на возрастные группы

showed that the nonsmokers were significantly older on average,

показало, что некурящие, в среднем, были существенно старше,

and thus, more likely to die during the trial period,

а значит имели больше шансов умереть во время испытательного срока

precisely because they were living longer in general.

именно потому, что они в целом прожили больше.

Here, the age groups are the lurking variable,

Здесь скрытой переменной являются возрастные группы,

and are vital to correctly interpret the data.

крайне важные для корректной интерпретации данных.

In another example,

Другой пример:

an analysis of Florida's death penalty cases

анализ случаев смертной казни во Флориде

seemed to reveal no racial disparity in sentencing

не выявил расового неравенства при вынесении приговоров

between black and white defendants convicted of murder.

чернокожим и белым людям, обвиняемым в убийстве.

But dividing the cases by the race of the victim told a different story.

Но разделение дел по расам жертв рассказало другую историю.

In either situation,

При прочих равных обстоятельствах

black defendants were more likely to be sentenced to death.

чернокожим обвиняемым чаще выносили смертный приговор.

The slightly higher overall sentencing rate for white defendants

Немного большее количество приговоров для белых ответчиков было связано с тем,

was due to the fact that cases with white victims

что делá об убийстве белых людей

were more likely to elicit a death sentence

чаще приводили преступника к смертному приговору,

than cases where the victim was black,

чем делá, где жертвы были чернокожими,

and most murders occurred between people of the same race.

а большинство убийств совершалось между представителями одной расы.

So how do we avoid falling for the paradox?

Так как же избежать выводов, содержащих парадокс?

Unfortunately, there's no one-size-fits-all answer.

К несчастью, универсального ответа не существует.

Data can be grouped and divided in any number of ways,

Данные могут быть сгруппированы и разделены любым количеством способов,

and overall numbers may sometimes give a more accurate picture

и иногда суммарный показатель даёт более точную картину,

than data divided into misleading or arbitrary categories.

чем данные, разделённые на случайные категории.

All we can do is carefully study the actual situations the statistics describe

Всё, что можно сделать — тщательно изучить ситуации, описываемые статистикой,

and consider whether lurking variables may be present.

и решить, возможно ли здесь присутствие скрытой переменной.

Otherwise, we leave ourselves vulnerable to those who would use data

В противном случае мы беззащитны перед теми, кто использует данные

to manipulate others and promote their own agendas.

для манипуляции другими людьми в собственных интересах.