How statistics can be misleading - Mark Liddell

איך סטטיסטיקות יכולות להטעות - מארק לידל

תרגום: Ido Dekkers עריכה: Tal Dekkers

Statistics are persuasive.

סטטיסטיקות הן משכנעות.

So much so that people, organizations, and whole countries

כל כך שאנשים, ארגונים, ומדינות שלמות

base some of their most important decisions on organized data.

מבססות את ההחלטות הכי חשובות שלהן על מידע מאורגן.

But there's a problem with that.

אבל יש בעיה עם זה.

Any set of statistics might have something lurking inside it,

בכל סט של סטטיסטיקות יכול להיות משהו שאורב בתוכו,

something that can turn the results completely upside down.

משהו שיכול להפוך את התוצאות לגמרי.

For example, imagine you need to choose between two hospitals

לדוגמה, דמיינו שאתם צריכים לבחור בין שני בתי חולים

for an elderly relative's surgery.

לניתוח של קרובה מבוגרת.

Out of each hospital's last 1000 patient's,

מתוך 1000 החולים האחרונים של כל בית חולים,

900 survived at Hospital A,

900 שרדו בבית חולים א',

while only 800 survived at Hospital B.

בעוד רק 800 שרדו בבית חולים ב'.

So it looks like Hospital A is the better choice.

אז נראה כאילו בית חולים א' הוא הבחירה הטובה יותר.

But before you make your decision,

אבל לפני שתעשו החלטה,

remember that not all patients arrive at the hospital

זכרו שלא כל החולים מגיעים לבית החולים

with the same level of health.

עם אותה רמה של בריאות.

And if we divide each hospital's last 1000 patients

ואם נחלק את כל 1000 החולים האחרונים של בתי החולים

into those who arrived in good health and those who arrived in poor health,

לאלה שהגיעו בבריאות טובה ואלה שהגיעו בבריאות גרועה,

the picture starts to look very different.

התמונה מתחילה להראות מאוד שונה.

Hospital A had only 100 patients who arrived in poor health,

לבית חולים א' היו רק 100 חולים שהגיעו בבריאות ירודה,

of which 30 survived.

מתוכם 30 שרדו.

But Hospital B had 400, and they were able to save 210.

אבל לבית חולים ב' הגיעו 400, והם הצליחו להציל 210.

So Hospital B is the better choice

אז בית חולים ב' הוא הבחירה הטובה יותר

for patients who arrive at hospital in poor health,

לחולים שמגיעים עם בריאות ירודה,

with a survival rate of 52.5%.

עם יחס השרדות של 52.5%.

And what if your relative's health is good when she arrives at the hospital?

ומה אם בריאות הקרובה שלכם היא טובה כשהיא מגיעה לבית החולים?

Strangely enough, Hospital B is still the better choice,

למרבה הפלא, בית חולים ב' הוא עדיין הבחירה הטובה,

with a survival rate of over 98%.

עם יחס השרדות של יותר מ 98%.

So how can Hospital A have a better overall survival rate

אז איך בית חולים א' יכול להיות טוב יותר בסך הכל באחוז ההשרדות

if Hospital B has better survival rates for patients in each of the two groups?

אם לבית חולים ב' יש אחוז השרדות גבוה יותר לחולים משתי הקבוצות?

What we've stumbled upon is a case of Simpson's paradox,

מה שנתקלנו בו הוא מקרה של פרדוקס סימפסון,

where the same set of data can appear to show opposite trends

בו אותו סט של מידע יכול להראות מגמות הפוכות

depending on how it's grouped.

תלוי באיך מקבצים אותו.

This often occurs when aggregated data hides a conditional variable,

זה הרבה פעמים קורה כשמידע מקובץ מחביא משתנה תלוי,

sometimes known as a lurking variable,

ולפעמים ידוע כמשתנה אורב,

which is a hidden additional factor that significantly influences results.

שהוא גורם חבוי נוסף שמשפיע באופן משמעותי על התוצאות.

Here, the hidden factor is the relative proportion of patients

פה, הגורם החבוי הוא היחס של החולים

who arrive in good or poor health.

שמגיעים בבריאות טובה או ירודה.

Simpson's paradox isn't just a hypothetical scenario.

פרדוקס סימפסון הוא לא רק מצב היפוטטי.

It pops up from time to time in the real world,

הוא מופיע מדי פעם בעולם האמיתי,

sometimes in important contexts.

לפעמים בהקשרים חשובים.

One study in the UK appeared to show

מחקר אחד באנגליה הראה

that smokers had a higher survival rate than nonsmokers

שלמעשנים יש שיעור השרדות גבוה יותר מלא מעשנים

over a twenty-year time period.

במשך תקופת זמן של עשרים שנה.

That is, until dividing the participants by age group

זה אומר, עד שמחלקים את המשתתפים לפי קבוצת גיל

showed that the nonsmokers were significantly older on average,

שמראה שלא מעשנים היו מבוגרים משמעותית בממוצע,

and thus, more likely to die during the trial period,

ולכן, יש סיכוי גבוה יותר שימותו במהלך הניסוי,

precisely because they were living longer in general.

בדיוק בגלל שהם חיים יותר באופן כללי.

Here, the age groups are the lurking variable,

פה, קבוצת הגיל הוא משתנה חבוי,

and are vital to correctly interpret the data.

והוא חיוני לפרש במדויק את המידע.

In another example,

בדוגמה אחרת,

an analysis of Florida's death penalty cases

אנליזה של מקרי עונש המוות של פלורידה

seemed to reveal no racial disparity in sentencing

נראו שהם מגלים שאין אפליה גזענית בשפיטה

between black and white defendants convicted of murder.

בין נאשמים שחורים ללבנים שהורשעו ברצח.

But dividing the cases by the race of the victim told a different story.

אבל חלוקת המקרים לפי גזע הקורבן מספרת סיפור שונה.

In either situation,

בכל מצב,

black defendants were more likely to be sentenced to death.

נאשמים שחורים היו בסבירות גבוהה יותר להשפט למוות.

The slightly higher overall sentencing rate for white defendants

רמות השפיטה הגבוהות מעט לנאשמים לבנים

was due to the fact that cases with white victims

היו בשל העובדה שמקרים עם קורבנות לבנים

were more likely to elicit a death sentence

היו בסיכוי גבוה יותר להסתיים בעונש מוות

than cases where the victim was black,

מאשר מקרים בהם הקורבן היה שחור,

and most murders occurred between people of the same race.

ורוב מקרי הרצח התרחשו בין אנשים מאותו גזע.

So how do we avoid falling for the paradox?

אז איך אנחנו נמנעים מליפול לפרדוקס?

Unfortunately, there's no one-size-fits-all answer.

למרבה הצער, אין תשובה אחת שמתאימה לכל דבר.

Data can be grouped and divided in any number of ways,

מידע יכול להיות מקובץ ומחולק בכל מספר דרכים,

and overall numbers may sometimes give a more accurate picture

ומספרים כלליים יכולים לפעמים לתת תמונה יותר מדוייקת

than data divided into misleading or arbitrary categories.

ממידע שמחולק לקטגוריות מטעות או שרירותיות.

All we can do is carefully study the actual situations the statistics describe

כל מה שאנחנו יכולים לעשות זה לחקור בזהירות את המצבים שהסטטיסטיקות מתארות

and consider whether lurking variables may be present.

ולשקול אם משתנים חבויים אולי נמצאים.

Otherwise, we leave ourselves vulnerable to those who would use data

אחרת, אנחנו משאירים את עצמנו פגיעים לאלה שהיו משתמשים במידע

to manipulate others and promote their own agendas.

כדי לתמרן אחרים ולקדם את האג'נדות שלהם.