The method that can "prove" almost anything - James A. Smith

תרגום: Ido Dekkers עריכה: Sigal Tifferet

In 2011, a group of researchers conducted a scientific study

ב 2011, קבוצת חוקרים ערכה מחקר מדעי

to find an impossible result:

וקיבלה תוצאה בלתי אפשרית:

that listening to certain songs can make you younger.

שהקשבה לשירים מסויימים יכולה להפוך אתכם לצעירים.

Their study involved real people, truthfully reported data,

המחקר שלהם כלל אנשים אמיתיים, נתונים אמיתיים וכנים,

and commonplace statistical analyses.

וניתוחים סטטיסטיים נפוצים.

So how did they do it?

אז איך הם עשו את זה?

The answer lies in a statistical method scientists often use

התשובה נמצאת בשיטה סטטיסטית בה מדענים משתמשים רבות

to try to figure out whether their results mean something or if they’re random noise.

כדי להבין אם לתוצאות שקיבלו יש משמעות, או שהן סתם רעש אקראי.

In fact, the whole point of the music study

למעשה, כל מטרתו של מחקר המוזיקה

was to point out ways this method can be misused.

היתה להצביע על דרכים בהן אפשר להשתמש לרעה בשיטה הזו.

A famous thought experiment explains the method:

ניסוי מחשבתי מפורסם מסביר את השיטה:

there are eight cups of tea,

יש שמונה כוסות תה,

four with the milk added first, and four with the tea added first.

בארבע מהן מזגו קודם חלב, ובארבע מזגו קודם תה.

A participant must determine which are which according to taste.

משתתפת צריכה לקבוע מה מזגו קודם בכל אחת מהן, לפי הטעם.

There are 70 different ways the cups can be sorted into two groups of four,

יש 70 דרכים שונות שהכוסות יכולות להיות מקובצות בשתי קבוצות של ארבע,

and only one is correct.

ורק אחת מהן נכונה.

So, can she taste the difference?

אז האם היא תוכל לטעום מה מזגו קודם?

That’s our research question.

זו שאלת המחקר שלנו.

To analyze her choices, we define what’s called a null hypothesis:

כדי לנתח את הבחירות שלה, אנחנו מגדירים “השערת אפס“:

that she can’t distinguish the teas.

שהיא לא יכולה להבחין בין סוגי התה.

If she can’t distinguish the teas,

אם היא לא יכולה להבחין בין סוגי התה,

she’ll still get the right answer 1 in 70 times by chance.

היא עדיין תגיע לתשובה הנכונה ב 1 מתוך 70 פעמים במקרה.

1 in 70 is roughly .014.

1 מתוך 70 זה בערך 0.014.

That single number is called a p-value.

המספר הזה נקרא ערך p.

In many fields, a p-value of .05 or below is considered statistically significant,

בתחומים רבים, ערך p של 0.05 או פחות נחשב למובהק מבחינה סטטיסטית,

meaning there’s enough evidence to reject the null hypothesis.

מה שאומר שיש מספיק עדויות לדחות את השערת האפס.

Based on a p-value of .014,

בהתבסס על ערך p של 0.014,

they’d rule out the null hypothesis that she can’t distinguish the teas.

הם יפסלו את השערת האפס שהיא לא יכולה להבחין בין סוגי התה.

Though p-values are commonly used by both researchers and journals

למרות שמקובל מאוד להשתמש בערכי p על ידי חוקרים וכתבי-עת

to evaluate scientific results,

כדי להעריך תוצאות מדעיות,

they’re really confusing, even for many scientists.

הם באמת מבלבלים, גם לרבים מהמדעניות.

That’s partly because all a p-value actually tells us

חלקית, בגלל שכל מה שערך p אומר לנו,

is the probability of getting a certain result,

זה מה ההסתברות לקבל תוצאה מסויימת,

assuming the null hypothesis is true.

בהנחה שהשערת האפס נכונה.

So if she correctly sorts the teas,

אז אם היא ממיינת את כוסות התה באופן נכון,

the p-value is the probability of her doing so

ערך ה p הוא ההסתברות שהיא תעשה זאת

assuming she can’t tell the difference.

בהנחה שהיא לא יכולה להבדיל.

But the reverse isn’t true:

אבל ההיפך אינו נכון:

the p-value doesn’t tell us the probability

ערך ה p לא אומר לנו מה ההסתברות

that she can taste the difference,

שהיא יכולה להבדיל בין הטעמים,

which is what we’re trying to find out.

שזה מה שאנחנו מנסים לגלות.

So if a p-value doesn’t answer the research question,

אז אם ערך ה p לא עונה על שאלת המחקר,

why does the scientific community use it?

למה הקהילה המדעית משתמשת בו?

Well, because even though a p-value doesn’t directly state the probability

מכיוון שלמרות שערך p לא מראה ישירות את ההסתברות

that the results are due to random chance,

שתוצאה התקבלה באופן מקרי,

it usually gives a pretty reliable indication.

הוא בדרך כלל מהווה סימן די אמין.

At least, it does when used correctly.

לפחות, אם משתמשים בו נכון.

And that’s where many researchers, and even whole fields,

ושם הרבה חוקרות, ואפילו תחומים שלמים,

have run into trouble.

נתקלו בבעיה.

Most real studies are more complex than the tea experiment.

רוב המחקרים האמיתיים מורכבים יותר מניסוי התה.

Scientists can test their research question in multiple ways,

מדענים יכולים לבחון את שאלת המחקר שלהם במבחנים מרובים,

and some of these tests might produce a statistically significant result,

וכמה מהמבחנים האלה אולי יתנו תוצאה סטטיסטית מובהקת,

while others don’t.

בזמן שאחרים לא.

It might seem like a good idea to test every possibility.

זה אולי נראה כמו רעיון טוב לבחון כל אפשרות.

But it’s not, because with each additional test,

אבל זה לא. כי עם כל מבחן נוסף,

the chance of a false positive increases.

עולה הסיכוי לקבל תוצאה חיובית שגוייה.

Searching for a low p-value, and then presenting only that analysis,

חיפוש אחר ערך p נמוך, ואז הצגה רק של הניתוח הזה,

is often called p-hacking.

נקרא האקינג של p.

It’s like throwing darts until you hit a bullseye

זה כמו לזרוק חיצים עד שאתם פוגעים בבול

and then saying you only threw the dart that hit the bull’s eye.

ואז להגיד שרק זרקתם את החץ שפגע בבול.

This is exactly what the music researchers did.

זה בדיוק מה שחוקרי המוזיקה עשו.

They played three groups of participants each a different song

הם השמיעו שיר שונה לכל אחת משלוש קבוצות משתתפים

and collected lots of information about them.

ואספו הרבה מידע עליהן.

The analysis they published included only two out of the three groups.

הניתוח שהם פרסמו כלל רק שתים משלוש הקבוצות.

Of all the information they collected,

מכל המידע שהם אספו,

their analysis only used participants’ fathers’ age—

הניתוח שלהם כלל רק את גיל האב של המשתתפים --

to “control for variation in baseline age across participants.”

כדי “לשלוט בשונות הגיל הבסיסי מעבר למשתתפים.”

They also paused their experiment after every ten participants,

הם גם עצרו את הניסוי שלהם אחרי כל עשרה משתתפים,

and continued if the p-value was above .05,

והמשיכו אם ערך ה p היה מעל 0.05,

but stopped when it dipped below .05.

אבל עצרו אותו אם הערך ירד מתחת ל 0.05.

They found that participants who heard one song were 1.5 years younger

הם גילו שמשתתפים ששמעו שיר אחד, היו צעירים ב 1.5 שנים

than those who heard the other song, with a p-value of .04.

מאלו ששמעו את השיר האחר, עם ערך p של 0.04.

Usually it’s much tougher to spot p-hacking,

בדרך כלל הרבה יותר קשה לגלות האקינג של p,

because we don’t know the results are impossible:

כי אנחנו לא יודעות שהתוצאות הן בלתי אפשריות:

the whole point of doing experiments is to learn something new.

כל הרעיון בעריכת ניסויים היא ללמוד משהו חדש.

Fortunately, there’s a simple way to make p-values more reliable:

למרבה המזל, יש דרך פשוטה להפוך את ערך ה p ליותר אמין:

pre-registering a detailed plan for the experiment and analysis

רישום מראש של התכנית המפורטת לניסוי ולניתוח הנתונים,

beforehand that others can check,

כדי שאחרים יוכלו לבדוק אותה קודם,

so researchers can’t keep trying different analyses

והחוקרים לא יוכלו לנסות ניתוחים שונים

until they find a significant result.

עד שהם יקבלו תוצאה מובהקת.

And, in the true spirit of scientific inquiry,

וברוח האמיתית של חקירה מדעית,

there’s even a new field that’s basically science doing science on itself:

יש אפילו תחום חדש שהוא מדע על מדע:

studying scientific practices in order to improve them.

מחקר על מנהגים מדעיים, שנועד לשפר אותם.