Is there a reproducibility crisis in science? - Matt Anticole

האם יש משבר שחזור במדע? – מאט אנתיקול

תרגום: Sigal Tifferet עריכה: Ido Dekkers

In 2011, a team of physicists reported a startling discovery:

ב-2011 קבוצת פיזיקאים דיווחה על תגלית מרעישה:

neutrinos traveled faster than the speed of light

נויטרונים נעו מהר ממהירות האור

by 60 billionths of a second

ב-60 מיליארדיות השניה,

in their 730 kilometer trip from Geneva to a detector in Italy.

במסעם בן-730 הק"מ מז'נבה ועד לגלאי באיטליה.

Despite six months of double checking, the bizarre discovery refused to yield.

למרות 6 חודשים של בחינה חוזרת, התגלית המוזרה סירבה להיכנע.

But rather than celebrating a physics revolution,

אך במקום לחגוג מהפכה בפיזיקה,

the researchers published a cautious paper

החוקרים פירסמו מאמר זהיר

arguing for continued research in an effort to explain the observed anomaly.

וטענו כי יש להמשיך ולחקור בניסיון להסביר את האנומליה שנצפתה.

In time, the error was tracked to a single incorrectly connected fiber optic cable.

לאחר זמן, אותר מקור הטעות בכבל בודד של סיב אופטי, שלא חובר כראוי.

This example reminds us that real science is more than static textbooks.

דוגמה זו מזכירה לנו שמדע אמיתי הוא יותר מספרי לימוד שאינם משתנים.

Instead, researchers around the world are continuously publishing

במקום זאת, מדענים מסביב לעולם מפרסמים ללא הפסק

their latest discoveries

את תגליותיהם האחרונות,

with each paper adding to the scientific conversation.

כשכל מאמר מוסיף לדיון המדעי.

Published studies can motivate future research,

פרסום מחקרים יכול להניע מחקרים עתידיים,

inspire new products,

לעודד מוצרים חדשים,

and inform government policy.

ולשפר מדיניות ממשלתית.

So it's important that we have confidence in the published results.

לכן חשוב כל-כך שנבטח בממצאים המתפרסמים.

If their conclusions are wrong,

אם מסקנותיהם שגויות,

we risk time,

אנו מסכנים זמן,

resources,

משאבים,

and even our health in the pursuit of false leads.

ואפילו את בריאותנו, במרדף אחר רמזים כוזבים.

When findings are significant,

כשהממצאים הם משמעותיים,

they are frequently double-checked by other researchers,

הם לעיתים קרובות נבדקים שוב על-ידי חוקרים אחרים,

either by reanalyzing the data

בניתוח חוזר של הנתונים,

or by redoing the entire experiment.

או בחזרה על הניסוי כולו.

For example, it took repeated investigation of the CERN data

לדוגמא, רק חקירה חוזרת של נתוני ה-CERN

before the timing error was tracked down.

איפשרה לזהות את הטעות בתיזמון.

Unfortunately, there are currently neither the resources nor professional incentives

לרוע המזל, כיום אין משאבים או תמריצים מקצועיים

to double check the more than 1 million scientific papers published annually.

לבדיקה החוזרת של מעל מיליון מאמרים מדעיים המתפרסמים כל שנה.

Even when papers are challenged, the results are not reassuring.

גם כשבודקים את המאמרים, התוצאות אינן מרגיעות.

Recent studies that examined dozens of published pharmaceutical papers

מחקרים אחרונים שבחנו עשרות מאמרים בנושאי תרופות,

managed to replicate the results of less than 25% of them.

הצליחו לשחזר את הממצאים של פחות מ-25% מהם.

And similar results have been found in other scientific disciplines.

ותוצאות דומות נמצאו גם בתחומים מדעיים אחרים.

There are a variety of sources for irreproducible results.

יש מגוון סיבות לממצאים שאינם ניתנים לשחזור.

Errors could hide in their original design, execution, or analysis of the data.

טעויות יכולות להתחבא בתכנון, ביצוע, או ניתוח המידע המקוריים.

Unknown factors,

גורמים בלתי ידועים,

such as patients' undisclosed condition in a medical study,

כמו אי-דיווח על מצבם הרפואי של פציינטים במחקר רפואי,

can produce results that are not repeatable in new test subjects.

יכולים להוביל לתוצאות שאינן ניתנות לשחזור בנבדקים חדשים.

And sometimes, the second research group can't reproduce the original results

ולפעמים, קבוצת המחקר השנייה אינה יכולה לשחזר את הממצאים המקוריים

simply because they don't know exactly what the original group did.

רק משום שהם לא יודעים מה בדיוק עשתה הקבוצה המקורית.

However, some problems might stem from systematic decisions

יחד עם זאת, חלק מהבעיות עלולות לנבוע מהחלטות שיטתיות

in how we do science.

הקשורות לאופן בו אנו עושים מדע.

Researchers,

the institutions that employ them,

חוקרים,

המוסדות המעסיקים אותם,

and the scientific journals that publish findings

וכתבי העת המפרסמים את הממצאים,

are expected to produce big results frequently.

מצופים להפיק ממצאים גדולים לעיתים קרובות.

Important papers can advance careers,

מאמרים חשובים יכולים לקדם קריירות,

generate media interest,

ליצור עניין תקשורתי,

and secure essential funding,

ולהבטיח מקורות מימון חיוניים.

so there's slim motivation for researchers to challenge their own exciting results.

כך שלחוקרים אין הרבה מוטיבציה לערער על ממצאיהם המרגשים.

In addition, little incentive exists

בנוסף, אין תמריץ

to publish results unsupportive of the expected hypothesis.

לפרסם ממצאים שלא תומכים בהשערה המצופה.

That results in a deluge of agreement between what was expected

דבר זה יוצר שטף של הסכמה בין מה שהיה מצופה

and what was found.

לבין מה שנמצא.

In rare occasions, this can even lead to deliberate fabrication,

במקרים נדירים, זה יכול אפילו להוביל לפִבְּרוּק מכוון,

such as in 2013, when a researcher spiked rabbit blood with human blood

כמו ב-2013, כשחוקר הוסיף דם אנושי לדם של ארנבת,

to give false evidence that his HIV vaccine was working.

כדי לייצר הוכחה שקרית לכך שחיסון ה-HIV שלו פועל.

The publish or perish mindset

הלך המחשבה של "פרסם או היכחד"

can also compromise academic journals' traditional peer-review processes

יכול גם לפגוע בתהליכי שיפוט העמיתים המסורתיים

של כתבי עת אקדמיים,

which are safety checks

המהווים בדיקת בטיחות

where experts examine submitted papers for potential shortcomings.

בה מומחים מחפשים בעיות אפשריות במאמרים שהוגשו.

The current system,

המערכת הנוכחית,

which might involve only one or two reviewers,

המערבת אולי שופט אחד או שניים,

can be woefully ineffective.

יכולה להיות חסרת יעילות באופן מעציב.

That was demonstrated in a 1998 study

זה הודגם במחקר משנת 1998,

where eight weaknesses were deliberately inserted into papers,

בו הוכנסו בכוונה 8 בעיות לתוך מאמרים,

but only around 25% were caught upon review.

אבל רק 25% מהן זוהו בתהליך השיפוט.

Many scientists are working toward improving reproducibility in their fields.

מדענים רבים עובדים לקראת שיפור ביכולת השחזור בתחומם.

There's a push to make researchers raw data,

ישנה מגמה להכריח חוקרים לפרסם את הנתונים הגולמיים,

experimental procedures,

המהלכים הניסויים,

and analytical techniques more openly available

וטכניקות הניתוח, באופן פתוח ונגיש,

in order to ease replication efforts.

על מנת להקל על מאמצי השחזור.

The peer review process can also be strengthened

תהליך שיפוט העמיתים יכול גם להתחזק

to more efficiently weed out weak papers prior to publication.

כך שינפה ביעילות רבה יותר מאמרים חלשים, לפני הפרסום.

And we could temper the pressure to find big results

וניתן לרסן את הלחץ להשיג ממצאים גדולים

by publishing more papers that fail to confirm the original hypothesis,

על-ידי פרסום של יותר מאמרים שנכשלים בניסיון לאשש את ההשערה המקורית,

an event that happens far more than current scientific literature suggests.

תופעה המתרחשת הרבה יותר ממה שעולה מהספרות המדעית.

Science always has, and always will, encounter some false starts

במדע תמיד היו ויהיו כמה התחלות כוזבות,

as part of the collective acquisition of new knowledge.

כחלק מצבירת הידע הקולקטיבי.

Finding ways to improve the reproducibility of our results

מציאת דרכים לשיפור יכולת השחזור של הממצאים שלנו

can help us weed out those false starts more effectively,

יכולה לעזור לנו לנפות טוב יותר את אותן התחלות כוזבות,

keeping us moving steadily toward exciting new discoveries.

וכך לקדם אותנו בבטחה לעבר תגליות חדשות.