Peter Donnelly: How stats fool juries

מתרגם: Yifat Adler מבקר: Ran Amitay

As other speakers have said, it's a rather daunting experience --

כפי שאמרו לפני, זה די מלחיץ --

a particularly daunting experience -- to be speaking in front of this audience.

בעצם, מלחיץ מאוד -- לדבר לפני הקהל הזה.

But unlike the other speakers, I'm not going to tell you about

אבל בניגוד לדוברים אחרים, אני לא עומד לספר לכם

the mysteries of the universe, or the wonders of evolution,

על מסתרי היקום, על פלאי האבולוציה,

or the really clever, innovative ways people are attacking

או על דרכים חכמות וחדשניות להתמודדות

the major inequalities in our world.

עם חוסר השיוויון העולמי.

Or even the challenges of nation-states in the modern global economy.

ואפילו לא על האתגרים של מדינות-הלאום בעידן הכלכלה הגלובלית המודרנית.

My brief, as you've just heard, is to tell you about statistics --

כפי ששמעתם, אני עומד לספר לכם על סטטיסטיקה --

and, to be more precise, to tell you some exciting things about statistics.

ואם נדייק, לספר לכם כמה דברים מרתקים על סטטיסטיקה.

And that's --

וזה --

(Laughter)

[צחוק]

-- that's rather more challenging

-- זהו אתגר גדול יותר מזה של

than all the speakers before me and all the ones coming after me.

כל הדוברים שהיו לפני וכל אלה שיגיעו בהמשך.

(Laughter)

[צחוק]

One of my senior colleagues told me, when I was a youngster in this profession,

אחד מעמיתי הבכירים אמר לי בגאווה רבה, בתחילת דרכי במקצוע הזה,

rather proudly, that statisticians were people who liked figures

שסטטיסטיקאים הם אנשים שאוהבים מספרים,

but didn't have the personality skills to become accountants.

אבל אין להם כישורי האישיות הדרושים להיות רואי חשבון.

(Laughter)

[צחוק]

And there's another in-joke among statisticians, and that's,

ויש עוד בדיחה פנימית של סטטיסטיקאים,

"How do you tell the introverted statistician from the extroverted statistician?"

"איך מבדילים בין סטטיסטיקאי מופנם לסטטיסטיקאי מוחצן?"

To which the answer is,

והתשובה היא,

"The extroverted statistician's the one who looks at the other person's shoes."

"הסטטיסטיקאי המוחצן הוא זה שבוחן נעליים של אנשים אחרים."

(Laughter)

[צחוק]

But I want to tell you something useful -- and here it is, so concentrate now.

אבל אני רוצה לדבר על משהו שימושי - - אז כדאי להתרכז עכשיו.

This evening, there's a reception in the University's Museum of Natural History.

הערב נערכת קבלת פנים במוזיאון להיסטוריה של הטבע של האוניברסיטה.

And it's a wonderful setting, as I hope you'll find,

זהו אתר נפלא, כפי שאני מקווה שתגלו,

and a great icon to the best of the Victorian tradition.

וסמל חשוב למיטב המסורת הויקטוריאנית.

It's very unlikely -- in this special setting, and this collection of people --

זה מאוד לא סביר -- באתר המיוחד הזה ועם אוסף האנשים הזה --

but you might just find yourself talking to someone you'd rather wish that you weren't.

אבל אתם עלולים למצוא את עצמכם מדברים עם מישהו שאתם מעדיפים להמנע משיחה איתו.

So here's what you do.

אז זה מה שאתם צריכים לעשות.

When they say to you, "What do you do?" -- you say, "I'm a statistician."

כששואלים אתכם, "במה אתם עוסקים?" -- תגידו "אני סטטיסטיקאי."

(Laughter)

[צחוק]

Well, except they've been pre-warned now, and they'll know you're making it up.

אבל עכשיו הם כבר קיבלו אזהרה מוקדמת וידעו שאתם מבלפים.

And then one of two things will happen.

ואז יש שתי אפשרויות.

They'll either discover their long-lost cousin in the other corner of the room

הם יגלו את הדודן האבוד שלהם בפינה הרחוקה

and run over and talk to them.

של החדר וירוצו לדבר איתו.

Or they'll suddenly become parched and/or hungry -- and often both --

או שהם יזכרו באופן פתאומי שהם מתים מצמא ו/או מרעב

and sprint off for a drink and some food.

ויפתחו בריצה קלה לעבר המשקאות והמזון.

And you'll be left in peace to talk to the person you really want to talk to.

ואז תהיו חופשיים לדבר עם מי שבאמת תרצו לדבר איתו.

It's one of the challenges in our profession to try and explain what we do.

אחד מאתגרי המקצוע הוא לנסות להסביר מה אנחנו עושים.

We're not top on people's lists for dinner party guests and conversations and so on.

אנחנו לא בראש רשימות האורחים והנושאים לשיחה בסעודות חגיגיות.

And it's something I've never really found a good way of doing.

וזה משהו שמעולם לא מצאתי דרך טובה לבצע.

But my wife -- who was then my girlfriend --

אבל אשתי -- שהייתה אז החברה שלי --

managed it much better than I've ever been able to.

טיפלה בזה הרבה יותר טוב ממני.

Many years ago, when we first started going out, she was working for the BBC in Britain,

לפני הרבה שנים, כשהתחלנו לצאת, היא עבדה עבור הבי.בי.סי. בבריטניה,

and I was, at that stage, working in America.

ובאותו שלב, אני עבדתי באמריקה.

I was coming back to visit her.

חזרתי כדי לבקר אותה.

She told this to one of her colleagues, who said, "Well, what does your boyfriend do?"

היא סיפרה על כך לאחת מחברותיה לעבודה ששאלה, "במה עוסק החבר שלך?"

Sarah thought quite hard about the things I'd explained --

שרה חשבה עמוקות על הדברים שהסברתי --

and she concentrated, in those days, on listening.

באותם הימים היא התרכזה בהקשבה.

(Laughter)

[צחוק]

Don't tell her I said that.

אל תגלו לה שאמרתי את זה.

And she was thinking about the work I did developing mathematical models

היא חשבה על העבודה שלי בפיתוח מודלים מתמטיים

for understanding evolution and modern genetics.

להבנה של אבולוציה וגנטיקה מודרנית.

So when her colleague said, "What does he do?"

וכאשר העמיתה שלה שאלה, "במה הוא עוסק?"

She paused and said, "He models things."

היא עצרה רגע ואמרה, "הוא מדגמן (=בונה דגמים של) דברים."

(Laughter)

[צחוק]

Well, her colleague suddenly got much more interested than I had any right to expect

העמיתה שלה גילתה פתאום עניין רב שלא הייתי ראוי לו

and went on and said, "What does he model?"

ושאלה, "מה הוא מדגמן?"

Well, Sarah thought a little bit more about my work and said, "Genes."

שרה חשבה עוד קצת על העבודה שלי וענתה "ג'ינס (=גנים)."

(Laughter)

[צחוק]

"He models genes."

"הוא מדגמן ג'ינס."

That is my first love, and that's what I'll tell you a little bit about.

וזוהי אהבתי הראשונה, עליה אדבר קצת עכשיו.

What I want to do more generally is to get you thinking about

וביתר כלליות, אני רוצה שתחשבו

the place of uncertainty and randomness and chance in our world,

על המקום של חוסר הוודאות, האקראיות והמקרה בעולמנו,

and how we react to that, and how well we do or don't think about it.

איך אנחנו מגיבים להם, ועד כמה אנו חושבים עליהם בצורה נכונה.

So you've had a pretty easy time up till now --

בהרצאות עד עכשיו היה לכם די קל --

a few laughs, and all that kind of thing -- in the talks to date.

קצת צחוקים, ודברים כאלה.

You've got to think, and I'm going to ask you some questions.

עכשיו תצטרכו להפעיל את המוח, ואני עומד לשאול אתכם כמה שאלות.

So here's the scene for the first question I'm going to ask you.

זאת התפאורה לשאלה הראשונה שאציג בפניכם.

Can you imagine tossing a coin successively?

תוכלו לדמיין את עצמכם מטילים מטבע ברצף?

And for some reason -- which shall remain rather vague --

מסיבה כלשהי -- שתשאר די מעורפלת --

we're interested in a particular pattern.

אנחנו מתעניינים בדפוס מסויים.

Here's one -- a head, followed by a tail, followed by a tail.

הנה דפוס - עץ, אחריו פלי, ואחריו פלי.

So suppose we toss a coin repeatedly.

נניח שאנחנו חוזרים על הטלת מטבע.

Then the pattern, head-tail-tail, that we've suddenly become fixated with happens here.

ואז הדפוס של עץ-פלי-פלי, שפתאום התחלנו לגלות בו ענין רב, מופיע כאן.

And you can count: one, two, three, four, five, six, seven, eight, nine, 10 --

ואפשר לספור: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 --

it happens after the 10th toss.

הוא מופיע אחרי ההטלה ה-10.

So you might think there are more interesting things to do, but humor me for the moment.

אולי תחשבו שיש דברים יותר מעניינים לעשות, אבל תשארו איתי רגע.

Imagine this half of the audience each get out coins, and they toss them

דמיינו שהחצי הזה של הקהל מקבל מטבעות ומטיל אותם

until they first see the pattern head-tail-tail.

עד הפעם הראשונה בה מופיע עץ-פלי-פלי.

The first time they do it, maybe it happens after the 10th toss, as here.

בפעם הראשונה אולי זה יופיע אחרי ההטלה ה-10, כמו כאן.

The second time, maybe it's after the fourth toss.

בפעם השנייה אולי אחרי ההטלה ה-4.

The next time, after the 15th toss.

בפעם הבאה, אחרי ההטלה ה-15.

So you do that lots and lots of times, and you average those numbers.

תחזרו על כך הרבה פעמים, ותחשבו ממוצע של המספרים האלה.

That's what I want this side to think about.

זה מה שאני רוצה שהצד הזה יחשוב עליו.

The other half of the audience doesn't like head-tail-tail --

החצי השני של הקהל לא מחבב את עץ-פלי-פלי --

they think, for deep cultural reasons, that's boring --

הם חושבים, מסיבות תרבותיות עמוקות, שזהו דפוס משעמם --

and they're much more interested in a different pattern -- head-tail-head.

והם מגלים עניין רב בדפוס אחר -- עץ-פלי-עץ.

So, on this side, you get out your coins, and you toss and toss and toss.

אז, בצד הזה, תקבלו את המטבעות שלכם, ותטילו אותם שוב ושוב ושוב.

And you count the number of times until the pattern head-tail-head appears

ואתם תספרו את מספר ההטלות עד שהדפוס עץ-פלי-עץ מופיע

and you average them. OK?

ותחשבו ממוצע שלהן. אוקי?

So on this side, you've got a number --

אז בצד הזה, יש לכם מספר --

you've done it lots of times, so you get it accurately --

עשיתם זאת הרבה פעמים, אז קיבלתם תוצאה מדוייקת --

which is the average number of tosses until head-tail-tail.

שהיא מספר ההטלות הממוצע עד לעץ-פלי-פלי.

On this side, you've got a number -- the average number of tosses until head-tail-head.

ובצד הזה, יש לכם מספר -- מספר ההטלות הממוצע עד לעץ-פלי-עץ.

So here's a deep mathematical fact --

עובדה מתמטית עמוקה --

if you've got two numbers, one of three things must be true.

אם יש לכם 2 מספרים, אחד מ-3 הדברים הבאים חייב להתקיים.

Either they're the same, or this one's bigger than this one,

או שהם זהים, או שזה יותר גדול מזה,

or this one's bigger than that one.

או שזה יותר גדול מזה.

So what's going on here?

מה קורה כאן?

So you've all got to think about this, and you've all got to vote --

כולכם צריכים לחשוב, וכולכם צריכים להצביע --

and we're not moving on.

ואנחנו לא מתקדמים.

And I don't want to end up in the two-minute silence

ולא הייתי רוצה שתיווצר שתיקה של 2 דקות

to give you more time to think about it, until everyone's expressed a view. OK.

כדי שיהיה לכם יותר זמן לחשוב על כך, עד שכולם יחוו את דעתם.

So what you want to do is compare the average number of tosses until we first see

נרצה להשוות את מספר ההטלות הממוצע עד שנראה עץ-פלי-עץ בפעם הראשונה

head-tail-head with the average number of tosses until we first see head-tail-tail.

למספר ההטלות הממוצע עד שנראה עץ-פלי-פלי בפעם הראשונה.

Who thinks that A is true --

מי חושב שא' נכון --

that, on average, it'll take longer to see head-tail-head than head-tail-tail?

כלומר, בממוצע, ייקח יותר זמן לראות עץ-פלי-עץ מאשר עץ-פלי-פלי?

Who thinks that B is true -- that on average, they're the same?

מי חושב שב' נכון -- שבממוצע הם זהים?

Who thinks that C is true -- that, on average, it'll take less time

מי חושב שג' נכון -- שבממוצע זה יקח פחות פעמים

to see head-tail-head than head-tail-tail?

לראות עץ-פלי-עץ מאשר עץ-פלי-פלי?

OK, who hasn't voted yet? Because that's really naughty -- I said you had to.

מי עדיין לא הצביע? שובבים -- אמרתי שחייבים להצביע.

(Laughter)

[צחוק]

OK. So most people think B is true.

רוב האנשים חושבים שב' נכון.

And you might be relieved to know even rather distinguished mathematicians think that.

ואולי תשמחו לשמוע שמתמטיקאים די מכובדים חושבים כמוכם.

It's not. A is true here.

אבל לא. א' היא התשובה הנכונה.

It takes longer, on average.

זה לוקח יותר זמן, בממוצע.

In fact, the average number of tosses till head-tail-head is 10

למעשה, מספר ההטלות הממוצע עד עץ-פלי-עץ הוא 10

and the average number of tosses until head-tail-tail is eight.

ומספר ההטלות הממוצע עד עץ-פלי-פלי הוא 8.

How could that be?

איך זה ייתכן?

Anything different about the two patterns?

יש הבדל בין שני הדפוסים?

There is. Head-tail-head overlaps itself.

והתשובה היא כן. עץ-פלי-עץ חופף את עצמו.

If you went head-tail-head-tail-head, you can cunningly get two occurrences

אם יוצא לכם עץ-פלי-עץ-פלי-עץ, תוכלו לקבל בערמומיות 2 מופעים

of the pattern in only five tosses.

של הדפוס ב-5 הטלות בלבד.

You can't do that with head-tail-tail.

לא ניתן לעשות זאת עם עץ-פלי-פלי.

That turns out to be important.

ומסתבר שזה חשוב.

There are two ways of thinking about this.

יש 2 דרכים לחשוב על כך.

I'll give you one of them.

אציג בפניכם אחת מהן.

So imagine -- let's suppose we're doing it.

דמיינו לעצמכם -- נניח שאנחנו מבצעים זאת.

On this side -- remember, you're excited about head-tail-tail;

בצד הזה -- אתם זוכרים, אתם מתלהבים מעץ-פלי-פלי,

you're excited about head-tail-head.

ואתם מתלהבים מעץ-פלי-עץ.

We start tossing a coin, and we get a head --

אנחנו מתחילים להטיל מטבע, וקיבלנו עץ --

and you start sitting on the edge of your seat

אתם יושבים על קצה הכסא

because something great and wonderful, or awesome, might be about to happen.

כי ייתכן שמשהו ענק ונפלא, או עצום וכביר, עומד להתרחש.

The next toss is a tail -- you get really excited.

ההטלה הבאה היא פלי -- אתם ממש מתלהבים.

The champagne's on ice just next to you; you've got the glasses chilled to celebrate.

השמפניה בקרח מוכנה, הגביעים כבר בקירור לקראת החגיגה.

You're waiting with bated breath for the final toss.

אתם מחכים בנשימה עצורה להטלה הסופית.

And if it comes down a head, that's great.

אם יוצא עץ, זה נפלא.

You're done, and you celebrate.

סיימתם ואתם חוגגים.

If it's a tail -- well, rather disappointedly, you put the glasses away

אם יוצא פלי -- אז, באכזבה רבה, אתם מניחים

and put the champagne back.

את הגביעים ואת השמפניה בצד.

And you keep tossing, to wait for the next head, to get excited.

ואתם ממשיכים להטיל, לחכות לעץ הבא, להתלהב.

On this side, there's a different experience.

בצד הזה, ההתנסות היא שונה.

It's the same for the first two parts of the sequence.

זה אותו הדבר בשני החלקים הראשונים של הסדרה.

You're a little bit excited with the first head --

אתם קצת מתרגשים כשמופיע העץ הראשון --

you get rather more excited with the next tail.

מתלהבים קצת יותר עם הפלי הבא.

Then you toss the coin.

ואז אתם מטילים את המטבע.

If it's a tail, you crack open the champagne.

אם יצא פלי, פותחים את השמפניה.

If it's a head you're disappointed,

אם יצא עץ, אתם מאוכזבים,

but you're still a third of the way to your pattern again.

אבל אתם כבר בשליש הדרך לקראת הדפוס הבא שלכם.

And that's an informal way of presenting it -- that's why there's a difference.

זוהי דרך לא פורמלית להציג זאת -- אבל זאת הסיבה להבדל.

Another way of thinking about it --

דרך אחרת לחשוב על כך --

if we tossed a coin eight million times,

אם היינו מטילים מטבע 8 מיליון פעמים,

then we'd expect a million head-tail-heads

היינו מצפים למיליון עץ-פלי-עץ

and a million head-tail-tails -- but the head-tail-heads could occur in clumps.

ולמיליון עץ-פלי-פלי -- אבל העץ-פלי-עץ היו יכולים להופיע במקבצים.

So if you want to put a million things down amongst eight million positions

אז אם רוצים לשים מיליון דברים בין 8 מיליון מקומות

and you can have some of them overlapping, the clumps will be further apart.

כשחלקם יכולים להיות חופפים, הרווחים בין המקבצים יהיו גדולים יותר.

It's another way of getting the intuition.

זוהי דרך אחת להסבר אינטואיטיבי.

What's the point I want to make?

מה אני רוצה להגיד?

It's a very, very simple example, an easily stated question in probability,

זוהי דוגמא מאוד מאוד פשוטה, שאלה בהסתברות שמנוסחת בקלות,

which every -- you're in good company -- everybody gets wrong.

שכולם -- אתם בחברה טובה -- כולם טועים בה.

This is my little diversion into my real passion, which is genetics.

זוהי סטייה קטנה לתשוקה האמיתית שלי - גנטיקה.

There's a connection between head-tail-heads and head-tail-tails in genetics,

יש קשר בין עץ-פלי-עץ ועץ-פלי-פלי בגנטיקה

and it's the following.

ואציג אותו בפניכם.

When you toss a coin, you get a sequence of heads and tails.

כאשר מטילים מטבע, מקבלים סדרה של עצים ופלים.

When you look at DNA, there's a sequence of not two things -- heads and tails --

כשמתבוננים בדי.אן.איי., יש סדרות שאינן של 2 דברים -- עצים ופלים --

but four letters -- As, Gs, Cs and Ts.

אלא של 4 אותיות -- A-ים, G-ים, C-ים ו-T-ים.

And there are little chemical scissors, called restriction enzymes

יש מספריים כימיים קטנים שנקראים אנזימי הגבלה

which cut DNA whenever they see particular patterns.

שחותכים את הדי.אן.איי. כשהם נתקלים בדפוסים מסויימים.

And they're an enormously useful tool in modern molecular biology.

הם כלי שימושי ביותר בביולוגיה מולקולרית מודרנית.

And instead of asking the question, "How long until I see a head-tail-head?" --

ובמקום לשאול, "כמה זמן יקח עד שנראה עץ-פלי-עץ?" --

you can ask, "How big will the chunks be when I use a restriction enzyme

אפשר לשאול, "מה יהיה גודל החתיכות כשאשתמש באנזים הגבלה

which cuts whenever it sees G-A-A-G, for example?

שחותך בכל פעם שהוא מוצא G-A-A-G, לדוגמא?

How long will those chunks be?"

מה יהיה אורך החתיכות?"

That's a rather trivial connection between probability and genetics.

זהו קשר די טריוויאלי בין הסתברות וגנטיקה.

There's a much deeper connection, which I don't have time to go into

יש קשר הרבה יותר עמוק, שאין לי זמן להכנס אליו,

and that is that modern genetics is a really exciting area of science.

והוא שגנטיקה מודרנית היא שטח מדעי מאוד מרתק.

And we'll hear some talks later in the conference specifically about that.

בהמשך הועידה נשמע כמה הרצאות על הנושא.

But it turns out that unlocking the secrets in the information generated by modern

אבל מתברר שחשיפת הסודות בנתונים שמיוצרים ע"י

experimental technologies, a key part of that has to do with fairly sophisticated --

טכנולוגיות ניסיוניות מודרניות, מרכיב מפתח בחשיפה זו --

you'll be relieved to know that I do something useful in my day job,

ודאי תשמחו לשמוע שאני עוסק בדברים שימושיים בעבודת היום-יום שלי,

rather more sophisticated than the head-tail-head story --

מורכבים יותר מסיפור העץ-פלי-עץ --

but quite sophisticated computer modelings and mathematical modelings

מודלים מחשביים ומודלים מתמטיים

and modern statistical techniques.

וטכניקות סטטיסטיות מודרניות מתוחכמים למדי.

And I will give you two little snippets -- two examples --

אציג בפניכם 2 דוגמאות

of projects we're involved in in my group in Oxford,

לפרוייקטים שהקבוצה שלי מאוקספורד מעורבת בהם.

both of which I think are rather exciting.

אני חושב ששניהם מרתקים למדי.

You know about the Human Genome Project.

ודאי שמעתם על פרוייקט הגנום האנושי.

That was a project which aimed to read one copy of the human genome.

זהו פרייקט שמטרתו הייתה קריאת עותק אחד של הגנום האנושי.

The natural thing to do after you've done that --

לאחר שהפרוייקט הושלם - הדבר הטבעי לעשותו

and that's what this project, the International HapMap Project,

הוא מה שעשה פרוייקט ה-HapMap הבינלאומי,

which is a collaboration between labs in five or six different countries.

שהוא שיתוף פעולה בין מעבדות מ-5 או 6 מדינות שונות.

Think of the Human Genome Project as learning what we've got in common,

חישבו על פרוייקט הגנום האנושי כעל למידה של מה שמשותף לנו.

and the HapMap Project is trying to understand

פרוייקט ה-HapMap מנסה להבין

where there are differences between different people.

איפה קיימים ההבדלים בין האנשים השונים.

Why do we care about that?

למה זה מעניין אותנו?

Well, there are lots of reasons.

מסיבות רבות.

The most pressing one is that we want to understand how some differences

הסיבה הבוערת ביותר היא שאנו רוצים להבין איך הבדלים מסויימים

make some people susceptible to one disease -- type-2 diabetes, for example --

גורמים לאנשים מסויימים להיות רגישים למחלה מסויימת - סוכרת סוג 2, לדוגמא,

and other differences make people more susceptible to heart disease,

והבדלים אחרים גורמים לאנשים להיות יותר רגישים למחלות לב,

or stroke, or autism and so on.

או לשבץ, או לאוטיזם וכו'.

That's one big project.

זה פרוייקט גדול אחד.

There's a second big project,

פרוייקט גדול נוסף,

recently funded by the Wellcome Trust in this country,

שנוסד לאחרונה ע"י וולקם טרסט במדינה הזאת,

involving very large studies --

כולל מחקרים רחבי היקף --

thousands of individuals, with each of eight different diseases,

אלפי אנשים, הסובלים מאחת מ-8 מחלות שונות,

common diseases like type-1 and type-2 diabetes, and coronary heart disease,

מחלות שכיחות כמו סוכרת סוג 1 וסוג 2, ומחלת לב כלילית,

bipolar disease and so on -- to try and understand the genetics.

הפרעה דו-קוטבית וכו'. מחקרים אלו מנסים להבין את הגנטיקה.

To try and understand what it is about genetic differences that causes the diseases.

הם מנסים להבין איזה רכיב בהבדלים הגנטיים גורם למחלות.

Why do we want to do that?

למה אנחנו רוצים לעשות זאת?

Because we understand very little about most human diseases.

מכיוון שאנחנו מבינים מעט מאוד על רוב המחלות האנושיות.

We don't know what causes them.

אנחנו לא יודעים מה גורם להן.

And if we can get in at the bottom and understand the genetics,

ואם נצליח לרדת לשורש העניין ולהבין את הגנטיקה,

we'll have a window on the way the disease works,

יהיה לנו חלון הצצה לאופן בו המחלה פועלת,

and a whole new way about thinking about disease therapies

ודרך חדשה לגמרי לחשוב על טיפול במחלות

and preventative treatment and so on.

ועל טיפול מונע וכו'.

So that's, as I said, the little diversion on my main love.

וכמו שאמרתי, זאת הייתה סטייה קטנה אל אהבתי העיקרית.

Back to some of the more mundane issues of thinking about uncertainty.

נחזור לכמה מהנושאים היותר ארציים של חשיבה על חוסר ודאות.

Here's another quiz for you --

הנה עוד חידה עבורכם --

now suppose we've got a test for a disease

נניח שיש לנו בדיקה למחלה

which isn't infallible, but it's pretty good.

שלא חסינה מפני טעויות, אבל היא די טובה.

It gets it right 99 percent of the time.

התוצאות שלה תקינות 99 אחוז מהזמן.

And I take one of you, or I take someone off the street,

ואני לוקח אחד מכם, או מישהו מהרחוב,

and I test them for the disease in question.

ובודק אם הוא חולה במחלה הנידונה.

Let's suppose there's a test for HIV -- the virus that causes AIDS --

נניח שזוהי בדיקה ל-HIV -- הוירוס שגורם לאיידס --

and the test says the person has the disease.

ושהבדיקה אומרת שהאדם חולה.

What's the chance that they do?

מה הסיכוי שהוא אכן חולה?

The test gets it right 99 percent of the time.

תוצאות הבדיקה תקינות 99 אחוז מהזמן.

So a natural answer is 99 percent.

לכן תשובה טבעית תהיה 99 אחוז.

Who likes that answer?

מי אוהב את התשובה הזאת?

Come on -- everyone's got to get involved.

קדימה -- כולם צריכים לענות.

Don't think you don't trust me anymore.

אל תחשבו שאתם כבר לא בוטחים בי.

(Laughter)

[צחוק]

Well, you're right to be a bit skeptical, because that's not the answer.

אתם צודקים אם אתם קצת ספקניים, כי זאת לא התשובה הנכונה.

That's what you might think.

זה מה שאתם אולי חושבים.

It's not the answer, and it's not because it's only part of the story.

זאת לא התשובה, אבל לא בגלל שזה רק חלק מהסיפור.

It actually depends on how common or how rare the disease is.

למעשה, זה תלוי במידה בה המחלה היא שכיחה או נדירה.

So let me try and illustrate that.

אנסה להמחיש זאת עבורכם.

Here's a little caricature of a million individuals.

זוהי קריקטורה קטנה של מיליון אנשים.

So let's think about a disease that affects --

נחשוב על מחלה די נדירה,

it's pretty rare, it affects one person in 10,000.

שמשפיעה על אדם אחד מתוך 10,000.

Amongst these million individuals, most of them are healthy

בין מיליון האנשים האלה, רובם בריאים

and some of them will have the disease.

וחלקם יסבלו מהמחלה.

And in fact, if this is the prevalence of the disease,

למעשה, אם זוהי השכיחות של המחלה,

about 100 will have the disease and the rest won't.

כ-100 יהיו חולים וכל השאר יהיו בריאים.

So now suppose we test them all.

נניח שאנחנו בודקים את כולם.

What happens?

מה יקרה?

Well, amongst the 100 who do have the disease,

מבין ה-100 שחולים,

the test will get it right 99 percent of the time, and 99 will test positive.

הבדיקה תתן תוצאה תקינה 99 אחוז מהזמן, ול-99 מהם התשובה תהיה חיובית.

Amongst all these other people who don't have the disease,

מבין האחרים שלא חולים,

the test will get it right 99 percent of the time.

הבדיקה תתן תשובה תקינה 99 אחוז מהזמן.

It'll only get it wrong one percent of the time.

היא תתן תוצאה שגויה רק באחוז אחד מהזמן.

But there are so many of them that there'll be an enormous number of false positives.

אבל מכיוון שיש כל כך הרבה אנשים - יהיה מספר עצום של תשובות חיוביות מוטעות.

Put that another way --

ובניסוח אחר --

of all of them who test positive -- so here they are, the individuals involved --

מבין כל אלה שמקבלים תשובה חיובית -- הנה הם --

less than one in 100 actually have the disease.

פחות מאחד ממאה אכן חולה.

So even though we think the test is accurate, the important part of the story is

ולמרות שאנחנו חושבים שהבדיקה מדוייקת, החלק החשוב של הסיפור הוא

there's another bit of information we need.

שישנם נתונים נוספים שאנו זקוקים להם.

Here's the key intuition.

זוהי האינטואיציה המובילה.

What we have to do, once we know the test is positive,

ברגע שאנחנו יודעים שהבדיקה חיובית,

is to weigh up the plausibility, or the likelihood, of two competing explanations.

עלינו לשקול את הסבירות, או הסיכוי, של שני הסברים אפשריים.

Each of those explanations has a likely bit and an unlikely bit.

לכל אחד מההסברים יש חלק סביר וחלק לא סביר.

One explanation is that the person doesn't have the disease --

הסבר אחד הוא שהאדם לא חולה --

that's overwhelmingly likely, if you pick someone at random --

זה סביר ביותר, אם בוחרים מישהו באופן אקראי --

but the test gets it wrong, which is unlikely.

אבל הבדיקה טועה - דבר לא סביר.

The other explanation is that the person does have the disease -- that's unlikely --

ההסבר השני הוא שהאדם חולה -- יש לכך סבירות נמוכה --

but the test gets it right, which is likely.

והבדיקה תקינה - לכך יש סבירות גבוהה.

And the number we end up with --

והמספר שאנחנו מקבלים בסופו של דבר --

that number which is a little bit less than one in 100 --

המספר שקצת יותר קטן מ-1 ל-100 --

is to do with how likely one of those explanations is relative to the other.

אומר מה הסבירות של הסבר אחד לעומת השני.

Each of them taken together is unlikely.

לכל אחד מהם סבירות נמוכה.

Here's a more topical example of exactly the same thing.

הנה דוגמא יותר אקטואלית לאותו הדבר.

Those of you in Britain will know about what's become rather a celebrated case

אם אתם מבריטניה אתם מכירים את המקרה המפורסם

of a woman called Sally Clark, who had two babies who died suddenly.

של אשה בשם סאלי קלארק, שהיו לה 2 תינוקות שמתו בפתאומיות.

And initially, it was thought that they died of what's known informally as "cot death,"

בהתחלה, חשבו שהם מתו ממה שידוע באופן לא פורמלי כ"מוות בעריסה",

and more formally as "Sudden Infant Death Syndrome."

ובאופן יותר פורמלי כתסמונת המוות הפתאומי בינקות.

For various reasons, she was later charged with murder.

מסיבות שונות, היא הורשעה מאוחר יותר ברצח.

And at the trial, her trial, a very distinguished pediatrician gave evidence

ובמשפט שלה, רופא ילדים מאוד מכובד העיד

that the chance of two cot deaths, innocent deaths, in a family like hers --

שהסיכוי לשני מקרים של מוות בעריסה, מקרי מוות תמימים, במשפחה כמו שלה,

which was professional and non-smoking -- was one in 73 million.

שהייתה מקצועית ולא מעשנת, הוא 1 ל-73 מיליון.

To cut a long story short, she was convicted at the time.

אם נקצר סיפור ארוך, היא הורשעה באותו הזמן.

Later, and fairly recently, acquitted on appeal -- in fact, on the second appeal.

מאוחר יותר, ודי לאחרונה, היא זוכתה לאחר ערעור -- למעשה, לאחר הערעור השני שלה.

And just to set it in context, you can imagine how awful it is for someone

וכדי שתראו את כל התמונה, נסו לדמיין כמה זה נורא

to have lost one child, and then two, if they're innocent,

לאבד ילד אחד, ואז עוד אחד - כשאתה חף מפשע,

to be convicted of murdering them.

ולהיות מורשע ברצח שלהם.

To be put through the stress of the trial, convicted of murdering them --

לעבור את כל המתח של המשפט, להיות מורשע ברצח,

and to spend time in a women's prison, where all the other prisoners

ולהגיע לבית הסוהר לנשים, בו כל שאר האסירות

think you killed your children -- is a really awful thing to happen to someone.

חושבות שרצחת את הילדים שלך -- זה דבר נורא ביותר.

And it happened in large part here because the expert got the statistics

וכאן, הוא התרחש בחלקו הגדול בגלל שתי טעויות חמורות

horribly wrong, in two different ways.

של המומחה בחישובי הסטטיסטיקה שלו.

So where did he get the one in 73 million number?

איך הוא הגיע למספר של 1 ל-73 מיליון?

He looked at some research, which said the chance of one cot death in a family

הוא מצא מחקר שאמר שהסיכוי למוות בעריסה אחד למשפחה

like Sally Clark's is about one in 8,500.

כמו זו של סאלי קלארק הוא כ-1 ל-8,500.

So he said, "I'll assume that if you have one cot death in a family,

ואז הוא אמר, "אני מניח שאם יש מקרה אחד של מוות בעריסה במשפחה,

the chance of a second child dying from cot death aren't changed."

הסיכוי שילד נוסף ימות ממוות בעריסה לא משתנה."

So that's what statisticians would call an assumption of independence.

זוהי מה שסטטיסטיקאים מכנים הנחת אי-תלות.

It's like saying, "If you toss a coin and get a head the first time,

זה כמו להגיד, "אם מטילים מטבע ומקבלים עץ,

that won't affect the chance of getting a head the second time."

זה לא משפיע על הסיכוי לקבלת עץ בפעם השנייה."

So if you toss a coin twice, the chance of getting a head twice are a half --

ולכן אם מטילים מטבע פעמיים, הסיכוי לקבל עץ פעמיים הוא

that's the chance the first time -- times a half -- the chance a second time.

חצי - הסיכוי לעץ בפעם הראשונה, כפול חצי - הסיכוי לעץ בפעם השנייה.

So he said, "Here,

אז הוא אמר,

I'll assume that these events are independent.

"אני אניח ששני המאורעות הם בלתי תלויים.

When you multiply 8,500 together twice,

כשמכפילים 8,500 ב-8,500,

you get about 73 million."

מקבלים בערך 73 מיליון."

And none of this was stated to the court as an assumption

וההנחה הזאת לא הוצגה בפני בית המשפט

or presented to the jury that way.

או בפני חבר המושבעים בצורה הזאת.

Unfortunately here -- and, really, regrettably --

לרוע המזל כאן, ובאופן מצער ביותר -

first of all, in a situation like this you'd have to verify it empirically.

קודם כל, במצב כזה צריך לוודא את הנתונים באופן אמפירי.

And secondly, it's palpably false.

ודבר שני, זה בפירוש לא נכון.

There are lots and lots of things that we don't know about sudden infant deaths.

יש המון דברים לא ידועים על מוות בעריסה.

It might well be that there are environmental factors that we're not aware of,

יתכן מאוד שקיימים גורמים סביבתיים שאנחנו לא מודעים להם,

and it's pretty likely to be the case that there are

וישנה סבירות גבוהה שמעורבים בכך

genetic factors we're not aware of.

גורמים גנטיים שאנחנו לא מודעים לקיומם.

So if a family suffers from one cot death, you'd put them in a high-risk group.

ולכן, אם במשפחה מתרחש מוות בעריסה, צריך להכניס אותה לקבוצה בסיכון גבוה.

They've probably got these environmental risk factors

קרוב לודאי שיש לה גורמי סיכון סביבתיים

and/or genetic risk factors we don't know about.

ו/או גורמי סיכון גנטיים שאנחנו לא מכירים.

And to argue, then, that the chance of a second death is as if you didn't know

ולכן, הטענה שהסיכוי למוות שני במשפחה זהה למקרה בו

that information is really silly.

הנתונים לא ידועים - היא מטופשת ביותר.

It's worse than silly -- it's really bad science.

ויותר ממטופשת -- זהו מדע גרוע ביותר.

Nonetheless, that's how it was presented, and at trial nobody even argued it.

ובכל זאת, זו הדרך בה העניין הוצג, ובבית המשפט אף אחד לא ניסה לטעון נגדו.

That's the first problem.

זוהי הבעיה הראשונה.

The second problem is, what does the number of one in 73 million mean?

הבעיה השניה היא, מה המשמעות של 1 ל-73 מיליון?

So after Sally Clark was convicted --

אחרי שסאלי קלארק הורשעה,

you can imagine, it made rather a splash in the press --

אתם יכולים לתאר לעצמכם שהיה רעש גדול בתקשורת.

one of the journalists from one of Britain's more reputable newspapers wrote that

אחד מהעיתונאים מאחד העיתונים המוערכים יותר בבריטניה כתב

what the expert had said was,

שמה שהמומחה אמר הוא,

"The chance that she was innocent was one in 73 million."

ש"הסיכוי שהיא חפה מפשע הוא 1 ל-73 מיליון."

Now, that's a logical error.

זוהי טעות לוגית.

It's exactly the same logical error as the logical error of thinking that

זוהי אותה טעות לוגית כמו הטעות לחשוב

after the disease test, which is 99 percent accurate,

שאחרי הבדיקה למחלה, שמדוייקת ב-99 אחוז,

the chance of having the disease is 99 percent.

הסיכוי לחלות הוא 99 אחוז.

In the disease example, we had to bear in mind two things,

בדוגמא של המחלה, היינו צריכים לזכור שני דברים,

one of which was the possibility that the test got it right or not.

הראשון הוא האפשרות שהבדיקה הייתה תקינה או לא תקינה.

And the other one was the chance, a priori, that the person had the disease or not.

והשני הוא הסיכוי, א-פריורי, שהאדם חולה או בריא.

It's exactly the same in this context.

זה בדיוק אותו דבר בהקשר הזה.

There are two things involved -- two parts to the explanation.

יש שני דברים מעורבים -- שני חלקים להסבר.

We want to know how likely, or relatively how likely, two different explanations are.

אנחנו רוצים לדעת מה הסיכוי, או מה הסיכוי היחסי של שני הסברים אפשריים.

One of them is that Sally Clark was innocent --

ההסבר הראשון הוא שסאלי קלארק חפה מפשע --

which is, a priori, overwhelmingly likely --

שלו יש, א-פריורי, סיכוי גבוה מאוד -

most mothers don't kill their children.

רוב האמהות לא הורגות את הילדים שלהן.

And the second part of the explanation

החלק השני של ההסבר

is that she suffered an incredibly unlikely event.

הוא שהיא סבלה ממקרה עם סבירות מאוד נמוכה.

Not as unlikely as one in 73 million, but nonetheless rather unlikely.

לא סיכוי נמוך כמו 1 ל-73 מיליון, אבל בכל זאת בסבירות די נמוכה.

The other explanation is that she was guilty.

ההסבר השני הוא שהיא אשמה.

Now, we probably think a priori that's unlikely.

קרוב לודאי שאנחנו חושבים מלכתחילה שזה לא סביר.

And we certainly should think in the context of a criminal trial

ודאי שאנחנו צריכים לחשוב בהקשר של משפט פלילי

that that's unlikely, because of the presumption of innocence.

שיש לכך סיכוי נמוך, בגלל הנחת החפות מפשע.

And then if she were trying to kill the children, she succeeded.

ושאם היא ניסתה להרוג את הילדים, היא הצליחה.

So the chance that she's innocent isn't one in 73 million.

אם כך, הסיכוי שהיא חפה מפשע אינו 1 ל-73 מיליון.

We don't know what it is.

אנחנו לא יודעים מה הוא.

It has to do with weighing up the strength of the other evidence against her

צריך לקחת בחשבון את חוזק הראיות האחרות נגדה

and the statistical evidence.

ואת הראיות הסטטיסטיות.

We know the children died.

אנחנו יודעים שהילדים מתו.

What matters is how likely or unlikely, relative to each other,

מה שחשוב זה מה הסבירות או אי-הסבירות של שני ההסברים

the two explanations are.

ביחס זה לזה.

And they're both implausible.

ושניהם בלתי סבירים.

There's a situation where errors in statistics had really profound

זהו מקרה בו ההשלכות של טעויות בסטטיסטיקה

and really unfortunate consequences.

חמורות ביותר ומצערות ביותר.

In fact, there are two other women who were convicted on the basis of the

למעשה, שתי נשים נוספות הורשעו על בסיס

evidence of this pediatrician, who have subsequently been released on appeal.

העדות של רופא הילדים הזה, ושוחררו לאחר ערעור.

Many cases were reviewed.

מקרים רבים נבחנו מחדש.

And it's particularly topical because he's currently facing a disrepute charge

וזה מאוד אקטואלי כי עכשיו הוא עומד בפני תביעת הוצאת שם רע

at Britain's General Medical Council.

במועצה הרפואית הכללית בבריטניה.

So just to conclude -- what are the take-home messages from this?

וכדי לסכם - מה המסר שתקחו אתכם הביתה?

Well, we know that randomness and uncertainty and chance

אנחנו יודעים שאקראיות, וחוסר ודאות, וסיכוי

are very much a part of our everyday life.

הם חלק בלתי נפרד מחיי היום יום שלנו.

It's also true -- and, although, you, as a collective, are very special in many ways,

בנוסף, למרות שאתם, ככלל, מיוחדים מאוד בדרכים רבות,

you're completely typical in not getting the examples I gave right.

אתם אופייניים מאוד שלא פתרתם את הדוגמאות שלי בצורה נכונה.

It's very well documented that people get things wrong.

ישנו תעוד רחב היקף לכך שאנשים טועים.

They make errors of logic in reasoning with uncertainty.

הם מבצעים שגיאות לוגיות בזמן הסקת מסקנות בתנאי חוסר ודאות.

We can cope with the subtleties of language brilliantly --

אנחנו יכולים להתמודד עם הדקויות של השפה באופן מזהיר --

and there are interesting evolutionary questions about how we got here.

וישנן שאלות אבולוציוניות מעניינות על איך הגענו לכאן.

We are not good at reasoning with uncertainty.

אנחנו לא מוצלחים בהסקת מסקנות בתנאי חוסר ודאות.

That's an issue in our everyday lives.

זהו נושא שקיים בחיי היום יום שלנו.

As you've heard from many of the talks, statistics underpins an enormous amount

כפי ששמעתם בהרצאות רבות, הסטטיסטיקה מהווה בסיס לכמות עצומה

of research in science -- in social science, in medicine

של מחקרים מדעיים -- במדעי החברה, ברפואה,

and indeed, quite a lot of industry.

ולמעשה, בתחומים תעשייתיים רבים.

All of quality control, which has had a major impact on industrial processing,

כל בקרת האיכות, שהיא בעלת השפעה מכרעת על תהליכים תעשייתיים,

is underpinned by statistics.

מבוססת על סטטיסטיקה.

It's something we're bad at doing.

וזה משהו שאנחנו גרועים בביצוע שלו.

At the very least, we should recognize that, and we tend not to.

לכל הפחות, עלינו להכיר בכך, ואנחנו נוטים לא לעשות זאת.

To go back to the legal context, at the Sally Clark trial

ואם נחזור להקשר המשפטי, במשפט של סאלי קלארק

all of the lawyers just accepted what the expert said.

כל עורכי הדין פשוט קיבלו את מה שהמומחה אמר.

So if a pediatrician had come out and said to a jury,

וכך, אם רופא ילדים היה אומר לחבר המושבעים,

"I know how to build bridges. I've built one down the road.

"אני יודע לבנות גשרים. בניתי אחד במורד הדרך.

Please drive your car home over it,"

אני מבקש שתסעו עליו בדרככם הביתה,"

they would have said, "Well, pediatricians don't know how to build bridges.

הם היו אומרים, "ובכן, רופאי ילדים לא יודעים לבנות גשרים.

That's what engineers do."

זהו תפקידם של המהנדסים."

On the other hand, he came out and effectively said, or implied,

ומצד שני, השתמע מדבריו שהוא אומר,

"I know how to reason with uncertainty. I know how to do statistics."

"אני יודע איך להסיק מסקנות בתנאי חוסר ודאות. אני יודע איך עושים סטטיסטיקה.

And everyone said, "Well, that's fine. He's an expert."

וכולם אמרו, "בסדר גמור. הוא מומחה."

So we need to understand where our competence is and isn't.

אנחנו חייבים להבין באיזה תחומים יש לנו יכולת ובאיזה לא.

Exactly the same kinds of issues arose in the early days of DNA profiling,

אותם נושאים התעוררו בתחילת הדרך של שימוש בפרופילים גנטיים,

when scientists, and lawyers and in some cases judges,

כאשר מדענים ועורכי דין ובמקרים מסויימים שופטים,

routinely misrepresented evidence.

נהגו להציג ראיות בצורה מסולפת.

Usually -- one hopes -- innocently, but misrepresented evidence.

בדרך כלל, יש לקוות, בתום לב, אבל הראיות הוצגו בצורה מסולפת.

Forensic scientists said, "The chance that this guy's innocent is one in three million."

מדעני זיהוי פלילי אמרו, "הסיכוי שהבחור הזה חף מפשע הוא 1 ל-3 מיליון.

Even if you believe the number, just like the 73 million to one,

וגם אם אתם מאמינים למספר הזה, כמו ל-73 מיליון ל-1,

that's not what it meant.

זאת לא המשמעות שלו.

And there have been celebrated appeal cases

והיו ערעורים מפורסמים

in Britain and elsewhere because of that.

בבריטניה ובמקומות אחרים מהסיבה הזאת.

And just to finish in the context of the legal system.

וכדי לסיים בהקשר של המערכת המשפטית.

It's all very well to say, "Let's do our best to present the evidence."

זה יפה מאוד להגיד, "נעשה את מיטב יכולתנו בהצגת הראיות."

But more and more, in cases of DNA profiling -- this is another one --

אבל יותר ויותר, במקרים של בניית פרופילים גנטיים -- זה דבר נוסף --

we expect juries, who are ordinary people --

אנחנו מצפים מחבר המושבעים, שהם אנשים רגילים --

and it's documented they're very bad at this --

וזה מתועד שהם מאוד גרועים בכך --

we expect juries to be able to cope with the sorts of reasoning that goes on.

אנחנו מצפים שחבר המושבעים יהיה מסוגל להתמודד עם תהליך הסקת המסקנות שכרוך בכך.

In other spheres of life, if people argued -- well, except possibly for politics --

בתחומי חיים אחרים, אם אנשים היו טוענים -- חוץ אולי מבפוליטיקה,

but in other spheres of life, if people argued illogically,

אבל בתחומי חיים אחרים, אם אנשים היו טוענים בחוסר הגיון,

we'd say that's not a good thing.

היינו אומרים שזה דבר גרוע.

We sort of expect it of politicians and don't hope for much more.

אולי אנחנו מצפים לכך מפוליטיקאים - הציפיות שלנו מהם לא גבוהות.

In the case of uncertainty, we get it wrong all the time --

במקרים של חוסר ודאות, אנחנו טועים כל הזמן --

and at the very least, we should be aware of that,

ולכל הפחות, אנחנו צריכים להיות מודעים לכך.

and ideally, we might try and do something about it.

ובאופן אידיאלי, גם לנסות לעשות משהו בקשר לכך.

Thanks very much.

תודה רבה.