Peter Donnelly: How stats fool juries

Питер Доннелли рассказывает как статистика одурачивает присяжных.

Переводчик: Maksim Maydanskiy Редактор: Ilya Sklyar

As other speakers have said, it's a rather daunting experience --

Как уже говорили другие докладчики, это довольно трудная задача —

a particularly daunting experience -- to be speaking in front of this audience.

особенно трудная задача — выступать перед этой аудиторией.

But unlike the other speakers, I'm not going to tell you about

Но в отличие от других докладчиков, я не собираюсь рассказывать вам

the mysteries of the universe, or the wonders of evolution,

о тайнах вселенной, или о чудесах эволюции,

or the really clever, innovative ways people are attacking

или о очень изобретательных, новых способах борьбы

the major inequalities in our world.

со значительным неравенством в нашем мире.

Or even the challenges of nation-states in the modern global economy.

И даже не о трудностях национальных государств в современной глобальной экономике.

My brief, as you've just heard, is to tell you about statistics --

Моя задача, как вы только что слышали, рассказать вам о статистике —

and, to be more precise, to tell you some exciting things about statistics.

а точнее, рассказать вам что-то захватывающee о статистике.

And that's --

А это

(Laughter)

(Смех)

-- that's rather more challenging

— а это гораздо более сложная задача

than all the speakers before me and all the ones coming after me.

и чем у всех докладчиков до меня, и чем у всех после.

(Laughter)

(Смех)

One of my senior colleagues told me, when I was a youngster in this profession,

Один из моих старших коллег сказал мне, когда я был еще юнцом в этой профессии,

rather proudly, that statisticians were people who liked figures

с долей гордости, что статистики это люди которым нравятся числа,

but didn't have the personality skills to become accountants.

но у которых не достаточно общительности, чтобы стать бухгалтерами.

(Laughter)

(Смех)

And there's another in-joke among statisticians, and that's,

Еще одна профессиональная шутка среди статистиков:

"How do you tell the introverted statistician from the extroverted statistician?"

«Как отличить статистика‐интроверта от статистика-экстраверта?»

To which the answer is,

Ответ:

"The extroverted statistician's the one who looks at the other person's shoes."

«Статистик-экстраверт это тот кто смотрит на ботинки собеседника.»

(Laughter)

(Смех)

But I want to tell you something useful -- and here it is, so concentrate now.

Но я хочу рассказать вам кое‐что полезное — и сейчас начну, так что сконцентрируйтесь.

This evening, there's a reception in the University's Museum of Natural History.

Сегодня вечером будет прием в Музее естественной истории при университете.

And it's a wonderful setting, as I hope you'll find,

Это замечательное место, я надеюсь вы в этом убедитесь,

and a great icon to the best of the Victorian tradition.

и замечательный символ лучшего в Викторианской традиции.

It's very unlikely -- in this special setting, and this collection of people --

Маловероятно — в этих особых обстоятельствах, и в этой группе людей —

but you might just find yourself talking to someone you'd rather wish that you weren't.

но может оказаться что вы разговариваете с кем‐то, с кем вам бы не хотелось разговаривать.

So here's what you do.

Вот что вам следует сделать.

When they say to you, "What do you do?" -- you say, "I'm a statistician."

Когда собеседник спросит вас: «Кто вы по профессии?» — скажите «Я статистик.»

(Laughter)

(Смех)

Well, except they've been pre-warned now, and they'll know you're making it up.

Правда теперь он был предупрежден, так что он будет знать что вы врете.

And then one of two things will happen.

И тогда произойдет одно из двух.

They'll either discover their long-lost cousin in the other corner of the room

Либо он обнаружит давно потерянную двоюродную сестру в углу комнаты

and run over and talk to them.

и убежит поговорить с ней.

Or they'll suddenly become parched and/or hungry -- and often both --

Либо он неожиданно почувствует жажду или голод — а часто и то и другое —

and sprint off for a drink and some food.

и помчится за едой и напитками.

And you'll be left in peace to talk to the person you really want to talk to.

И оставит вас в покое чтобы вы смогли поговорить с кем хотели.

It's one of the challenges in our profession to try and explain what we do.

Одна из сложностей нашей профессии в том, чтобы объяснить чем мы занимаемся.

We're not top on people's lists for dinner party guests and conversations and so on.

Мы не возглавляем списки приглашаемых на званые обеды, собеседников и так далее.

And it's something I've never really found a good way of doing.

Я так и не придумал как это делать.

But my wife -- who was then my girlfriend --

Но моя жена — тогда она еще была моей девушкой —

managed it much better than I've ever been able to.

преуспела в этом намного лучше чем я когда‐либо мог.

Many years ago, when we first started going out, she was working for the BBC in Britain,

Много лет назад, когда мы только начали встречаться, она работала на Би‐би‐си в Великобритании,

and I was, at that stage, working in America.

я в тот момент работал в Америке.

I was coming back to visit her.

Я собирался навестить ее.

She told this to one of her colleagues, who said, "Well, what does your boyfriend do?"

Она рассказала об этом коллеге, и та спросила, «А чем занимается твой парень?»

Sarah thought quite hard about the things I'd explained --

Сара поразмышляла над тем что я ей объяснял —

and she concentrated, in those days, on listening.

тогда она в основном слушала.

(Laughter)

(Смех)

Don't tell her I said that.

Не говорите ей что я это сказал.

And she was thinking about the work I did developing mathematical models

Она подумала о моих занятиях по разработке математических моделей

for understanding evolution and modern genetics.

для изучения эволюции и современной генетики.

So when her colleague said, "What does he do?"

И когда ее коллега спросила «Чем он занимается?»

She paused and said, "He models things."

она, после паузы, сказала «Он работает с моделями.»

(Laughter)

(Смех)

Well, her colleague suddenly got much more interested than I had any right to expect

Тогда ее коллега заинтересовалось сильнее чем я мог бы ожидать,

and went on and said, "What does he model?"

и спросила, «С какими моделями?»

Well, Sarah thought a little bit more about my work and said, "Genes."

Сара подимала еще немножко о моей работе и сказала, «Генетическими.»

(Laughter)

(Смех)

"He models genes."

«Он занимается генетическими моделями.»

That is my first love, and that's what I'll tell you a little bit about.

Это моя первая любовь, и я вам немножко об этом расскажу.

What I want to do more generally is to get you thinking about

В целом, я хочу заставить вас задуматься

the place of uncertainty and randomness and chance in our world,

о месте неопределенности, случайности и шанса в нашем мире,

and how we react to that, and how well we do or don't think about it.

как этому относиться, и о том насколько правильно или неправильно мы об этом думаем.

So you've had a pretty easy time up till now --

Так что до сих пор все было довольно просто —

a few laughs, and all that kind of thing -- in the talks to date.

несколько шуток, в таком духе — в предыдущих докладах.

You've got to think, and I'm going to ask you some questions.

Вам прийдется думать, и я буду задавать вам вопросы.

So here's the scene for the first question I'm going to ask you.

Вот ситуация про которую будет первый вопрос.

Can you imagine tossing a coin successively?

Представьте себе многократное подбрасывание монетки.

And for some reason -- which shall remain rather vague --

И по какой‐то причине — которая останется невыясненой —

we're interested in a particular pattern.

нас интересует определенная последовательность.

Here's one -- a head, followed by a tail, followed by a tail.

Например такая - решка, затем орел, затем снова орел.

So suppose we toss a coin repeatedly.

Итак представьте что мы подбрасываем монетку многократно.

Then the pattern, head-tail-tail, that we've suddenly become fixated with happens here.

Тогда последовательность решка‐орел‐орел, на которой мы внезапно сконцентрировались, встречается здесь.

And you can count: one, two, three, four, five, six, seven, eight, nine, 10 --

И вы можете посчитать: раз, два, три, четыре, пять, шесть, семь, восемь, девять, десять —

it happens after the 10th toss.

она появляется после десятого броска.

So you might think there are more interesting things to do, but humor me for the moment.

Вам может показаться, что есть занятия и поинтересней, но уважьте меня на время.

Imagine this half of the audience each get out coins, and they toss them

Представьте, что эта половина аудитории достала монетки и начала их бросать

until they first see the pattern head-tail-tail.

до тех пор как они впервые не увидят последовательность решка‐орел‐орел.

The first time they do it, maybe it happens after the 10th toss, as here.

Когда они сделают это в первый раз, может быть это случится после десятого броска, как здесь.

The second time, maybe it's after the fourth toss.

Во второй раз, может быть после четвертого броска.

The next time, after the 15th toss.

В следующий раз, после пятнадцатого.

So you do that lots and lots of times, and you average those numbers.

Они сделают это много раз, и посчитают среднее этих чисел.

That's what I want this side to think about.

Эта половина пусть думает об этом.

The other half of the audience doesn't like head-tail-tail --

Другой половине аудитории не нравится решка‐орел‐орел —

they think, for deep cultural reasons, that's boring --

они считают, по глубоким культурным причинам, что это скучно —

and they're much more interested in a different pattern -- head-tail-head.

и их гораздо больше интересует другая последовательность — решка‐орел‐решка.

So, on this side, you get out your coins, and you toss and toss and toss.

Так что, на этой стороне, вы достаете свои монетки, и начинаете подбрасывать.

And you count the number of times until the pattern head-tail-head appears

И считаете количество бросков до появления последовательности решка‐орел‐решка

and you average them. OK?

и усредняете. ОК?

So on this side, you've got a number --

Итак, эта сторона получила число —

you've done it lots of times, so you get it accurately --

и вы сделали это много раз, так что подсчет довольно точный —

which is the average number of tosses until head-tail-tail.

среднее число подбрасываний до решка‐орел‐орел.

On this side, you've got a number -- the average number of tosses until head-tail-head.

На этой стороне, вы получили число среднее число подбрасываний до решка‐орел‐решка.

So here's a deep mathematical fact --

Есть глубокий математический факт —

if you've got two numbers, one of three things must be true.

если у вас есть два числа, то верно одно из трех.

Either they're the same, or this one's bigger than this one,

Либо они одинаковы, либо это больше, чем это,

or this one's bigger than that one.

либо это больше, чем то.

So what's going on here?

А что получится здесь?

So you've all got to think about this, and you've all got to vote --

Подумайте об этом, и проголосуйте —

and we're not moving on.

мы дальше не пойдем.

And I don't want to end up in the two-minute silence

Я не хочу получить две минуты молчания

to give you more time to think about it, until everyone's expressed a view. OK.

чтобы вы могли подумать об этом, пока каждый не выразил свое мнение. ОК.

So what you want to do is compare the average number of tosses until we first see

Вам нужно сравнить среднее количество бросков до первого появления

head-tail-head with the average number of tosses until we first see head-tail-tail.

решка‐орел‐решка со средним количеством бросков до первого появления решка‐орел‐орел.

Who thinks that A is true --

Кто считает что верен ответ А —

that, on average, it'll take longer to see head-tail-head than head-tail-tail?

что, в среднем, до решка‐орел‐решка ждать дольше чем до решка‐орел‐орел?

Who thinks that B is true -- that on average, they're the same?

Кто считает что правильный ответ B — что, в среднем, они одинаковы?

Who thinks that C is true -- that, on average, it'll take less time

Кто считает что ответ C — что, в среднем, меньше ждать

to see head-tail-head than head-tail-tail?

до решка‐орел‐решка чем до решка‐орел‐орел?

OK, who hasn't voted yet? Because that's really naughty -- I said you had to.

ОК, кто еще не проголосовал? Какие непослушные — я сказал что все должны.

(Laughter)

(Смех)

OK. So most people think B is true.

ОК. Большинство считает, что верен вариант B.

And you might be relieved to know even rather distinguished mathematicians think that.

И вас может быть утешит что даже достаточно выдающиеся математики так считают.

It's not. A is true here.

Но это не верно. Правильный ответ A.

It takes longer, on average.

Это занимает дольше, в среднем.

In fact, the average number of tosses till head-tail-head is 10

На самом деле, среднее количество бросков до решка‐орел‐орел 10,

and the average number of tosses until head-tail-tail is eight.

а среднее количество бросков до решка‐орел‐решка 8.

How could that be?

Как так может быть?

Anything different about the two patterns?

Есть какая-то разница между двумя последовательностями?

There is. Head-tail-head overlaps itself.

Есть. Решка‐орел‐решка пересекается сама с собой.

If you went head-tail-head-tail-head, you can cunningly get two occurrences

Если у вас появится решка‐орел‐решка‐орел‐решка, вы хитрым образом получили два появления

of the pattern in only five tosses.

последовательности за пять бросков.

You can't do that with head-tail-tail.

С решка‐орел‐орел так не сделаешь.

That turns out to be important.

Оказывается, что это важно.

There are two ways of thinking about this.

Есть два способа это понять.

I'll give you one of them.

Я расскажу вам один из них.

So imagine -- let's suppose we're doing it.

Итак представим что мы занимаемся этим.

On this side -- remember, you're excited about head-tail-tail;

На этой стороне — помните, нас интересует решка‐орел‐орел,

you're excited about head-tail-head.

вас интересует решка‐орел‐решка.

We start tossing a coin, and we get a head --

Мы начинаем бросать монетку, и получаем решку —

and you start sitting on the edge of your seat

и вот вы уже сидите на краю сиденья

because something great and wonderful, or awesome, might be about to happen.

потому что что-то замечательное и великолепное, потрясающее, может вот-вот случиться.

The next toss is a tail -- you get really excited.

При следующем броске выпадает орел — и вы очень взволнованы.

The champagne's on ice just next to you; you've got the glasses chilled to celebrate.

Шампанское поставлено на лед, стаканы охлаждены, все готово к празднованию.

You're waiting with bated breath for the final toss.

Вы затаив дыхание ждете последнего броска .

And if it comes down a head, that's great.

И если выпадет решка, отлично.

You're done, and you celebrate.

Процесс окончен, пора праздновать.

If it's a tail -- well, rather disappointedly, you put the glasses away

Если орел — вы разочаровано убираете бокалы

and put the champagne back.

и возвращаете на место шампанское.

And you keep tossing, to wait for the next head, to get excited.

И продолжаете бросать, ожидая следующей решки чтобы снова обрадоваться.

On this side, there's a different experience.

У этой стороны дело происходит по-другому.

It's the same for the first two parts of the sequence.

Все то же самое в первые два подбрасывания.

You're a little bit excited with the first head --

Вы немножко взволнованы после первой решки —

you get rather more excited with the next tail.

и значительно более взволнованы после последующего орла.

Then you toss the coin.

Затем вы подбрасываете монетку.

If it's a tail, you crack open the champagne.

Если орел, вы открываете шампанское.

If it's a head you're disappointed,

Если решка, вы немного разочарованы,

but you're still a third of the way to your pattern again.

но вас уже опять есть треть вашей последовательности.

And that's an informal way of presenting it -- that's why there's a difference.

Неформально говоря, именно в этом разница.

Another way of thinking about it --

По-другому об этом можно подумать так —

if we tossed a coin eight million times,

если мы подбросим монетку восемь миллионов раз,

then we'd expect a million head-tail-heads

можно ожидать миллион последовательностей решка‐орел‐решка

and a million head-tail-tails -- but the head-tail-heads could occur in clumps.

и миллион последовательностей решка‐орел‐орел — но решка‐орел‐решки могут выпадать кучками.

So if you want to put a million things down amongst eight million positions

Если вы разбросаете миллион объектов среди восьми миллионов позиций

and you can have some of them overlapping, the clumps will be further apart.

и некоторые из них могут пересекаться, то кучки будут дальше друг от друга.

It's another way of getting the intuition.

Вот так еще можно интуитивно это представить.

What's the point I want to make?

Что я хочу этим показать?

It's a very, very simple example, an easily stated question in probability,

Это очень очень простой пример, вопрос по теории вероятностей, который легко сформулировать,

which every -- you're in good company -- everybody gets wrong.

и отвечая на который все — вы в хорошей компании — все ошибаются.

This is my little diversion into my real passion, which is genetics.

Это мое небольшое отступление в предмет моей страсти, в генетику.

There's a connection between head-tail-heads and head-tail-tails in genetics,

Есть связь между решка‐орел‐решка и решка‐орел‐орел и генетикой,

and it's the following.

и она в следующем.

When you toss a coin, you get a sequence of heads and tails.

Когда вы бросаете монетку, вы получаете последовательность орлов и решек.

When you look at DNA, there's a sequence of not two things -- heads and tails --

Когда вы смотрите на ДНК, видите последовательности не двух вещей — орлов и решек —

but four letters -- As, Gs, Cs and Ts.

а четырех букв — A, G, C и Т.

And there are little chemical scissors, called restriction enzymes

И есть такие химические ножницы, они называются эндонуклеазы рестрикции,

which cut DNA whenever they see particular patterns.

которые разрезают ДНК когда видят определенные последовательности.

And they're an enormously useful tool in modern molecular biology.

Это невероятно полезный инструмент в современной молекулярной биологии.

And instead of asking the question, "How long until I see a head-tail-head?" --

И вместо того чтобы спросить "Сколько пройдет пока я увижу решка-орел-решка?"

you can ask, "How big will the chunks be when I use a restriction enzyme

можно спросить "Насколько большие кусочки получатся когда я использую эндонуклеазу рестрикции

which cuts whenever it sees G-A-A-G, for example?

которая разрезает когда видит последовательность G-A-A-G, например?

How long will those chunks be?"

Какой длинны будут эти кусочки?"

That's a rather trivial connection between probability and genetics.

Это довольно тривиальная связь между теорией вероятности и генетикой.

There's a much deeper connection, which I don't have time to go into

Есть более глубокая связь, говорить о которой у меня нет времени,

and that is that modern genetics is a really exciting area of science.

и которая состоит в том что современная генетика это захватывающая научная область,

And we'll hear some talks later in the conference specifically about that.

и мы услышим несколько докладов как раз об этом позже на этой конференции,

But it turns out that unlocking the secrets in the information generated by modern

но оказывается, что чтобы раскрыть секреты информации получаемой современными

experimental technologies, a key part of that has to do with fairly sophisticated --

экспериментальными технологиями, ключевой частью этого процесса являются достаточно сложные —

you'll be relieved to know that I do something useful in my day job,

будьте покойны, я на работе занимаюсь таки чем-то полезным —

rather more sophisticated than the head-tail-head story --

значительно более сложные чем история про решка-орел-решку —

but quite sophisticated computer modelings and mathematical modelings

сложные компьютерные модели и математические модели

and modern statistical techniques.

и современные статистические приемы.

And I will give you two little snippets -- two examples --

Я расскажу два маленьких отрывка — два примера —

of projects we're involved in in my group in Oxford,

проектов в которые вовлечена моя группа в Оксфорде,

both of which I think are rather exciting.

которые оба, по-моему, довольно интересны.

You know about the Human Genome Project.

Вы слышали о проекте «Геном человека».

That was a project which aimed to read one copy of the human genome.

Это проект целью которого было прочесть одну копию генома человека.

The natural thing to do after you've done that --

После того как вы это сделали, естественно перейти к —

and that's what this project, the International HapMap Project,

и в этом идея этого проекта, проекта «HapMap»,

which is a collaboration between labs in five or six different countries.

совместной работы лабораторий в пяти или шести различных странах.

Think of the Human Genome Project as learning what we've got in common,

Считайте что суть проекта «Геном человека» узнать, что нас объединяет,

and the HapMap Project is trying to understand

а проект «HapMap» попытка понять

where there are differences between different people.

в чем различия между разными людьми.

Why do we care about that?

Почему нас это интересует?

Well, there are lots of reasons.

Ну, на это много причин.

The most pressing one is that we want to understand how some differences

Самая насущная из которых в том чтобы понять как некоторые различия

make some people susceptible to one disease -- type-2 diabetes, for example --

делают одних людей более подверженными одному заболеванию — диабету 2-го типа, например —

and other differences make people more susceptible to heart disease,

а другие различия увеличивают риск сердечных заболеваний,

or stroke, or autism and so on.

или инсульта, или аутизма и так далее.

That's one big project.

Это один большой проект.

There's a second big project,

Есть еще один большой проект,

recently funded by the Wellcome Trust in this country,

недавно профинансированный в Великобритании трастом Вэлкома,

involving very large studies --

связанный с очень большими исследованиями —

thousands of individuals, with each of eight different diseases,

тысячи человек, с каждым из восьми различных заболеваний,

common diseases like type-1 and type-2 diabetes, and coronary heart disease,

распространенных заболеваний вроде диабета 1-го и 2-го типа, коронарной болезни сердца,

bipolar disease and so on -- to try and understand the genetics.

биполярного расстройства и так далее — чтобы попытаться понять генетику.

To try and understand what it is about genetic differences that causes the diseases.

Попытаться понять что в генетических различиях становится причиной этих болезней.

Why do we want to do that?

Почему мы хотим это сделать?

Because we understand very little about most human diseases.

Потому что мы очень мало понимаем о большинстве заболеваний человека.

We don't know what causes them.

Мы не знаем их причин.

And if we can get in at the bottom and understand the genetics,

И если мы можем начать с оснований и понять генетику,

we'll have a window on the way the disease works,

у нас будет окно в механизм заболевания.

and a whole new way about thinking about disease therapies

И совершенно новый взгляд на лечение,

and preventative treatment and so on.

превентивные процедуры и тому подобное.

So that's, as I said, the little diversion on my main love.

Это было, как я и говорил, небольшое отступление о моем основном увлечении.

Back to some of the more mundane issues of thinking about uncertainty.

Вернемся к более прозаическим вопросам рассуждения о вероятностях.

Here's another quiz for you --

Вот вам еще один проверочный вопрос —

now suppose we've got a test for a disease

допустим у вас есть тест на заболевание,

which isn't infallible, but it's pretty good.

не идеальный, но довольно неплохой.

It gets it right 99 percent of the time.

Он дает верный результат в 99и процентах случаев.

And I take one of you, or I take someone off the street,

И я выбираю одного из вас, или кого-то с улицы,

and I test them for the disease in question.

и тестирую его на это заболевание.

Let's suppose there's a test for HIV -- the virus that causes AIDS --

Допустим есть тест на ВИЧ — вирус вызывающий СПИД —

and the test says the person has the disease.

и этот тест говорит что у этот человек болен.

What's the chance that they do?

Какова вероятность что он на самом деле болен?

The test gets it right 99 percent of the time.

Тест дает верный результат в 99и процентах случаев.

So a natural answer is 99 percent.

Так что естественно ответить 99 процентов.

Who likes that answer?

Кому нравится этот ответ?

Come on -- everyone's got to get involved.

Давайте-давайте — все должны поучаствовать

Don't think you don't trust me anymore.

Не думайте что вы мне больше не доверяете.

(Laughter)

(Смех)

Well, you're right to be a bit skeptical, because that's not the answer.

Что ж, вы не зря скептически настроены, этот ответ не верен.

That's what you might think.

Так можно подумать.

It's not the answer, and it's not because it's only part of the story.

Этот ответ не верен, и не верен он потому что это только часть истории.

It actually depends on how common or how rare the disease is.

На самом деле ответ зависит от отго насколько распространено или редко это заболевание.

So let me try and illustrate that.

Давйте я попробую это проиллюстрировать.

Here's a little caricature of a million individuals.

Вот небольшое карикатурное изображение миллиона людей.

So let's think about a disease that affects --

Давайте подумаем о заболевании которое затрагивает —

it's pretty rare, it affects one person in 10,000.

довольно редком, оно затрагивает одного человека из 10000.

Amongst these million individuals, most of them are healthy

Среди этих миллиона человек, большинство из них здоровы,

and some of them will have the disease.

но некоторые больны.

And in fact, if this is the prevalence of the disease,

И, при такой распространенности заболевания,

about 100 will have the disease and the rest won't.

примерно 100 будут больны, а остальные нет.

So now suppose we test them all.

Допустим мы всех их протестировали.

What happens?

Что случится?

Well, amongst the 100 who do have the disease,

Среди 100 больных

the test will get it right 99 percent of the time, and 99 will test positive.

тест даст верный результат в 99и процентах случаев, и 99 получат положительный результат.

Amongst all these other people who don't have the disease,

Среди остальных, тех кто не болен,

the test will get it right 99 percent of the time.

тест даст верный результат в 99и процентах случаев.

It'll only get it wrong one percent of the time.

Он ошибется только в одном проценте случаев.

But there are so many of them that there'll be an enormous number of false positives.

Но их так много, что будет огромное количество ложноположительныx результатов.

Put that another way --

Иначе говоря —

of all of them who test positive -- so here they are, the individuals involved --

среди всех у тех у кого тест дал положительный результат — вот они, эти люди —

less than one in 100 actually have the disease.

меньше чем один из ста на самом деле болен.

So even though we think the test is accurate, the important part of the story is

Так что даже если мы считаем что тест надежен, важность этой истории в том,

there's another bit of information we need.

что нам нужна дополнительная информация.

Here's the key intuition.

Вот ключевая интуиция.

What we have to do, once we know the test is positive,

Узнав, что результат теста положительный, мы должны

is to weigh up the plausibility, or the likelihood, of two competing explanations.

взвесить правдоподобие, или вероятность, двух соревнующихся объяснений.

Each of those explanations has a likely bit and an unlikely bit.

В каждом из этих объяснений есть вероятная часть и есть маловероятная часть.

One explanation is that the person doesn't have the disease --

Одно объяснение в том что человек не болен —

that's overwhelmingly likely, if you pick someone at random --

это подавляюще вероятно, если выбрать кого-то случайным образом —

but the test gets it wrong, which is unlikely.

но тест ошибся, что маловероятно.

The other explanation is that the person does have the disease -- that's unlikely --

Другое объяснение в том что человек болен — это маловероятно —

but the test gets it right, which is likely.

и тест прав, что вероятно.

And the number we end up with --

И число которое мы получаем —

that number which is a little bit less than one in 100 --

чуть меньше чем 1 на 100 —

is to do with how likely one of those explanations is relative to the other.

связано с тем какое из этих объяснений более вероятно по сравнению с другим.

Each of them taken together is unlikely.

Они оба маловероятны.

Here's a more topical example of exactly the same thing.

Вот более животрепещущий пример ровно того же самого.

Those of you in Britain will know about what's become rather a celebrated case

Те из вас кто живет в Британии знают о прославившемся деле

of a woman called Sally Clark, who had two babies who died suddenly.

женщины по имени Салли Кларк, у которой было двое детей, которые неожиданно умерли.

And initially, it was thought that they died of what's known informally as "cot death,"

И сначала думали что они умерли от того что неформально называется «смерть в колыбели,»

and more formally as "Sudden Infant Death Syndrome."

а более формально Синдром внезапной детской смерти.

For various reasons, she was later charged with murder.

По разным причинам, позже ее обвинили в убийстве.

And at the trial, her trial, a very distinguished pediatrician gave evidence

И во время суда, суда над ней, очень выдающийся педиатр свидетельствовал,

that the chance of two cot deaths, innocent deaths, in a family like hers --

что вероятность двух смертей в колыбели, в семье как у нее —

which was professional and non-smoking -- was one in 73 million.

образованных и некурящих — была один на 73 миллиона.

To cut a long story short, she was convicted at the time.

Короче говоря, в тогда ее признали виновной.

Later, and fairly recently, acquitted on appeal -- in fact, on the second appeal.

Позже, и довольно недавно, освободили после апелляции — после второй апелляции.

And just to set it in context, you can imagine how awful it is for someone

Просто чтобы добавить контекста, представьте себе насколько ужасно

to have lost one child, and then two, if they're innocent,

потерять ребенка, затем двоих, и, невиновным,

to be convicted of murdering them.

быть осужденным за их убийство.

To be put through the stress of the trial, convicted of murdering them --

Пройти через стресс суда, быть осужденным за их убийство —

and to spend time in a women's prison, where all the other prisoners

и провести время в женской тюрьме, где все остальные заключенные

think you killed your children -- is a really awful thing to happen to someone.

думают что ты убила своих детей — ужасное злоключение для кого бы то ни было.

And it happened in large part here because the expert got the statistics

И все это случилось в большой мере потому, что эксперт совершил

horribly wrong, in two different ways.

ужасающие ошибки в статистике, причем двумя способами.

So where did he get the one in 73 million number?

Откуда он взял цифру в 1 на 73 миллиона?

He looked at some research, which said the chance of one cot death in a family

Он посмотрел на исследования, которые утверждали что вероятность смерти в колыбели в семье

like Sally Clark's is about one in 8,500.

как у Салли Кларк равна примерно одному на восемь с половиной тысяч.

So he said, "I'll assume that if you have one cot death in a family,

И сказал "Я предположу, что если в вашей семье случилась одна смерть в колыбели,

the chance of a second child dying from cot death aren't changed."

это не меняет шансы на то что второй ребенок умрет по той же причине."

So that's what statisticians would call an assumption of independence.

Это то, что статистики называют «предположением о независимости».

It's like saying, "If you toss a coin and get a head the first time,

Это как утверждение «Если подбросив монетку ты получишь решку,

that won't affect the chance of getting a head the second time."

это не повлияет на вероятность получить решку во второй раз».

So if you toss a coin twice, the chance of getting a head twice are a half --

Так что подбросив монетку два раза, вероятности получить решку дважды равна половине —

that's the chance the first time -- times a half -- the chance a second time.

это вероятность в первый раз — помноженной на половину — вероятность во второй раз.

So he said, "Here,

Так что он сказал «Давайте предположим, —

I'll assume that these events are independent.

я предположу, что эти события независимы.

When you multiply 8,500 together twice,

Если возвести восемь с половиной тысяч в квадрат,

you get about 73 million."

получится примерно 73 миллиона."

And none of this was stated to the court as an assumption

Все это не было высказано суду как предположение

or presented to the jury that way.

или представлено присяжным в таком виде.

Unfortunately here -- and, really, regrettably --

К сожалению тут — и вправду, к несчастью—

first of all, in a situation like this you'd have to verify it empirically.

во-первых, в такой ситуации надо проверять это опытным путем.

And secondly, it's palpably false.

А во-вторых, это явно не верно.

There are lots and lots of things that we don't know about sudden infant deaths.

Мы очень и очень многого не знаем о внезапных детских смертях.

It might well be that there are environmental factors that we're not aware of,

Вполне может быть что есть внешние факторы, о которых мы не подозреваем,

and it's pretty likely to be the case that there are

и скорее всего есть

genetic factors we're not aware of.

генетические факторы о которых мы не подозреваем.

So if a family suffers from one cot death, you'd put them in a high-risk group.

Так что если в семье случается такая смерть, их надо отнести к группе повышенного риска.

They've probably got these environmental risk factors

У них наверное есть эти внешние факторы риска

and/or genetic risk factors we don't know about.

и/или генетические факторы риска о которых мы ничего не знаем.

And to argue, then, that the chance of a second death is as if you didn't know

И значит рассудить что вероятность второй смерти такая же как если бы у нас не было

that information is really silly.

этой информации — просто глупость.

It's worse than silly -- it's really bad science.

Это хоже чем глупость — это плохая наука.

Nonetheless, that's how it was presented, and at trial nobody even argued it.

Тем не менее, вот так это было представлено, и во время суда никто с этим даже не спорил.

That's the first problem.

Это первая проблема.

The second problem is, what does the number of one in 73 million mean?

Вторая проблема в том, что значит это число — один на 73 миллиона?

So after Sally Clark was convicted --

После того как Салли Кларк была осуждена —

you can imagine, it made rather a splash in the press --

можете себе представить, это вызвало значительный всплеск в печати —

one of the journalists from one of Britain's more reputable newspapers wrote that

журналист одной из более уважаемых Британских газет написал что

what the expert had said was,

эксперт сказал,

"The chance that she was innocent was one in 73 million."

«Вероятность того, что она не виновна была один на 73 миллиона.»

Now, that's a logical error.

Это ошибка в логике.

It's exactly the same logical error as the logical error of thinking that

Точно такая же ошибка, как ошибка считать

after the disease test, which is 99 percent accurate,

после теста на болезнь, верного в 99и процентах случаев,

the chance of having the disease is 99 percent.

что вероятность болезни 99 процентов.

In the disease example, we had to bear in mind two things,

В примере с болезнью, нам нужно было иметь в виду две вещи,

one of which was the possibility that the test got it right or not.

одной из которых была вероятность того дал ли тест верный результат или нет.

And the other one was the chance, a priori, that the person had the disease or not.

А другая была вероятность, априори, болен был человек или нет.

It's exactly the same in this context.

Точно то же самое происходит и здесь.

There are two things involved -- two parts to the explanation.

Тут участвуют две вещи — объяснение состоит из двух частей.

We want to know how likely, or relatively how likely, two different explanations are.

Мы хотим знать насколько вероятны, или насколько относительно вероятны, два разных объяснения.

One of them is that Sally Clark was innocent --

Одно из них в том что Салли была не виновна —

which is, a priori, overwhelmingly likely --

что, априори, чрезвычайно вероятно —

most mothers don't kill their children.

большинство матерей не убивают своих детей.

And the second part of the explanation

И вторая часть этого объяснения,

is that she suffered an incredibly unlikely event.

в том что с ней случилось чрезвычайно редкое происшествие.

Not as unlikely as one in 73 million, but nonetheless rather unlikely.

Не настолько редкое как 1 на 73 миллиона, но достаточно редкое.

The other explanation is that she was guilty.

Другое объяснение в том что она виновна.

Now, we probably think a priori that's unlikely.

Мы наверняка считаем что это априори маловероятно.

And we certainly should think in the context of a criminal trial

И нам конечно должно так считать в контексте уголовного суда,

that that's unlikely, because of the presumption of innocence.

что это маловероятно, в виду презумпции невиновности.

And then if she were trying to kill the children, she succeeded.

А что если она пыталась убить детей, ей это удалось.

So the chance that she's innocent isn't one in 73 million.

Так что вероятность того что она не виновна не один на 73 миллиона.

We don't know what it is.

Мы не знаем чему она равна.

It has to do with weighing up the strength of the other evidence against her

Она зависит от веса остальных улик против нее по отношению к

and the statistical evidence.

весу статистических рассуждений.

We know the children died.

Мы знаем что дети погибли.

What matters is how likely or unlikely, relative to each other,

Важно то, насколько вероятны или маловероятны по отношению друг к другу

the two explanations are.

эти два объяснения.

And they're both implausible.

И они оба маловероятны.

There's a situation where errors in statistics had really profound

Это ситуация где ошибки в статистике имели очень глубокие

and really unfortunate consequences.

и очень печальные последствия.

In fact, there are two other women who were convicted on the basis of the

Оказалось, что еще двое женщин были осуждены на основе

evidence of this pediatrician, who have subsequently been released on appeal.

показаний этого педиатра, и были позже освобождены по апелляциям.

Many cases were reviewed.

Много дел пришлось пересмотреть.

And it's particularly topical because he's currently facing a disrepute charge

И это особенно актуально, поскольку он сейчас предстал перед обвинением в недостойном поведении

at Britain's General Medical Council.

в Британском Общемедицинском Совете.

So just to conclude -- what are the take-home messages from this?

Итак, чтобы подвести итог —в чем урок этого всего?

Well, we know that randomness and uncertainty and chance

Мы знаем что вероятность, и неопределенность, и случайность

are very much a part of our everyday life.

часть нашей повседневной жизни.

It's also true -- and, although, you, as a collective, are very special in many ways,

И так же верно — и, несмотря на то что вы, как группа, очень особенны по многим параметрам,

you're completely typical in not getting the examples I gave right.

вы совершенно типичны в том что вы ошиблись в примерах которые я приводил.

It's very well documented that people get things wrong.

Хорошо проверено что люди ошибаются.

They make errors of logic in reasoning with uncertainty.

Они совершают логические ошибки рассуждая о вероятностях.

We can cope with the subtleties of language brilliantly --

Мы легко справляемся с нюансами языка —

and there are interesting evolutionary questions about how we got here.

это интересный вопрос о эволюции, как так получилось.

We are not good at reasoning with uncertainty.

Но мы плохо умеем рассуждать о вероятностях.

That's an issue in our everyday lives.

Это проблема в повседневной жизни.

As you've heard from many of the talks, statistics underpins an enormous amount

Как вы слышали из многих докладов, статистика лежит в основе огромного количества

of research in science -- in social science, in medicine

научных исследований — в естественных науках, медицине

and indeed, quite a lot of industry.

и многого на производстве.

All of quality control, which has had a major impact on industrial processing,

Весь контроль качества, который очень сильно влияет на промышленные процессы,

is underpinned by statistics.

основан на статистике.

It's something we're bad at doing.

На том что мы плохо умеем делать.

At the very least, we should recognize that, and we tend not to.

По крайней мере, нам следует понимать это, а мы обычно не понимаем.

To go back to the legal context, at the Sally Clark trial

Возвращаясь к судебному контексту, во время процесса Салли Кларк,

all of the lawyers just accepted what the expert said.

все адвокаты просто согласились с тем что сказал эксперт.

So if a pediatrician had come out and said to a jury,

Если бы педиатр сказал присяжным:

"I know how to build bridges. I've built one down the road.

«Я умею строить мосты. Я построил там один, по дороге.

Please drive your car home over it,"

Поезжайте домой через него,»

they would have said, "Well, pediatricians don't know how to build bridges.

они бы сказали «Педиатры не умеют строить мосты.

That's what engineers do."

Этим занимаются инженеры.»

On the other hand, he came out and effectively said, or implied,

С другой стороны, он как будто бы сказал, или подразумевал,

"I know how to reason with uncertainty. I know how to do statistics."

«Я умею рассуждать о вероятностях. Я умею заниматься статистикой.»

And everyone said, "Well, that's fine. He's an expert."

И все сказали, «Хорошо. Он эксперт.»

So we need to understand where our competence is and isn't.

Так что стоит понимать в чем мы компетентны а в чем нет.

Exactly the same kinds of issues arose in the early days of DNA profiling,

Точно такие же проблемы возникли на заре ДНК-дактилоскопии,

when scientists, and lawyers and in some cases judges,

когда ученые, и адвокаты, и в некоторых случаях судьи,

routinely misrepresented evidence.

регулярно неправильно интерпретировали улики.

Usually -- one hopes -- innocently, but misrepresented evidence.

Обычно — хочется надеяться — без злого умысла, но неправильно интерпретировали улики.

Forensic scientists said, "The chance that this guy's innocent is one in three million."

Судебные эксперты говорили «Вероятность того что этот парень невиновен один на три миллиона.»

Even if you believe the number, just like the 73 million to one,

Даже если верить этому числу, как и числу в один на 73 миллиона,

that's not what it meant.

оно обозначает совсем не то.

And there have been celebrated appeal cases

И были известные случаи апелляций

in Britain and elsewhere because of that.

в Британии и в других странах, по этой причине.

And just to finish in the context of the legal system.

И чтобы закончить в контексте судебной системы.

It's all very well to say, "Let's do our best to present the evidence."

Очень просто сказать «Давайте постараемся лучше представлять улики».

But more and more, in cases of DNA profiling -- this is another one --

Но все чаще и чаще, в случаях ДНК-дактилоскопирования — это еще один —

we expect juries, who are ordinary people --

мы ожидаем что присяжные, обычные люди —

and it's documented they're very bad at this --

и у нас много подтверждений что они плохо это делают —

we expect juries to be able to cope with the sorts of reasoning that goes on.

мы ожидаем что присяжные смогут справится с этими рассуждениями.

In other spheres of life, if people argued -- well, except possibly for politics --

Во всех остальных сферах, если бы люди рассуждали — ну, может быть кроме политики.

but in other spheres of life, if people argued illogically,

Но во всех остальных сферах, если бы люди рассуждали нелогично,

we'd say that's not a good thing.

мы бы считали, что это плохо.

We sort of expect it of politicians and don't hope for much more.

От политиков мы как-то уже этого ожидаем и не надеемся на большее.

In the case of uncertainty, we get it wrong all the time --

В случае неопределенности, мы все время ошибаемся —

and at the very least, we should be aware of that,

и, по крайней мере, нам стоит об этом знать.

and ideally, we might try and do something about it.

И, в идеале, мы можем попробовать что-то с этим сделать.

Thanks very much.

Большое спасибо.