3 ways to spot a bad statistic | Mona Chalabi

翻訳: Naoko Fujii 校正: Eriko T

I'm going to be talking about statistics today.

今日は統計について お話しします

If that makes you immediately feel a little bit wary, that's OK,

即座に身構えてしまう方も 大丈夫ですよ

that doesn't make you some kind of crazy conspiracy theorist,

統計を疑うのは 狂気の陰謀論者というわけではありません

it makes you skeptical.

疑い深いだけです

And when it comes to numbers, especially now, you should be skeptical.

数字について 特に今は 疑い深くあるべきです

But you should also be able to tell which numbers are reliable

でも どの数値が信頼できて どれは信頼できないのか

and which ones aren't.

区別もできるべきです

So today I want to try to give you some tools to be able to do that.

今日はそれを可能にする いくつかのヒントをお教えします

But before I do,

でもその前に

I just want to clarify which numbers I'm talking about here.

私の言う数値とは どんなものか 明確にしましょう

I'm not talking about claims like,

こういうものではありません

"9 out of 10 women recommend this anti-aging cream."

「10人中9人の女性が この美容クリームを勧めています」

I think a lot of us always roll our eyes at numbers like that.

この類の数値に いつも呆れている人は多いでしょう

What's different now is people are questioning statistics like,

でも今 疑問が呈されているのは こんな統計なんです

"The US unemployment rate is five percent."

「米国の失業率は５％」

What makes this claim different is it doesn't come from a private company,

どこが違うかというと これは民間企業ではなく

it comes from the government.

政府が出した数値だという点です

About 4 out of 10 Americans distrust the economic data

米国人の10人中4人は 政府が報告する経済データを

that gets reported by government.

信用していません

Among supporters of President Trump it's even higher;

トランプ大統領の支持者だと この割合は更に高く

it's about 7 out of 10.

10人中7人です

I don't need to tell anyone here

皆さんもご存知のように

that there are a lot of dividing lines in our society right now,

目下 社会の分断が いくつも起こっており

and a lot of them start to make sense,

そういった多くの分断の意味が

once you understand people's relationships with these government numbers.

人々と 政府の出す数値との 関係を理解すれば 見えてきます

On the one hand, there are those who say these statistics are crucial,

一方には このような統計は 欠かせないと言う人たちもいます

that we need them to make sense of society as a whole

統計値は社会全体を 把握するために必要で

in order to move beyond emotional anecdotes

感情的な逸話を超えて

and measure progress in an [objective] way.

客観的に物事の推移を 見定めるために必要だと

And then there are the others,

他方では こんな統計は

who say that these statistics are elitist,

エリート主義的で

操作されていると 言う人々もいます

maybe even rigged;

they don't make sense and they don't really reflect

統計の数値は辻褄が合わず

what's happening in people's everyday lives.

人々の日常生活の状況を あまり反映していないというのです

It kind of feels like that second group is winning the argument right now.

今は ２番目のグループの主張が 優勢であるように感じます

We're living in a world of alternative facts,

「もう一つの事実」の世界に 私たちは生きています

where people don't find statistics this kind of common ground,

人々は統計が 世界を捉える際の 共通の土台だとか

this starting point for debate.

議論の出発点だとは 考えていません

This is a problem.

これは問題です

There are actually moves in the US right now

ちょうど今 米国で 実際に見られるのが

to get rid of some government statistics altogether.

一部の政府統計を まるごと削除しようとする動きです

Right now there's a bill in congress about measuring racial inequality.

今まさに開会中の議会に 人種的不平等の調査に関する法案が出ています

The draft law says that government money should not be used

その草案によると 政府のお金は

人種差別のデータ収集に 使うべきでないそうです

to collect data on racial segregation.

This is a total disaster.

そんなことになったら 大惨事です

If we don't have this data,

このデータ無しで

how can we observe discrimination,

差別の是正はおろか

どうやれば差別を 把握できるのでしょう？

let alone fix it?

In other words:

言い換えると

How can a government create fair policies

現状の不公平さを測定できないなら

if they can't measure current levels of unfairness?

どうやれば公平な政策を 政府は作れるのでしょう？

This isn't just about discrimination,

これは差別についてだけではなく

it's everything -- think about it.

全てに言えることです いいですか

健康や貧困に関する きちんとしたデータ無しで

How can we legislate on health care

if we don't have good data on health or poverty?

どうやれば医療政策を 立案できるのでしょう？

How can we have public debate about immigration

出入国者数について 共通理解にさえ

if we can't at least agree

達していないなら

on how many people are entering and leaving the country?

どうやれば公に移民に関する議論が できるというのでしょう？

Statistics come from the state; that's where they got their name.

statistics (統計) という語の由来は state (国) です

The point was to better measure the population

つまり より良い公共サービスを 提供するために

in order to better serve it.

国民をより正確に測定するのです

So we need these government numbers,

だから 政府の統計は必要なんです

but we also have to move beyond either blindly accepting

でも それを盲目的に受け入れたり 拒絶したりする態度も

or blindly rejecting them.

改めねばなりません

We need to learn the skills to be able to spot bad statistics.

誤った統計を見抜くスキルを 身に付ける必要があります

I started to learn some of these

私がそのスキルを学び始めたのは

when I was working in a statistical department

国連にある統計部門で

that's part of the United Nations.

働いていた頃でした

Our job was to find out how many Iraqis had been forced from their homes

私達の仕事は何人のイラク人が 戦争の結果 家を追われ

as a result of the war,

また彼らに何が必要なのか

and what they needed.

見いだすことでした

It was really important work, but it was also incredibly difficult.

非常に重要な仕事でしたが 信じられないほど難しくもありました

Every single day, we were making decisions

私達の日々下す決断が

数値の正確さに影響を及ぼしました

that affected the accuracy of our numbers --

decisions like which parts of the country we should go to,

イラクのどの地域に行くべきか

who we should speak to,

誰と話をするべきか

which questions we should ask.

どんな質問をするべきかなどです

And I started to feel really disillusioned with our work,

そして私は自分達の仕事に 幻滅を覚えるようになりました

because we thought we were doing a really good job,

自分達は非常に良い仕事を していると思っていましたが

but the one group of people who could really tell us were the Iraqis,

それが いちばん分かるはずの 当のイラクの人達が

and they rarely got the chance to find our analysis, let alone question it.

分析結果を目にする機会は稀で 検証する機会は尚更なかったからです

So I started to feel really determined

それで私は強い確信を 持つようになりました

that the one way to make numbers more accurate

より正確な数値を得る方法の１つは

is to have as many people as possible be able to question them.

できるだけ多くの人々がそれを 検証できるようにすることだと

So I became a data journalist.

それでデータ・ジャーナリストに なったんです

My job is finding these data sets and sharing them with the public.

私の仕事はこのようなデータを見つけ 公に広めることです

Anyone can do this, you don't have to be a geek or a nerd.

誰でもできることです オタクでなくていいんです

You can ignore those words; they're used by people

そんな言葉 無視して結構 そういう言い方をするのは

trying to say they're smart while pretending they're humble.

謙虚なふりをして 自分が賢いのだと言いたい人達です

Absolutely anyone can do this.

本当に誰でもできます

I want to give you guys three questions

問うべき３つの質問を 皆さんにお教えします

that will help you be able to spot some bad statistics.

誤った統計を見抜くのを 助けてくれる質問です

So, question number one is: Can you see uncertainty?

では質問１ データの不確実さが分かるか？

One of things that's really changed people's relationship with numbers,

人々の統計値との関係や

メディアへの信頼さえも変えた 事柄の１つは

and even their trust in the media,

has been the use of political polls.

政治に関する世論調査です

I personally have a lot of issues with political polls

政治関連の世論調査には 個人的に思うところが多々あります

because I think the role of journalists is actually to report the facts

なぜなら記者の役割は 事実を報道することであって

and not attempt to predict them,

予測を試みることではないからです

especially when those predictions can actually damage democracy

特にそういった予測は 民主主義を損ないかねません

人々にシグナルを送ることになるからです 「彼へ投票する価値はない」

by signaling to people: don't bother to vote for that guy,

「彼には勝ち目がないよ」と

he doesn't have a chance.

Let's set that aside for now and talk about the accuracy of this endeavor.

それはさておき この試みの正確性について話しましょう

イギリス、イタリア、イスラエルの 国政選挙や

Based on national elections in the UK, Italy, Israel

and of course, the most recent US presidential election,

それにもちろん 最近の アメリカ大統領選を見る限り

using polls to predict electoral outcomes

選挙予測に世論調査を用いるのは

is about as accurate as using the moon to predict hospital admissions.

月を見て入院数を予測する程度の 正確さしかありません

No, seriously, I used actual data from an academic study to draw this.

本当ですよ このグラフを描くのには ある学術研究のデータを使っています

There are a lot of reasons why polling has become so inaccurate.

世論調査が非常に不正確になったのには 多くの理由があります

Our societies have become really diverse,

私達の社会は 多様性を著しく増しており

which makes it difficult for pollsters to get a really nice representative sample

世論調査員が 適切な代表的サンプルを得るのが

of the population for their polls.

難しくなっています

People are really reluctant to answer their phones to pollsters,

電話で世論調査に答えることに 人々は本当に消極的ですし

and also, shockingly enough, people might lie.

ショックなことですが 嘘をつく人までいるんです

But you wouldn't necessarily know that to look at the media.

でも報道を見ていて 必ずしもそういうことは分かりません

For one thing, the probability of a Hillary Clinton win

例えば ヒラリー・クリントンの勝率は

was communicated with decimal places.

小数の位まで報道されていました

We don't use decimal places to describe the temperature.

気温を示すとき 小数の位は使いませんね

How on earth can predicting the behavior of 230 million voters in this country

この国の２億３千万人いる 有権者の行動予測が

be that precise?

そんなに正確にできるでしょうか？

And then there were those sleek charts.

そして しゃれた図表がありました

See, a lot of data visualizations will overstate certainty, and it works --

データの視覚化は 多くの場合 確実性を誇張してしまいます

these charts can numb our brains to criticism.

そうした図表は 脳の批判的思考力を 麻痺させるんです

When you hear a statistic, you might feel skeptical.

統計データを耳から聞くと 疑い深くなるかもしれませんが

As soon as it's buried in a chart,

それが図表にされるや否や

it feels like some kind of objective science,

客観的な科学の類に 思えてしまうんです

and it's not.

実際は違います

So I was trying to find ways to better communicate this to people,

それで私は人々に 数値のこうした不確実性について

to show people the uncertainty in our numbers.

うまく伝える方法を探していました

What I did was I started taking real data sets,

私がしたのは 現実のデータセットを入手して

and turning them into hand-drawn visualizations,

それを手描きで 視覚化するということでした

so that people can see how imprecise the data is;

データの不正確さを 分かってもらうためです

so people can see that a human did this,

統計は人間が集計していて

人間がデータを見いだし 視覚化しているのだと分かるように

a human found the data and visualized it.

For example, instead of finding out the probability

例えば インフルエンザに かかる確率を

of getting the flu in any given month,

月ごとに算出するのではなく

you can see the rough distribution of flu season.

流行シーズンがいつかという分布を 示してもいいんです

This is --

こんな風に —

(Laughter)

（笑）

a bad shot to show in February.

２月の今 見るものではないですね

But it's also more responsible data visualization,

でもこれはより責任感のある データの視覚化です

because if you were to show the exact probabilities,

もし正確な確率だけ見せたら

maybe that would encourage people to get their flu jabs

人々が予防接種を受けるのに

誤ったタイミングを 促しかねません

at the wrong time.

The point of these shaky lines

このような震えた線を使うポイントは

is so that people remember these imprecisions,

人々にこれの不正確さを 思い出させるだけでなく

but also so they don't necessarily walk away with a specific number,

特定の数値だけ見て おしまいにせず

but they can remember important facts.

重要な事実を覚えておいて もらえるようにです

Facts like injustice and inequality leave a huge mark on our lives.

不公平や不平等が私達の生活に 大きな痕を残しているような事実です

Facts like Black Americans and Native Americans have shorter life expectancies

アフリカ系やネイティブアメリカン達の 平均余命は

他の人種に比べ短く

than those of other races,

and that isn't changing anytime soon.

それがすぐには 変わりそうにないという事実や

Facts like prisoners in the US can be kept in solitary confinement cells

米国の受刑者は 平均的な駐車スペースより

that are smaller than the size of an average parking space.

狭い独房に収監されかねない という事実があります

The point of these visualizations is also to remind people

これらの視覚化がまた 人々に思い出させてくれるのは

of some really important statistical concepts,

いくつかの非常に重要な統計の概念ー

concepts like averages.

平均値といったものです

So let's say you hear a claim like,

こんなことを 耳にしたとしましょう

"The average swimming pool in the US contains 6.23 fecal accidents."

「米国のプールが含む 粗相(大)の平均は6.23」

That doesn't mean every single swimming pool in the country

だからといって この国のあらゆるプールに

contains exactly 6.23 turds.

ウンチがちょうど6.23個 浮いている訳ではありません

So in order to show that,

これを示すために

I went back to the original data, which comes from the CDC,

元のデータに戻りました CDC（米国疾病予防管理センター）の

who surveyed 47 swimming facilities.

47の水泳施設対象の調査でした

And I just spent one evening redistributing poop.

一晩を費やして ウンチの分布をやり直しました

So you can kind of see how misleading averages can be.

平均値がいかに誤解を招き得るか お分かりになるでしょう

(Laughter)

（笑）

OK, so the second question that you guys should be asking yourselves

では 第２の質問です 誤った数値を見抜くには

to spot bad numbers is:

自分にこう尋ねましょう

Can I see myself in the data?

そのデータに自分を当てはめられるか？

This question is also about averages in a way,

この質問もある意味 平均値に関するものです

because part of the reason why people are so frustrated

なぜなら人々が 国によるこのような統計に

with these national statistics,

大変不満を覚える理由の一部は

is they don't really tell the story of who's winning and who's losing

それが国の政策によって 誰が損や得をしているのかを

from national policy.

伝えていないからです

It's easy to understand why people are frustrated with global averages

なぜ人々が 自分の経験と一致しない 全体から算出された平均値に

when they don't match up with their personal experiences.

不満を感じるかは 容易に理解できます

I wanted to show people the way data relates to their everyday lives.

私は日常生活と関連のある形で 統計値を示したいと思い

『親愛なるモナへ』という 助言コラムを始めました

I started this advice column called "Dear Mona,"

where people would write to me with questions and concerns

人々が質問や懸念を私に書いて送り

私がそれに統計値を使って 答えるというものです

and I'd try to answer them with data.

People asked me anything.

あらゆる質問が来ました

questions like, "Is it normal to sleep in a separate bed to my wife?"

「妻と別々のベッドで眠るのは 正常ですか？」

"Do people regret their tattoos?"

「タトゥーは後悔するものですか？」

"What does it mean to die of natural causes?"

「自然死の意味するところは？」

All of these questions are great, because they make you think

どれも素晴らしい質問です なぜならこれらに関する統計を見つけ

about ways to find and communicate these numbers.

それを伝える方法を 考えさせてくれるからです

If someone asks you, "How much pee is a lot of pee?"

「おしっこの量が多いとは どのくらいのこと？」

which is a question that I got asked,

そんな質問がありましたが

you really want to make sure that the visualization makes sense

できるだけ多くの人が 理解しやすいような視覚化を

to as many people as possible.

工夫することが大切です

These numbers aren't unavailable.

これらの数値は 入手不可能ではありません

Sometimes they're just buried in the appendix of an academic study.

時には学術研究の付録の中に 埋もれています

And they're certainly not inscrutable;

それに突き止められないような ものでもありません

if you really wanted to test these numbers on urination volume,

もし本当に排尿量の 数値を検証したければ

you could grab a bottle and try it for yourself.

瓶を用意して 自分で試せばいいんです

(Laughter)

（笑）

The point of this isn't necessarily

ここで大事なことですが 必ずしも

that every single data set has to relate specifically to you.

１つ１つのデータは 自分に特に関係なくてもいいんです

I'm interested in how many women were issued fines in France

フランスで何人の女性が ニカブ（顔のヴェール）の着用で

罰金を科せられたのか 興味がありますが

for wearing the face veil, or the niqab,

even if I don't live in France or wear the face veil.

私はフランス住まいでもないし ヴェールもしません

The point of asking where you fit in is to get as much context as possible.

自分に当てはまるかを考えるうえで 大事なのは 極力 文脈を知ることです

So it's about zooming out from one data point,

そのためには １つのデータ点から 視野を広げてみることです

like the unemployment rate is five percent,

失業率が５％であるという点から

and seeing how it changes over time,

時間的変化を見ていったり

or seeing how it changes by educational status --

教育水準によってどう変わるか 見たりするんです

this is why your parents always wanted you to go to college --

だから親御さんは皆さんに 大学へ行って欲しがったんですね

or seeing how it varies by gender.

あるいは 性別でどう違うかを 見たりします

Nowadays, male unemployment rate is higher

最近では 男性の失業率は

than the female unemployment rate.

女性より高くなっています

Up until the early '80s, it was the other way around.

80年代初めまでは逆だったんです

This is a story of one of the biggest changes

これはアメリカ社会で起きた

that's happened in American society,

最大の変化の１つです

and it's all there in that chart, once you look beyond the averages.

平均値以上のことに目を向ければ すべて図表の中に読み取れるのです

The axes are everything;

XY軸が重要です

once you change the scale, you can change the story.

尺度を変えれば 物語られることも変わるのです

OK, so the third and final question that I want you guys to think about

いいでしょう では皆さんが統計を見るときに

when you're looking at statistics is:

考えてもらいたい 最後の３番目の質問です

How was the data collected?

そのデータは どうやって集められたのか？

So far, I've only talked about the way data is communicated,

これまでの話は データの伝えられ方についてだけです

but the way it's collected matters just as much.

でもデータの収集方法も 同じくらい重要です

I know this is tough,

これは難しいことです

because methodologies can be opaque and actually kind of boring,

手法は不透明かもしれず 実際退屈なものです

but there are some simple steps you can take to check this.

でも これを確かめる 簡単なステップがあります

I'll use one last example here.

１つ 例を使います 最後の例です

ある世論調査では この国のムスリムのうち 41％がジハードを支持するという結果でした

One poll found that 41 percent of Muslims in this country support jihad,

which is obviously pretty scary,

明らかに恐ろしいことです

and it was reported everywhere in 2015.

2015年 この結果は あらゆるところで報道されました

When I want to check a number like that,

私がこのような数値を確認したいとき

I'll start off by finding the original questionnaire.

元のアンケートを 探すことから始めます

It turns out that journalists who reported on that statistic

分かったことは その統計を報告した記者達は

アンケートの後ろの方にあった 質問を無視していたことです

ignored a question lower down on the survey

that asked respondents how they defined "jihad."

それは回答者の「ジハード」の 定義についてでした

And most of them defined it as,

大半の回答者の定義は

"Muslims' personal, peaceful struggle to be more religious."

「ムスリムが より信心深くあろうと 個人的・平和的に努力すること」で

Only 16 percent defined it as, "violent holy war against unbelievers."

「不信心者に対する聖なる暴力的戦い」 と定義したのは たった16％でした

This is the really important point:

これは実に重要な点です

based on those numbers, it's totally possible

このような数値に基づけば

that no one in the survey who defined it as violent holy war

ジハードを「聖なる暴力的戦い」と定義し かつジハードを支持するという回答者は

also said they support it.

皆無だった可能性が十分あります

Those two groups might not overlap at all.

この２グループは 全く重ならないかもしれないのです

It's also worth asking how the survey was carried out.

調査方法を尋ねることも大事です

This was something called an opt-in poll,

このケースはオプトイン世論調査と 呼ばれるもので

which means anyone could have found it on the internet and completed it.

誰でもネット上で調査を見つけ 回答を完了できるものでした

There's no way of knowing if those people even identified as Muslim.

回答者が本当にムスリムかさえ 知る方法はありません

And finally, there were 600 respondents in that poll.

最後に この調査には 600名が回答しました

There are roughly three million Muslims in this country,

この国にはだいたい 300万人のムスリムがいます

according to Pew Research Center.

ピュー研究所のデータです

つまりその世論調査に回答したのは この国のムスリムの

That means the poll spoke to roughly one in every 5,000 Muslims

5000人に1人だけということです

in this country.

This is one of the reasons

政府の統計が民間の統計よりも

why government statistics are often better than private statistics.

しばしば優れている理由の１つが ここにあります

A poll might speak to a couple hundred people, maybe a thousand,

世論調査のサンプルは200人とか 1000人かもしれません

or if you're L'Oreal, trying to sell skin care products in 2005,

2005年にスキンケア製品を売ろうとした ロレアル社の場合は

then you spoke to 48 women to claim that they work.

効果を主張するために 調査した女性は48名でした

(Laughter)

（笑）

Private companies don't have a huge interest in getting the numbers right,

民間企業は正しい数値を得ることに 強い関心を持ってはいません

they just need the right numbers.

都合のいい数値がほしいだけです

Government statisticians aren't like that.

政府の統計家達は違います

In theory, at least, they're totally impartial,

少なくとも理屈の上では 政府の統計は完全に公平です

not least because most of them do their jobs regardless of who's in power.

権力者が誰かには関係なしに 働いている人が大半だからです

They're civil servants.

彼らは公僕なんです

And to do their jobs properly,

そして仕事を適切に行うために

they don't just speak to a couple hundred people.

200人から回答を得るだけで 済ませたりしません

Those unemployment numbers I keep on referencing

私が引用し続けている あの失業率の数値は

come from the Bureau of Labor Statistics,

労働統計局によるものです

and to make their estimates,

この推計値を算出するために

they speak to over 140,000 businesses in this country.

米国の14万の企業を 調査しています

I get it, it's frustrating.

分かります 厄介でしょう

If you want to test a statistic that comes from a private company,

民間企業による統計の正確さを 検証するには

フェイスクリームを 自分や友達に買って 試してみて

you can buy the face cream for you and a bunch of friends, test it out,

効かなければ 数値は間違いだと言えるでしょう

if it doesn't work, you can say the numbers were wrong.

でも政府の統計の正確さを問う方法は？

But how do you question government statistics?

全てをチェックし続けることです

You just keep checking everything.

政府がどうやって 数値を収集したか知り

Find out how they collected the numbers.

図表に 知るべきことが 全て表されているか確かめるのです

Find out if you're seeing everything on the chart you need to see.

でも全部の数値を一緒くたに 見限ってはいけません

But don't give up on the numbers altogether, because if you do,

そんなことをしたら 公的な政策決定は 闇の中で行われることになり

we'll be making public policy decisions in the dark,

using nothing but private interests to guide us.

私益に左右されてしまうでしょう

Thank you.

ありがとうございました

(Applause)

（拍手）