Are You Really As Good at Something As You Think? | Robin Kramer | TED

翻訳: Yamada Tetsuya 校正: Masaki Yanagishita

I don't mean to brag,

自慢するつもりはありませんが

but there are lots of things that I'm pretty average at.

私は多くにおいて平均的です

From playing table tennis,

テニスをするにも

cooking risotto, finding countries on a map,

リゾットを作るにも 地図上に国を見つけるのにも

just to name a few.

他にもいろいろ

Now, in our everyday lives,

日常生活では

we're not typically assessed on our skills and abilities,

私たちは通常 技術や能力を 評価されることはありません

so we're forced to rely on our own judgments.

ですから自らの判断に頼るしかありません

I may think I'm pretty decent with Italian cuisine,

イタリア料理ならそこそこ作れると 自分で思ったとしても

but how accurate is my assessment?

それはどれほど正確なのでしょう

Now, what we’re talking about here is metacognition:

さて 私たちが今話しているのは メタ認知と呼ばれるものです

our insight into our own thought processes.

自らの思考過程を 自ら洞察することです

If I have good metacognitive insight,

私のメタ認知洞察力が優れていれば

then how good I think I am at a particular task

私がある課題をどれほど得意と考えるかと

should line up pretty well with how good I actually am.

実際にどれほど得意かは ほぼ一致するでしょう

Of course, in the real world this is often not the case.

もちろん 現実には そんなにうまくいきません

And indeed, we probably all know someone

おそらく私たち誰もが

who thinks they're great at navigating maps,

地図を読むのが 得意だと言っておきながら

when in fact the reality is often the opposite.

実際には正反対の人を知っているでしょう

Not to name any names, of course, but still.

具体的な名前は挙げませんが それでもいます

Perhaps you think this applies to other people

おそらく皆さんは それは他人には当てはまっても

and that you, yourself, wouldn't make this sort of mistake.

自分はそんな過ちはしないと考えるでしょう

So let's try a quick experiment.

ここで簡単な実験をしてみましょう

I want you to think about how you would rate yourself

自分の運転能力を どう評価するかを

in terms of your driving ability.

考えていただきたいのです

Would you rate yourself as below average, average

平均以下と評価するでしょうか 平均でしょうか

or perhaps even above average?

平均以上でしょうか

So most people rate themselves as above average,

ほとんどの方が平均以上と評価するでしょう

which, of course, is mathematically impossible,

もちろんそれは 数学的に不可能であり

and something that we call the "better than average" effect.

私たちはこれを 「平均以上効果」と呼んでいます

This is just one of a number of cognitive biases that we see

これは 人が自らの能力を評価する際の

when people judge their own abilities.

多くの認知バイアスの１つにすぎません

Today, I'm going to focus on a related bias,

今日は 関連するバイアスである

the Dunning-Kruger effect.

ダニング＝クルーガー効果に焦点を当てます

So back in 1999,

1999年

two psychologists at Cornell University, Dunning and Kruger,

コーネル大学の心理学者 ダニングとクルーガーは

described the mistakes people make when estimating their own abilities.

人が自己評価する際の過ちを説明しました

So if we take a sample of people and we divide them into four groups

調査対象となる人を

based on their scores on a test,

テストの成績に応じて

and order those groups from lowest to highest.

４つのグループに分け 低い順に並べます

If we plot those scores on a graph along with their self-estimates,

彼らの成績を自己評価とともに グラフにプロットし

so how well they thought they did on the test,

自分の成績がどうだと考えたかを見ます

this is the pattern that we see.

これがその結果です

So the red line is a steep slope representing their actual scores.

赤の険しい傾斜が実際の成績です

As it must be, since we ordered the groups

こうなるのは当然です

based on their scores in the first place.

そもそも成績順に並べたわけですから

Now what's interesting is the blue shallower line.

興味深いのは青のなだらかな線です

This represents their self-estimates.

これは自己評価を表しています

So, how good they thought they did on the test.

自分がどれほど良い成績をとったと 考えているでしょう

Now the Dunning-Kruger effect describes how the weakest performers

ダニング＝クルーガー効果により 最も成績が悪い人が

significantly overestimate their performance,

自らの成績を 最も過大評価することが説明できます

shown here in the green oval.

緑の楕円部分です

The explanation for this, according to Dunning and Kruger,

ダニングとクルーガーはこれを

is that insight and ability rely on the same thing.

洞察力と能力は同じことに依拠するからだ と説明します

So if I'm poor at a task,

すなわち成績が悪いということは

I also lack the metacognitive insight to accurately assess my ability.

自分の能力を正確に評価する メタ認知洞察力にも欠けているということです

Now this pattern has been seen again and again

このパターンは何度も繰り返し

across a number of domains,

多くの領域で見られます

from driving skill to exam-taking, even chess-playing.

運転技術から受験 さらにチェスに至るまで

However, in recent years,

しかし近年

a number of criticisms have been leveled at this approach,

多くの批判がこの理論に向けられてきました

and we now have reason to believe

そして今やこの結果は

that this pattern results is virtually unavoidable.

事実上必然だと信ずる理由があります

One reason for this is the statistical effect,

理由の１つは 平均への回帰と呼ばれる

regression to the mean.

統計的効果です

Now this is something that comes about

これは 完全には一致しないものの

when we have two measures that are related but not perfectly so.

関連する２つの測定値がある場合に生じます

So imagine we have a sample of people

調査対象者の

and we measure their heights and their weights.

身長と体重を測るとしましょう

Now height and weight are related,

身長と体重は関連しています

tall people are typically heavier,

高い人はたいてい重いですが

but the relationship is far from perfect.

関係性はおよそ完全とは言えません

So unlike in the figure at the top here,

最上段にある図とは裏腹に

the shortest people in red won't all be the lightest people.

赤線上の最低身長の人が皆 最も軽いとは限りません

Some of them will be overweight or particularly muscular, for example.

例えば体重過多の人や 特に筋肉質の人がいるかもしれません

Similarly at the top end,

同様に最上段の

the tallest people in blue won't all be the heaviest people.

青線上の最高身長の人が皆 最も重いとは限りません

Some of them will be underweight, and so on.

低体重の人がいたりするかもしれません

Now as a result, on average,

その結果 平均すると

the shortest people will rank higher for weight than they do for height,

最低身長者は身長に比して 体重で高いランクに入り

and the tallest people will rank lower for weight than they do for height

最高身長者は身長に比して 体重で低いランクに入り

producing this blue line here

青い線を形成し

and the crossover pattern you're now becoming familiar with.

今やお馴染みの交差ができます

Now, some people might put forward a spurious explanation

なぜ背の低い人が比較的体重過多で

for why short people are relatively overweight

高い人が体重過少なのか

or tall people relatively underweight,

誤った説明をする人が いるかもしれませんが

when in fact no explanation is needed.

実際には説明を要しないのです

Perhaps more compelling a reason to doubt the Dunning-Kruger effect

おそらくダニング＝クルーガー効果を疑うべき より説得的な理由は

is that we can produce the same pattern in our data

同じデータ・パターンを

when our data is entirely meaningless.

全く無意味なデータの中にも 再現できるからです

So if we collect people's test scores

テストの成績を

along with their self-estimates of those scores,

自己評価とともに収集し

but then we shuffle those self-estimates

自己評価をシャッフルして

and then analyze as before,

同様の分析にかけても

then we still find that same pattern in the data.

データに同じパターンが見つかるのです

Of course, any effect that we can find

もちろん シャッフルしたデータの中に

with shuffled or randomized data

見出せる効果に対しては

is one that we should surely be suspicious of.

懐疑的である必要がありますが

So, given these and other issues with the Dunning-Kruger approach,

こうしたダニング＝クルーガー効果の問題点に

I was saddened and disappointed

私は悲しんで失望し

and, frankly, a little annoyed to discover

正直なところ 同じ手法が

that the same approach was now being applied

私の専門分野である顔認証にも

in my field of expertise,

適用されていると知り

which is face-matching.

少し戸惑いました

Now, this is a task where we're showing two images of faces

これは ２つの顔の画像

or an image and a live person,

あるいは画像と本物の顔を見せ

and we're asked to decide whether they show the same person

同じ人物か異なる人物かを

or two different people.

判定するという課題です

Now, we've all stood in line at passport control,

私たちは入国審査場で一列に並ぶと

anxiously awaiting the passport officer's decision

審査官が身分証の写真と自分とを 照合してもらえるか

as to whether our ID photos look sufficiently like us or not.

やきもきしながら待ちます

Indeed, I've included at the top here

この一番上に

some examples of ID images from my own life,

私自身の証明写真の例を挙げ

just to illustrate some variability.

いくつかのバリエーションを示しました

Some proud moments in photographic history,

写真史が誇るべき瞬間です

I'm sure you'll agree.

皆さんにも異議はないでしょう

And so what I'd like to do now

そこで今から手始めに

is first see how well you might perform as passport officers.

皆さんがどれほど優秀な入国審査官かを チェックしたいと思います

So here are four pairs of images,

ここに４組の画像があります

some students’ ID images and some student photos.

学生の身分証と学生の写真です

For each pair, I'd like you to decide whether it's a match,

各組について

so two images of the same person,

同一人物の組み合わせか

or a mismatch,

違う人物の組み合わせかを

two images of different people.

当てていただきたいと思います

Some of you might be surprised to hear that the top two pairs are matches,

上段の２組が

so images of the same people,

同一人物で

and the bottom two pairs show mismatches,

下段の２組が異なる人物だと聞いて

so two different people.

驚かれるかもしれません

Now we know this task is particularly difficult

この課題は 私たちに馴染みのない画像だと

when the images show identities that we're unfamiliar with.

特に困難です

This is because it's hard to take into account the changes

時間の経過や異なる状況とともに

that can happen to the face across time,

顔に現れる変化を

as well as over different situations,

考慮することが難しいからです

so changes in facial expression or lighting, for instance.

例えば表情の変化や 光の加減です

We know this task is difficult for passport officers as well,

入国審査官にとっても 困難は同様であり

and they also make mistakes.

彼らも誤りは犯します

So this is why I thought it would be particularly interesting

ですから私は

to look at the relationship between insight and ability

この重要な安全面での 洞察力と能力の関係を調べるのは

in this important security context.

特に興味深いと思うのです

So given the issues we’ve described already

これまでにお話しした

with looking at overall scores and people’s self-estimates,

全体の成績と各人の自己評価についての 問題を踏まえ

I instead decided to focus on individual decision making.

私は代わりに個人の意思決定に 焦点を当てることにしました

So over a series of experiments,

一連の実験にあたって

I asked people to look at pairs of images

私は対象者に画像の組み合わせを見せて

and decide whether they were a match or a mismatch.

一致しているかしていないかを尋ねました

But I also asked people to provide a rating of confidence in each decision.

また 回答にどれほど自信があるかを 尋ねました

Now a good metacognitive insight

優れたメタ認知洞察力は

would be reflected in people being much more confident

結果的に正しい判断に自信のある人に

in decisions that turned out to be correct

多く備わり

and much less confident in decisions that turned out to be incorrect.

結果的に誤った判断に自信を持つ人に 少ないはずです

So let's have a look at how people did.

実際にどうだったか見てみましょう

Now I think this pattern is particularly fascinating,

このパターンは 特に興味深いと思われますが

but also fairly intuitive.

かなり直感的でもあります

Let's start with the red line,

赤い線から見てみましょう

which represents people's confidence in their incorrect responses.

誤った回答に対する自信を表しています

So as you can see,

ご覧のとおり

it doesn't matter how good people were at the test overall,

下のX軸に表される

represented by the score on the X-axis at the bottom there;

テストの総合成績に関係なく

people were approximately the same

誤った場合の自信の程度は

in terms of their confidence when they were incorrect.

ほとんど変わりません

Now what's interesting is the blue line,

興味深いのは青い線です

which represents confidence when people were correct in their decisions.

これは判断が正しかったときの 自信を表しています

As you can see, the best performers on the test

ご覧のとおり 成績優秀者は

were much more confident in their correct responses

誤った回答と比べて

in comparison with their incorrect ones.

正しい回答に一層の自信を持っています

So shows good metacognitive insight.

したがって 優れたメタ認知洞察力を示しています

The weakest performers, on the other hand,

一方で最も成績が悪かった人は

were no different in their confidence

回答が正しくても誤りでも

for their correct and incorrect responses,

自信の程度に違いはありませんでした

shown here in the green circle.

それが緑の囲み部分です

And so they show poor metacognitive insight.

これは メタ認知洞察力が劣ることを 示しています

So what might be going on with these weak performers?

成績が悪い人には何が起こっているのでしょう

Now it could be the case that they have some sense

ひょっとすると彼らは

they tend to perform poorly on tests in general,

テストではいつも 成績が悪いと感じていて

and so they're just less confident overall in their responses.

回答全般について 自信がないだけかもしれません

However, I didn't find that pattern of lower confidence in my data,

しかし 私のデータ中に 自信の低さを示す パターンは見つかりませんでした－

at least with individual decision-making.

少なくとも個々の意思決定に関してはです

Instead, it's more likely that they were more confident in their correct responses

そうではなく おそらく彼らは 誤った回答よりも

in comparison with their incorrect ones.

正しい回答に自信を持っていたのでしょう

But this was simply unrelated to their accuracy on each trial

しかしこれは各テストに対する正確性とは 全く関係ありません

because they had poor insight.

彼らの洞察力は劣っているわけですから

So how does this all fit in with the Dunning-Kruger effect?

この結果はダニング＝クルーガー効果と どう整合するのでしょう

So Dunning and Kruger argued that the weakest performers

ダニングとクルーガーは

show the least amount of insight

最も成績が低い者の洞察力が最も低く

and they overestimated their performance.

自らの成績を過信し

And that's implied that they had greater confidence.

それは 彼らが自信家だということの 表れだと主張しました

Now, we didn't see that here in our data.

それは私たちのデータには 見られませんでした

The weakest performers didn't seem to be overly confident.

最低成績者が自信過剰のようには 見えませんでした

However, the Dunning-Kruger effect

しかし ダニング＝クルーガー効果は

also describes how insight depends on ability.

洞察力が能力に どう依拠するかも説明します

And so the weakest performers showed the least amount of insight,

ですから 最低成績者の洞察力が最も劣り

overestimating their performance in their case.

自らの成績を過信するわけです

As we've just seen,

先ほど見たように

the weakest performers do seem to show the least amount of insight.

最低成績者の洞察力は 最も劣るように見えます

Here, they couldn't differentiate between their correct and incorrect responses.

彼らは 正しい答えと誤りを 区別できませんでした

So insight does appear to depend on ability,

ですから たしかに洞察力は 能力に依拠しますが

but not in the way that Dunning and Kruger originally thought.

ダニングとクルーガーが 元々考えていたようにではなかったのです

So if there are two things I'd like you to remember from this talk

今日のトークで覚えて

and take home, think about afterwards,

帰った後で考えていただきたいことが ２つあるとすれば

they are: first, more broadly, science is always updating.

第１に 広く言えば 科学は常に更新されているということです

Research comes along, new evidence that may contradict

研究により 過去の成果と矛盾したり

or even disprove previous work.

それを否定したりするような 新しい証拠が見つかります

In this case, the Dunning-Kruger effect may well not be a thing,

この場合 ダニング＝クルーガー効果は 大したものではないかもしれません－

despite the fact that it's so prevalent in popular culture.

大衆文化に広く浸透している事実は あるとしても

Second, insight depends on ability.

第２に 洞察力は能力に依拠します

For the weakest performers,

最も成績が悪い人は

there's no difference between their confidence

正しい答えにも誤った答えにも

for correct and incorrect responses.

等しい自信の程度を示します

They have poor insight, they can't tell the difference.

洞察力に乏しく 区別ができないのです

For strong performers,

成績が良い人は

when they're giving a correct answer,

正しく答えるとき

they're much more confident.

一層の自信を持ちます

Of course, the inverse isn't always true.

もちろん 逆は常に真 というわけではありません

Being more confident doesn't mean that you're right.

自信がある回答は正しい というわけではありません

You might be wrong and simply have poor insight.

あなたが間違っていて 同時に洞察力が劣るのかもしれません

So in our everyday lives,

ですから日常生活では

you should think about who it is that you ask the opinions of.

誰の意見を聞いているのかを よく考えねばなりません

If someone is an expert in their field,

相手がその分野の専門家であって

then if they're more confident, they're probably right,

彼らに自信があれば おそらく正しいでしょうし

but if they're unsure,

逆に不安がっていれば

this is also informative and tells us something useful.

それもまた示唆的であり 私たちにとって有益です

It's much more sensible to find someone that we know is knowledgeable in an area,

より賢明なのは 単に自らの意見に自信がある人ではなく

rather than someone who is simply confident in their opinion,

その分野で博識な人を探し出すことです

because confidence is easily misplaced.

なぜなら自信は容易に的を外しますから

And finally,

そして最後に

for those of you who are still wondering how good my risotto actually is,

私のリゾットが実際いかほどか まだ不審がっている方は

that may have to wait for a future talk.

私の次のトークをお待ちください

Thank you.

ありがとうございました

(Applause)

（拍手）