3 ways to spot a bad statistic | Mona Chalabi

Kääntäjä: Sami Niskanen Oikolukija: Ulla Vainio

I'm going to be talking about statistics today.

Tänään puhun tilastoista.

If that makes you immediately feel a little bit wary, that's OK,

Jos se saa sinut heti varautuneeksi, se on OK,

that doesn't make you some kind of crazy conspiracy theorist,

se ei tee sinusta jotain hullua salaliittoteoreetikkoa

it makes you skeptical.

vaan skeptisen.

And when it comes to numbers, especially now, you should be skeptical.

Ja kun on kyse luvuista, etenkin nyt kuuluu olla skeptinen.

But you should also be able to tell which numbers are reliable

Mutta pitää myös pystyä sanomaan, mitkä luvut ovat luotettavia

and which ones aren't.

ja mitkä eivät.

So today I want to try to give you some tools to be able to do that.

Joten tänään haluan antaa siihen joitain työkaluja.

But before I do,

Ennen kuin teen niin,

I just want to clarify which numbers I'm talking about here.

haluan täsmentää, millaisista luvuista nyt puhun.

I'm not talking about claims like,

En puhu väitteistä kuten

"9 out of 10 women recommend this anti-aging cream."

"9 naista 10:stä suosittelee tätä ryppyvoidetta."

I think a lot of us always roll our eyes at numbers like that.

Moni aina pyörittelee silmiään tuollaisille luvuille.

What's different now is people are questioning statistics like,

Eri asia on, että nykyään ihmiset kyseenalaistavat tilastot kuten

"The US unemployment rate is five percent."

"USA:n työttömyysaste on 5 %."

What makes this claim different is it doesn't come from a private company,

Tästä väitteestä tekee erilaisen se, ettei se ole peräisin yritykseltä

it comes from the government.

vaan hallitukselta.

About 4 out of 10 Americans distrust the economic data

Noin 4 amerikkalaista 10:stä ei usko taloustilastoihin,

that gets reported by government.

joista hallitus kertoo.

Among supporters of President Trump it's even higher;

Presidentti Trumpin kannattajissa osuus on isompi,

it's about 7 out of 10.

noin 7 henkeä 10:stä.

I don't need to tell anyone here

Minun ei tarvitse kertoa kenellekään,

that there are a lot of dividing lines in our society right now,

että yhteiskunnassamme on nyt monia vedenjakajia,

and a lot of them start to make sense,

ja monet niistä käyvät järkeen,

once you understand people's relationships with these government numbers.

kun ymmärtää ihmisten suhteen näihin hallituksen lukuihin.

On the one hand, there are those who say these statistics are crucial,

Toisaalta on heitä, jotka sanovat näiden tilastojen olevan tärkeitä,

that we need them to make sense of society as a whole

että niillä saamme selkoa yhteiskunnasta kokonaisuutena,

in order to move beyond emotional anecdotes

että niillä jätämme taaksemme tunneargumentit

and measure progress in an [objective] way.

ja edistyksen subjektiivisen mittaamisen.

And then there are the others,

Sitten on heitä,

who say that these statistics are elitist,

että nämä tilastot ovat elitistisiä,

maybe even rigged;

ehkä jopa peukaloituja,

they don't make sense and they don't really reflect

että niissä ei ole järkeä eivätkä ne heijastele

what's happening in people's everyday lives.

ihmisten arkielämää.

It kind of feels like that second group is winning the argument right now.

Vaikuttaisi siltä, että toinen ryhmä on nyt voitolla.

We're living in a world of alternative facts,

Elämme vaihtoehtoisten faktojen maailmassa,

where people don't find statistics this kind of common ground,

jossa tilastoja ei pidetä yhteisenä maaperänä,

this starting point for debate.

väittelyn alkupisteenä.

This is a problem.

Tämä on ongelma.

There are actually moves in the US right now

USA:ssa on tällä hetkellä liikehdintää,

to get rid of some government statistics altogether.

joka tähtää näiden tilastojen poistamiseen kokonaan.

Right now there's a bill in congress about measuring racial inequality.

Kongressissa on nyt lakiesitys rotujen epätasa-arvon mittaamisesta.

The draft law says that government money should not be used

Lakiesityksessä sanotaan, ettei valtion rahoja kuuluisi

to collect data on racial segregation.

käyttää keräämään dataa rotusegregaatiosta.

This is a total disaster.

Tämä on täyskatastrofi.

If we don't have this data,

Jos tällaista dataa ei ole,

how can we observe discrimination,

kuinka voimma havainnoida syrjintää,

let alone fix it?

tai puuttua siihen?

In other words:

Toisin sanoen:

How can a government create fair policies

Kuinka hallitus voi luoda tasa-arvoa,

if they can't measure current levels of unfairness?

jos ei ole nykyisen epätasa-arvon mittaa?

This isn't just about discrimination,

Kyse ei ole vain syrjinnästä

it's everything -- think about it.

vaan kaikesta - ajatelkaa.

How can we legislate on health care

Kuinka säätää terveydenhuoltolakeja,

if we don't have good data on health or poverty?

jos ei ole dataa terveydestä tai köyhyydestä?

How can we have public debate about immigration

Kuinka voimme keskustella maahanmuutosta,

if we can't at least agree

jos emme tiedä,

on how many people are entering and leaving the country?

kuinka moni saapuu maahan ja lähtee pois?

Statistics come from the state; that's where they got their name.

Tilastot tulevat valtiolta, siitä ne ovat saaneet nimensä.

The point was to better measure the population

Tarkoituksena oli mitata paremmin väestöä,

in order to better serve it.

jotta sitä voitaisiin palvella.

So we need these government numbers,

Tarvitsemme näitä lukuja,

but we also have to move beyond either blindly accepting

mutta emme saa vain sokeasti hyväksyä

or blindly rejecting them.

tai torjua niitä.

We need to learn the skills to be able to spot bad statistics.

Tarvitsemme kykyjä huonojen tilastojen erottamiseen.

I started to learn some of these

Aloin oppia niitä,

when I was working in a statistical department

kun työskentelin tilastoyksikössä,

that's part of the United Nations.

joka on osa YK:ta.

Our job was to find out how many Iraqis had been forced from their homes

Meidän piti selvittää, kuinka monen irakilaisen oli pakko muuttaa

as a result of the war,

sodan seurauksena,

and what they needed.

ja mitä he tarvitsivat.

It was really important work, but it was also incredibly difficult.

Se oli tuikitärkeää työtä, mutta myös tosi haastavaa.

Every single day, we were making decisions

Joka ikinen päivä teimme päätöksiä,

that affected the accuracy of our numbers --

jotka vaikuttivat lukujen tarkkuuteen --

decisions like which parts of the country we should go to,

kuten mihin osaan maata kuuluisi mennä,

who we should speak to,

kenelle puhua,

which questions we should ask.

mitä kysymyksiä esittää.

And I started to feel really disillusioned with our work,

Ja aloin pettyä työhömme,

because we thought we were doing a really good job,

sillä ajattelimme suoriutuvamme hyvin,

but the one group of people who could really tell us were the Iraqis,

mutta se ryhmä, joka olisi osanut sen sanoa, olivat irakilaiset,

and they rarely got the chance to find our analysis, let alone question it.

ja he harvoin saivat analyysin käsiinsä, puhumattakaan kyseenalaistamisesta.

So I started to feel really determined

Joten aloin kokea,

that the one way to make numbers more accurate

että yksi keino tehdä luvuista tarkempia

is to have as many people as possible be able to question them.

on saada mahdollisimman moni kyseenalaistamaan ne.

So I became a data journalist.

Minusta tuli datatoimittaja.

My job is finding these data sets and sharing them with the public.

Etsin datasarjoja ja jaan ne suurelle yleisölle.

Anyone can do this, you don't have to be a geek or a nerd.

Kuka tahansa kykenee tähän, ei tarvitse olla nörtti.

You can ignore those words; they're used by people

Nuo sanat voi sivuuttaa, niitä käytetään,

trying to say they're smart while pretending they're humble.

kun halutaan vaikuttaa viisaalta ja nöyrältä.

Absolutely anyone can do this.

Aivan kuka tahansa pystyy tähän.

I want to give you guys three questions

Tarjoan teille kolme kysymystä,

that will help you be able to spot some bad statistics.

joilla huomaatte huonot tilastot.

So, question number one is: Can you see uncertainty?

Kysymys numero yksi: Näkyykö epävarmuutta?

One of things that's really changed people's relationship with numbers,

Yksi asia, joka on muuttanut suhtautumista lukuihin,

and even their trust in the media,

jopa mediaan,

has been the use of political polls.

on ollut poliittiset tiedustelut.

I personally have a lot of issues with political polls

Minulla on paljon hampaankolossa niihin liittyen,

because I think the role of journalists is actually to report the facts

koska mielestäni toimittajien rooli on reportoida faktat

and not attempt to predict them,

eikä yrittää ennustaa niitä,

especially when those predictions can actually damage democracy

etenkään kun ne ennustukset voivat haitata demokratiaa

by signaling to people: don't bother to vote for that guy,

kertomalla: älä äänestä tuota tyyppiä,

he doesn't have a chance.

ei ole mahiksia.

Let's set that aside for now and talk about the accuracy of this endeavor.

Siirrytään eteenpäin ja puhutaan tämän homman tarkkuudesta.

Based on national elections in the UK, Italy, Israel

Nojautuen valtiopäiviin UK:ssa, Italiassa ja Israelissa

and of course, the most recent US presidential election,

ja etenkin USA:n presidentinvaaleihin,

using polls to predict electoral outcomes

äänestystulosten ennustaminen kyselyillä

is about as accurate as using the moon to predict hospital admissions.

on liki yhtä tarkkaa kuin sairaalan sisäänottojen ennustaminen kuulla.

No, seriously, I used actual data from an academic study to draw this.

Ei kun oikeasti, käytin tähän oikeaa tieteellistä dataa.

There are a lot of reasons why polling has become so inaccurate.

On monia syitä, miksi kyselyistä on tullut epätarkkoja.

Our societies have become really diverse,

Yhteiskunnistamme on tullut monimuotoisia,

which makes it difficult for pollsters to get a really nice representative sample

minkä vuoksi on hankala saada edustavaa otosta

of the population for their polls.

populaatiosta.

People are really reluctant to answer their phones to pollsters,

Ihmiset eivät mielellään vastaa kyselijöiden soittoihin,

and also, shockingly enough, people might lie.

ja, shokeeraavaa, saattavat valehdellakin.

But you wouldn't necessarily know that to look at the media.

Mutta sitä ei välttämättä tietäisi median perusteella.

For one thing, the probability of a Hillary Clinton win

Esimerkiksi Hillary Clintonin voiton todennäköisyys

was communicated with decimal places.

kerrottiin desimaaliluvuin.

We don't use decimal places to describe the temperature.

Emme käytä desimaalukuja edes lämpötilaan.

How on earth can predicting the behavior of 230 million voters in this country

Kuinka ihmeessä 230 miljoonan äänestäjän äänestyskäyttäytymisen ennustaminen

be that precise?

voi olla niin tarkkaa?

And then there were those sleek charts.

Ja sitten oli kaavioita.

See, a lot of data visualizations will overstate certainty, and it works --

Usein kun dataa kuvataan, todennäköisyyttä yliarvioidaan, ja se toimii --

these charts can numb our brains to criticism.

nämä kaaviot voivat lamaannutta aivomme kriittisyyden.

When you hear a statistic, you might feel skeptical.

Kun kuulee tilastolukuja, saattaa olla skeptinen.

As soon as it's buried in a chart,

Mutta kun se laitetaan kaavioon,

it feels like some kind of objective science,

se tuntuu objektiiviselta tieteeltä,

and it's not.

mitä se ei ole.

So I was trying to find ways to better communicate this to people,

Yritin löytää keinoja kommunikoida paremmin ihmisten kanssa,

to show people the uncertainty in our numbers.

ja näyttää lukujemme epävarmuus.

What I did was I started taking real data sets,

Tein niin, että otin oikeita datasarjoja

and turning them into hand-drawn visualizations,

ja piirsin ne käsin,

so that people can see how imprecise the data is;

jotta nähtäisiin, kuinka epätarkasta datasta on kyse;

so people can see that a human did this,

että sen teki ihminen,

a human found the data and visualized it.

ihminen löysi ja havainnollisti datan.

For example, instead of finding out the probability

Esimerkisi sen sijaan, että ilmoitetaan todennäköisyys

of getting the flu in any given month,

flunssan saamiselle kaikkina kuukausina,

you can see the rough distribution of flu season.

nähdään flunssakauden jakautuminen.

This is --

Tämä --

(Laughter)

(Naurua)

a bad shot to show in February.

on paha näyttää helmikuussa.

But it's also more responsible data visualization,

Mutta se on vastuullisempaa havainnollistamista,

because if you were to show the exact probabilities,

sillä jos näytettäisiin oikeat todennäköisyydet,

maybe that would encourage people to get their flu jabs

se ehkä kannustaisi ottamaan influenssarokotteet

at the wrong time.

väärään aikaan.

The point of these shaky lines

Näiden vavisevien linjojen pointti

is so that people remember these imprecisions,

on, että ihmiset muistaisivat epätarkkuudet,

but also so they don't necessarily walk away with a specific number,

mutta myös se, ettei heille jäisi käteen jotain lukua,

but they can remember important facts.

mutta he voivat muistaa tärkeitä faktoja.

Facts like injustice and inequality leave a huge mark on our lives.

Kuten että epätasa-arvo jättää jäljen elämäämme.

Facts like Black Americans and Native Americans have shorter life expectancies

Kuten että mustilla amerikkalaisilla ja alkuperäiskansalaisilla on

than those of other races,

muita lyhyempi elinajanodote,

and that isn't changing anytime soon.

ja se ei ole muuttumassa.

Facts like prisoners in the US can be kept in solitary confinement cells

Faktoja, kuten että USA:ssa rikollisia voidaan pitää selleissä,

that are smaller than the size of an average parking space.

jotka ovat parkkipaikkaa pienempiä.

The point of these visualizations is also to remind people

Näiden havainnollistusten pointti on myös muistuttaa

of some really important statistical concepts,

muutamista tärkeistä tilastollisista käsitteistä,

concepts like averages.

kuten keskiarvosta.

So let's say you hear a claim like,

Oletetaan, että kuulet väitteen

"The average swimming pool in the US contains 6.23 fecal accidents."

"USA:ssa tavalliseen uima-altaaseen on ulostettu 6,23 kertaa."

That doesn't mean every single swimming pool in the country

Se ei tarkoita, että jok'ikisessä maan uima-altaassa

contains exactly 6.23 turds.

on täsmälleen 6,23 pökälettä.

So in order to show that,

Tätä havainnollistaakseni

I went back to the original data, which comes from the CDC,

palasin alkudataan, joka on lähtöisin CDC-viranomaiselta,

who surveyed 47 swimming facilities.

joka tutki 47 uima-allasta.

And I just spent one evening redistributing poop.

Ja minä käytin yhden illan pökäleiden jakamiseen.

So you can kind of see how misleading averages can be.

Näette, kuinka keskiarvot voivat johtaa harhaan.

(Laughter)

(Naurua)

OK, so the second question that you guys should be asking yourselves

OK, toinen kysymys, joka kannattaa kysyä

to spot bad numbers is:

huonot luvut huomatakseen on:

Can I see myself in the data?

Näenkö itseni datassa?

This question is also about averages in a way,

Tämä kysymys osittain koskettaa keskiarvoa,

because part of the reason why people are so frustrated

sillä osasyy miksi ihmiset ovat turhautuneita

with these national statistics,

näihin valtion tilastoihin,

is they don't really tell the story of who's winning and who's losing

on, että ne eivät kerro kuka voittaa ja häviää

from national policy.

valtion linjausten seurauksena.

It's easy to understand why people are frustrated with global averages

On helppo ymmärtää, miksi keskiarvot koetaan turhauttavina,

when they don't match up with their personal experiences.

jos ne eivät vastaa omia kokemuksia.

I wanted to show people the way data relates to their everyday lives.

Halusin näyttää ihmisille, miten data liittyy heidän arkielämään.

I started this advice column called "Dear Mona,"

Aloitin apupalstan nimeltä "Rakas Mona",

where people would write to me with questions and concerns

jossa ihmiset voivat esittää minulle kysymyksiä ja huolia

and I'd try to answer them with data.

ja pyrin vastaamaan datalla.

People asked me anything.

Minulta kysyttiin kaikkea:

questions like, "Is it normal to sleep in a separate bed to my wife?"

kuten "Onko normaalia, että nukun eri sängyssä kuin vaimoni?"

"Do people regret their tattoos?"

"Kadutaanko tatuointeja?"

"What does it mean to die of natural causes?"

"Mitä on luonnollisista syistä kuoleminen?"

All of these questions are great, because they make you think

Kaikki nämä kysymykset ovat hyviä, koska ne saavat pohtimaan

about ways to find and communicate these numbers.

tapoja, joilla viestiä näistä luvuista.

If someone asks you, "How much pee is a lot of pee?"

Jos joku kysyy sinulta: "Paljonko pissaa on paljon?",

which is a question that I got asked,

joka on kysymys, joka minulta kysyttiin,

you really want to make sure that the visualization makes sense

haluaa pyrkiä siihen, että havainnollistus on selkeä

to as many people as possible.

mahdollisimman monelle.

These numbers aren't unavailable.

Nämä luvut eivät ole olemattomia.

Sometimes they're just buried in the appendix of an academic study.

Joskus ne vain ovat haudattuina jonkin tutkimuksen liitteissä.

And they're certainly not inscrutable;

Eivätkä ne suinkaan ole kiistattomia,

if you really wanted to test these numbers on urination volume,

jos oikeasti haluaa testata virtsan volyymiä,

you could grab a bottle and try it for yourself.

voi tarttua pulloon ja testata itse.

(Laughter)

(Naurua)

The point of this isn't necessarily

Pointti ei ole välttämättä se,

that every single data set has to relate specifically to you.

että kaikkien datasarjojen pitää liittyä juuri sinuun.

I'm interested in how many women were issued fines in France

Minua kiinnostaa, moniko nainen sai Ranskassa sakkoja

for wearing the face veil, or the niqab,

hunnun, tai niqabin, pitämisestä,

even if I don't live in France or wear the face veil.

vaikken asu Ranskassa tai pidä huntua.

The point of asking where you fit in is to get as much context as possible.

Kysyt omaa paikkaasi saadaksesi enemmän kontekstia.

So it's about zooming out from one data point,

Se on siis datasta pois zoomaamista,

like the unemployment rate is five percent,

kuten että työttömyysaste on 5 %,

and seeing how it changes over time,

sen näkemistä, että ajalla on vaikutusta,

or seeing how it changes by educational status --

tai koulutuksella --

this is why your parents always wanted you to go to college --

tästä syystä vanhempasi halusivat, että menet yliopistoon --

or seeing how it varies by gender.

tai kuinka sukupuoli vaikuttaa.

Nowadays, male unemployment rate is higher

Nykyään miesten työttömyysaste on suurempi

than the female unemployment rate.

kuin naisten työttömyysaste.

Up until the early '80s, it was the other way around.

Aina 80-luvulle asti asia oli toisin.

This is a story of one of the biggest changes

Tämä on yksi isoimmista muutoksista,

that's happened in American society,

joita on tapahtunut Amerikassa,

and it's all there in that chart, once you look beyond the averages.

ja se kaikki on tuossa kaaviossa, kun katsoo keskiarvojen läpi.

The axes are everything;

Akselit ovat kaikki kaikessa:

once you change the scale, you can change the story.

kun skaalaa muuttaa, muuttaa tarinaa.

OK, so the third and final question that I want you guys to think about

OK, kolmas ja viimeinen kysymys teille mietittäväksi,

when you're looking at statistics is:

kun katsotte tilastoja, on:

How was the data collected?

Kuinka data kerättiin?

So far, I've only talked about the way data is communicated,

Tähän mennessä olen puhunut vain tavoista viestiä datasta,

but the way it's collected matters just as much.

mutta sen keräämisen tavalla on myös väliä.

I know this is tough,

Tiedän, tämä on rankkaa,

because methodologies can be opaque and actually kind of boring,

koska metodologia ei aina ole läpinäkyvä vaan ehkä puuduttava,

but there are some simple steps you can take to check this.

mutta tämän voi tarkistaa muutamalla perusjutulla.

I'll use one last example here.

Viimeinen esimerkki.

One poll found that 41 percent of Muslims in this country support jihad,

Kyselyn mukaan 41 % maamme muslimeista kannattaa jihadia,

which is obviously pretty scary,

mikä on aika pelottavaa,

and it was reported everywhere in 2015.

ja siitä uutisoitiin kaikkialla vuonna 2015.

When I want to check a number like that,

Kun haluan tarkistaa tällaisen luvun,

I'll start off by finding the original questionnaire.

aloitan etsimällä alkuperäisen kyselyn.

It turns out that journalists who reported on that statistic

Käy ilmi, että tästä reportoineet toimittajat

ignored a question lower down on the survey

jättivät huomioimatta kysymyksen,

that asked respondents how they defined "jihad."

jossa kysyttiin, miten jihad määriteltiin.

And most of them defined it as,

Ja valtaosa määritteli sen

"Muslims' personal, peaceful struggle to be more religious."

"Henkilökohtaiseksi, rauhanomaiseksi pyrkimykseksi olla enemmän uskonnollinen."

Only 16 percent defined it as, "violent holy war against unbelievers."

Vain 16 % määritteli sen "pyhäksi sodaksi epäuskovia vastaan."

This is the really important point:

Tämä on tärkeää:

based on those numbers, it's totally possible

näihin lukuihin nojautuen on ihan mahdollista,

that no one in the survey who defined it as violent holy war

ettei kukaan, joka määritteli sen pyhäksi sodaksi,

also said they support it.

kuitenkaan kannattanut sitä.

Those two groups might not overlap at all.

Ne ryhmät eivät välttämättä ole päällekkäisiä.

It's also worth asking how the survey was carried out.

On myös hyvä kysyä, miten kysely toteutettiin.

This was something called an opt-in poll,

Tämä oli vapaaehtoinen kysely,

which means anyone could have found it on the internet and completed it.

eli kuka tahansa internetissä saattoi löytää ja täyttää sen.

There's no way of knowing if those people even identified as Muslim.

Ei voi tietää, olivatko nuo ihmiset edes muslimeja.

And finally, there were 600 respondents in that poll.

Ja viimeiseksi, kyselyyn vastasi 600 henkeä.

There are roughly three million Muslims in this country,

Maassamme on noin 300 miljoonaa muslimia,

according to Pew Research Center.

Pew Research Centerin mukaan laskettuna.

That means the poll spoke to roughly one in every 5,000 Muslims

Se tarkoittaa, että kyselyyn vastasi noin 1 muslimi 5000:sta

in this country.

muslimista maassamme.

This is one of the reasons

Tämä on osasyy,

why government statistics are often better than private statistics.

miksi valtion tilastot ovat usein yksityisiä parempia.

A poll might speak to a couple hundred people, maybe a thousand,

Kyselyssä saatetaan käydä läpi sata tai ehkä tuhat ihmistä,

or if you're L'Oreal, trying to sell skin care products in 2005,

tai jos on L'Oreal, joka koittaa myydä ihonhoitotuotteita,

then you spoke to 48 women to claim that they work.

ehkä 48 naista riittää.

(Laughter)

(Naurua)

Private companies don't have a huge interest in getting the numbers right,

Yrityksillä ei ole merkitystä, että numerot ovat oikeita,

they just need the right numbers.

tarvitaan vain oikeat numerot.

Government statisticians aren't like that.

Valtion tilastotieteilijät eivät ole sellaisia.

In theory, at least, they're totally impartial,

Ainakin teoriassa he ovat täysin puolueettomia,

not least because most of them do their jobs regardless of who's in power.

osittain siksi, että he tekevät työnsä riippumatta siitä, kuka on vallassa.

They're civil servants.

He ovat palvelijoita.

And to do their jobs properly,

Ja tehdäkseen työnsä kunnolla

they don't just speak to a couple hundred people.

he eivät vain puhu parillesadalle ihmiselle.

Those unemployment numbers I keep on referencing

Nuo työttömyystilastot, joihin viittasin,

come from the Bureau of Labor Statistics,

ovat peräisin Bureau of Labor Statisticsista,

and to make their estimates,

ja tehdäkseen arvioita

they speak to over 140,000 businesses in this country.

he puhuvat yli 140 000 yritykselle maassa.

I get it, it's frustrating.

Tiedän, turhauttavaa.

If you want to test a statistic that comes from a private company,

Jos haluaa testata yrityksen tilastoja,

you can buy the face cream for you and a bunch of friends, test it out,

voi ostaa ryppyvoiteen itselle ja ystävilleen ja testata sitä,

if it doesn't work, you can say the numbers were wrong.

jos se ei toimi, voit sanoa, että numerot olivat palturia.

But how do you question government statistics?

Mutta miten valtion tilastoja kyseenalaistetaan?

You just keep checking everything.

Kaikki vain tarkistetaan.

Find out how they collected the numbers.

Selvitä, miten luvut saatiin.

Find out if you're seeing everything on the chart you need to see.

Selvitä, näetkö kaaviossa kaiken mikä sinun pitäisi.

But don't give up on the numbers altogether, because if you do,

Mutta älä luovuta lukujen suhteen kokonaan, sillä jos sen teet,

we'll be making public policy decisions in the dark,

teemme politiikkaa pimeässä hapuillen

using nothing but private interests to guide us.

pelkät omat etumme meitä johdattamassa.

Thank you.

Kiitos.

(Applause)

(Taputuksia)