3 ways to spot a bad statistic | Mona Chalabi

Vertaald door: Sofie Vandenberghe Nagekeken door: Peter van de Ven

I'm going to be talking about statistics today.

Ik zal het vandaag over statistieken hebben.

If that makes you immediately feel a little bit wary, that's OK,

Als je daarvan onmiddellijk wantrouwig wordt dan is dat normaal,

that doesn't make you some kind of crazy conspiracy theorist,

dat maakt van jou geen gestoorde aanhanger van samenzweringstheorieën,

it makes you skeptical.

het maakt jou sceptisch.

And when it comes to numbers, especially now, you should be skeptical.

En als we het over cijfers hebben, zeker nu, is het goed sceptisch te zijn.

But you should also be able to tell which numbers are reliable

Maar je zou een onderscheid moeten kunnen maken

tussen betrouwbare en onbetrouwbare cijfers.

and which ones aren't.

So today I want to try to give you some tools to be able to do that.

Vandaag wil ik je wat handvatten geven om dit te kunnen doen.

But before I do,

Maar voor ik begin,

I just want to clarify which numbers I'm talking about here.

wil ik even verduidelijken over welke cijfers ik het hier heb.

I'm not talking about claims like,

Ik heb het niet over beweringen als:

"9 out of 10 women recommend this anti-aging cream."

'9 op 10 vrouwen raden deze antirimpelcrème aan.'

I think a lot of us always roll our eyes at numbers like that.

Ik denk dat de meesten van ons deze cijfers niet ernstig nemen.

What's different now is people are questioning statistics like,

Tegenwoordig betwisten mensen statistieken als:

'De werkloosheidsgraad in de VS is 5%.'

"The US unemployment rate is five percent."

What makes this claim different is it doesn't come from a private company,

Het verschil hier is dat ze niet van een privébedrijf komt,

it comes from the government.

maar van de overheid.

About 4 out of 10 Americans distrust the economic data

Ongeveer 4 op 10 Amerikanen wantrouwen de economische informatie

that gets reported by government.

die de overheid rapporteert.

Among supporters of President Trump it's even higher;

Bij de supporters van President Trump ligt dit zelfs hoger,

it's about 7 out of 10.

ongeveer 7 op 10.

I don't need to tell anyone here

Ik hoef hier niemand te vertellen

that there are a lot of dividing lines in our society right now,

dat er momenteel veel breuklijnen in onze samenleving zijn

and a lot of them start to make sense,

en veel daarvan worden begrijpelijker

once you understand people's relationships with these government numbers.

wanneer je weet welke relatie mensen met deze overheidscijfers hebben.

On the one hand, there are those who say these statistics are crucial,

Enerzijds zijn er mensen die beweren dat statistieken essentieel zijn,

that we need them to make sense of society as a whole

dat we ze nodig hebben om de samenleving te begrijpen,

in order to move beyond emotional anecdotes

iets wat verder gaat dan emotionele anekdotes

and measure progress in an [objective] way.

en vooruitgang [objectief] kan meten.

And then there are the others,

En dan zijn er de anderen

who say that these statistics are elitist,

die beweren dat statistieken elitair zijn

maybe even rigged;

en misschien zelfs gemanipuleerd.

they don't make sense and they don't really reflect

Ze houden geen steek en geven de dagdagelijkse realiteit niet weer.

what's happening in people's everyday lives.

It kind of feels like that second group is winning the argument right now.

Het lijkt erop dat de tweede groep het debat momenteel aan het winnen is.

We're living in a world of alternative facts,

We leven in een wereld van alternatieve feiten,

where people don't find statistics this kind of common ground,

waarbij statistieken niet worden geaccepteerd

this starting point for debate.

als gemeenschappelijke basis voor een debat.

This is a problem.

Dit is een probleem.

There are actually moves in the US right now

Op dit moment worden er in de VS zelfs stappen genomen

to get rid of some government statistics altogether.

om sommige overheidsstatistieken volledig te elimineren.

Right now there's a bill in congress about measuring racial inequality.

Momenteel is er een wet in het congres over het meten van rassenongelijkheid.

The draft law says that government money should not be used

Het wetsontwerp bepaalt dat overheidsgeld niet mag worden gebruikt

to collect data on racial segregation.

voor onderzoek naar rassensegregatie.

This is a total disaster.

Dit is een ramp.

If we don't have this data,

Als we deze gegevens niet hebben,

how can we observe discrimination,

hoe kunnen we dan discriminatie waarnemen, laat staan oplossen?

let alone fix it?

In other words:

Ofwel: hoe kan de overheid een rechtvaardig beleid voeren

How can a government create fair policies

als ze de huidige situatie niet kan meten?

if they can't measure current levels of unfairness?

This isn't just about discrimination,

En dan gaat het niet alleen over discriminatie.

it's everything -- think about it.

Hoe kunnen we ooit een gezondheidszorgbeleid voeren

How can we legislate on health care

zonder data over gezondheid en armoede?

if we don't have good data on health or poverty?

Hoe kunnen we een publiek debat over immigratie voeren

How can we have public debate about immigration

if we can't at least agree

als we het niet eens kunnen worden

on how many people are entering and leaving the country?

over hoeveel mensen er het land binnenkomen en verlaten?

Statistics come from the state; that's where they got their name.

Statistieken komen van de staat; ze zijn ernaar genoemd.

The point was to better measure the population

Het was de bedoeling om de bevolking beter te meten

in order to better serve it.

om ze zo beter te kunnen dienen.

So we need these government numbers,

We hebben deze cijfers dus nodig,

but we also have to move beyond either blindly accepting

maar we mogen ze ook niet zomaar blind aanvaarden

or blindly rejecting them.

of ze blind verwerpen.

We need to learn the skills to be able to spot bad statistics.

We moeten slechte statistieken leren herkennen.

I started to learn some of these

Ik leerde enkele technieken

when I was working in a statistical department

toen ik bij de afdeling Statistiek van de Verenigde Naties werkte.

that's part of the United Nations.

Our job was to find out how many Iraqis had been forced from their homes

Wij moesten onderzoeken hoeveel Irakezen

omwille van de oorlog hun woning moesten verlaten

as a result of the war,

and what they needed.

en wat hun behoeften waren.

It was really important work, but it was also incredibly difficult.

Het was belangrijk maar ook heel moeilijk werk.

Every single day, we were making decisions

Elke dag namen we beslissingen

die invloed op de juistheid van onze cijfers hadden.

that affected the accuracy of our numbers --

decisions like which parts of the country we should go to,

Bijvoorbeeld naar welke delen van het land we zouden gaan,

who we should speak to,

met wie we zouden praten,

which questions we should ask.

welke vragen we zouden stellen.

And I started to feel really disillusioned with our work,

En ik geraakte teleurgesteld in ons werk,

because we thought we were doing a really good job,

want wij dachten uitstekend werk te leveren,

but the one group of people who could really tell us were the Iraqis,

maar diegenen die ons dit werkelijk konden vertellen, waren de Irakezen

and they rarely got the chance to find our analysis, let alone question it.

en zij hadden zelden toegang tot onze analyses,

dus konden ze ook niet betwisten.

So I started to feel really determined

Ik raakte ervan overtuigd

dat we alleen nauwkeuriger cijfers konden krijgen

that the one way to make numbers more accurate

is to have as many people as possible be able to question them.

als zoveel mogelijk mensen ze zouden kunnen betwisten.

So I became a data journalist.

Dus werd ik een datajournaliste.

My job is finding these data sets and sharing them with the public.

Het is mijn taak om deze datasets te vinden en te delen met de bevolking.

Anyone can do this, you don't have to be a geek or a nerd.

Iedereen kan dit doen, je hoeft er geen nerd voor te zijn.

Negeer zo'n woord; het wordt door mensen gebruikt

You can ignore those words; they're used by people

die beweren slim te zijn terwijl ze bescheidenheid veinzen.

trying to say they're smart while pretending they're humble.

Werkelijk iedereen kan dit.

Absolutely anyone can do this.

I want to give you guys three questions

Ik wil jullie drie vragen aanreiken

that will help you be able to spot some bad statistics.

die kunnen helpen bij het ontdekken van slechte statistieken.

So, question number one is: Can you see uncertainty?

De eerste vraag is: is de onzekerheid aangegeven?

One of things that's really changed people's relationship with numbers,

Als er iets is dat de relatie van mensen met cijfers heeft veranderd,

and even their trust in the media,

en zelfs hun vertrouwen in de media,

has been the use of political polls.

is het gebruik van politieke peilingen.

I personally have a lot of issues with political polls

Persoonlijk ben ik tegen politieke peilingen,

want ik geloof dat het de rol is van journalisten om feiten te verslaan

because I think the role of journalists is actually to report the facts

and not attempt to predict them,

en niet om ze te voorspellen.

Vooral als voorspellingen de democratie kunnen schaden

especially when those predictions can actually damage democracy

door mensen aan te geven:

by signaling to people: don't bother to vote for that guy,

stem niet voor deze man, want hij maakt toch geen kans.

he doesn't have a chance.

Dit terzijde, laten we het nu hebben over de nauwkeurigheid van deze onderneming.

Let's set that aside for now and talk about the accuracy of this endeavor.

Uit de nationale verkiezingen in het VK, Italië, Israel

Based on national elections in the UK, Italy, Israel

and of course, the most recent US presidential election,

en natuurlijk de voorbije presidentsverkiezingen in de VS,

using polls to predict electoral outcomes

blijkt dat peilingen net zoveel zeggen over verkiezingen

is about as accurate as using the moon to predict hospital admissions.

als de maan over het aantal ziekenhuisopnames.

No, seriously, I used actual data from an academic study to draw this.

Echt, dit plaatje is gemaakt

op basis van echte gegevens van een academisch onderzoek.

There are a lot of reasons why polling has become so inaccurate.

Er zijn veel redenen waarom peilingen zo onnauwkeurig zijn geworden.

Our societies have become really diverse,

Onze samenleving is zo divers geworden

which makes it difficult for pollsters to get a really nice representative sample

dat het moeilijk is voor opiniepeilers om een goede steekproef

van de populatie voor hun opiniepeiling te krijgen.

of the population for their polls.

People are really reluctant to answer their phones to pollsters,

Mensen nemen niet graag de telefoon op voor opiniepeilers

and also, shockingly enough, people might lie.

en, verbazend genoeg, kunnen mensen liegen.

But you wouldn't necessarily know that to look at the media.

Maar dat weet je niet als je naar de media kijkt.

For one thing, the probability of a Hillary Clinton win

Bijvoorbeeld, de waarschijnlijkheid dat Hillary Clinton zou winnen

was communicated with decimal places.

werd uitgedrukt in decimalen.

We don't use decimal places to describe the temperature.

We gebruiken geen decimalen om de temperatuur aan te duiden.

How on earth can predicting the behavior of 230 million voters in this country

Hoe kun je dan het stemgedrag van 230 miljoen kiezers in dit land

be that precise?

zo precies voorspellen?

And then there were those sleek charts.

En dan waren er die gestroomlijnde grafieken.

See, a lot of data visualizations will overstate certainty, and it works --

Kijk, veel visuele datavoorstellingen suggereren zekerheid, en dat werkt.

these charts can numb our brains to criticism.

Zulke grafieken kunnen ons kritiekloos maken.

When you hear a statistic, you might feel skeptical.

Als je een statistiek hoort, ben je sceptisch.

As soon as it's buried in a chart,

Zodra ze in een grafiek staat,

it feels like some kind of objective science,

voelt het als objectieve wetenschap aan

and it's not.

en dat is het niet.

So I was trying to find ways to better communicate this to people,

Ik zocht naar manieren om dit aan mensen duidelijker te maken,

to show people the uncertainty in our numbers.

om de onzekerheid van cijfers te laten zien.

What I did was I started taking real data sets,

Ik deed het volgende: ik nam reële datasets

and turning them into hand-drawn visualizations,

en veranderde ze in handgetekende voorstellingen,

so that people can see how imprecise the data is;

zodat mensen kunnen zien hoe onnauwkeurig de gegevens zijn.

so people can see that a human did this,

Zodat ze zien dat dit door iemand gemaakt is,

a human found the data and visualized it.

een mens maakte een plaatje van de data.

For example, instead of finding out the probability

Bijvoorbeeld, in plaats van te berekenen wat je kans op griep is in een maand,

of getting the flu in any given month,

you can see the rough distribution of flu season.

kan je de ruwe verdeling van het griepseizoen zien.

This is --

Dit is ---

(Laughter)

(Gelach)

dit is een slechte dia om in februari te laten zien.

a bad shot to show in February.

But it's also more responsible data visualization,

Maar het werkt ook verantwoordelijker,

because if you were to show the exact probabilities,

want als ik je de exacte kansberekening zou laten zien,

maybe that would encourage people to get their flu jabs

dan zou dit mensen kunnen stimuleren

om hun griepprik op het verkeerde moment te halen.

at the wrong time.

The point of these shaky lines

Het doel van deze beverige lijnen

is so that people remember these imprecisions,

is dat mensen denken aan deze onnauwkeurigheden,

but also so they don't necessarily walk away with a specific number,

maar ook dat ze niet noodzakelijk een specifiek cijfer moeten hebben,

but they can remember important facts.

maar dat ze de belangrijke feiten kunnen onthouden.

Facts like injustice and inequality leave a huge mark on our lives.

Feiten als onrechtvaardigheid en ongelijkheid laten sporen na in ons leven.

Facts like Black Americans and Native Americans have shorter life expectancies

Zoals het feit dat zwarte en inheemse Amerikanen

een lagere levensverwachting dan andere rassen hebben

than those of other races,

and that isn't changing anytime soon.

en dat dit niet op punt staat te veranderen.

Facts like prisoners in the US can be kept in solitary confinement cells

Zoals het feit dat gevangenen in de VS vastgehouden kunnen worden

in isoleercellen die kleiner zijn dan een gemiddelde parkeerplaats.

that are smaller than the size of an average parking space.

The point of these visualizations is also to remind people

Het doel van deze voorstellingen is ook om mensen

of some really important statistical concepts,

aan enkele belangrijke statistische concepten te herinneren,

concepts like averages.

zoals gemiddelden.

So let's say you hear a claim like,

Stel je voor dat je de volgende stelling hoort:

"The average swimming pool in the US contains 6.23 fecal accidents."

"Het gemiddelde zwembad in de VS heeft 6,23 fecale ongelukken."

That doesn't mean every single swimming pool in the country

Dat wil niet zeggen dat elk zwembad in het land

contains exactly 6.23 turds.

exact 6,23 drollen bevat.

So in order to show that,

Dus om dat aan te tonen, bekeek ik de originele data

I went back to the original data, which comes from the CDC,

van het centrum voor ziektebestrijding dat die zwembaden onderzocht.

who surveyed 47 swimming facilities.

And I just spent one evening redistributing poop.

Ik heb vervolgens een avond poep zitten herverdelen,

So you can kind of see how misleading averages can be.

zodat je kan zien hoe misleidend gemiddelden kunnen zijn.

(Laughter)

(Gelach)

OK, so the second question that you guys should be asking yourselves

Ok, de volgende vraag die jullie jezelf moeten stellen

to spot bad numbers is:

om slechte cijfers te herkennen is:

Can I see myself in the data?

herken ik mezelf in de data?

This question is also about averages in a way,

Deze vraag gaat eigenlijk ook over gemiddelden,

want één van de redenen waarom mensen zo gefrustreerd zijn

because part of the reason why people are so frustrated

with these national statistics,

over deze nationale statistieken,

is they don't really tell the story of who's winning and who's losing

is dat ze niet echt vertellen wie er wint en wie er verliest

from national policy.

ten gevolge van overheidsbeleid.

It's easy to understand why people are frustrated with global averages

Het is begrijpelijk dat mensen gefrustreerd zijn

over globale gemiddelden

when they don't match up with their personal experiences.

als ze niet op hun eigen ervaringen gelijken.

I wanted to show people the way data relates to their everyday lives.

Ik wou laten zien hoe data in verband staat met het dagelijks leven.

Ik startte een adviescolumn 'Dear Mona',

I started this advice column called "Dear Mona,"

naar waar mensen schrijven met vragen en zorgen

where people would write to me with questions and concerns

en ik probeerde met data te antwoorden.

and I'd try to answer them with data.

Mensen vragen me van alles.

People asked me anything.

Vragen zoals: "Is het normaal om in een ander bed dan je vrouw te slapen?"

questions like, "Is it normal to sleep in a separate bed to my wife?"

"Do people regret their tattoos?"

"Hebben mensen spijt van hun tattoos?"

"What does it mean to die of natural causes?"

"Wat betekent een natuurlijke dood sterven?"

All of these questions are great, because they make you think

Al deze vragen zijn geweldig, want ze doen je nadenken

over nieuwe manieren om cijfers te communiceren.

about ways to find and communicate these numbers.

If someone asks you, "How much pee is a lot of pee?"

Als iemand je vraagt: "Hoeveel plas is veel plas?"

wat een echte vraag is die ik kreeg,

which is a question that I got asked,

you really want to make sure that the visualization makes sense

dan wil je zeker zijn dat de datavoorstellingen

voor zoveel mogelijk mensen begrijpelijk zijn.

to as many people as possible.

These numbers aren't unavailable.

Deze cijfers zijn niet onbeschikbaar.

Sometimes they're just buried in the appendix of an academic study.

Soms zijn ze begraven in een bijlage van een academisch onderzoek.

And they're certainly not inscrutable;

En ze zijn zeker niet ondoorzichtig.

if you really wanted to test these numbers on urination volume,

Als je werkelijk deze cijfers wil uittesten

kan je altijd een fles pakken en het zelf uitproberen.

you could grab a bottle and try it for yourself.

(Laughter)

(Gelach)

The point of this isn't necessarily

Het is niet de bedoeling

dat elke dataset specifiek op jou betrekking heeft.

that every single data set has to relate specifically to you.

I'm interested in how many women were issued fines in France

Ik wou weten hoeveel vrouwen in Frankrijk boetes kregen

voor het dragen van een sluier, of niqab,

for wearing the face veil, or the niqab,

ook al woon ik niet in Frankrijk of draag ik geen sluier.

even if I don't live in France or wear the face veil.

The point of asking where you fit in is to get as much context as possible.

Door je af te vragen hoe je in het plaatje past, creëer je zoveel mogelijk context.

So it's about zooming out from one data point,

Het gaat om het uitzoomen van dat ene datapunt,

like the unemployment rate is five percent,

zoals de werkloosheidsgraad is 5%,

and seeing how it changes over time,

en hoe het met de tijd verandert,

or seeing how it changes by educational status --

of hoe het verandert volgens opleiding --

this is why your parents always wanted you to go to college --

dit is waarom je ouders wilden dat je naar de universiteit ging --

or seeing how it varies by gender.

of hoe het verandert volgens geslacht.

Nowadays, male unemployment rate is higher

Vandaag is de werkloosheid bij mannen hoger dan bij vrouwen.

than the female unemployment rate.

Up until the early '80s, it was the other way around.

Tot de jaren 80 was dit omgekeerd.

This is a story of one of the biggest changes

Dit gaat over één van de grootste veranderingen in samenleving in de VS

that's happened in American society,

en het staat allemaal in deze grafiek zodra je voorbij de gemiddelden kijkt.

and it's all there in that chart, once you look beyond the averages.

The axes are everything;

De assen zijn heel belangrijk:

once you change the scale, you can change the story.

als je de schaal verandert, verander je het verhaal.

OK, so the third and final question that I want you guys to think about

Oké, de derde en laatste vraag waar je moet over nadenken

when you're looking at statistics is:

als je naar statistieken kijkt, is de volgende:

How was the data collected?

hoe werden de gegevens verzameld?

Tot nu toe sprak ik enkel over hoe data gecommuniceerd worden,

So far, I've only talked about the way data is communicated,

maar hoe ze worden verzameld is even belangrijk.

but the way it's collected matters just as much.

Ik weet dat dit moeilijk is,

I know this is tough,

because methodologies can be opaque and actually kind of boring,

want methodes kunnen nogal ondoorzichtig en saai zijn,

maar er zijn enkele eenvoudige stappen die je kan nemen om dit na te gaan.

but there are some simple steps you can take to check this.

I'll use one last example here.

Ik zal een laatste voorbeeld gebruiken.

One poll found that 41 percent of Muslims in this country support jihad,

Uit een peiling bleek dat 41% van de moslims in de VS de jihad steunt,

which is obviously pretty scary,

wat behoorlijk beangstigend is,

and it was reported everywhere in 2015.

en dit werd in 2015 overal bericht.

When I want to check a number like that,

Als ik zo'n cijfer wil nakijken dan begin ik met de oorspronkelijke vragenlijst.

I'll start off by finding the original questionnaire.

It turns out that journalists who reported on that statistic

Blijkt dat de journalist die over deze statistiek berichtte

ignored a question lower down on the survey

een volgende vraag in het onderzoek negeerde

that asked respondents how they defined "jihad."

die vroeg hoe de ondervraagden 'jihad' omschrijven.

And most of them defined it as,

En de meerderheid omschreef het als

"Muslims' personal, peaceful struggle to be more religious."

'De persoonlijke, vredevolle strijd van moslims om religieuzer te zijn.'

Only 16 percent defined it as, "violent holy war against unbelievers."

Slechts 16% omschreef het als: 'gewelddadige oorlog tegen ongelovigen'.

This is the really important point:

Dit is belangrijk:

based on those numbers, it's totally possible

gebaseerd op die cijfers is het goed mogelijk

that no one in the survey who defined it as violent holy war

dat niemand van diegenen die dit als heilige oorlog beschrijven,

also said they support it.

ook zeiden dat ze die steunden;

Those two groups might not overlap at all.

misschien overlappen deze groepen dus helemaal niet.

It's also worth asking how the survey was carried out.

We moeten ons ook afvragen hoe de enquête werd uitgevoerd.

This was something called an opt-in poll,

Hier ging het om een open enquête,

which means anyone could have found it on the internet and completed it.

wat betekent dat iedereen hem op het internet kon vinden en invullen.

Je kan zelfs onmogelijk weten of deze mensen wel moslims zijn.

There's no way of knowing if those people even identified as Muslim.

And finally, there were 600 respondents in that poll.

En tenslotte beantwoorden 600 mensen de enquête.

Er zijn, volgens het Pew Research Center, ongeveer drie miljoen moslims in dit land.

There are roughly three million Muslims in this country,

according to Pew Research Center.

Dit wil zeggen dat de enquête ongeveer met één op 5.000 moslims in dit land sprak.

That means the poll spoke to roughly one in every 5,000 Muslims

in this country.

Dit is één van de redenen

This is one of the reasons

why government statistics are often better than private statistics.

waarom overheidsstatistieken normaal gezien beter zijn dan privé-statistieken.

A poll might speak to a couple hundred people, maybe a thousand,

Een enquête praat met een paar honderd, misschien duizend mensen,

or if you're L'Oreal, trying to sell skin care products in 2005,

of als je L'Oreal bent en huidverzorging wilt verkopen in 2005

then you spoke to 48 women to claim that they work.

dan praat je met 48 vrouwen die beweren dat ze werken.

(Laughter)

(Gelach)

Private companies don't have a huge interest in getting the numbers right,

Bedrijven hebben weinig interesse om de cijfers juist te krijgen,

they just need the right numbers.

zij hebben enkel de 'juiste' cijfers nodig.

Government statisticians aren't like that.

Overheidsstatistici zijn anders.

In theory, at least, they're totally impartial,

Ze zijn, in theorie alleszins, volledig onafhankelijk.

not least because most of them do their jobs regardless of who's in power.

Vooral omdat de meesten hun werk doen

onafhankelijk van wie aan de macht is.

They're civil servants.

Ze zijn ambtenaren.

And to do their jobs properly,

En om hun werk degelijk te kunnen doen,

they don't just speak to a couple hundred people.

praten ze niet slechts met enkele honderden mensen.

Those unemployment numbers I keep on referencing

De werkloosheidsgraad waar ik steeds naar verwijs

come from the Bureau of Labor Statistics,

komt van het Bureau van Arbeidsstatistieken

and to make their estimates,

en om hun schattingen te maken,

they speak to over 140,000 businesses in this country.

spreken zij met meer dan 140.000 bedrijven in dit land.

I get it, it's frustrating.

Ik weet het, het is frustrerend.

If you want to test a statistic that comes from a private company,

Als je een privé statistiek wil testen

kan je samen met vrienden gezichtscrème kopen en uittesten:

you can buy the face cream for you and a bunch of friends, test it out,

werkt het niet dan weet je dat de cijfers verkeerd zijn.

if it doesn't work, you can say the numbers were wrong.

Maar hoe doe je dat met overheidsstatistieken?

But how do you question government statistics?

Je moet simpelweg alles blijven nakijken.

You just keep checking everything.

Kom te weten hoe ze hun gegevens verzamelden.

Find out how they collected the numbers.

Find out if you're seeing everything on the chart you need to see.

Kom te weten of je alles op de grafiek ziet wat je moet zien.

Maar geef cijfers niet gewoon op,

But don't give up on the numbers altogether, because if you do,

want als je dat doet,

dan moeten we politieke beslissingen in het ongewisse nemen

we'll be making public policy decisions in the dark,

met enkel privé-interesses om ons te leiden.

using nothing but private interests to guide us.

Thank you.

Dank je.

(Applaus)

(Applause)