Ben Wellington: How we found the worst place to park in New York City — using big data

Vertaald door: Robert de Ridder Nagekeken door: Dick Stada

Six thousand miles of road,

Bijna 10.000 kilometer wegen,

600 miles of subway track,

zo'n 1000 kilometer metrolijnen,

400 miles of bike lanes

bijna 650 kilometer fietspaden

and a half a mile of tram track,

en 800 meter tramspoor --

if you've ever been to Roosevelt Island.

die liggen op Roosevelt Island.

These are the numbers that make up the infrastructure of New York City.

Dat is de infrastructuur van de stad New York in cijfers.

These are the statistics of our infrastructure.

De statistieken van onze infrastructuur.

Deze cijfers verschijnen in rapporten van de lokale overheid.

They're the kind of numbers you can find released in reports by city agencies.

Afdeling Transport kan je bijvoorbeeld vertellen

For example, the Department of Transportation will probably tell you

hoeveel kilometer wegen ze onderhouden.

Openbaar Vervoer pocht met kilometers metrolijnen.

how many miles of road they maintain.

The MTA will boast how many miles of subway track there are.

Afdelingen geven statistieken uit.

Most city agencies give us statistics.

Uit een rapport van vorig jaar van de commissie voor taxiverkeer,

This is from a report this year

from the Taxi and Limousine Commission,

leren we dat er zo'n 13.500 taxi's in New York rijden.

where we learn that there's about 13,500 taxis here in New York City.

Dat is toch interessant?

Pretty interesting, right?

Maar waar komen die cijfers vandaan?

But did you ever think about where these numbers came from?

Op zo'n gemeentelijke afdeling

Because for these numbers to exist, someone at the city agency

moet iemand bedacht hebben welke cijfers ons interesseren.

had to stop and say, hmm, here's a number that somebody might want want to know.

Here's a number that our citizens want to know.

Hier zit men op te wachten.

Dus spitten ze in hun ruwe gegevens,

So they go back to their raw data,

tellen en calculeren

they count, they add, they calculate,

and then they put out reports,

en brengen hun rapporten uit,

waar dit soort cijfers in staan.

and those reports will have numbers like this.

The problem is, how do they know all of our questions?

Maar hoe kennen ze al onze vragen?

We have lots of questions.

We zitten vol met vragen.

We kunnen waarschijnlijk

In fact, in some ways there's literally an infinite number of questions

een eindeloos aantal vragen stellen over onze stad.

that we can ask about our city.

Teveel voor die afdelingen.

The agencies can never keep up.

So the paradigm isn't exactly working, and I think our policymakers realize that,

Het model werkt dus niet, en de beleidsmakers zien dat ook in,

because in 2012, Mayor Bloomberg signed into law what he called

want burgemeester Bloomberg heeft in 2012 een wet ondertekend, die hij beschreef

the most ambitious and comprehensive open data legislation in the country.

als de meest ambitieuze en uitgebreide 'open data'-wetgeving in het land.

In a lot of ways, he's right.

Op veel punten heeft hij gelijk.

In the last two years, the city has released 1,000 datasets

De afgelopen twee jaar gaf de stad 1000 gegevenssets vrij

on our open data portal,

op het open data-portaal.

and it's pretty awesome.

Dat is fantastisch.

So you go and look at data like this,

Je kunt in die gegevens duiken

and instead of just counting the number of cabs,

en dan niet alleen de taxi's tellen,

we can start to ask different questions.

maar ook andere vragen stellen.

So I had a question.

Ik had dus een vraag.

When's rush hour in New York City?

Wanneer is de spits in New York?

It can be pretty bothersome. When is rush hour exactly?

Hoe laat begint de spits precies?

Toen dacht ik: een taxi is niet alleen een nummer,

And I thought to myself, these cabs aren't just numbers,

these are GPS recorders driving around in our city streets

maar ook een gps-recorder die door onze straten rijdt

recording each and every ride they take.

en elke rit vastlegt.

Ik heb de gegevens ervan bekeken

There's data there, and I looked at that data,

and I made a plot of the average speed of taxis in New York City throughout the day.

en een diagram van de gemiddelde snelheid van taxi's in New York gemaakt.

You can see that from about midnight to around 5:18 in the morning,

Je ziet dan dat van middernacht tot 5:18 uur 's ochtends

speed increases, and at that point, things turn around,

de snelheid toeneemt, en dan afneemt.

and they get slower and slower and slower until about 8:35 in the morning,

Dan gaan ze steeds langzamer rijden

tot ze om 8:35 uur 's ochtends

when they end up at around 11 and a half miles per hour.

nog maar 18,5 km/u rijden.

The average taxi is going 11 and a half miles per hour on our city streets,

De gemiddelde taxi rijdt dan 18,5 km/u op onze straten,

and it turns out it stays that way

en dat blijft dan zo, gedurende...

for the entire day.

de hele dag.

(Gelach)

(Laughter)

So I said to myself, I guess there's no rush hour in New York City.

Er is dus geen spitsuur in New York.

There's just a rush day.

Het is spitsdág.

Makes sense. And this is important for a couple of reasons.

Dat klinkt logisch en is belangrijk.

If you're a transportation planner, this might be pretty interesting to know.

Voor een transportplanner is dat interessant.

But if you want to get somewhere quickly,

Maar als je snel ergens moet zijn,

you now know to set your alarm for 4:45 in the morning and you're all set.

weet je nu dat je je wekker op 4:45 uur moet zetten.

New York, hè?

New York, right?

Die gegevens hebben een verhaal.

But there's a story behind this data.

This data wasn't just available, it turns out.

Ze bleken niet zomaar beschikbaar.

Hier was een aanvraag voor nodig via de Wet openbaarheid van bestuur,

It actually came from something called a Freedom of Information Law Request,

or a FOIL Request.

een Wob-aanvraag.

This is a form you can find on the Taxi and Limousine Commission website.

Het staat op de website van de Commissie voor taxiverkeer.

Voor deze gegevens heb je zo'n formulier nodig.

In order to access this data, you need to go get this form,

Als je het invult, krijg je bericht.

fill it out, and they will notify you,

and a guy named Chris Whong did exactly that.

Chris Wong deed dit.

Chris ging langs en ze zeiden:

Chris went down, and they told him,

"Just bring a brand new hard drive down to our office,

"Breng een nieuwe harddisk naar ons kantoor.

leave it here for five hours, we'll copy the data and you take it back."

Vijf uur later staan de gegevens erop en kun je hem ophalen."

And that's where this data came from.

Daar komen die gegevens vandaan.

Now, Chris is the kind of guy who wants to make the data public,

Chris is zo iemand die gegevens publiek wil delen,

en zo kwam het online te staan, wat deze grafiek mogelijk heeft gemaakt.

and so it ended up online for all to use, and that's where this graph came from.

Fantastisch dat het beschikbaar is, die GPS-recorders -- echt perfect.

And the fact that it exists is amazing. These GPS recorders -- really cool.

But the fact that we have citizens walking around with hard drives

Maar dat burgers met een harddisk

bij afdelingen gegevens op moeten halen om die te delen --

picking up data from city agencies to make it public --

als je erom vroeg, kreeg je ze,

it was already kind of public, you could get to it,

maar het was 'openbaar', niet gedeeld.

but it was "public," it wasn't public.

Dat kunnen we als stad béter doen.

And we can do better than that as a city.

Onze burgers hoeven niet rond te lopen met een harddisk.

We don't need our citizens walking around with hard drives.

Niet voor alle gegevens heb je de Wob nodig.

Now, not every dataset is behind a FOIL Request.

Here is a map I made with the most dangerous intersections in New York City

Ik heb deze kaart gemaakt van de gevaarlijkste kruisingen,

based on cyclist accidents.

gebaseerd op fietsongelukken.

So the red areas are more dangerous.

De rode gebieden zijn dus gevaarlijker.

And what it shows is first the East side of Manhattan,

Je ziet dat er in het oosten van Manhattan,

especially in the lower area of Manhattan, has more cyclist accidents.

vooral het zuidoosten, meer fietsongelukken zijn.

That might make sense

Logisch, omdat daar meer fietsers van de bruggen af komen.

because there are more cyclists coming off the bridges there.

Maar je ziet ook andere gevaarlijke plekken,

But there's other hotspots worth studying.

There's Williamsburg. There's Roosevelt Avenue in Queens.

zoals Williamsburg en Roosevelt Avenue in Queens.

And this is exactly the kind of data we need for Vision Zero.

Dit soort gegevens zoeken we voor Vision Zero.

This is exactly what we're looking for.

Precies wat we zoeken.

But there's a story behind this data as well.

Maar ook deze gegevens hebben een verhaal.

This data didn't just appear.

Ze kwamen niet zomaar aandrijven.

How many of you guys know this logo?

Kennen jullie dit logo?

Yeah, I see some shakes.

Ik zie mensen knikken.

Have you ever tried to copy and paste data out of a PDF

Weleens geprobeerd om gegevens van een pdf te kopiëren

and make sense of it?

en daar wijs uit te worden?

I see more shakes.

Ik zie meer knikken.

More of you tried copying and pasting than knew the logo. I like that.

Meer die hebben geprobeerd te kopiëren, dan die het logo kennen. Leuk.

So what happened is, the data that you just saw was actually on a PDF.

Deze gegevens stonden dus in een pdf.

In fact, hundreds and hundreds and hundreds of pages of PDF

Een pdf van honderden pagina's lang,

put out by our very own NYPD,

gepubliceerd door de NYPD [politie].

and in order to access it, you would either have to copy and paste

Om dat te gebruiken

moest je dus honderden uren gaan kopiëren,

for hundreds and hundreds of hours,

or you could be John Krauss.

of John Krauss zijn.

John Krauss was like,

John Krauss dacht:

I'm not going to copy and paste this data. I'm going to write a program.

ik kopieer die gegevens niet, maar schrijf een programma.

Het heet de 'NYPD- ongevallen-gegevens-pleister'.

It's called the NYPD Crash Data Band-Aid,

and it goes to the NYPD's website and it would download PDFs.

Het haalt pdf's van de website van de NYPD af.

Every day it would search; if it found a PDF, it would download it

Elke nacht start het een zoekopdracht; downloadt gevonden pdf's,

and then it would run some PDF-scraping program,

en bewerkt die zodat je losse tekst krijgt,

and out would come the text,

and it would go on the Internet, and then people could make maps like that.

die op het internet wordt geplaatst, zodat je dit soort kaarten kunt maken.

And the fact that the data's here, the fact that we have access to it --

En het feit dat die gegevens voor ons beschikbaar zijn --

Every accident, by the way, is a row in this table.

Ieder ongeluk is trouwens een rij in deze tabel.

You can imagine how many PDFs that is.

Stel je voor hoeveel pdf's dat zijn --

The fact that we have access to that is great,

Prachtig dat we die gegevens hebben,

but let's not release it in PDF form,

maar laten we geen pdf's maken,

because then we're having our citizens write PDF scrapers.

anders moeten burgers bewerkingsprogramma's maken.

It's not the best use of our citizens' time,

Zonde van de tijd.

Als stad kunnen we dat béter oplossen.

and we as a city can do better than that.

Gelukkig zijn onder burgemeester de Blasio

Now, the good news is that the de Blasio administration

actually recently released this data a few months ago,

recentelijk deze gegevens vrijgegeven,

and so now we can actually have access to it,

zodat we er gewoon bij kunnen.

but there's a lot of data still entombed in PDF.

Maar veel gegevens staan nog steeds ingepakt in pdf.

For example, our crime data is still only available in PDF.

Misdaadgegevens krijg je bijvoorbeeld alleen in pdf.

And not just our crime data, our own city budget.

Niet alleen misdaadgegevens, maar ook de begroting van de stad.

Our city budget is only readable right now in PDF form.

De begroting van de stad is alleen in een pdf te lezen.

And it's not just us that can't analyze it --

Niet alleen wij hebben daar last van --

our own legislators who vote for the budget

onze eigen wetgevers die over de begroting beslissen

also only get it in PDF.

krijgen het ook alleen in pdf.

So our legislators cannot analyze the budget that they are voting for.

Onze wetgevers kunnen de begroting waarover ze beslissen dus niet analyseren.

And I think as a city we can do a little better than that as well.

Dat moeten we als stad toch ook beter kunnen doen.

Now, there's a lot of data that's not hidden in PDFs.

Veel gegevens staan niet verborgen in pdf.

This is an example of a map I made,

Hier heb ik een kaart gemaakt

and this is the dirtiest waterways in New York City.

van de smerigste vaarwaters in de stad New York.

Now, how do I measure dirty?

Maar hoe meet ik smerigheid?

Well, it's kind of a little weird,

Dat is misschien een beetje vreemd;

but I looked at the level of fecal coliform,

ik keek naar het aandeel darmbacterieën,

which is a measurement of fecal matter in each of our waterways.

waardoor je ontlasting in onze vaarwaters kunt meten.

The larger the circle, the dirtier the water,

Hoe groter de cirkel is, hoe viezer het water.

so the large circles are dirty water, the small circles are cleaner.

Grote cirkels duiden op vies water, kleinere op schoner water.

What you see is inland waterways.

Dat is binnenwater.

This is all data that was sampled by the city over the last five years.

Dit zijn alle gegevens die de stad de laatste vijf jaar verzamelde.

And inland waterways are, in general, dirtier.

Binnenwater is meestal viezer.

That makes sense, right?

Logisch toch?

And the bigger circles are dirty. And I learned a few things from this.

Ik concludeer allereerst:

zwem niet waar de naam eindigt op 'creek' of 'canal'.

Number one: Never swim in anything that ends in "creek" or "canal."

But number two: I also found the dirtiest waterway in New York City,

Maar ten tweede: ik vond de smerigste vaarweg in de stad New York,

by this measure, one measure.

volgens deze meting althans.

In Coney Island Creek, which is not the Coney Island you swim in, luckily.

Het is Coney Island Creek -- niet waar we zwemmen bij Coney Island --

maar aan de andere kant.

It's on the other side.

But Coney Island Creek, 94 percent of samples taken over the last five years

De afgelopen vijf jaar had 94 procent van de monsters uit Coney Island Creek

have had fecal levels so high

zulke hoge sporen van ontlasting

that it would be against state law to swim in the water.

dat het illegaal zou zijn om daar te zwemmen.

And this is not the kind of fact that you're going to see

Dat is zo'n feitje waar ze niet mee opscheppen

boasted in a city report, right?

in de gemeentelijke rapporten.

It's not going to be the front page on nyc.gov.

Dat staat niet prominent op nyc.gov.

You're not going to see it there,

Daar vind je het niet,

but the fact that we can get to that data is awesome.

maar het is prachtig dat we die gegevens hebben.

Maar ook dit was geen eitje.

But once again, it wasn't super easy,

because this data was not on the open data portal.

Het stond niet in de open data-portal.

If you were to go to the open data portal,

Daar vind je maar een deel: een jaar en wat maanden.

you'd see just a snippet of it, a year or a few months.

Het stond op de website van de afdeling Milieubeheer.

It was actually on the Department of Environmental Protection's website.

Iedere link is een Excel-bestand.

And each one of these links is an Excel sheet, and each Excel sheet is different.

En ieder Excel-bestand is verschillend. (Gelach)

De koppen zijn anders. Je moet kopiëren en reorganiseren.

Every heading is different: you copy, paste, reorganize.

When you do you can make maps and that's great, but once again,

Als je de moeite neemt, kun je een kaart maken,

maar dat kan beter als stad, door het glad te strijken.

we can do better than that as a city, we can normalize things.

En het gaat steeds beter, want Socrata heeft een website:

And we're getting there, because there's this website that Socrata makes

de 'Open Data Portal NYC'.

Hierop staan al 1100 gegevenssets

called the Open Data Portal NYC.

This is where 1,100 data sets that don't suffer

zonder de problemen die ik noemde,

from the things I just told you live,

en gelukkig groeit dat aantal.

and that number is growing, and that's great.

Je kunt gegevens in elk formaat downloaden, zoals csv, pdf of Excel.

You can download data in any format, be it CSV or PDF or Excel document.

Wat je ook wilt, je kan het downloaden hoe je wilt.

Whatever you want, you can download the data that way.

The problem is, once you do,

Het enige probleem is,

you will find that each agency codes their addresses differently.

dat elke afdeling een andere opmaak voor adressen gebruikt.

So one is street name, intersection street,

Dus op straatnaam, kruising,

street, borough, address, building, building address.

straat, wijk, adres/gebouw, gebouw/adres.

So once again, you're spending time, even when we have this portal,

Je bent dus weer veel tijd kwijt, zelfs met deze portal,

you're spending time normalizing our address fields.

om de adresvelden gelijk te trekken.

And that's not the best use of our citizens' time.

Dat willen burgers niet.

We can do better than that as a city.

Als stad kunnen we dat beter doen.

We can standardize our addresses,

Adressen in een standaardopmaak,

and if we do, we can get more maps like this.

zodat we meer kaarten kunnen maken zoals deze.

This is a map of fire hydrants in New York City,

Dit is een kaart van brandkranen in New York,

but not just any fire hydrants.

maar niet zomaar brandkranen.

These are the top 250 grossing fire hydrants in terms of parking tickets.

Dit zijn de 250 brandkranen die de meeste parkeerboetes opleveren.

(Laughter)

(Gelach)

So I learned a few things from this map, and I really like this map.

Ik heb geleerd van deze kaart, die ik erg leuk vind.

Number one, just don't park on the Upper East Side.

Ten eerste, parkeer nooit in de Upper East Side.

Just don't. It doesn't matter where you park, you will get a hydrant ticket.

Gewoon niet doen want je krijgt overal een brandkraanbekeuring.

Number two, I found the two highest grossing hydrants in all of New York City,

Ten tweede, ik heb de twee kranen gevonden die het meeste opbrengen in New York,

and they're on the Lower East Side,

in de Lower East Side.

Die brengen ieder jaar 50.000 euro aan parkeerboetes binnen.

and they were bringing in over 55,000 dollars a year in parking tickets.

And that seemed a little strange to me when I noticed it,

Dat vond ik een beetje vreemd,

so I did a little digging and it turns out what you had is a hydrant

dus ging ik graven en ontdekte dat hier een brandkraan stond

naast een 'stoepverbreding':

and then something called a curb extension,

zo'n twee meter extra loopruimte.

which is like a seven-foot space to walk on,

Dan een parkeerplaats.

and then a parking spot.

And so these cars came along, and the hydrant --

Automobilisten zagen de brandkraan --

"It's all the way over there, I'm fine,"

"Die staat ver weg, geen probleem".

and there was actually a parking spot painted there beautifully for them.

Er was zelfs een mooie parkeerplaats getekend.

Dus ze parkeerden, maar de politie dacht daar anders over

They would park there, and the NYPD disagreed with this designation

en gaf je een bon.

and would ticket them.

Ik ben niet de enige die dit opmerkte.

And it wasn't just me who found a parking ticket.

Hier fotografeert de Streetview-auto van Google

This is the Google Street View car driving by

diezelfde parkeerboete. (Gelach)

finding the same parking ticket.

So I wrote about this on my blog, on I Quant NY, and the DOT responded,

Ik schreef erover op mijn blog I Quant NY, en kreeg antwoord van de afdeling Verkeer,

and they said,

die zeiden:

"While the DOT has not received any complaints about this location,

"Hoewel we nooit klachten over deze locatie hebben gehad,

we will review the roadway markings and make any appropriate alterations."

zullen we de markeringen bekijken en noodzakelijke wijzigingen aanbrengen."

And I thought to myself, typical government response,

Typisch antwoord van de overheid, dacht ik nog,

all right, moved on with my life.

en ik ging verder met mijn leven.

But then, a few weeks later, something incredible happened.

Maar een paar weken later was er iets ongelooflijks gebeurd.

They repainted the spot,

Ze hadden nieuwe lijnen op die plek getekend,

and for a second I thought I saw the future of open data,

en even zag ik de toekomst van open data.

because think about what happened here.

Wat is hier namelijk gebeurd?

For five years, this spot was being ticketed, and it was confusing,

Vijf jaar lang werden hier boetes uitgedeeld op een onduidelijke plek,

and then a citizen found something, they told the city, and within a few weeks

totdat een burger iets vond wat hij meldde aan de gemeente,

en binnen een paar weken was het probleem opgelost.

the problem was fixed.

It's amazing. And a lot of people see open data as being a watchdog.

Fantastisch. Veel mensen zien open data als een bedreiging.

It's not, it's about being a partner.

Maar ze kunnen ons juist helpen.

We can empower our citizens to be better partners for government,

Je kan burgers laten meedenken met de overheid.

and it's not that hard.

Dat is niet zo moeilijk.

All we need are a few changes.

Dat vraagt om wat aanpassingen.

If you're FOILing data,

Als je wob-aanvragen hebt,

if you're seeing your data being FOILed over and over again,

en dezelfde gegevens worden telkens opgevraagd,

deel die dan gewoon, dat willen mensen blijkbaar weten.

let's release it to the public, that's a sign that it should be made public.

En als een overheidsdienst een pdf uitbrengt,

And if you're a government agency releasing a PDF,

zou ze wettelijk verplicht moeten zijn de onderliggende gegevens te geven,

let's pass legislation that requires you to post it with the underlying data,

because that data is coming from somewhere.

want die komen ergens vandaan.

I don't know where, but it's coming from somewhere,

Je kan ze vrijgeven via diezelfde pdf.

and you can release it with the PDF.

En laten we standaarden gaan gebruiken.

And let's adopt and share some open data standards.

Als eerste voor de adressen in New York.

Let's start with our addresses here in New York City.

Altijd dezelfde adresopmaak.

Let's just start normalizing our addresses.

Want ondanks dit alles loopt New York voorop in open data,

Because New York is a leader in open data.

Despite all this, we are absolutely a leader in open data,

en als wij beginnen met een open data-standaard,

and if we start normalizing things, and set an open data standard,

dan volgt de rest.

Eerst de staat en misschien zelfs de federale overheid.

others will follow. The state will follow, and maybe the federal government,

Vervolgens andere landen,

Other countries could follow,

zodat je in de nabije toekomst één programma kunt schrijven

and we're not that far off from a time where you could write one program

om informatie uit 100 landen inzichtelijk te maken.

and map information from 100 countries.

Dat is geen sciencefiction.

It's not science fiction. We're actually quite close.

We zijn al dichtbij.

Wie doen we daar een plezier mee?

And by the way, who are we empowering with this?

Niet alleen John Kraus en Chris Wong.

Because it's not just John Krauss and it's not just Chris Whong.

Er zijn momenteel honderden burgerinitiatieven in New York,

There are hundreds of meetups going on in New York City right now,

actieve bijeenkomsten.

active meetups.

Duizenden mensen zijn daarbij betrokken.

There are thousands of people attending these meetups.

These people are going after work and on weekends,

Die mensen ontmoeten elkaar na werktijd en in het weekend

and they're attending these meetups to look at open data

om door middel van open data

and make our city a better place.

onze stad te verbeteren.

BetaNYC heeft vorige week bijvoorbeeld citygram.nyc geopenbaard

Groups like BetaNYC, who just last week released something called citygram.nyc

that allows you to subscribe to 311 complaints

zodat je meldingen kunt krijgen

around your own home, or around your office.

van klachten in je omgeving.

You put in your address, you get local complaints.

Vul je adres in en je ziet klachten uit de omgeving.

And it's not just the tech community that are after these things.

En niet alleen it'ers houden zich hier mee bezig.

It's urban planners like the students I teach at Pratt.

Ook stadsplanners, zoals mijn studenten op Pratt.

Beleidsvoorstanders, echt iedereen,

It's policy advocates, it's everyone,

it's citizens from a diverse set of backgrounds.

burgers met verschillende achtergronden.

And with some small, incremental changes,

Met kleine stap-voor-stap-veranderingen

we can unlock the passion and the ability of our citizens

geven we burgers de inspiratie en de mogelijkheden

to harness open data and make our city even better,

om met behulp van open data onze stad te verbeteren.

whether it's one dataset, or one parking spot at a time.

Elke set gegevens -- of parkeerplaats -- draagt daaraan bij.

Thank you.

Dank jullie wel.

(Applaus)

(Applause)