Ben Wellington: How we found the worst place to park in New York City — using big data

Traducteur: Jean-Pierre Bourgault Relecteur: Vincent LECOANET

Six thousand miles of road,

10 000 km de routes,

600 miles of subway track,

1000 km de rails de métro,

400 miles of bike lanes

640 km d'aménagements cyclables

and a half a mile of tram track,

et un tramway aérien de 945 m reliant

if you've ever been to Roosevelt Island.

Manhattan à Roosevelt Island.

These are the numbers that make up the infrastructure of New York City.

Ces quelques nombres décrivent l'infrastructure routière

These are the statistics of our infrastructure.

de la ville de New York.

They're the kind of numbers you can find released in reports by city agencies.

Les rapports des organismes municipaux contiennent ces données.

For example, the Department of Transportation will probably tell you

Le département des transports, vous dira

le nombre de km de routes entretenus

how many miles of road they maintain.

Le MTA se vantera du nombre de km de voies de métro.

The MTA will boast how many miles of subway track there are.

La plupart des organismes établissent des statistiques.

Most city agencies give us statistics.

Voici des données d'un rapport de cette année

This is from a report this year

from the Taxi and Limousine Commission,

de la commission des taxis,

where we learn that there's about 13,500 taxis here in New York City.

qui nous apprennent qu'il y a environ 13 500 taxis ici à New York.

Intéressant, n'est-ce pas?

Pretty interesting, right?

But did you ever think about where these numbers came from?

Mais vous êtes-vous déjà demandé d'où viennent ces nombres?

Pour qu'ils existent, des fonctionnaires ont dû

Because for these numbers to exist, someone at the city agency

had to stop and say, hmm, here's a number that somebody might want want to know.

s'arrêter et se dire, hum, voici une donnée qui intéresse peut-être quelqu'un.

Here's a number that our citizens want to know.

Voilà un nombre dont nos citoyens ont besoin.

Ils sortent alors leurs données brutes,

So they go back to their raw data,

comptent, ajoutent, calculent,

they count, they add, they calculate,

and then they put out reports,

et rédigent des rapports

contenant de nouveaux chiffres.

and those reports will have numbers like this.

The problem is, how do they know all of our questions?

Mais le problème : comment devinent-ils nos questions?

We have lots of questions.

Nous en avons beaucoup.

In fact, in some ways there's literally an infinite number of questions

En fait, le nombre de questions que nous nous posons sur notre ville

that we can ask about our city.

est infini et les organismes

The agencies can never keep up.

peinent à nous suivre.

So the paradigm isn't exactly working, and I think our policymakers realize that,

Cette façon de faire n'est pas au point et je crois que nos décideurs le réalisent,

because in 2012, Mayor Bloomberg signed into law what he called

car en 2012, le maire Bloomberg a signé ce qu'il a appelé la mesure

the most ambitious and comprehensive open data legislation in the country.

législative sur les données ouvertes la plus ambitieuse et exhaustive au pays.

In a lot of ways, he's right.

Il a raison à bien des égards.

In the last two years, the city has released 1,000 datasets

En deux ans, la ville a publié 1000 jeux de données sur notre

on our open data portal,

portail des données ouvertes,

and it's pretty awesome.

ce qui n'est pas mal.

So you go and look at data like this,

Vous regardez des données comme celles-là

and instead of just counting the number of cabs,

et vous commencez à vous poser des questions qui

we can start to ask different questions.

vont au-delà du simple nombre de taxis.

So I had a question.

Moi, je me suis demandé,

When's rush hour in New York City?

quelle est l'heure de pointe à NY?

It can be pretty bothersome. When is rush hour exactly?

La réponse ne nous vient pas naturellement.

And I thought to myself, these cabs aren't just numbers,

Et je me suis dit, ces taxis sont plus que des nombres,

these are GPS recorders driving around in our city streets

ils transportent des GPS qui enregistrent

recording each and every ride they take.

chaque course qu'ils font.

There's data there, and I looked at that data,

J'ai donc jeté un œil à ces données,

and I made a plot of the average speed of taxis in New York City throughout the day.

et j'ai tracé une courbe de la vitesse moyenne des taxis durant la journée.

You can see that from about midnight to around 5:18 in the morning,

Vous pouvez voir qu'à partir de minuit jusqu'à environ 5 h 18,

speed increases, and at that point, things turn around,

la vitesse augmente, puis les choses se gâtent et

and they get slower and slower and slower until about 8:35 in the morning,

la vitesse décroît et décroît et décroît jusqu'à 8 h 35,

when they end up at around 11 and a half miles per hour.

où elle se stabilise à environ 18,5 km par heure.

The average taxi is going 11 and a half miles per hour on our city streets,

Les taxis roulent en moyenne à 18,5 km/h dans les rues de notre ville,

and it turns out it stays that way

et leur vitesse demeure telle quelle

for the entire day.

toute la journée.

(Laughter)

(Rires)

So I said to myself, I guess there's no rush hour in New York City.

J'en conclus donc qu'il n'y a pas d'heure de pointe à New York,

There's just a rush day.

mais des journées de pointe.

Makes sense. And this is important for a couple of reasons.

Logique. Et c'est important pour diverses raisons.

If you're a transportation planner, this might be pretty interesting to know.

Si vous travaillez dans le domaine du transport, c'est intéressant pour vous.

But if you want to get somewhere quickly,

Et si vous êtes quelqu'un de pressé,

you now know to set your alarm for 4:45 in the morning and you're all set.

vous savez maintenant que vous devez vous réveiller à 4 h 45.

New York, non?

New York, right?

But there's a story behind this data.

Mais ces données ont elles aussi une

This data wasn't just available, it turns out.

histoire : elles n'étaient publiées nulle part

It actually came from something called a Freedom of Information Law Request,

et ont été obtenues par suite d'une demande faite en vertu

de la loi del’accès à l’information.

or a FOIL Request.

This is a form you can find on the Taxi and Limousine Commission website.

Le formulaire pour faire une telle demande est sur le site de la TLC.

Pour obtenir les données, vous devez le remplir, l'envoyer, puis

In order to access this data, you need to go get this form,

fill it out, and they will notify you,

attendre qu'on communique avec nous.

and a guy named Chris Whong did exactly that.

C'est ce qu'a fait Chris Whong.

Voici ce que le TLC lui a demandé :

Chris went down, and they told him,

"Just bring a brand new hard drive down to our office,

« Apportez-nous un disque dur neuf. Nous y copierons

leave it here for five hours, we'll copy the data and you take it back."

les données et vous pourrez venir le chercher cinq heures plus tard. »

And that's where this data came from.

Voilà d'où les données proviennent.

Now, Chris is the kind of guy who wants to make the data public,

Chris est de ceux qui veulent que de telles données soient

and so it ended up online for all to use, and that's where this graph came from.

publiques, et il les a mis en ligne, ce qui m'a permis de faire la carte.

And the fact that it exists is amazing. These GPS recorders -- really cool.

Le fait que ces enregistrements GPS existent -- vraiment cool.

But the fact that we have citizens walking around with hard drives

Mais le fait que des citoyens se promènent avec des disques durs

picking up data from city agencies to make it public --

pour aller chercher des données,

it was already kind of public, you could get to it,

qui en soi sont « publiques », mais

but it was "public," it wasn't public.

qui ne sont pas rendues publiques,

And we can do better than that as a city.

nous pouvons faire mieux comme ville.

We don't need our citizens walking around with hard drives.

Nul besoin que nos citoyens trimbalent des disques durs.

Now, not every dataset is behind a FOIL Request.

Mais certaines données sont déjà à disposition.

Here is a map I made with the most dangerous intersections in New York City

Voici une carte que j'ai créée des intersections de NY enregistrant le plus

based on cyclist accidents.

d'accidents impliquant des cyclistes.

So the red areas are more dangerous.

Les zones rouges sont les plus dangereuses.

And what it shows is first the East side of Manhattan,

Ce que l'on observe, c'est que la portion est de l'île,

especially in the lower area of Manhattan, has more cyclist accidents.

particulièrement dans le sud de la ville, enregistre le plus d'accidents.

That might make sense

Ce n'est pas illogique,

because there are more cyclists coming off the bridges there.

car beaucoup de cyclistes sortent du pont à cet endroit.

But there's other hotspots worth studying.

Mais d'autres zones, comme Williamsburg,

There's Williamsburg. There's Roosevelt Avenue in Queens.

Roosevelt Avenue dans Queens, méritent notre attention.

And this is exactly the kind of data we need for Vision Zero.

C'est le genre de données dont Vision Zero a besoin.

This is exactly what we're looking for.

C'est ce qui fait notre bonheur.

But there's a story behind this data as well.

Mais encore une fois, il y a une histoire

This data didn't just appear.

à raconter au sujet de ces données.

How many of you guys know this logo?

Combien d'entre vous connaissent ce logo?

Yeah, I see some shakes.

Je vois des hochements de tête.

Have you ever tried to copy and paste data out of a PDF

Avez-vous déjà copié et collé des données d'un PDF,

and make sense of it?

puis essayé d'y voir clair?

I see more shakes.

Vous l'êtes apparemment.

More of you tried copying and pasting than knew the logo. I like that.

Plus à avoir fait du copier-coller qu'à reconnaître le logo. Intéressant.

So what happened is, the data that you just saw was actually on a PDF.

Les données que vous avez vues se trouvaient à l'origine dans un PDF.

In fact, hundreds and hundreds and hundreds of pages of PDF

En fait, dans un PDF de plusieurs centaines de pages

put out by our very own NYPD,

créé par notre service de police,

and in order to access it, you would either have to copy and paste

et pour pouvoir les utiliser, vous deviez faire du copier-coller,

for hundreds and hundreds of hours,

pendant des heures,

or you could be John Krauss.

ou vous appelez John Krauss.

John Krauss was like,

John Krauss s'est dit,

I'm not going to copy and paste this data. I'm going to write a program.

je ne vais pas copier ces données, mais plutôt créer un programme,

It's called the NYPD Crash Data Band-Aid,

le NYPD Crash Data Band-Aid,

and it goes to the NYPD's website and it would download PDFs.

qui se promène sur le site Web du NYPD pour y dénicher des PDF.

Every day it would search; if it found a PDF, it would download it

Chaque jour, il cherche, trouve et télécharge des PDF,

and then it would run some PDF-scraping program,

puis en extrait le contenu qu'il

and out would come the text,

transforme en texte et

and it would go on the Internet, and then people could make maps like that.

qu'il publie sur le Web, pour que l'on puisse faire des cartes.

And the fact that the data's here, the fact that we have access to it --

Et le fait que nous ayons ces données --

Every accident, by the way, is a row in this table.

en passant, chaque ligne du tableau est un accident.

You can imagine how many PDFs that is.

Vous pouvez imaginer le nombre de PDF.

The fact that we have access to that is great,

Le fait que nous y ayons accès est formidable,

but let's not release it in PDF form,

mais ne les publions pas dans des PDF,

because then we're having our citizens write PDF scrapers.

car nos citoyens chercheront le moyen de les en extraire.

It's not the best use of our citizens' time,

Nos citoyens n'ont pas de temps à perdre,

and we as a city can do better than that.

et comme ville nous pouvons offrir mieux.

Now, the good news is that the de Blasio administration

La bonne nouvelle, c'est que l'administration Blasio

actually recently released this data a few months ago,

a publié ces données il y a quelques mois,

and so now we can actually have access to it,

Mais beaucoup de données restent enfermées

but there's a lot of data still entombed in PDF.

dans des PDF, ce qui est notamment le cas

For example, our crime data is still only available in PDF.

des données sur les crimes.

And not just our crime data, our own city budget.

Tout comme du budget de notre propre ville.

Our city budget is only readable right now in PDF form.

Le budget de NY n'est actuellement disponible qu'en format PDF.

And it's not just us that can't analyze it --

Nous ne sommes pas les seuls que cela embête.

our own legislators who vote for the budget

Nos propres législateurs, ceux qui votent le budget,

also only get it in PDF.

le reçoivent en PDF.

So our legislators cannot analyze the budget that they are voting for.

Nos législateurs ne peuvent pas analyser le budget qu'ils votent.

And I think as a city we can do a little better than that as well.

Et je crois que comme ville nous pouvons faire un peu mieux que cela.

Now, there's a lot of data that's not hidden in PDFs.

Toutes les données ne sont pas cachées dans des PDF.

This is an example of a map I made,

Voici une carte que j'ai faite

and this is the dirtiest waterways in New York City.

des voies de navigation les plus sales de New York.

Now, how do I measure dirty?

Que veux-je dire par sale?

Well, it's kind of a little weird,

C'est quelque peu étrange,

but I looked at the level of fecal coliform,

mais j'ai pris le nombre de coliformes fécaux,

which is a measurement of fecal matter in each of our waterways.

soit la quantité de matière fécale, dans chacune de nos voies d'eau.

The larger the circle, the dirtier the water,

Plus le cercle est grand, plus l'eau est sale,

so the large circles are dirty water, the small circles are cleaner.

et vice versa. Ce que vous voyez ce sont

What you see is inland waterways.

les voies navigables intérieures.

This is all data that was sampled by the city over the last five years.

Il s'agit de données que la ville recueille depuis cinq ans.

And inland waterways are, in general, dirtier.

Les voies intérieures sont généralement plus sales,

That makes sense, right?

C'est assez évident, non?

And the bigger circles are dirty. And I learned a few things from this.

Voici ce que j'ai découvert grâce à cette carte.

Number one: Never swim in anything that ends in "creek" or "canal."

Premièrement, il ne faut jamais nager dans un « creek » ou un « canal ».

But number two: I also found the dirtiest waterway in New York City,

Deuxièmement, la voie la plus sale de New York est Coney Island Creek,

by this measure, one measure.

d'après cette mesure.

In Coney Island Creek, which is not the Coney Island you swim in, luckily.

Ce n'est heureusement pas le Coney Island où vous vous baignez.

It's on the other side.

C'est de l'autre côté.

But Coney Island Creek, 94 percent of samples taken over the last five years

Mais à Coney Island Creek, 94 % des échantillons prélevés depuis cinq ans

have had fecal levels so high

contenaient tellement de coliformes fécaux

that it would be against state law to swim in the water.

que les lois de l'État le rendent impropre à la baignade.

And this is not the kind of fact that you're going to see

Et ce n'est pas le genre de faits que les rapports

boasted in a city report, right?

de la ville contiennent ou qui

It's not going to be the front page on nyc.gov.

figure sur la page d'accueil du nyc.gov, non?

You're not going to see it there,

Vous ne les y verrez pas, mais

but the fact that we can get to that data is awesome.

le fait qu'on puisse trouver ces données est génial.

But once again, it wasn't super easy,

Ici encore, ce ne fut pas facile, car

because this data was not on the open data portal.

elles ne figuraient pas dans le portail des

If you were to go to the open data portal,

données ouvertes, où vous trouverez

you'd see just a snippet of it, a year or a few months.

seulement des chiffres pour un an ou quelques mois.

It was actually on the Department of Environmental Protection's website.

Elles étaient plutôt sur le site du DEP de la ville de NY.

And each one of these links is an Excel sheet, and each Excel sheet is different.

Chacun de ces liens ouvre un tableur Excel différent, avec des titres différents.

Every heading is different: you copy, paste, reorganize.

Vous copiez, collez, réorganisez le tout,

When you do you can make maps and that's great, but once again,

puis faites des cartes et c'est bien, mais encore une fois,

nous pouvons faire mieux comme ville et établir des normes.

we can do better than that as a city, we can normalize things.

Et nous y arrivons par des sites Web comme celui de Socrata

And we're getting there, because there's this website that Socrata makes

appelé l'Open Data Portal NYC,

called the Open Data Portal NYC.

où 1100 jeux de données, qui ne souffrent pas

This is where 1,100 data sets that don't suffer

des maux que j'ai décrits se trouvent,

from the things I just told you live,

et leur nombre ne cesse de croître.

and that number is growing, and that's great.

Vous pouvez y télécharger les données que vous voulez dans une foule

You can download data in any format, be it CSV or PDF or Excel document.

de formats : CSV, PDF, XLS ou autres.

Whatever you want, you can download the data that way.

The problem is, once you do,

Vous découvrirez alors que

you will find that each agency codes their addresses differently.

le format des adresses n'est pas le même d'un organisme à l'autre.

So one is street name, intersection street,

L'un classe ses données par rue ou par

street, borough, address, building, building address.

intersection, l'autre par quartier ou adresse postale.

So once again, you're spending time, even when we have this portal,

Même avec ce portail, vous perdez du temps, car vous devez

you're spending time normalizing our address fields.

uniformiser les champs des adresses.

And that's not the best use of our citizens' time.

Et nos citoyens ont d'autres chats à fouetter.

We can do better than that as a city.

Nous pouvons faire mieux comme ville.

We can standardize our addresses,

Nous pourrions normaliser nos adresses,

and if we do, we can get more maps like this.

ce qui nous aiderait à créer plus de cartes.

This is a map of fire hydrants in New York City,

En voici une des bornes d'incendie de NY,

but not just any fire hydrants.

mais pas de n'importe quelle borne.

These are the top 250 grossing fire hydrants in terms of parking tickets.

Il s'agit des 250 bornes ayant remis le plus grand nombre de contraventions.

(Laughter)

(Rires)

So I learned a few things from this map, and I really like this map.

J'ai fait des découvertes grâce à cette carte.

Number one, just don't park on the Upper East Side.

Primo, ne vous garez pas dans l'Upper East Side.

Just don't. It doesn't matter where you park, you will get a hydrant ticket.

Peu importe où vous vous garerez, vous aurez un ticket.

Number two, I found the two highest grossing hydrants in all of New York City,

J'ai également trouvé les deux bornes les plus lucratives pour la ville,

and they're on the Lower East Side,

deux bornes dans le Lower East Side,

and they were bringing in over 55,000 dollars a year in parking tickets.

qui rapportent plus de 55 000 $ par année en contraventions.

And that seemed a little strange to me when I noticed it,

Cela m'a surpris.

so I did a little digging and it turns out what you had is a hydrant

J'ai donc fait des recherches et j'ai découvert

and then something called a curb extension,

qu'une avancée de trottoir de sept pieds

which is like a seven-foot space to walk on,

sépare la place de parking

and then a parking spot.

de la borne d'incendie.

And so these cars came along, and the hydrant --

Un conducteur arrive et se dit :

"It's all the way over there, I'm fine,"

« La borne est là-bas, je suis ok. »

and there was actually a parking spot painted there beautifully for them.

Il regarde les lignes de parking dessinées au sol et se gare.

They would park there, and the NYPD disagreed with this designation

Les policiers, qui ne voient pas les choses du même œil, lui

and would ticket them.

collent une amende.

And it wasn't just me who found a parking ticket.

Je ne suis pas le seul à avoir remarqué cela.

This is the Google Street View car driving by

La voiture de Google qui passait par là

finding the same parking ticket.

a photographié la scène.

So I wrote about this on my blog, on I Quant NY, and the DOT responded,

J'en ai parlé dans mon blogue I Quant NY, à la suite de quoi le DOT m'a répondu,

and they said,

et a déclaré :

"While the DOT has not received any complaints about this location,

« Bien que le DOT n'ait reçu aucune plainte au sujet de

we will review the roadway markings and make any appropriate alterations."

cet emplacement, nous allons revoir le marquage au sol. »

And I thought to myself, typical government response,

Je me suis dit, voilà une réponse typique,

all right, moved on with my life.

merci, passons à autre chose.

But then, a few weeks later, something incredible happened.

Mais, quelques semaines plus tard, une chose extraordinaire s'est produite.

They repainted the spot,

Ils ont refait les lignes, et pendant

and for a second I thought I saw the future of open data,

une seconde, j'ai vu l'avenir de l'ouverture des données,

because think about what happened here.

car pensez à ce qui est arrivé ici.

For five years, this spot was being ticketed, and it was confusing,

Durant cinq ans, ceux qui se garaient-là recevaient un ticket sans comprendre,

and then a citizen found something, they told the city, and within a few weeks

puis un citoyen a fait une observation, en a fait part à la ville et en quelques

the problem was fixed.

semaines tout était réglé.

It's amazing. And a lot of people see open data as being a watchdog.

C'est formidable. Plusieurs personnes voient là un rôle de cerbère.

It's not, it's about being a partner.

Les données sont plutôt un outil,

We can empower our citizens to be better partners for government,

qui nous permettent d'être de vrais partenaires du gouvernement,

and it's not that hard.

et ce n'est pas si complexe.

All we need are a few changes.

Peu de changements sont requis.

If you're FOILing data,

Si vous vous faites

if you're seeing your data being FOILed over and over again,

régulièrement demander vos données,

let's release it to the public, that's a sign that it should be made public.

rendez-les publiques, c'est un signe qu'elles devraient l'être.

And if you're a government agency releasing a PDF,

Votons aussi une loi qui oblige les organismes

let's pass legislation that requires you to post it with the underlying data,

gouvernementaux qui mettent en ligne des PDF à joindre à ceux-ci

because that data is coming from somewhere.

les données brutes, car celles-ci proviennent

I don't know where, but it's coming from somewhere,

nécessairement de quelque part,

and you can release it with the PDF.

et devraient être accessibles.

And let's adopt and share some open data standards.

Fixons des normes sur les données ouvertes

Let's start with our addresses here in New York City.

et uniformisons le format

Let's just start normalizing our addresses.

des adresses de New York.

Because New York is a leader in open data.

Malgré tout ce que j'ai dit, NY reste un

Despite all this, we are absolutely a leader in open data,

leader dans le domaine des données ouvertes

and if we start normalizing things, and set an open data standard,

et si nous choisissons d'établir des normes en la matière

others will follow. The state will follow, and maybe the federal government,

d'autres feront de même. L'État, le gouvernement fédéral, voire d'autres

Other countries could follow,

pays pourraient nous suivre.

and we're not that far off from a time where you could write one program

Nous approchons d'une ère où nous aurons un programme qui pourra

créeons des cartes avec les données de 100 pays.

and map information from 100 countries.

It's not science fiction. We're actually quite close.

Ce n'est pas de la science fiction, nous y sommes presque.

And by the way, who are we empowering with this?

Mais au fait, à qui donnons-nous le pouvoir?

Because it's not just John Krauss and it's not just Chris Whong.

Car il ne s'agit pas seulement de John Krauss et de Chris Whong,

There are hundreds of meetups going on in New York City right now,

Il y a actuellement des centaines de Meetup actifs

active meetups.

à New York.

Ils sont des milliers à participer à ces réunions.

There are thousands of people attending these meetups.

These people are going after work and on weekends,

Ils y assistent après le travail et les weekends,

pour passer en revue des données et améliorer la

and they're attending these meetups to look at open data

and make our city a better place.

qualité de vie dans notre ville.

Groups like BetaNYC, who just last week released something called citygram.nyc

Des groupes comme BetaNYC, qui la semaine dernière a lancé citygram.nyc,

that allows you to subscribe to 311 complaints

où vous pouvez vous abonner à un bulletin des

around your own home, or around your office.

plaintes que la ville reçoit au 311 dans un

You put in your address, you get local complaints.

rayon autour de chez vous ou de votre travail.

And it's not just the tech community that are after these things.

Et ce n'est pas que la communauté techno que cela intéresse.

It's urban planners like the students I teach at Pratt.

Les urbanistes, mes étudiants, les défenseurs

It's policy advocates, it's everyone,

du domaine public, des citoyens

it's citizens from a diverse set of backgrounds.

de tous les milieux. Tout le monde s'y intéresse.

And with some small, incremental changes,

Et tous ces petits changements progressifs

we can unlock the passion and the ability of our citizens

attisent la passion de nos citoyens et leur permettent

to harness open data and make our city even better,

d'utiliser des données pour améliorer notre ville,

whether it's one dataset, or one parking spot at a time.

que ce soit une donnée ou une place de stationnement à la fois.

Thank you.

Merci.

(Applause)

(Applaudissements)