Ben Wellington: How we found the worst place to park in New York City — using big data

Traduttore: Valentina Buda Revisore: Chiara Vallasciani

Six thousand miles of road,

10.000 km di strade,

600 miles of subway track,

1.000 km di tratte metropolitane,

400 miles of bike lanes

650 km di piste ciclabili

and a half a mile of tram track,

e poco meno di 1 km di tramvia,

if you've ever been to Roosevelt Island.

se siete mai stati a Roosevelt Island.

These are the numbers that make up the infrastructure of New York City.

Questi sono i numeri delle infrastrutture di New York City,

These are the statistics of our infrastructure.

le statistiche delle nostre infrastrutture.

Sono numeri che si trovano nei report degli uffici comunali.

They're the kind of numbers you can find released in reports by city agencies.

Il Dipartimento dei Trasporti sarà orgoglioso nel dire

For example, the Department of Transportation will probably tell you

di quanti km di strade si occupa.

L'MTA si sarà vantata dei km di tratta metropolitana.

how many miles of road they maintain.

The MTA will boast how many miles of subway track there are.

La maggior parte degli uffici ci dà delle statistiche.

Most city agencies give us statistics.

Da un resoconto di quest'anno

This is from a report this year

from the Taxi and Limousine Commission,

della Commissione Taxi e Limousine

apprendiamo che ci sono circa 13.500 taxi qui a New York City.

where we learn that there's about 13,500 taxis here in New York City.

Interessante, no?

Pretty interesting, right?

But did you ever think about where these numbers came from?

Ma avete mai pensato "Da dove vengono questi numeri"?

Perché se questi numeri esistono, qualcuno lì in ufficio

Because for these numbers to exist, someone at the city agency

si è fermato e ha detto: "Ok, questo è un numero che qualcuno vorrebbe sapere".

had to stop and say, hmm, here's a number that somebody might want want to know.

Here's a number that our citizens want to know.

Un numero che i cittadini vorrebbero conoscere.

Sono tornati ai loro dati grezzi,

So they go back to their raw data,

hanno contato, aggiunto, calcolato,

they count, they add, they calculate,

and then they put out reports,

e poi hanno emesso dei rapporti

e quei rapporti hanno numeri come questi.

and those reports will have numbers like this.

The problem is, how do they know all of our questions?

Il punto è: come conoscono le nostre domande?

We have lots of questions.

Abbiamo un sacco di domande.

In fact, in some ways there's literally an infinite number of questions

In qualche modo esiste un numero infinito di domande

that we can ask about our city.

da porci sulla nostra città.

Gli uffici non potranno mai stare al passo.

The agencies can never keep up.

So the paradigm isn't exactly working, and I think our policymakers realize that,

Quindi il paradigma non sta funzionando

e credo che i nostri legislatori se ne siano accorti,

because in 2012, Mayor Bloomberg signed into law what he called

perché nel 2012 il sindaco Bloomberg ha firmato una legge che ha definito

the most ambitious and comprehensive open data legislation in the country.

"La legge più ambiziosa e globale di tutto il Paese sui dati aperti".

In a lot of ways, he's right.

Sotto molti aspetti ha ragione.

In the last two years, the city has released 1,000 datasets

Negli ultimi 2 anni la città ha rilasciato 1.000 dataset

on our open data portal,

sul portale degli open data.

and it's pretty awesome.

È fantastico,

So you go and look at data like this,

perché guardiamo questi dati

and instead of just counting the number of cabs,

e invece di contare solo il numero dei taxi

we can start to ask different questions.

possiamo iniziare a farci domande diverse.

So I had a question.

Ho una domanda.

When's rush hour in New York City?

Qual è l'ora di punta a New York?

It can be pretty bothersome. When is rush hour exactly?

Può essere seccante, qual è esattamente l'ora di punta?

And I thought to myself, these cabs aren't just numbers,

E ho pensato che questi taxi non sono solo numeri:

these are GPS recorders driving around in our city streets

sono dei GPS che girano per le strade della nostra città,

recording each and every ride they take.

registrando ogni singola corsa.

There's data there, and I looked at that data,

Ho guardato questi dati

and I made a plot of the average speed of taxis in New York City throughout the day.

e ho fatto uno schema della velocità media dei taxi a New York durante il giorno.

You can see that from about midnight to around 5:18 in the morning,

Potete vedere come, da mezzanotte alle 5.18 circa,

speed increases, and at that point, things turn around,

la velocità aumenti e da quel punto le cose cambiano.

and they get slower and slower and slower until about 8:35 in the morning,

I taxi vanno sempre più lenti fino a circa le 8.35,

when they end up at around 11 and a half miles per hour.

quando arrivano a circa 18 km/h.

The average taxi is going 11 and a half miles per hour on our city streets,

In media i taxi procedono a 18 km/h sulle nostre strade.

and it turns out it stays that way

E così sarà per il resto della giornata. (Risate)

for the entire day.

(Laughter)

So I said to myself, I guess there's no rush hour in New York City.

Quindi mi sono detto che non c'è nessuna ora di punta a New York.

There's just a rush day.

È tutto un "giorno di punta".

Makes sense. And this is important for a couple of reasons.

Ha senso, ed è importante per un paio di motivi.

If you're a transportation planner, this might be pretty interesting to know.

Se sei un pianificatore di itinerari ti interessa molto saperlo.

But if you want to get somewhere quickly,

Se vuoi andare velocemente da qualche parte

you now know to set your alarm for 4:45 in the morning and you're all set.

sai che devi mettere la sveglia alle 4.45 e sei a posto.

New York, no?

New York, right?

Ma c'è una storia dietro.

But there's a story behind this data.

This data wasn't just available, it turns out.

Questo dato non era accessibile,

si è ottenuto con una richiesta

It actually came from something called a Freedom of Information Law Request,

in seguito alla legge per la libertà di informazione, o FOIL.

or a FOIL Request.

This is a form you can find on the Taxi and Limousine Commission website.

È un modulo che si trova sul sito della Commissione Taxi e Limousine.

Per accedere a questi dati devi prendere questo modulo,

In order to access this data, you need to go get this form,

compilarlo e poi riceverai una notifica.

fill it out, and they will notify you,

and a guy named Chris Whong did exactly that.

Un ragazzo, Chris Whong, ha fatto così.

Chris went down, and they told him,

Chris è andato e gli hanno detto:

"Just bring a brand new hard drive down to our office,

"Portaci un hard disk vergine,

leave it here for five hours, we'll copy the data and you take it back."

lasciacelo per cinque ore, copieremo i dati e te lo riprenderai".

Ed ecco da dove vengono questi dati.

And that's where this data came from.

Now, Chris is the kind of guy who wants to make the data public,

Chris è il tipo che vuole rendere pubblici i dati,

così li mise online per tutti ed ecco da dove viene questo grafico.

and so it ended up online for all to use, and that's where this graph came from.

E il fatto che esista è fantastico. Questi GPS -- bellissimo.

And the fact that it exists is amazing. These GPS recorders -- really cool.

But the fact that we have citizens walking around with hard drives

Ma il fatto che dei cittadini gìrino con degli hard disk,

prendendo dati dai comuni per renderli pubblici

picking up data from city agencies to make it public --

-- erano già pubblici più o meno. Potevi accedervi,

it was already kind of public, you could get to it,

ma erano "disponibili", non pubblici.

but it was "public," it wasn't public.

And we can do better than that as a city.

Possiamo fare di meglio.

Non serve che i nostri cittadini vadano in giro con degli hard disk.

We don't need our citizens walking around with hard drives.

Non tutti i dataset sono vincolati da una richiesta per visionarli.

Now, not every dataset is behind a FOIL Request.

Here is a map I made with the most dangerous intersections in New York City

Questa è una mappa che ho fatto degli incroci più pericolosi di New York,

based on cyclist accidents.

basata sugli incidenti dei ciclisti.

So the red areas are more dangerous.

Le aree in rosso sono più pericolose.

And what it shows is first the East side of Manhattan,

Mostra come l'East side di Manhattan,

especially in the lower area of Manhattan, has more cyclist accidents.

specialmente nell'area a sud, è quella in cui ci sono più incidenti.

That might make sense

E questo ha senso, perché lì ci sono più ciclisti che scendono dai ponti.

because there are more cyclists coming off the bridges there.

But there's other hotspots worth studying.

Ma ci sono anche altre zone interessanti.

There's Williamsburg. There's Roosevelt Avenue in Queens.

Williamsburg, Roosevelt Avenue nel Queens.

And this is exactly the kind of data we need for Vision Zero.

Questi sono esattamente i dati che ci servono per Vision Zero.

This is exactly what we're looking for.

È quello che stavamo cercando.

But there's a story behind this data as well.

Ma anche dietro questi dati c'è una storia.

This data didn't just appear.

Questi dati non sono semplicemente apparsi.

How many of you guys know this logo?

Quanti di voi conoscono questo logo?

Yeah, I see some shakes.

Bene, vedo che annuite.

Have you ever tried to copy and paste data out of a PDF

Avete mai provato a fare copia-incolla da un PDF

and make sense of it?

e dargli un senso?

I see more shakes.

Vedo che annuite di più.

More of you tried copying and pasting than knew the logo. I like that.

Fate copia-incolla più di quanto conosciate il logo. Mi piace.

Dunque, i dati che avete appena visto si trovavano su un PDF.

So what happened is, the data that you just saw was actually on a PDF.

In fact, hundreds and hundreds and hundreds of pages of PDF

Ci sono centinaia e centinaia di pagine in PDF

put out by our very own NYPD,

emesse dal nostro NYPD.

and in order to access it, you would either have to copy and paste

Per accedervi dovreste fare copia-incolla

per centinaia e centinaia di ore.

for hundreds and hundreds of hours,

or you could be John Krauss.

Oppure potreste essere John Krauss.

John Krauss was like,

Lui pensò:

I'm not going to copy and paste this data. I'm going to write a program.

"Non farò copia-incolla, scriverò un programma".

Si chiama NYPD Crash Data Band-Aid

It's called the NYPD Crash Data Band-Aid,

and it goes to the NYPD's website and it would download PDFs.

Va sul sito del NYPD, e scarica i PDF.

Every day it would search; if it found a PDF, it would download it

Cerca ogni giorno, e se trova un PDF lo scarica.

Poi, con qualche programma che raschia via il PDF,

and then it would run some PDF-scraping program,

and out would come the text,

viene fuori il testo,

and it would go on the Internet, and then people could make maps like that.

che poi finisce su internet così che la gente possa fare mappe come questa.

And the fact that the data's here, the fact that we have access to it --

E il fatto che questi dati, il fatto che abbiamo l'accesso...

Every accident, by the way, is a row in this table.

-- A proposito, ogni incidente è una stringa su questa tabella:

You can imagine how many PDFs that is.

immaginate quanti PDF sono --

The fact that we have access to that is great,

È fantastico poter accedere a questi dati,

but let's not release it in PDF form,

ma non rilasciateli in formato PDF,

because then we're having our citizens write PDF scrapers.

perché poi i nostri cittadini dovranno decriptarli.

It's not the best use of our citizens' time,

Non è l'uso migliore del tempo dei cittadini,

and we as a city can do better than that.

e come città possiamo fare di meglio.

Now, the good news is that the de Blasio administration

La buona notizia è che l'amministrazione De Blasio

actually recently released this data a few months ago,

ha pubblicato questi dati qualche mese fa

and so now we can actually have access to it,

e quindi possiamo accedervi,

but there's a lot of data still entombed in PDF.

ma ci sono ancora tanti dati sepolti in PDF.

For example, our crime data is still only available in PDF.

Ad esempio i dati sul crimine sono disponibili solo in PDF.

And not just our crime data, our own city budget.

E non solo quelli, anche quelli sul bilancio.

Our city budget is only readable right now in PDF form.

Il bilancio della nostra città al momento è leggibile solo in PDF.

And it's not just us that can't analyze it --

E non solo noi non possiamo analizzarlo,

our own legislators who vote for the budget

ma anche i legislatori che approvano il bilancio

also only get it in PDF.

lo ricevono in PDF.

So our legislators cannot analyze the budget that they are voting for.

Quindi i nostri legislatori non possono analizzare il bilancio che stanno votando.

And I think as a city we can do a little better than that as well.

E credo, anche qui, che come città potremmo fare un po' meglio.

Now, there's a lot of data that's not hidden in PDFs.

Ci sono molti dati non nascosti in PDF.

This is an example of a map I made,

Questa è una mappa che ho fatto

and this is the dirtiest waterways in New York City.

sui corsi d'acqua più sporchi di New York.

Now, how do I measure dirty?

Come misuro lo sporco?

Well, it's kind of a little weird,

È un po' strano,

but I looked at the level of fecal coliform,

ma ho guardato il livello dei coliformi fecali,

which is a measurement of fecal matter in each of our waterways.

una misurazione delle sostanze fecali in ognuno dei nostri corsi d'acqua.

The larger the circle, the dirtier the water,

Più grande è il cerchio, più sporca è l'acqua.

so the large circles are dirty water, the small circles are cleaner.

Quindi nei cerchi ampi acqua sporca, in quelli piccoli quella più pulita.

What you see is inland waterways.

Sono corsi d'acqua interni.

This is all data that was sampled by the city over the last five years.

Sono i dati che sono stati raccolti in città negli ultimi 5 anni.

And inland waterways are, in general, dirtier.

E i corsi interni di solito sono più sporchi.

That makes sense, right?

Ha senso, no?

And the bigger circles are dirty. And I learned a few things from this.

I cerchi grandi sono sporchi. Ho imparato un po' di cose.

Numero uno: mai nuotare in niente che inizi con "torrente" o "canale".

Number one: Never swim in anything that ends in "creek" or "canal."

But number two: I also found the dirtiest waterway in New York City,

Numero due: ho trovato i corsi d'acqua più sporchi di New York,

by this measure, one measure.

con questa unica misurazione.

In Coney Island Creek, which is not the Coney Island you swim in, luckily.

A Coney Island,

non la Coney Island in cui nuotate,

dall'altra parte,

It's on the other side.

nel torrente di Coney Island il 94% dei campioni degli ultimi cinque anni

But Coney Island Creek, 94 percent of samples taken over the last five years

have had fecal levels so high

il livello di sostanze fecali era così alto

that it would be against state law to swim in the water.

che avrebbe dovuto essere illegale nuotarci.

And this is not the kind of fact that you're going to see

E questo non è il genere di cose che trovate nei resoconti ufficiali, no?

boasted in a city report, right?

It's not going to be the front page on nyc.gov.

Non finirà sulla homepage di nyc.gov .

You're not going to see it there,

Non lo troverete lì,

ma il fatto che possiamo arrivare a questo dato è fantastico.

but the fact that we can get to that data is awesome.

But once again, it wasn't super easy,

Ma di nuovo, non è stato facilissimo:

because this data was not on the open data portal.

i dati non erano sul portale open data.

Se ci andate,

If you were to go to the open data portal,

troverete solo un frammento di un anno o pochi mesi.

you'd see just a snippet of it, a year or a few months.

Stava sul sito del Dipartimento per la Protezione Ambientale.

It was actually on the Department of Environmental Protection's website.

Ognuno di questi link è un foglio Excel e ogni foglio Excel è diverso.

And each one of these links is an Excel sheet, and each Excel sheet is different.

Ogni intestazione è diversa: copi, incolli, riorganizzi.

Every heading is different: you copy, paste, reorganize.

When you do you can make maps and that's great, but once again,

Puoi creare delle mappe ed è fantastico, ma

possiamo fare di meglio, possiamo normalizzare le cose.

we can do better than that as a city, we can normalize things.

E ci stiamo arrivando. Questo è il sito di Socrata,

And we're getting there, because there's this website that Socrata makes

l' Open Data Portal NYC.

Qui ci sono 1.100 dataset che non hanno

called the Open Data Portal NYC.

This is where 1,100 data sets that don't suffer

i difetti di cui vi parlavo,

from the things I just told you live,

stanno aumentando ed è fantastico.

and that number is growing, and that's great.

Potete scaricare i dati in ogni formato, CSV, PDF o documento Excel.

You can download data in any format, be it CSV or PDF or Excel document.

Potete scaricare i dati in qualunque modo vogliate.

Whatever you want, you can download the data that way.

The problem is, once you do,

Il problema è che una volta fatto

you will find that each agency codes their addresses differently.

scoprirete che ogni ufficio codifica gli indirizzi diversamente.

So one is street name, intersection street,

Uno è il nome della strada, l'incrocio,

street, borough, address, building, building address.

via, distretto, indirizzo, edificio, ecc.

So once again, you're spending time, even when we have this portal,

Quindi si spreca ancora del tempo nonostante il portale.

you're spending time normalizing our address fields.

Si spreca tempo normalizzando i campi per gli indirizzi.

And that's not the best use of our citizens' time.

E non è l'uso migliore del tempo di noi cittadini.

We can do better than that as a city.

Possiamo fare di meglio come città.

We can standardize our addresses,

Possiamo standardizzare gli indirizzi

and if we do, we can get more maps like this.

e, se lo facciamo, avremo più mappe del genere.

This is a map of fire hydrants in New York City,

Questa è una mappa degli idranti a New York.

but not just any fire hydrants.

Ma non idranti qualsiasi.

These are the top 250 grossing fire hydrants in terms of parking tickets.

Sono i 250 idranti più redditizi in termini di multe per divieto di sosta.

(Laughter)

(Risate)

So I learned a few things from this map, and I really like this map.

Ho imparato un po' di cose da questa mappa e mi piace molto.

Number one, just don't park on the Upper East Side.

Numero uno: non parcheggiare nell'Upper East Side.

Just don't. It doesn't matter where you park, you will get a hydrant ticket.

Non farlo: non importa dove parcheggi, ti beccherai comunque una multa.

Number two, I found the two highest grossing hydrants in all of New York City,

Numero due: ho trovato i due idranti più redditizi di tutta New York,

and they're on the Lower East Side,

che si trovano nel Lower East Side.

and they were bringing in over 55,000 dollars a year in parking tickets.

Hanno fruttato più di 55.000 dollari l'anno in multe.

And that seemed a little strange to me when I noticed it,

Mi è sembrato un po' strano quando l'ho visto,

so I did a little digging and it turns out what you had is a hydrant

quindi ho indagato un po' e ho scoperto che attorno a un idrante

c'è una cosa chiamata estensione del marciapiede,

and then something called a curb extension,

which is like a seven-foot space to walk on,

che è tipo uno spazio calpestabile di 2 metri

and then a parking spot.

e poi c'è il posto auto.

And so these cars came along, and the hydrant --

Quindi le macchine arrivano...

"It's all the way over there, I'm fine,"

"C'è spazio, sono a posto"

C'è un posto auto disegnato per loro.

and there was actually a parking spot painted there beautifully for them.

Parcheggiano lì, la polizia non è d'accordo

They would park there, and the NYPD disagreed with this designation

e li multa.

and would ticket them.

E non sono l'unico che ha trovato la multa.

And it wasn't just me who found a parking ticket.

L'ha vista anche la Google Street View car mentre passava da lì.

This is the Google Street View car driving by

finding the same parking ticket.

So I wrote about this on my blog, on I Quant NY, and the DOT responded,

Quindi ho scritto sul mio blog, su I Quant NY

e il Dipartimento dei Trasporti rispose.

and they said,

"While the DOT has not received any complaints about this location,

Mi hanno detto:

"Sebbene il DOT non abbia ricevuto lamentele su questa posizione,

we will review the roadway markings and make any appropriate alterations."

rivedremo la segnaletica e apporteremo le modifiche opportune".

And I thought to myself, typical government response,

Pensai che fosse la classica risposta del Governo,

all right, moved on with my life.

e andai avanti con la mia vita.

But then, a few weeks later, something incredible happened.

Ma qualche settimana dopo accadde qualcosa di incredibile.

They repainted the spot,

Avevano ridipinto il parcheggio,

and for a second I thought I saw the future of open data,

e per un secondo ho visto il futuro degli open data.

because think about what happened here.

Pensate a cosa è successo.

For five years, this spot was being ticketed, and it was confusing,

Per cinque anni chi parcheggiava lì veniva multato, c'era confusione,

and then a citizen found something, they told the city, and within a few weeks

e poi un cittadino lo dice all'amministrazione

e nel giro di poche settimane il problema è risolto.

the problem was fixed.

It's amazing. And a lot of people see open data as being a watchdog.

Bene! Molti vedono gli open data come un cane da guardia.

It's not, it's about being a partner.

No, può anche essere un compagno.

We can empower our citizens to be better partners for government,

Possiamo rendere i cittadini dei collaboratori migliori per il governo.

and it's not that hard.

Non è difficile, occorrono solo piccoli cambiamenti.

All we need are a few changes.

Se ricevi richieste per dei dati,

If you're FOILing data,

if you're seeing your data being FOILed over and over again,

se i tuoi dati sono richiesti sempre più spesso,

allora rendili pubblici, perché è un segnale che dovrebbero esserlo.

let's release it to the public, that's a sign that it should be made public.

And if you're a government agency releasing a PDF,

Se sei un ufficio governativo che rilascia file in PDF,

let's pass legislation that requires you to post it with the underlying data,

attieniti alla legge che ti impone di allegare anche i dati relativi,

because that data is coming from somewhere.

perché quei dati vengono da qualche parte.

I don't know where, but it's coming from somewhere,

Non so da dove, ma da qualche parte arrivano,

e puoi allegarli al PDF.

and you can release it with the PDF.

Adottiamo e condividiamo degli standard sui dati aperti.

And let's adopt and share some open data standards.

Iniziamo con gli indirizzi di New York.

Let's start with our addresses here in New York City.

Iniziamo a normalizzare gli indirizzi.

Let's just start normalizing our addresses.

Perché New York è leader negli open data.

Because New York is a leader in open data.

Nonostante tutto, siamo assolutamente dei leader,

Despite all this, we are absolutely a leader in open data,

e se iniziamo a normalizzarci fissiando standard per gli open data,

and if we start normalizing things, and set an open data standard,

il resto verrà, lo stato e forse il governo ci seguiranno.

others will follow. The state will follow, and maybe the federal government,

E anche altri paesi ci seguiranno,

e non saremo lontani dal momento in cui potremo scrivere un programma

Other countries could follow,

and we're not that far off from a time where you could write one program

e una mappa unica per più di 100 paesi.

and map information from 100 countries.

Non è fantascienza, ci siamo vicini.

It's not science fiction. We're actually quite close.

E a proposito, a chi daremmo più forza così?

And by the way, who are we empowering with this?

Perché non sarebbe solo John Krauss o Chris Whong.

Because it's not just John Krauss and it's not just Chris Whong.

Ci sono centinaia di incontri in corso a New York in questo momento.

There are hundreds of meetups going on in New York City right now,

Incontri attivi.

active meetups.

Ci sono migliaia di persone a questi incontri.

There are thousands of people attending these meetups.

These people are going after work and on weekends,

Persone che vanno dopo il lavoro, o nel weekend,

e partecipano per osservare gli open data

and they're attending these meetups to look at open data

e rendere la nostra città un posto migliore.

and make our city a better place.

Gruppi come BetaNYC, che proprio la scorsa settimana

Groups like BetaNYC, who just last week released something called citygram.nyc

ha rilasciato citygram.nyc

that allows you to subscribe to 311 complaints

che permette di sottoscrivere le lamentele al 311

around your own home, or around your office.

su casa vostra, o sull'ufficio.

You put in your address, you get local complaints.

Inserisci l'indirizzo e trovi le lamentele locali.

And it's not just the tech community that are after these things.

E non sono solo gli esperti di tecnologia a fare queste cose.

It's urban planners like the students I teach at Pratt.

Sono gli urban planner come i miei studenti del Pratt.

Sostenitori politici... chiunque.

It's policy advocates, it's everyone,

it's citizens from a diverse set of backgrounds.

Sono cittadini coi più diversi background.

And with some small, incremental changes,

Con piccoli cambiamenti incrementali,

possiamo sbloccare la passione e la capacità dei nostri cittadini

we can unlock the passion and the ability of our citizens

to harness open data and make our city even better,

di elaborare gli open data e rendere migliori le nostre città,

whether it's one dataset, or one parking spot at a time.

un dataset - o un posto auto - per volta.

Thank you.

Grazie.

(Applause)

(Applausi)