Ben Wellington: How we found the worst place to park in New York City — using big data

Ben Wellington: Cómo se encontró el peor lugar para estacionar en Nueva York con datos masivos

Traductor: Rebeca zuñiga Revisor: Lidia Cámara de la Fuente

Six thousand miles of road,

Unos 10 000 km de calles,

600 miles of subway track,

cerca de 1000 km de metro

400 miles of bike lanes

650 km de ciclovías

and a half a mile of tram track,

y 800 m de tranvía

if you've ever been to Roosevelt Island.

si han estado en Roosevelth Island.

These are the numbers that make up the infrastructure of New York City.

Son los números que forman la infraestructura de New York.

These are the statistics of our infrastructure.

Son estadísticas de nuestra infraestructura.

Son la clase de números de los informes de las agencias estatales

They're the kind of numbers you can find released in reports by city agencies.

For example, the Department of Transportation will probably tell you

Por ejemplo, el departamento de transporte informará de

cuántos km hay de carretera.

how many miles of road they maintain.

El MTA cuántos km de metro.

The MTA will boast how many miles of subway track there are.

La mayoría de agencias estatales nos dan estadísticas.

Most city agencies give us statistics.

Este es un reporte de este año

This is from a report this year

from the Taxi and Limousine Commission,

de la comisión de taxis y limusinas

where we learn that there's about 13,500 taxis here in New York City.

donde vemos que hay uno 13 500 taxis aquí en Nueva York.

Interesante, ¿cierto?

Pretty interesting, right?

But did you ever think about where these numbers came from?

¿Se han puesto a pensar de dónde vienen estos números?

Because for these numbers to exist, someone at the city agency

Para que estos números existan, alguien en la agencia municipal

had to stop and say, hmm, here's a number that somebody might want want to know.

tuvo que pensar: "Estas cifras pueden interesarle a alguien.

Here's a number that our citizens want to know.

Nuestros ciudadanos quieren conocer estas cifras".

Ellos van a la información original,

So they go back to their raw data,

cuentan, agregan, calculan

they count, they add, they calculate,

and then they put out reports,

y lo ponen en informes,

and those reports will have numbers like this.

y los informes tienen números como estos.

The problem is, how do they know all of our questions?

El problema es, ¿cómo saben nuestras preguntas?

We have lots of questions.

Tenemos muchas...

In fact, in some ways there's literally an infinite number of questions

De hecho, hay literalmente un número infinito de preguntas

that we can ask about our city.

que podemos hacer sobre nuestra ciudad.

The agencies can never keep up.

Las agencias no pueden seguir el paso.

So the paradigm isn't exactly working, and I think our policymakers realize that,

El paradigma no está trabajando correctamente y creo que ellos lo saben

because in 2012, Mayor Bloomberg signed into law what he called

porque en 2012 el alcalde Bloomberg firmó una ley a la que llamó

the most ambitious and comprehensive open data legislation in the country.

"La más ambiciosa legislación de datos abiertos en el país".

In a lot of ways, he's right.

En muchos sentidos, estaba en lo correcto.

In the last two years, the city has released 1,000 datasets

En los últimos dos años, la ciudad publicó mil bases de datos

on our open data portal,

en nuestro portal,

and it's pretty awesome.

y es muy impresionante.

So you go and look at data like this,

Verán información como ésta,

and instead of just counting the number of cabs,

y en lugar de solo contar los datos de los taxis,

we can start to ask different questions.

podemos hacer diferentes preguntas.

So I had a question.

Yo tenía una pregunta.

When's rush hour in New York City?

¿Cuándo es la hora punta en Nueva York?

It can be pretty bothersome. When is rush hour exactly?

Es algo muy molesto. ¿Cuándo es exactamente?

And I thought to myself, these cabs aren't just numbers,

Y pensé, estos taxis no son solo números,

these are GPS recorders driving around in our city streets

son grabadores de GPS cuando transitan por las calles

recording each and every ride they take.

en cada uno de los viajes que hacen. Hay información ahí.

There's data there, and I looked at that data,

Y busqué esa información, hice un estimado del promedio

and I made a plot of the average speed of taxis in New York City throughout the day.

de la velocidad de los taxis durante todo el día.

You can see that from about midnight to around 5:18 in the morning,

Pueden verlo desde la media noche hasta las 5:18 de la mañana,

speed increases, and at that point, things turn around,

la velocidad aumenta, y en ese punto, las cosas cambian,

and they get slower and slower and slower until about 8:35 in the morning,

y bajan la velocidad más y más hasta las 8:35 am.

when they end up at around 11 and a half miles per hour.

cuando terminan a 18 km hora, el taxi promedio va a 18 km hora

The average taxi is going 11 and a half miles per hour on our city streets,

y se mantiene así

and it turns out it stays that way

for the entire day.

el día completo.

(Risas)

(Laughter)

So I said to myself, I guess there's no rush hour in New York City.

Entonces, me dije,

creo que no hay hora punta de tráfico, hay día punta.

There's just a rush day.

Makes sense. And this is important for a couple of reasons.

Tiene sentido. Y esto es importante por un par de razones.

If you're a transportation planner, this might be pretty interesting to know.

Si son planificadores de transporte, esto podría ser interesante.

But if you want to get somewhere quickly,

Pero si quieren algo rápido,

you now know to set your alarm for 4:45 in the morning and you're all set.

ahora saben programar la alarma a las 4:45 am.

Nueva York, ¿correcto?

New York, right?

But there's a story behind this data.

Pero hay una historia detrás de esto

This data wasn't just available, it turns out.

Esta información no estaba allí disponible, se creó.

It actually came from something called a Freedom of Information Law Request,

Vino de algo llamado “Solicitud legal de libertad de información“,

or a FOIL Request.

o una “Solicitud FOIL“.

This is a form you can find on the Taxi and Limousine Commission website.

Este formulario lo encuentran

la Comisión de taxis y limusinas.

Para acceder a la información, deben pedir este formulario,

In order to access this data, you need to go get this form,

hay que llenarlo, ellos les notificarán. Chris Whong hizo esto

fill it out, and they will notify you,

and a guy named Chris Whong did exactly that.

Chris fue allí y le dijeron,

Chris went down, and they told him,

"Just bring a brand new hard drive down to our office,

“Traiga un disco externo nuevo a nuestra oficina,

leave it here for five hours, we'll copy the data and you take it back."

déjelo y en 5 horas le copiamos la información y se lo devolvemos",

And that's where this data came from.

y de ahí vino esta información.

Now, Chris is the kind of guy who wants to make the data public,

Ahora Chris quiere que la información sea pública,

y así terminó en línea para que todos la usen.

and so it ended up online for all to use, and that's where this graph came from.

Y el hecho de que exista es maravilloso. Estos grabadores de GPS son geniales.

And the fact that it exists is amazing. These GPS recorders -- really cool.

But the fact that we have citizens walking around with hard drives

Pero el hecho de que tengamos ciudadanos

recogiendo información de las agencias estatales y haciéndola pública...

picking up data from city agencies to make it public --

era algo más o menos público, se podía conseguir,

it was already kind of public, you could get to it,

pero siendo “público“ no era pública.

but it was "public," it wasn't public.

Y podemos hacerlo mejor que solo como ciudad.

And we can do better than that as a city.

We don't need our citizens walking around with hard drives.

No necesitamos que nuestros ciudadanos vayan por ahí con discos duros.

Now, not every dataset is behind a FOIL Request.

No todos los datos tienen una solicitud FOIL.

Here is a map I made with the most dangerous intersections in New York City

Este mapa que hice muestra los cruces más peligrosos de Nueva York

based on cyclist accidents.

basado en los accidentes de ciclistas.

So the red areas are more dangerous.

Las áreas rojas son más peligrosas.

And what it shows is first the East side of Manhattan,

Lo primero que muestra es que en el Este de Manhattan,

especially in the lower area of Manhattan, has more cyclist accidents.

especialmente al sur, hay más accidentes de ciclistas.

That might make sense

because there are more cyclists coming off the bridges there.

Esto tendría sentido

porque hay más ciclistas que vienen por los puentes.

But there's other hotspots worth studying.

Pero hay otros puntos. Está Williambsburg

There's Williamsburg. There's Roosevelt Avenue in Queens.

La Avenida Roosevelth y Queens.

And this is exactly the kind of data we need for Vision Zero.

Esta es la clase de información que necesitamos para Visión Cero.

This is exactly what we're looking for.

Esto es exactamente lo que estamos buscando.

But there's a story behind this data as well.

Pero también hay una historia detrás de esta información.

This data didn't just appear.

No apareció de repente

How many of you guys know this logo?

¿Cuántos de Uds. conocen este logo?

Yeah, I see some shakes.

Veo algunas manos levantadas

Have you ever tried to copy and paste data out of a PDF

¿Han probado copiar y pegar información de un PDF y darle sentido?

and make sense of it?

I see more shakes.

Veo más manos levantadas.

More of you tried copying and pasting than knew the logo. I like that.

Más han tratado de copiar y pegar que las que reconocen el logo. Me gusta eso.

So what happened is, the data that you just saw was actually on a PDF.

En este caso la información estaba realmente en un PDF.

In fact, hundreds and hundreds and hundreds of pages of PDF

De hecho, en cientos y cientos y cientos de páginas de PDF

put out by our very own NYPD,

publicadas por el NYPD,

and in order to access it, you would either have to copy and paste

y para acceder a ella, tenías que copiar y pegar

por cientos y cientos de horas

for hundreds and hundreds of hours,

or you could be John Krauss.

o podrías ser John Krauss.

John Krauss was like,

Johk Krauss decía

I'm not going to copy and paste this data. I'm going to write a program.

"No voy a copiar y pegar esta información. Escribiré un programa".

It's called the NYPD Crash Data Band-Aid,

Se llama Información de primeros auxilios NYPD,

and it goes to the NYPD's website and it would download PDFs.

y va a la website de NPYD para descargar PDFs.

Every day it would search; if it found a PDF, it would download it

Todo los días busca, y si encuentra un PDF, lo descarga

and then it would run some PDF-scraping program,

y entonces activa un programa

and out would come the text,

para extraer el texto del PDF, y hacer mapas en internet como este.

and it would go on the Internet, and then people could make maps like that.

And the fact that the data's here, the fact that we have access to it --

El hecho de que la información esté ahí, que podamos tener acceso...

Every accident, by the way, is a row in this table.

Todo accidente, es una fila en esta tabla,

You can imagine how many PDFs that is.

pueden imaginar cuántos PDFs son todo esto.

The fact that we have access to that is great,

Que podamos tener acceso a eso es genial,

but let's not release it in PDF form,

pero no publiquemos en formato PDF,

because then we're having our citizens write PDF scrapers.

porque obligamos a los ciudadanos, a extraer el texto de PDFs.

It's not the best use of our citizens' time,

Este no es el mejor uso del tiempo de nuestros ciudadanos,

and we as a city can do better than that.

como ciudad podemos hacerlo mejor.

Now, the good news is that the de Blasio administration

La buena noticia es que en la administración de Blasio

actually recently released this data a few months ago,

liberó la información hace unos meses,

and so now we can actually have access to it,

y ahora podemos tener acceso a esto,

but there's a lot of data still entombed in PDF.

pero hay demasiada información que sigue en PDF.

For example, our crime data is still only available in PDF.

Por ejemplo la información de delitos está solo en PDF.

And not just our crime data, our own city budget.

Y no solo esta información, sino también la del presupuesto

Our city budget is only readable right now in PDF form.

de nuestra ciudad está solo en formato PDF.

And it's not just us that can't analyze it --

Y no solo nosotros no podemos analizarla,

our own legislators who vote for the budget

nuestros propios legisladores que votaron por el presupuesto

also only get it in PDF.

también lo obtienen en PDF.

So our legislators cannot analyze the budget that they are voting for.

Nuestros legisladores no pueden analizar

el presupuesto que votaron.

And I think as a city we can do a little better than that as well.

Y creo que como ciudad, podemos hacer algo mejor.

Now, there's a lot of data that's not hidden in PDFs.

Hay mucha información que no está escondida en PDF.

This is an example of a map I made,

Este es un ejemplo de un mapa que hice,

and this is the dirtiest waterways in New York City.

estos son los canales más sucios en la ciudad de New York.

Now, how do I measure dirty?

¿Cómo mido el nivel de contaminación?

Well, it's kind of a little weird,

Bueno, es un poco raro,

but I looked at the level of fecal coliform,

pero busqué niveles de coliformes fecales

which is a measurement of fecal matter in each of our waterways.

que es la medida de materia fecal

en cada uno de nuestros canales

The larger the circle, the dirtier the water,

Cuanto mayor sea el círculo más sucia el agua;

so the large circles are dirty water, the small circles are cleaner.

los círculos grandes son agua sucia, los pequeños, más limpia.

What you see is inland waterways.

Lo que se ve son canales subterráneos.

This is all data that was sampled by the city over the last five years.

Esta es toda la información de muestras de la ciudad de los últimos 5 años

And inland waterways are, in general, dirtier.

Los canales subterráneos son, en general, más sucios

That makes sense, right?

And the bigger circles are dirty. And I learned a few things from this.

Algunas enseñanzas de esto.

Número uno: nunca nades en nada que termine en "arroyo" o "canal".

Number one: Never swim in anything that ends in "creek" or "canal."

But number two: I also found the dirtiest waterway in New York City,

Pero número dos: también encontré el canal

más sucio de la ciudad para esta medida, una medida

by this measure, one measure.

In Coney Island Creek, which is not the Coney Island you swim in, luckily.

En el arroyo Coney Island

que no es Coney Island donde nadas, por suerte.

It's on the other side.

Está en el otro lado

But Coney Island Creek, 94 percent of samples taken over the last five years

pero allí el 94 % de las muestras que se tomaron los últimos 5 años,

have had fecal levels so high

tenían niveles fecales muy altos

that it would be against state law to swim in the water.

que sobrepasaban lo permitido por la ley estatal para nadar.

And this is not the kind of fact that you're going to see

Y no es el tipo de dato que se ve

boasted in a city report, right?

publicado en un informe de la ciudad, ¿verdad?

It's not going to be the front page on nyc.gov.

No aparecerá en la página principal de nyc.gov.

You're not going to see it there,

El hecho de que podamos acceder a esa información, es asombroso

but the fact that we can get to that data is awesome.

Pero una vez más, no resultó muy fácil,

But once again, it wasn't super easy,

because this data was not on the open data portal.

porque esta información no estaba en el portal de información abierta.

If you were to go to the open data portal,

Uds. podrían ver solo parte de eso,

you'd see just a snippet of it, a year or a few months.

un año o unos meses.

Estaba en el sitio web del departamento de protección ambiental

It was actually on the Department of Environmental Protection's website.

Cada uno de esos enlaces es una hoja de Excel diferente.

And each one of these links is an Excel sheet, and each Excel sheet is different.

Cada título es diferente: uno copia, pega, reorganiza.

Every heading is different: you copy, paste, reorganize.

When you do you can make maps and that's great, but once again,

y pueden hacer mapas y es genial, pero de nuevo,

podemos hacerlo mejor; podemos normalizar las cosas.

we can do better than that as a city, we can normalize things.

Estamos cerca, porque está este sitio web de Socrata

And we're getting there, because there's this website that Socrata makes

llamado Portal de Información abierta de Nueva York.

called the Open Data Portal NYC.

Hay 1100 archivos de información que no sufre

This is where 1,100 data sets that don't suffer

de lo que les he contado

from the things I just told you live,

y el número sigue creciendo, es genial.

and that number is growing, and that's great.

Pueden descargar información en cualquier formato,

You can download data in any format, be it CSV or PDF or Excel document.

en CSV o PDF o Excel.

Pueden bajarla en cualquier formato

Whatever you want, you can download the data that way.

The problem is, once you do,

El problema es, que una vez que lo hacen

you will find that each agency codes their addresses differently.

verán que cada agencia estatal codifica las direcciones diferente.

So one is street name, intersection street,

Como un nombre de una calle, un cruce,

street, borough, address, building, building address.

calle, barrio, dirección, edificio, dirección de edificio.

So once again, you're spending time, even when we have this portal,

Aún teniendo este portal,

you're spending time normalizing our address fields.

uno pierde tiempo normalizando los campos.

And that's not the best use of our citizens' time.

Y ese no es el mejor uso del tiempo de los ciudadanos.

We can do better than that as a city.

Podemos hacerlo mejor como ciudad.

We can standardize our addresses,

Podemos estandarizar nuestras direcciones,

and if we do, we can get more maps like this.

y así hacer más mapas como este.

This is a map of fire hydrants in New York City,

Este es un mapa de los hidrantes de Nueva York

but not just any fire hydrants.

pero solo de cada hidrante.

These are the top 250 grossing fire hydrants in terms of parking tickets.

Estos son los 250 más multados por mal estacionamiento cerca de hidrante

(Laughter)

(Risas)

So I learned a few things from this map, and I really like this map.

Aprendí algunas cosas de este mapa y me gusta este mapa.

Número uno: no estacionen en Upper East Side.

Number one, just don't park on the Upper East Side.

Just don't. It doesn't matter where you park, you will get a hydrant ticket.

No importa dónde estacionen,

los multarán por estacionar ante un hidrante.

Number two, I found the two highest grossing hydrants in all of New York City,

Número dos: Los dos hidrantes más populares en todo Nueva York

and they're on the Lower East Side,

están en Lower East Side

and they were bringing in over 55,000 dollars a year in parking tickets.

y producen USD 55 000 anuales en multas de estacionamiento.

And that seemed a little strange to me when I noticed it,

Y como me pareció algo extraño

so I did a little digging and it turns out what you had is a hydrant

fui a investigar y resultó que hay un hidrante

y una extensión de acera,

and then something called a curb extension,

de unos dos metros de espacio para caminar

which is like a seven-foot space to walk on,

and then a parking spot.

y un espacio para estacionar.

And so these cars came along, and the hydrant --

Los autos vienen y el hidrante

"It's all the way over there, I'm fine,"

--"Hay espacio no hay problema"--

and there was actually a parking spot painted there beautifully for them.

en realidad el espacio está marcado para estacionar muy bonito.

Estacionan, pero la Policía no está de acuerdo con esta designación

They would park there, and the NYPD disagreed with this designation

y los multa.

and would ticket them.

Y no solo a mí me multaron.

And it wasn't just me who found a parking ticket.

Este es el auto de Google Street view

This is the Google Street View car driving by

finding the same parking ticket.

con la misma multa por mal estacionamiento.

So I wrote about this on my blog, on I Quant NY, and the DOT responded,

Entonces escribí de esto en mi blog: I Quant NY, y el DOT respondió,

and they said,

"While the DOT has not received any complaints about this location,

"No habíamos recibido ninguna queja sobre esta punto,

we will review the roadway markings and make any appropriate alterations."

revisaremos las marcas de la calle y haremos los cambios apropiados".

And I thought to myself, typical government response,

Y pensé para mí mismo, típica respuesta del gobierno,

all right, moved on with my life.

muy bien, de regreso a mi vida normal.

But then, a few weeks later, something incredible happened.

Pero unas pocas semanas después, algo increíble pasó.

They repainted the spot,

Repintaron ese punto,

y por un segundo pensé que había visto el futuro de la información abierta.

and for a second I thought I saw the future of open data,

because think about what happened here.

Porque piensen en lo que pasó aquí.

For five years, this spot was being ticketed, and it was confusing,

Por 5 años, este punto había sido multado y era confuso

Y entonces un ciudadano encontró algo, lo comunicó a la cuidad y en semanas

and then a citizen found something, they told the city, and within a few weeks

the problem was fixed.

el problema estaba resuelto.

It's amazing. And a lot of people see open data as being a watchdog.

Asombroso.

Se ve la información abierta como ser un perro guardián.

It's not, it's about being a partner.

No es eso, sino de ser socios.

We can empower our citizens to be better partners for government,

Podemos empoderar a nuestros ciudadanos para ser mejores socios del gobierno

and it's not that hard.

No es difícil.

All we need are a few changes.

Solo necesitamos pocos cambios.

If you're FOILing data,

Si ven que su información

if you're seeing your data being FOILed over and over again,

está siendo requerida legalmente una y otra vez

let's release it to the public, that's a sign that it should be made public.

libérenla al público, esa es una señal

de que debería hacerse pública.

And if you're a government agency releasing a PDF,

Si son de un estamento gubernamental que publica PDFs,

let's pass legislation that requires you to post it with the underlying data,

aprueben una legislación que haga que se publiquen los datos básicos

because that data is coming from somewhere.

ya que la información proviene de algún lugar.

I don't know where, but it's coming from somewhere,

y puede hacerse pública en PDFs.

and you can release it with the PDF.

Adoptemos y compartamos unos estándares de información abierta

And let's adopt and share some open data standards.

Empecemos con nuestras direcciones de Nueva York,

Let's start with our addresses here in New York City.

normalizando nuestras direcciones.

Let's just start normalizing our addresses.

Porque Nueva York es un líder en información abierta, aún así

Because New York is a leader in open data.

Despite all this, we are absolutely a leader in open data,

Y si normalizamos las cosas, y establecemos

and if we start normalizing things, and set an open data standard,

un estándar para información abierta,

otros seguirán. El estado y tal vez el gobierno federal,

others will follow. The state will follow, and maybe the federal government,

Es loco, pero otros países podrían seguir el ejemplo,

Other countries could follow,

y no está muy lejano el día en que se escribirá un programa

and we're not that far off from a time where you could write one program

para mapear la información de 100 países.

and map information from 100 countries.

No es ciencia ficción. De hecho estamos cerca.

It's not science fiction. We're actually quite close.

And by the way, who are we empowering with this?

Y por cierto, ¿a quién empoderamos con esto?

Porque no es solo John Krauss o Chris Whong.

Because it's not just John Krauss and it's not just Chris Whong.

Hay cientos de reuniones en Nueva York actualmente, reuniones activas

There are hundreds of meetups going on in New York City right now,

active meetups.

Hay miles de personas que asisten a estas reuniones.

There are thousands of people attending these meetups.

These people are going after work and on weekends,

Van después del trabajo o los fines de semana,

and they're attending these meetups to look at open data

y participan en estas reuniones para buscar información abierta

and make our city a better place.

y hacer de nuestra ciudad un mejor lugar.

Groups like BetaNYC, who just last week released something called citygram.nyc

Grupos como BETANYC, que la semana pasada liberó algo llamado citygram.nyc

that allows you to subscribe to 311 complaints

que nos permite adherirnos a 311 quejas

around your own home, or around your office.

cerca de sus casas u oficinas.

You put in your address, you get local complaints.

Pones tu dirección y aparecen las quejas del sector

And it's not just the tech community that are after these things.

Y no solo está la comunidad tecnológica tras estas cosas.

It's urban planners like the students I teach at Pratt.

Son planeadores urbanos como mis estudiantes en Pratt.

It's policy advocates, it's everyone,

Son defensores de políticas, son todos,

it's citizens from a diverse set of backgrounds.

son ciudadanos con diferentes antecedentes.

And with some small, incremental changes,

Y con algunos pequeños cambios incrementales,

we can unlock the passion and the ability of our citizens

podemos liberar la pasión y las capacidades de nuestros ciudadanos

to harness open data and make our city even better,

para apoyar la información abierta y hacer nuestra ciudad aún mejor

whether it's one dataset, or one parking spot at a time.

ya bien mediante una información o mediante un lugar para estacionar.

Thank you.

Gracias.

(Applause)

(Aplausos)