Ben Wellington: How we found the worst place to park in New York City — using big data

Tradutor: Raissa Mendes Revisor: Fernando Gonçalves

Six thousand miles of road,

Dez mil quilômetros de estradas,

600 miles of subway track,

mil quilômetros de trilhos de metrô,

400 miles of bike lanes

650 quilômetros de ciclovias,

and a half a mile of tram track,

e 800 metros de bonde elétrico

if you've ever been to Roosevelt Island.

se já esteve em Roosevelt Island.

These are the numbers that make up the infrastructure of New York City.

Esses são os números relativos à infraestrutura de Nova York.

These are the statistics of our infrastructure.

São estatísticas da nossa infraestrutura.

Números divulgados em relatórios de órgãos municipais,

They're the kind of numbers you can find released in reports by city agencies.

como a Secretaria de Transporte, que orgulhosamente informa

For example, the Department of Transportation will probably tell you

quantos quilômetros de estradas mantém.

O "MTA" vai se gabar da extensão das linhas do metrô.

how many miles of road they maintain.

The MTA will boast how many miles of subway track there are.

A maioria desses órgãos fornece estatísticas.

Most city agencies give us statistics.

Estas são de um relatório deste ano

This is from a report this year

da Comissão de Táxis e Limusines,

from the Taxi and Limousine Commission,

em que descobrimos que há cerca de 13.500 táxis aqui em Nova York.

where we learn that there's about 13,500 taxis here in New York City.

Bem interessante, né?

Pretty interesting, right?

But did you ever think about where these numbers came from?

Mas já se perguntaram de onde esses números vêm?

Pois, para esses números existirem, alguém na prefeitura

Because for these numbers to exist, someone at the city agency

precisa parar e dizer: eis aqui um número que alguém pode querer saber.

had to stop and say, hmm, here's a number that somebody might want want to know.

Here's a number that our citizens want to know.

Eis um número que os cidadãos querem saber.

Daí, voltam para seus dados brutos,

So they go back to their raw data,

eles contam, adicionam, calculam

they count, they add, they calculate,

and then they put out reports,

e aí publicam relatórios,

e esses relatórios têm números assim.

and those reports will have numbers like this.

The problem is, how do they know all of our questions?

O problema é: como eles conhecem todas nossas dúvidas?

We have lots of questions.

Temos muitas perguntas.

In fact, in some ways there's literally an infinite number of questions

De fato, há literalmente um número infinito de perguntas

that we can ask about our city.

que podemos fazer sobre a cidade.

Os órgãos do governo não dão conta.

The agencies can never keep up.

So the paradigm isn't exactly working, and I think our policymakers realize that,

Assim, o paradigma não funciona, e acho que nossos urbanistas percebem isso,

because in 2012, Mayor Bloomberg signed into law what he called

pois, em 2012, o prefeito Bloomberg sancionou uma lei que chamou

the most ambitious and comprehensive open data legislation in the country.

de a mais ambiciosa e abrangente legislação de dados abertos do país.

In a lot of ways, he's right.

Ele está mesmo certo.

In the last two years, the city has released 1,000 datasets

Nos últimos dois anos, a cidade divulgou mil arquivos de dados nesse portal,

on our open data portal,

and it's pretty awesome.

e é bem impressionante.

So you go and look at data like this,

Então, vamos lá e vemos dados como estes

and instead of just counting the number of cabs,

e, em vez de só contar o número de táxis,

we can start to ask different questions.

podemos fazer diversas perguntas.

So I had a question.

Eu tinha uma pergunta:

When's rush hour in New York City?

qual é o horário de pico em Nova York?

It can be pretty bothersome. When is rush hour exactly?

Que é uma coisa bem chata. Qual é o horário de pico?

And I thought to myself, these cabs aren't just numbers,

E pensei comigo mesmo, esses táxis não são só números,

these are GPS recorders driving around in our city streets

são registros de GPS rodando por nossas ruas,

registrando cada corrida que fazem.

recording each and every ride they take.

There's data there, and I looked at that data,

Há dados aí, e olhei para esses dados

and I made a plot of the average speed of taxis in New York City throughout the day.

e calculei a velocidade média dos táxis em Nova York durante o dia.

You can see that from about midnight to around 5:18 in the morning,

Dá para ver que, da meia-noite até cerca das 5h18 da manhã,

speed increases, and at that point, things turn around,

a velocidade aumenta e, a partir daí, as coisas se invertem,

and they get slower and slower and slower until about 8:35 in the morning,

e eles ficam cada vez mais lentos até cerca das 8h35 da manhã,

when they end up at around 11 and a half miles per hour.

quando acabam rodando em torno dos 17 km/h.

The average taxi is going 11 and a half miles per hour on our city streets,

O táxi comum roda a 17 km/h nas ruas da cidade,

and it turns out it stays that way

e acontece de ficar assim

for the entire day.

o dia inteiro.

(Laughter)

(Risos)

So I said to myself, I guess there's no rush hour in New York City.

Daí pensei, acho que não existe horário de pico em Nova York,

There's just a rush day.

existe apenas dia de pico.

Makes sense. And this is important for a couple of reasons.

Faz sentido, e isso é importante por diversas razões.

If you're a transportation planner, this might be pretty interesting to know.

Para um gestor de transportes, deve ser bem interessante saber isso.

But if you want to get somewhere quickly,

Mas, se quiser chegar a um lugar rápido,

you now know to set your alarm for 4:45 in the morning and you're all set.

agora sabe que basta ajustar o alarme para 4h45 da manhã, e pronto.

É Nova York, certo?

New York, right?

Mas há uma história aí.

But there's a story behind this data.

This data wasn't just available, it turns out.

Esses dados não estavam disponíveis dessa forma.

Na verdade, vieram da chamada legislação sobre liberdade de informação,

It actually came from something called a Freedom of Information Law Request,

ou solicitação de informação.

or a FOIL Request.

This is a form you can find on the Taxi and Limousine Commission website.

Este é um formulário no site da Comissão de Táxis e Limusines.

Para acessar os dados, é preciso pegar este formulário,

In order to access this data, you need to go get this form,

preenchê-lo, e depois eles te notificam.

fill it out, and they will notify you,

and a guy named Chris Whong did exactly that.

Daí, um cara chamado Chris Whong fez exatamente isso.

Chris went down, and they told him,

Chris foi lá, e disseram para ele:

"Just bring a brand new hard drive down to our office,

"Traga um HD novinho em folha ao nosso escritório,

leave it here for five hours, we'll copy the data and you take it back."

deixe-o aqui por cinco horas, copiamos os dados e você busca-o de volta".

And that's where this data came from.

E foi daí que vieram esses dados.

Now, Chris is the kind of guy who wants to make the data public,

Chris é o tipo de cara que quer tornar públicos esses dados,

para estarem on-line para todos, e esse gráfico veio daí.

and so it ended up online for all to use, and that's where this graph came from.

E o fato disso existir é incrível. Esses registros de GP: muito legais.

And the fact that it exists is amazing. These GPS recorders -- really cool.

But the fact that we have citizens walking around with hard drives

Mas os cidadãos precisarem andar por aí com HDs,

coletando esses dados para torná-los públicos,

picking up data from city agencies to make it public --

quando já eram meio que públicos, acessíveis,

it was already kind of public, you could get to it,

mas não eram públicos, eram "públicos".

but it was "public," it wasn't public.

O governo pode fazer melhor que isso.

And we can do better than that as a city.

Não faz sentido nossos cidadãos andando por aí com HDs.

We don't need our citizens walking around with hard drives.

Mas nem todos os dados dependem de uma solicitação de informação.

Now, not every dataset is behind a FOIL Request.

Here is a map I made with the most dangerous intersections in New York City

Eis um mapa que fiz dos cruzamentos mais perigosos de Nova York,

based on cyclist accidents.

baseado em acidentes com ciclistas.

So the red areas are more dangerous.

As áreas vermelhas são as mais perigosas.

And what it shows is first the East side of Manhattan,

E a primeira a aparecer é o East Side de Manhattan,

especially in the lower area of Manhattan, has more cyclist accidents.

especialmente a área mais baixa, com maior número de acidentes.

That might make sense

Isso faz sentido, pois ali há mais ciclistas vindo das pontes.

because there are more cyclists coming off the bridges there.

Mas há outros lugares dignos de atenção,

But there's other hotspots worth studying.

como Williamsburg e a Avenida Roosevelt, no Queens.

There's Williamsburg. There's Roosevelt Avenue in Queens.

And this is exactly the kind of data we need for Vision Zero.

E é exatamente o tipo de dado que precisamos para o "Vision Zero".

This is exactly what we're looking for.

É exatamente o que estamos procurando.

But there's a story behind this data as well.

Há uma história atrás desses dados também.

This data didn't just appear.

Eles não surgiram do nada.

How many of you guys know this logo?

Quantos aqui conhecem essa logomarca?

Yeah, I see some shakes.

É, algumas mãos levantadas.

Have you ever tried to copy and paste data out of a PDF

Já tentaram copiar e colar dados de um arquivo PDF

and make sense of it?

e depois decifrá-los?

I see more shakes.

Mais mãos agora.

More of you tried copying and pasting than knew the logo. I like that.

Mais pessoas tentam copiar e colar do que conhecem a logomarca. Gostei!

So what happened is, the data that you just saw was actually on a PDF.

Na verdade, os dados que acabaram de ver estavam em PDF.

De fato, centenas e centenas de páginas em PDF

In fact, hundreds and hundreds and hundreds of pages of PDF

put out by our very own NYPD,

disponibilizadas pela nossa polícia

and in order to access it, you would either have to copy and paste

e, para acessar, ou copiam e colam

for hundreds and hundreds of hours,

durante centenas de horas,

or you could be John Krauss.

ou fazem como John Krauss.

John Krauss was like,

John Krauss pensou:

I'm not going to copy and paste this data. I'm going to write a program.

"Não vou copiar e colar esses dados. Vou escrever um programa."

It's called the NYPD Crash Data Band-Aid,

Ele se chama "NYPD Crash Data Band-Aid",

and it goes to the NYPD's website and it would download PDFs.

e vai no site da polícia e baixa os PDFs.

Every day it would search; if it found a PDF, it would download it

Todos os dias o programa procura; se encontrar um PDF, ele baixa,

and then it would run some PDF-scraping program,

roda um programa que extrai os dados do PDF,

and out would come the text,

produz um texto

and it would go on the Internet, and then people could make maps like that.

e coloca na Internet, para que as pessoas possam fazer mapas assim.

And the fact that the data's here, the fact that we have access to it --

E o fato de os dados estarem aqui, o fato de termos acesso a eles...

Every accident, by the way, is a row in this table.

Aliás, cada linha dessa tabela é um acidente.

You can imagine how many PDFs that is.

Imaginem quantos PDFs há aqui.

The fact that we have access to that is great,

O fato de termos acesso a isso é ótimo,

but let's not release it in PDF form,

mas vamos parar de liberar em PDF,

because then we're having our citizens write PDF scrapers.

pois daí nossos cidadãos vão ter de extrair dados do PDF.

It's not the best use of our citizens' time,

E isso é desperdício do tempo dos cidadãos,

e a prefeitura pode fazer melhor que isso.

and we as a city can do better than that.

Now, the good news is that the de Blasio administration

Bem, a boa notícia é que a administração Blasio

actually recently released this data a few months ago,

liberou esses dados poucos meses atrás,

and so now we can actually have access to it,

e agora então podemos de fato acessá-los,

but there's a lot of data still entombed in PDF.

mas ainda há uma porção de dados escondidos em PDF.

For example, our crime data is still only available in PDF.

Por exemplo, nossos dados criminais estão disponíveis apenas em PDF.

And not just our crime data, our own city budget.

E não apenas os dados criminais, o próprio orçamento do município.

Our city budget is only readable right now in PDF form.

Nosso orçamento é legível apenas no formato PDF.

And it's not just us that can't analyze it --

Não somos os únicos a não conseguir analisá-los.

our own legislators who vote for the budget

Nossos legisladores, que votam o orçamento,

also only get it in PDF.

também apenas o acessam em PDF.

So our legislators cannot analyze the budget that they are voting for.

Daí, nossos legisladores não conseguem analisar o orçamento que estão votando.

And I think as a city we can do a little better than that as well.

E acho que a cidade pode fazer um pouco melhor que isso.

Now, there's a lot of data that's not hidden in PDFs.

Mas há uma porção de dados não escondidos em PDFs.

This is an example of a map I made,

Eis um exemplo de um mapa que fiz com as hidrovias mais sujas de Nova York.

and this is the dirtiest waterways in New York City.

Now, how do I measure dirty?

Bem, como medi essa sujeira?

Well, it's kind of a little weird,

Foi de um jeito um pouco estranho,

but I looked at the level of fecal coliform,

mas olhei o nível dos coliformes fecais,

which is a measurement of fecal matter in each of our waterways.

que é uma medida da matéria fecal em cada uma das nossas hidrovias.

The larger the circle, the dirtier the water,

Quanto maior o círculo, mais suja a água,

so the large circles are dirty water, the small circles are cleaner.

Assim, os círculos grandes são água suja, e os menores, mais limpa.

What you see is inland waterways.

O que veem são hidrovias internas.

This is all data that was sampled by the city over the last five years.

Todos esses dados foram coletados pela prefeitura nos últimos cinco anos.

And inland waterways are, in general, dirtier.

E as hidrovias internas são, em geral, mais sujas.

That makes sense, right?

Faz sentido, não é mesmo?

And the bigger circles are dirty. And I learned a few things from this.

Os círculos maiores são sujos. E concluí algumas coisas daí.

Primeira, nunca nadem em algo que termine com "creek" ou "canal".

Number one: Never swim in anything that ends in "creek" or "canal."

But number two: I also found the dirtiest waterway in New York City,

Segundo, também descobri a hidrovia mais suja de Nova York

by this measure, one measure.

com essa medida, uma medida.

In Coney Island Creek, which is not the Coney Island you swim in, luckily.

Em Coney Island Creek,

que não é a Coney Island onde nadam, felizmente, é do outro lado,

It's on the other side.

mas 94% das amostras coletadas lá

But Coney Island Creek, 94 percent of samples taken over the last five years

nos últimos cinco anos tinham níveis fecais tão altos

have had fecal levels so high

that it would be against state law to swim in the water.

que deveria ser contra a lei nadar naquela água.

And this is not the kind of fact that you're going to see

E esse não é o tipo de fato que se vê divulgado num relatório municipal, né?

boasted in a city report, right?

It's not going to be the front page on nyc.gov.

Não vai estar na primeira página do nyc.gov.

You're not going to see it there,

Não vão ver isso lá,

mas o fato de podermos acessar esses dados é incrível.

but the fact that we can get to that data is awesome.

Mas, repito, não foi superfácil,

But once again, it wasn't super easy,

because this data was not on the open data portal.

pois não estavam no portal aberto.

No portal dos dados abertos,

If you were to go to the open data portal,

havia apenas parte deles, um ano ou poucos meses.

you'd see just a snippet of it, a year or a few months.

Eles estavam no site da Secretaria do Meio Ambiente.

It was actually on the Department of Environmental Protection's website.

E cada um desses links é uma planilha Excel, e cada planilha é diferente.

And each one of these links is an Excel sheet, and each Excel sheet is different.

Cada cabeçalho é diferente: você copia, cola, reorganiza.

Every heading is different: you copy, paste, reorganize.

When you do you can make maps and that's great, but once again,

E aí pode fazer mapas, o que é ótimo,

mas a cidade pode fazer melhor, padronizando os dados.

we can do better than that as a city, we can normalize things.

E estamos chegando lá, pois há este site feito pela Socrata,

And we're getting there, because there's this website that Socrata makes

chamado "Open Data Portal NYC".

Aqui é onde ficam 1.100 arquivos sem esses problemas que mencionei,

called the Open Data Portal NYC.

This is where 1,100 data sets that don't suffer

from the things I just told you live,

e esse número está crescendo, o que é ótimo.

and that number is growing, and that's great.

Vocês podem baixar dados em qualquer formato, CSV, PDF ou Excel.

You can download data in any format, be it CSV or PDF or Excel document.

O que quiserem, podem baixar do jeito que for melhor.

Whatever you want, you can download the data that way.

The problem is, once you do,

O problema é, uma vez feito isso,

you will find that each agency codes their addresses differently.

vão descobrir que cada órgão codifica os endereços de forma diferente.

So one is street name, intersection street,

Assim, podemos ter nome da rua, cruzamento,

street, borough, address, building, building address.

rua, bairro, endereço, edifício, endereço do prédio.

So once again, you're spending time, even when we have this portal,

Então, gasta-se muito tempo, mesmo tendo o portal,

you're spending time normalizing our address fields.

gasta-se tempo padronizando nossos campos de endereço.

And that's not the best use of our citizens' time.

E esta não é a melhor forma de usarmos nosso tempo.

We can do better than that as a city.

Podemos fazer melhor como cidade.

We can standardize our addresses,

Podemos padronizar nossos endereços

and if we do, we can get more maps like this.

e, assim, vamos ter mais mapas como este.

This is a map of fire hydrants in New York City,

Este é um mapa de hidrantes de Nova York,

but not just any fire hydrants.

mas não de quaisquer hidrantes.

These are the top 250 grossing fire hydrants in terms of parking tickets.

Estes são os 250 hidrantes campeões de multas de trânsito.

(Laughter)

(Risos)

So I learned a few things from this map, and I really like this map.

Assim, aprendi algumas coisas com este mapa, e realmente gosto dele.

Number one, just don't park on the Upper East Side.

Primeiro, não estacione no Upper East Side.

Just don't. It doesn't matter where you park, you will get a hydrant ticket.

De jeito nenhum. Não importa onde parar, vai levar uma multa de hidrante.

Number two, I found the two highest grossing hydrants in all of New York City,

Segundo, descobri os hidrantes campeões de multa em Nova York.

and they're on the Lower East Side,

Eles estão no Lower East Side

and they were bringing in over 55,000 dollars a year in parking tickets.

e arrecadam mais de US$ 55 mil por ano em multas de estacionamento proibido.

And that seemed a little strange to me when I noticed it,

E achei estranho quando vi isso.

so I did a little digging and it turns out what you had is a hydrant

Então pesquisei um pouco mais, e acontece que há um hidrante

e algo chamado extensão da calçada,

and then something called a curb extension,

which is like a seven-foot space to walk on,

um lugar de uns dois metros para andar, e depois um lugar para estacionar.

and then a parking spot.

And so these cars came along, and the hydrant --

Então os carros chegam e veem o hidrante: "A vaga vai até lá, estou bem",

"It's all the way over there, I'm fine,"

and there was actually a parking spot painted there beautifully for them.

na verdade, a vaga está lá demarcada bonitinha.

Daí, estacionam ali, mas a polícia discorda dessa marcação e multa.

They would park there, and the NYPD disagreed with this designation

and would ticket them.

E não fui o único a levar uma multa.

And it wasn't just me who found a parking ticket.

Vejam só o carro do Street View do Google ali com a mesma multa de trânsito.

This is the Google Street View car driving by

finding the same parking ticket.

So I wrote about this on my blog, on I Quant NY, and the DOT responded,

Daí, escrevi sobre isso no meu blog, "I Quant NY", e o "DOT" respondeu:

and they said,

"While the DOT has not received any complaints about this location,

"Apesar de o 'DOT' não ter recebido qualquer reclamação sobre esse lugar,

we will review the roadway markings and make any appropriate alterations."

vamos rever a marcação na pista e fazer as alterações necessárias."

And I thought to myself, typical government response,

E pensei cá comigo: resposta típica do governo,

all right, moved on with my life.

tudo bem, vou cuidar da minha vida.

But then, a few weeks later, something incredible happened.

Mas, aí, poucas semanas depois, algo incrível aconteceu.

They repainted the spot,

Repintaram o lugar,

and for a second I thought I saw the future of open data,

e por um segundo vislumbrei o futuro dos dados abertos,

because think about what happened here.

pois vejam só o que aconteceu aqui.

For five years, this spot was being ticketed, and it was confusing,

Durante cinco anos, nesse lugar levamos multas, e era confuso,

and then a citizen found something, they told the city, and within a few weeks

daí, um cidadão descobriu isso, avisou à prefeitura e, em poucas semanas,

the problem was fixed.

o problema foi resolvido. Incrível!

It's amazing. And a lot of people see open data as being a watchdog.

E há quem veja isso como um vigia. Não é, tem a ver com parceria.

It's not, it's about being a partner.

We can empower our citizens to be better partners for government,

Empoderar os cidadãos para serem melhores parceiros do governo.

and it's not that hard.

E não é tão difícil assim, só precisamos de algumas mudanças.

All we need are a few changes.

Se camuflarem os dados, e os cidadãos tiverem de requisitá-los todas as vezes,

If you're FOILing data,

if you're seeing your data being FOILed over and over again,

melhor liberá-los, é sinal de que é preciso torná-los públicos.

let's release it to the public, that's a sign that it should be made public.

E, se você é um órgão do governo liberando um PDF,

And if you're a government agency releasing a PDF,

let's pass legislation that requires you to post it with the underlying data,

vamos aprovar legislação que exija publicar isso com os dados originais,

because that data is coming from somewhere.

pois esses dados vêm de algum lugar, não sei de onde,

I don't know where, but it's coming from somewhere,

mas vêm, e depois podem publicá-los em PDF.

and you can release it with the PDF.

E adotar e compartilhar padrões de dados abertos.

And let's adopt and share some open data standards.

Vamos começar com nossos endereços aqui em Nova York.

Let's start with our addresses here in New York City.

Vamos padronizar nossos endereços, pois somos referência nos dados abertos.

Let's just start normalizing our addresses.

Because New York is a leader in open data.

Apesar desses problemas, somos líderes absolutos nisso.

Despite all this, we are absolutely a leader in open data,

Se estabelecermos um padrão para os dados, outros vão nos seguir.

and if we start normalizing things, and set an open data standard,

O resto do estado e talvez o governo federal.

others will follow. The state will follow, and maybe the federal government,

Sei que parece loucura, mas outros países poderiam seguir,

Other countries could follow,

e não estamos tão longe assim de escrever um programa

and we're not that far off from a time where you could write one program

para mapear informação de 100 países.

and map information from 100 countries.

Não é ficção científica. Estamos bem perto disso, na verdade.

It's not science fiction. We're actually quite close.

E, a propósito, quem estamos empoderando com isso?

And by the way, who are we empowering with this?

Não é apenas John Krauss ou Chris Whong.

Because it's not just John Krauss and it's not just Chris Whong.

Há centenas de reuniões acontecendo em Nova York agora mesmo.

There are hundreds of meetups going on in New York City right now,

Reuniões ativas, com milhares de pessoas participando

active meetups.

There are thousands of people attending these meetups.

These people are going after work and on weekends,

depois do trabalho e nos finais de semana, analisando dados abertos,

and they're attending these meetups to look at open data

para tornar nossa cidade melhor.

and make our city a better place.

Grupos como "BetaNYC", que semana passada lançou o citygram.nyc,

Groups like BetaNYC, who just last week released something called citygram.nyc

that allows you to subscribe to 311 complaints

que dá acesso às reclamações feitas no site da prefeitura, por região.

around your own home, or around your office.

You put in your address, you get local complaints.

É só colocar o endereço e acessar as reclamações.

And it's not just the tech community that are after these things.

E não é apenas a comunidade tecnológica que está atrás dessas coisas.

It's urban planners like the students I teach at Pratt.

São os gestores urbanos, como meus alunos em Pratt,

It's policy advocates, it's everyone,

agentes de políticas públicas, todo mundo, cidadãos de diversos segmentos.

it's citizens from a diverse set of backgrounds.

And with some small, incremental changes,

E, com algumas mudanças pequenas, graduais,

we can unlock the passion and the ability of our citizens

podemos estimular a paixão e a habilidade de nossos cidadãos

to harness open data and make our city even better,

para usar os dados disponíveis e tornar nossa cidade ainda melhor,

whether it's one dataset, or one parking spot at a time.

seja com um arquivo de dados, ou com um lugar para estacionar.

Thank you.

Obrigado.

(Aplausos)

(Applause)