Ben Wellington: How we found the worst place to park in New York City — using big data

Tłumaczenie: Kacper Borowiecki Korekta: Rysia Wand

Six thousand miles of road,

Dziesięć tysięcy kilometrów dróg,

600 miles of subway track,

1000 kilometrów torów metra,

400 miles of bike lanes

650 kilometrów ścieżek rowerowych

and a half a mile of tram track,

oraz kilometr toru tramwajowego,

if you've ever been to Roosevelt Island.

jeśli ktoś był na Roosevelt Island.

These are the numbers that make up the infrastructure of New York City.

Te liczby składają się na infrastrukturę Nowego Jorku.

These are the statistics of our infrastructure.

Oto statystyki naszej infrastruktury.

They're the kind of numbers you can find released in reports by city agencies.

Można je znaleźć w raportach agencji miejskich.

Na przykład Departament Transportu prawdopodobnie poinformuje,

For example, the Department of Transportation will probably tell you

how many miles of road they maintain.

iloma kilometrami dróg zarządza.

The MTA will boast how many miles of subway track there are.

MTA będzie się przechwalać długością torów metra.

Most city agencies give us statistics.

Miejskie agencje publikują statystyki.

This is from a report this year

Te są z tegorocznego raportu

from the Taxi and Limousine Commission,

Komisji Taksówek i Limuzyn.

where we learn that there's about 13,500 taxis here in New York City.

Można się z nich dowiedzieć, że po mieście jeździ 13 500 taksówek.

Pretty interesting, right?

Całkiem ciekawe, prawda?

But did you ever think about where these numbers came from?

Ale czy zastanawialiście się, skąd pochodzą te liczby?

Because for these numbers to exist, someone at the city agency

Żeby powstały, ktoś w agencji

had to stop and say, hmm, here's a number that somebody might want want to know.

musiał uznać: "Oto liczba, którą ktoś chciałby poznać.

Here's a number that our citizens want to know.

Oto liczba, którą obywatele chcą znać".

So they go back to their raw data,

Wracają więc do surowych danych,

they count, they add, they calculate,

liczą, dodają, obliczają

and then they put out reports,

i wydają raporty

and those reports will have numbers like this.

zawierające liczby takie, jak ta.

The problem is, how do they know all of our questions?

Skąd jednak znają wszystkie nasze pytania?

We have lots of questions.

Mamy ich mnóstwo.

In fact, in some ways there's literally an infinite number of questions

O naszym mieście można zadać nieskończenie wiele pytań.

that we can ask about our city.

The agencies can never keep up.

Agencje nigdy by nie nadążyły.

So the paradigm isn't exactly working, and I think our policymakers realize that,

To nie za bardzo działa i urzędnicy chyba o tym wiedzą.

because in 2012, Mayor Bloomberg signed into law what he called

W 2012 roku burmistrz Bloomberg podpisał ustawę, którą nazwał

the most ambitious and comprehensive open data legislation in the country.

"najbardziej ambitnym i kompleksowym prawodawstwem otwartych danych w kraju".

In a lot of ways, he's right.

Pod wieloma względami ma rację.

In the last two years, the city has released 1,000 datasets

Przez dwa lata nasze miasto umieściło 1000 zbiorów danych

on our open data portal,

na portalu otwartych danych.

and it's pretty awesome.

To jest naprawdę niesamowite.

So you go and look at data like this,

Kiedy je ściągasz i analizujesz

and instead of just counting the number of cabs,

zamiast liczyć taksówki,

we can start to ask different questions.

można zadawać inne pytania.

So I had a question.

Zadałem pytanie.

When's rush hour in New York City?

Kiedy w NY są godziny szczytu?

It can be pretty bothersome. When is rush hour exactly?

Są trochę uciążliwe, ale kiedy dokładnie?

And I thought to myself, these cabs aren't just numbers,

Pomyślałem, że taksówki nie są jedynie numerami,

these are GPS recorders driving around in our city streets

są rejestratorami GPS jeżdżącymi po ulicach miasta,

recording each and every ride they take.

nagrywającymi każdy przebyty kurs.

There's data there, and I looked at that data,

Przyjrzałem się tym danym

and I made a plot of the average speed of taxis in New York City throughout the day.

i stworzyłem dzienny wykres średniej prędkości nowojorskich taksówek.

You can see that from about midnight to around 5:18 in the morning,

Można zaobserwować, że od północy do 5:18 rano

speed increases, and at that point, things turn around,

prędkość rośnie, a następnie zaczyna spadać.

and they get slower and slower and slower until about 8:35 in the morning,

Maleje i maleje i maleje aż do około 8:35,

when they end up at around 11 and a half miles per hour.

kiedy to wynosi około 18,5 km/h.

The average taxi is going 11 and a half miles per hour on our city streets,

Przeciętna taksówka przemierza miasto z prędkością 18,5 km/h.

and it turns out it stays that way

Okazuje się, że ta prędkość

for the entire day.

utrzymuje się już do końca dnia.

(Laughter)

(Śmiech)

So I said to myself, I guess there's no rush hour in New York City.

Stwierdziłem, że w Nowym Jorku nie ma godzin szczytu.

There's just a rush day.

Jest natomiast dzień szczytu.

Makes sense. And this is important for a couple of reasons.

To ma sens. I jest ważne z paru powodów.

If you're a transportation planner, this might be pretty interesting to know.

To interesujące dla planisty transportu.

But if you want to get somewhere quickly,

Jeśli chcesz dokądś sprawnie dojechać,

you now know to set your alarm for 4:45 in the morning and you're all set.

wystarczy ustawić budzik na 4:45 rano i gotowe.

New York, right?

W końcu to Nowy Jork.

But there's a story behind this data.

Z tymi danymi wiąże się opowieść.

This data wasn't just available, it turns out.

Nie były one dostępne wprost.

It actually came from something called a Freedom of Information Law Request,

Pochodzą z "Zapytania na podstawie Ustawy o Wolności Informacji"

or a FOIL Request.

lub Zapytania FOIL.

This is a form you can find on the Taxi and Limousine Commission website.

Ten formularz jest na stronie Komisji ds. Taksówek i Limuzyn.

Żeby uzyskać dostęp do tych danych, należało go pobrać i wypełnić,

In order to access this data, you need to go get this form,

a potem cię zawiadomią.

fill it out, and they will notify you,

and a guy named Chris Whong did exactly that.

Zrobił to facet o nazwisku Chris Whong.

Chris went down, and they told him,

Chris usłyszał:

"Just bring a brand new hard drive down to our office,

"Przynieś nam fabrycznie nowy dysk twardy i zostaw go na pięć godzin.

leave it here for five hours, we'll copy the data and you take it back."

Dostaniesz skopiowane dane".

And that's where this data came from.

Tak powstały te dane.

Now, Chris is the kind of guy who wants to make the data public,

Chris chciał upubliczniać dane.

and so it ended up online for all to use, and that's where this graph came from.

Udostępnił je w internecie, dzięki czemu powstały te wykresy.

And the fact that it exists is amazing. These GPS recorders -- really cool.

Fajnie, że istnieją takie dane. Rejestratory GPS - fajna rzecz.

But the fact that we have citizens walking around with hard drives

Ale żeby to obywatele mieli spacerować z twardymi dyskami

picking up data from city agencies to make it public --

kopiować dane w celu upublicznienia,

dane niby już "publiczne", bo dało się je zdobyć,

it was already kind of public, you could get to it,

ale nie naprawdę publiczne.

but it was "public," it wasn't public.

And we can do better than that as a city.

Miasto może zrobić to lepiej.

We don't need our citizens walking around with hard drives.

Nie potrzeba obywateli krążących z dyskami twardymi.

Now, not every dataset is behind a FOIL Request.

Nie każdy pakiet danych jest związany z FOIL.

Here is a map I made with the most dangerous intersections in New York City

Stworzyłem mapę najniebezpieczniejszych skrzyżowań w Nowym Yorku

based on cyclist accidents.

w oparciu o wypadki rowerzystów.

So the red areas are more dangerous.

Czerwone obszary są niebezpieczniejsze.

And what it shows is first the East side of Manhattan,

Od razu widać, że we wschodniej części Manhattanu,

especially in the lower area of Manhattan, has more cyclist accidents.

That might make sense

jest więcej wypadków rowerowych.

because there are more cyclists coming off the bridges there.

To ma sens.

W tym miejscu rowerzyści zjeżdżają z mostów.

But there's other hotspots worth studying.

Są też inne punkty zapalne.

There's Williamsburg. There's Roosevelt Avenue in Queens.

To Williamsburg i aleja Roosvelta w Queens.

And this is exactly the kind of data we need for Vision Zero.

Takich danych potrzeba do Vision Zero.

This is exactly what we're looking for.

Tego właśnie szukamy.

But there's a story behind this data as well.

Za tymi danymi też kryje się historia.

This data didn't just appear.

Te dane nie wzięły się z powietrza.

How many of you guys know this logo?

Ile z was zna to logo?

Yeah, I see some shakes.

Kilka osób potakuje.

Have you ever tried to copy and paste data out of a PDF

Próbowaliście kiedyś skopiować i wkleić dane z PDFa,

and make sense of it?

żeby miały jakiś sens?

I see more shakes.

Więcej próbowało funkcji kopiuj-wklej,

More of you tried copying and pasting than knew the logo. I like that.

niż zna to logo. Nieźle.

So what happened is, the data that you just saw was actually on a PDF.

Dane, które właśnie widzieliśmy, były w właśnie w pliku PDF,

In fact, hundreds and hundreds and hundreds of pages of PDF

na setkach stron dokumentów,

put out by our very own NYPD,

tworzone przez naszą własną policję.

and in order to access it, you would either have to copy and paste

Aby je wykorzystać, trzeba by robić kopuj-wklej

for hundreds and hundreds of hours,

przez setki godzin

or you could be John Krauss.

albo być Janem Kraussem.

John Krauss was like,

Jan Krauss uznał:

I'm not going to copy and paste this data. I'm going to write a program.

"Nie zamierzam kopiować tych danych. Stworzę program".

It's called the NYPD Crash Data Band-Aid,

Nazywa się "Wsparcie Bazy Danych o Wypadkach".

and it goes to the NYPD's website and it would download PDFs.

Wchodzi na stronę policji i ściąga PDFy.

Every day it would search; if it found a PDF, it would download it

Szuka ich codziennie.

Ściąga znaleziony PDF i wyodrębnia informacje,

and then it would run some PDF-scraping program,

and out would come the text,

tworząc tekst,

and it would go on the Internet, and then people could make maps like that.

za pomocą którego można tworzyć mapy, jak ta.

And the fact that the data's here, the fact that we have access to it --

To, że dane są tutaj i że mamy do nich dostęp...

Every accident, by the way, is a row in this table.

Każdy wypadek to wiersz tabeli.

You can imagine how many PDFs that is.

Wyobraźcie sobie, ile to PDF-ów.

The fact that we have access to that is great,

To, że mamy do nich dostęp, jest super,

but let's not release it in PDF form,

ale nie publikujmy ich w formacie PDF,

because then we're having our citizens write PDF scrapers.

zmuszając ludzi do pisania programów dekodujących PDF-y.

It's not the best use of our citizens' time,

To marnowanie czasu mieszkańców.

Jako miasto możemy zrobić to lepiej.

and we as a city can do better than that.

Now, the good news is that the de Blasio administration

Dobrze, że administracja de Blasio

actually recently released this data a few months ago,

udostępniła te dane kilka miesięcy temu,

and so now we can actually have access to it,

i teraz rzeczywiście jest do nich dostęp,

but there's a lot of data still entombed in PDF.

ale wiele danych wciąż jest zagrzebanych w PDF-ach.

For example, our crime data is still only available in PDF.

Dane kryminalne są dostępne tylko w PDF.

And not just our crime data, our own city budget.

Również budżet miasta.

Our city budget is only readable right now in PDF form.

Budżet miasta dostępny jest tylko w formacie PDF.

And it's not just us that can't analyze it --

Nie tylko nam trudno go przeanalizować.

our own legislators who vote for the budget

Ustawodawcy, którzy głosują nad budżetem,

also only get it in PDF.

też dostają ten PDF.

So our legislators cannot analyze the budget that they are voting for.

Prawodawcy nie mogą przeanalizować budżetu, za którym głosują.

And I think as a city we can do a little better than that as well.

Jako miasto stać nas na więcej.

Now, there's a lot of data that's not hidden in PDFs.

Jest wiele danych, które nie są ukryte w plikach PDF.

This is an example of a map I made,

To przykład stworzonej przeze mnie

and this is the dirtiest waterways in New York City.

mapy najbrudniejszych cieków wodnych w Nowym Jorku.

Now, how do I measure dirty?

Jak mierzę poziom brudu?

Well, it's kind of a little weird,

To trochę dziwaczne.

but I looked at the level of fecal coliform,

Zmierzyłem poziom pałeczek z grupy coli,

which is a measurement of fecal matter in each of our waterways.

który jest miarą masy kałowej w wodzie.

The larger the circle, the dirtier the water,

Im większe kółko, tym brudniejsza woda,

so the large circles are dirty water, the small circles are cleaner.

duże kółka - brudniejsza, małe - czystsza.

What you see is inland waterways.

Na mapie widać cieki powierzchniowe.

This is all data that was sampled by the city over the last five years.

To dane miejskie za ostatnie pięć lat.

And inland waterways are, in general, dirtier.

Cieki powierzchniowe są brudniejsze.

That makes sense, right?

To ma sens, prawda?

And the bigger circles are dirty. And I learned a few things from this.

Dowiedziałem się dzięki temu paru rzeczy.

Po pierwsze: nie pływaj w niczym, co ma w nazwie "potok" lub "kanał".

Number one: Never swim in anything that ends in "creek" or "canal."

But number two: I also found the dirtiest waterway in New York City,

Po drugie: znalazłem najbrudniejsze cieki w Nowym Jorku

by this measure, one measure.

dzięki jednemu pomiarowi.

In Coney Island Creek, which is not the Coney Island you swim in, luckily.

Potok Coney Island, nie kąpielisko Coney Island.

It's on the other side.

To po drugiej stronie.

But Coney Island Creek, 94 percent of samples taken over the last five years

W potoku Coney Island 94% próbek pobranych przez ostatnie 5 lat

have had fecal levels so high

miała tak wysoki poziom kału,

that it would be against state law to swim in the water.

że pływanie tam byłoby niezgodne z prawem stanowym.

And this is not the kind of fact that you're going to see

Nie ma się czym chwalić

boasted in a city report, right?

w miejskim raporcie.

It's not going to be the front page on nyc.gov.

Nie znajdziecie tego na głównej stronie nyc.gov.

You're not going to see it there,

but the fact that we can get to that data is awesome.

ale mimo to fajnie,

że dotarliśmy do tych danych.

But once again, it wasn't super easy,

Ale znowu, nie było to łatwe,

because this data was not on the open data portal.

bo dane nie były na otwartym portalu.

If you were to go to the open data portal,

Na otwartym portalu można zobaczyć

you'd see just a snippet of it, a year or a few months.

tylko fragment, rok lub parę miesięcy.

It was actually on the Department of Environmental Protection's website.

Znajdowały się na stronie Departamentu Ochrony Środowiska.

Każdy z tych linków to arkusz Excel i każdy jest inaczej zbudowany.

And each one of these links is an Excel sheet, and each Excel sheet is different.

Każdy jest inny: trzeba je kopiować, organizować.

Every heading is different: you copy, paste, reorganize.

When you do you can make maps and that's great, but once again,

Potem można stworzyć mapy.

Miasto powinno to standaryzować.

we can do better than that as a city, we can normalize things.

Do tego celu zbliża się Socrata ze stroną

And we're getting there, because there's this website that Socrata makes

Otwarty Portal Danych NYC.

called the Open Data Portal NYC.

Znajduje się tam 1100 zestawów danych,

This is where 1,100 data sets that don't suffer

bez wad, o których mówiłem.

from the things I just told you live,

Ich liczba rośnie.

and that number is growing, and that's great.

Można ściągnąć dane w dowolnym formacie, CSV, PDF lub Excel.

You can download data in any format, be it CSV or PDF or Excel document.

Whatever you want, you can download the data that way.

Można je ściągnąć w dowolnej chwili,

The problem is, once you do,

ale problem w tym,

że każda agencja inaczej koduje adresy.

you will find that each agency codes their addresses differently.

So one is street name, intersection street,

Tu mamy nazwę ulicy, skrzyżowania,,

street, borough, address, building, building address.

ulicę, dzielnicę, adres, budynek, adres budynku.

So once again, you're spending time, even when we have this portal,

Nawet mając ten portal,

you're spending time normalizing our address fields.

znów tracisz czas, ujednolicając pola adresowe.

And that's not the best use of our citizens' time.

To nie najlepsze wykorzystanie czasu obywateli.

We can do better than that as a city.

Możemy zrobić to lepiej.

We can standardize our addresses,

Możemy standaryzować adresy,

and if we do, we can get more maps like this.

stworzyć więcej map takich, jak ta.

This is a map of fire hydrants in New York City,

To jest mapa hydrantów w Nowym Jorku,

but not just any fire hydrants.

ale nie byle jakich hydrantów.

These are the top 250 grossing fire hydrants in terms of parking tickets.

250 hydrantów o największych przychodach z mandatów za złe parkowanie.

(Laughter)

(Śmiech)

So I learned a few things from this map, and I really like this map.

Sporo mnie ta mapa nauczyła. Naprawdę ją lubię.

Number one, just don't park on the Upper East Side.

Pierwsze - nie parkuj na Upper East Side.

Just don't. It doesn't matter where you park, you will get a hydrant ticket.

Po prostu nie. Wszędzie dostaniesz mandat.

Number two, I found the two highest grossing hydrants in all of New York City,

Znalazłem też dwa najbardziej dochodowe hydranty w całym Nowym Yorku,

and they're on the Lower East Side,

oba na Lower East Side,

and they were bringing in over 55,000 dollars a year in parking tickets.

przynoszące ponad 55 000 dolarów rocznie z mandatów za parkowanie.

And that seemed a little strange to me when I noticed it,

Trochę mnie to zdziwiło, więc trochę poszperałem.

so I did a little digging and it turns out what you had is a hydrant

Okazuje się, że stoi hydrant,

and then something called a curb extension,

następnie "przedłużenie krawężnika",

which is like a seven-foot space to walk on,

2 metry chodnika i dopiero miejsce parkingowe.

and then a parking spot.

And so these cars came along, and the hydrant --

Kierowcy sądzili, że hydrant jest daleko,

"It's all the way over there, I'm fine,"

więc wszystko jest w porządku,

and there was actually a parking spot painted there beautifully for them.

było specjalnie namalowane miejsce parkingowe.

They would park there, and the NYPD disagreed with this designation

Tylko że policja nie zgadzała się z wyborem miejsca

i dawała mandaty.

and would ticket them.

Nie tylko ja je znalazłem.

And it wasn't just me who found a parking ticket.

Przejeżdżający samochód Google Street View

This is the Google Street View car driving by

finding the same parking ticket.

odnalazł te same mandaty.

So I wrote about this on my blog, on I Quant NY, and the DOT responded,

Napisałem o tym na moim blogu, I Quant NY,

i DOT odpowiedział mi tak:

and they said,

"While the DOT has not received any complaints about this location,

"Chociaż DOT nie otrzymał żadnych skarg w odniesieniu do tego miejsca,

we will review the roadway markings and make any appropriate alterations."

sprawdzimy znaki drogowe i dokonamy odpowiednich poprawek ".

And I thought to myself, typical government response,

Pomyślałem - typowa urzędnicza odpowiedź.

all right, moved on with my life.

Zapomniałem o sprawie.

But then, a few weeks later, something incredible happened.

Kilka tygodni później, stało się coś niesamowitego.

They repainted the spot,

Przemalowali to miejsce.

and for a second I thought I saw the future of open data,

Pomyślałem, że to przyszłość otwartych danych.

because think about what happened here.

Pomyślcie, co tu zaszło.

For five years, this spot was being ticketed, and it was confusing,

Przez pięć lat w tym mylącym miejscu wystawiano mandaty,

and then a citizen found something, they told the city, and within a few weeks

obywatel to zauważył, powiedział o tym miastu

i w parę tygodni problem został rozwiązany.

the problem was fixed.

It's amazing. And a lot of people see open data as being a watchdog.

Wiele osób uważa dostęp do danych to nadzór.

It's not, it's about being a partner.

ale tu chodzi o partnerstwo.

We can empower our citizens to be better partners for government,

Obywatele mogą być lepszymi partnerami dla władz

and it's not that hard.

i nie jest to takie trudne.

All we need are a few changes.

Potrzeba tylko paru zmian.

If you're FOILing data,

Jeżeli udostępniasz dane dla FOIL,

if you're seeing your data being FOILed over and over again,

widzisz, że ktoś wciąż o nie prosi,

let's release it to the public, that's a sign that it should be made public.

to jest znak, że trzeba je upublicznić.

And if you're a government agency releasing a PDF,

Jeżeli jako agent rządowy wypuszczasz dane w formacie PDF,

let's pass legislation that requires you to post it with the underlying data,

niech prawo wymaga, żeby publikować je wraz z danymi źródłowymi,

because that data is coming from somewhere.

bo te dane skądś się wzięły,

I don't know where, but it's coming from somewhere,

choć nie wiem skąd,

więc można je publikować wraz z PDF-em.

and you can release it with the PDF.

And let's adopt and share some open data standards.

Przyjmijmy standard otwartych danych.

Let's start with our addresses here in New York City.

Let's just start normalizing our addresses.

Zacznijmy od ujednolicenia adresów,

Because New York is a leader in open data.

Nowy Jork jest liderem w otwartych danych.

Despite all this, we are absolutely a leader in open data,

Mimo problemów jesteśmy absolutnym liderem.

and if we start normalizing things, and set an open data standard,

Jeżeli ustalimy standard dla otwartych danych,

others will follow. The state will follow, and maybe the federal government,

inni za nami podążą.

Władze stanowe, rząd, inne kraje.

Other countries could follow,

and we're not that far off from a time where you could write one program

Niewiele brakuje, żeby za pomocą jednego programu

and map information from 100 countries.

tworzyć mapy informacji ze 100 krajów.

It's not science fiction. We're actually quite close.

To nie science fiction. Jesteśmy naprawdę blisko.

And by the way, who are we empowering with this?

Kto na tym skorzysta?

Because it's not just John Krauss and it's not just Chris Whong.

Nie tylko John Krauss czy Chris Whong,

There are hundreds of meetups going on in New York City right now,

lecz setki nowojorskich organizacji,

aktywnych grup.

active meetups.

There are thousands of people attending these meetups.

Tysiące ludzi uczestniczy w spotkaniach,

These people are going after work and on weekends,

w weekendy, po pracy

przyglądają się danym

and they're attending these meetups to look at open data

żeby ulepszyć nasze miasto.

and make our city a better place.

Na przykład grupa BetaNYC założyła citygram.nyc,

Groups like BetaNYC, who just last week released something called citygram.nyc

that allows you to subscribe to 311 complaints

gdzie można zasubskrybować skargi komunalne

around your own home, or around your office.

w okolicach domu lub biura.

You put in your address, you get local complaints.

Wpisujesz adres i dostajesz listę lokalnych zażaleń.

And it's not just the tech community that are after these things.

Dąży do tego nie tylko techniczna społeczność,

It's urban planners like the students I teach at Pratt.

ale też planiści miejscy, jak studenci, których uczę w Pratt,

It's policy advocates, it's everyone,

aktywiści polityczni, każdy,

it's citizens from a diverse set of backgrounds.

obywatele z różnych środowisk.

And with some small, incremental changes,

Małymi, stopniowymi zmianami

we can unlock the passion and the ability of our citizens

możemy uwolnić pasję i zdolności naszych obywateli,

to harness open data and make our city even better,

żeby wykorzystać otwarte dane i usprawniać nasze miasto,

whether it's one dataset, or one parking spot at a time.

czy to jednym zestawem danych, czy jednym miejscem parkingowym.

Thank you.

Dziękuję.

(Applause)

(Brawa)