Ben Wellington: How we found the worst place to park in New York City — using big data

Бен Веллингтон: Как найти худшее место для парковки в Нью-Йорке, оперируя данными

Переводчик: Eugenia Novikova Редактор: Alexander Bukhonov

Six thousand miles of road,

Десять тысяч километров дорог,

600 miles of subway track,

тысяча километров метро,

400 miles of bike lanes

600 километров велодорожек

and a half a mile of tram track,

и почти километр трамвайных путей,

if you've ever been to Roosevelt Island.

если вы бывали на острове Рузвельта.

These are the numbers that make up the infrastructure of New York City.

Это цифры, из которых состоит инфраструктура Нью-Йорка.

These are the statistics of our infrastructure.

Это статистические данные нашей инфраструктуры.

They're the kind of numbers you can find released in reports by city agencies.

Именно эти данные вы можете увидеть в отчётах городских служб.

For example, the Department of Transportation will probably tell you

К примеру, в Департаменте транспорта вам наверняка скажут,

how many miles of road they maintain.

сколько километров дорог они обслуживают.

The MTA will boast how many miles of subway track there are.

MTA похвастается, как много километров подземки в городе.

Most city agencies give us statistics.

Многие службы делятся статистикой.

This is from a report this year

Из отчёта этого года

from the Taxi and Limousine Commission,

от Комиссии по такси и лимузинам

where we learn that there's about 13,500 taxis here in New York City.

мы узнаём, что в Нью-Йорке около 13 500 такси.

Pretty interesting, right?

Интересно, не так ли?

But did you ever think about where these numbers came from?

А вы не задумывались, откуда берутся эти цифры?

Because for these numbers to exist, someone at the city agency

Ведь чтобы их опубликовать, кто-то должен был подумать:

had to stop and say, hmm, here's a number that somebody might want want to know.

«Хм, а вот это может быть кому-то интересно.

Here's a number that our citizens want to know.

Это цифры, которые могут понадобиться горожанам».

So they go back to their raw data,

А потом вернуться к исходным данным,

they count, they add, they calculate,

посчитать, сложить, подвести итог

and then they put out reports,

и выложить отчёт,

and those reports will have numbers like this.

один из многих отчётов с подобной статистикой.

The problem is, how do they know all of our questions?

Проблема вот в чём: откуда им знать все наши вопросы?

We have lots of questions.

А у нас много вопросов.

In fact, in some ways there's literally an infinite number of questions

На самом деле, у нас буквально бесконечное количество вопросов,

that we can ask about our city.

связанных с городом.

Городским службам не угадать их все.

The agencies can never keep up.

So the paradigm isn't exactly working, and I think our policymakers realize that,

Этот подход не работает и, я полагаю, должностные лица это понимают,

because in 2012, Mayor Bloomberg signed into law what he called

поскольку в 2012 году мэр Блумберг утвердил закон, который он назвал

the most ambitious and comprehensive open data legislation in the country.

самым амбициозным и исчерпывающим законопроектом об открытых данных в стране.

In a lot of ways, he's right.

Во многом он прав.

In the last two years, the city has released 1,000 datasets

За последние два года город разместил 1 000 массивов данных

on our open data portal,

на портале открытых данных,

and it's pretty awesome.

и это очень круто.

So you go and look at data like this,

Вы заходите и смотрите на эти данные,

and instead of just counting the number of cabs,

и вместо того, чтобы просто считать такси,

we can start to ask different questions.

вы можете задавать самые разные вопросы.

So I had a question.

У меня был такой вопрос.

When's rush hour in New York City?

Когда в Нью-Йорке час пик?

It can be pretty bothersome. When is rush hour exactly?

Ведь пробки всех достают. Так когда наступает час пик?

And I thought to myself, these cabs aren't just numbers,

И я подумал, ведь такси — это не просто циферки,

these are GPS recorders driving around in our city streets

это GPS-устройства, которые разъежают по улицам города

recording each and every ride they take.

и записывают каждую поездку.

There's data there, and I looked at that data,

Эти данные доступны, я их проанализировал

and I made a plot of the average speed of taxis in New York City throughout the day.

и нарисовал диаграмму средней скорости такси в Нью-Йорке в течение дня.

You can see that from about midnight to around 5:18 in the morning,

Вы видите, что где-то с полуночи до 5:18 утра

speed increases, and at that point, things turn around,

скорость растёт, а потом — наоборот,

and they get slower and slower and slower until about 8:35 in the morning,

движение всё замедляется и замедляется, вплоть до 8:35 утра,

when they end up at around 11 and a half miles per hour.

когда скорость падает до 18,5 км/ч.

The average taxi is going 11 and a half miles per hour on our city streets,

Среднестатистическое такси ездит по городу со скоростью 18,5 км/ч,

and it turns out it stays that way

и выясняется, что эта скорость держится

for the entire day.

на протяжении всего дня.

(Laughter)

(Смех)

So I said to myself, I guess there's no rush hour in New York City.

И я подумал: «Кажется, в Нью-Йорке нет часа пик.

There's just a rush day.

Есть только день пик».

Makes sense. And this is important for a couple of reasons.

Так и есть. И это важно по ряду причин.

If you're a transportation planner, this might be pretty interesting to know.

Если вы занимаетесь схемой уличного движения, это должно быть вам интересно.

But if you want to get somewhere quickly,

Но если вы хотите быстро куда-то добраться,

you now know to set your alarm for 4:45 in the morning and you're all set.

заводите будильник на 4:45 и вперёд.

New York, right?

Это же Нью-Йорк.

But there's a story behind this data.

С этими данными связана одна история.

This data wasn't just available, it turns out.

Их было не так просто получить.

It actually came from something called a Freedom of Information Law Request,

Для этого пришлось сделать запрос в рамках Закона о свободе информации,

or a FOIL Request.

запрос FOIL.

This is a form you can find on the Taxi and Limousine Commission website.

Бланк можно найти на сайте Комиссии по такси и лимузинам.

Чтобы получить доступ к данным, вам надо получить этот бланк,

In order to access this data, you need to go get this form,

fill it out, and they will notify you,

заполнить его и ждать ответа;

and a guy named Chris Whong did exactly that.

и один парень, Крис Вонг, всё это сделал.

Крис связался с ними, и они ответили:

Chris went down, and they told him,

"Just bring a brand new hard drive down to our office,

«Принóсите новый жёсткий диск,

leave it here for five hours, we'll copy the data and you take it back."

оставляете его на 5 часов, мы копируем туда все данные и отдаём диск вам».

And that's where this data came from.

Вот откуда вся эта информация.

Now, Chris is the kind of guy who wants to make the data public,

Крис — из тех, кто стремится сделать информацию публичной,

and so it ended up online for all to use, and that's where this graph came from.

поэтому данные оказались в общем доступе в Интернете, и появился этот график.

And the fact that it exists is amazing. These GPS recorders -- really cool.

И то, что он существует, — круто. Эти GPS-устройства — классная вещь.

But the fact that we have citizens walking around with hard drives

Но то, что горожанам приходится ходить с жёсткими дисками

picking up data from city agencies to make it public --

и собирать данные из агентств, чтобы опубликовать их —

it was already kind of public, you could get to it,

хотя они уже «публичны» — их же можно получить,

but it was "public," it wasn't public.

на деле это лишь видимость открытости.

And we can do better than that as a city.

Наш город способен на большее.

We don't need our citizens walking around with hard drives.

Нельзя заставлять людей расхаживать с жёсткими дисками.

Now, not every dataset is behind a FOIL Request.

Не все данные спрятаны за формой FOIL.

Here is a map I made with the most dangerous intersections in New York City

Я сделал карту самых опасных перекрёстков в Нью-Йорке

based on cyclist accidents.

по количеству ДТП с велосипедистами.

So the red areas are more dangerous.

Красные зоны — самые опасные.

And what it shows is first the East side of Manhattan,

В первую очередь, на востоке Манхэттена,

especially in the lower area of Manhattan, has more cyclist accidents.

а в особенности — в нижней его части, множество ДТП с велосипедистами.

That might make sense

Кажется, это логично,

because there are more cyclists coming off the bridges there.

ведь там больше велосипедистов спускаются с мостов.

But there's other hotspots worth studying.

Но есть и другие интересные места.

There's Williamsburg. There's Roosevelt Avenue in Queens.

Уильямсбург. Рузвельт-авеню в Куинсе.

And this is exactly the kind of data we need for Vision Zero.

Именно такие данные нужны нам в рамках программы Vision Zero.

This is exactly what we're looking for.

Это как раз то, что мы искали.

But there's a story behind this data as well.

Но и у этих данных есть своя история.

This data didn't just appear.

Эти данные появились не просто так.

How many of you guys know this logo?

Кто из вас узнаёт этот логотип?

Yeah, I see some shakes.

Вижу, кто-то кивает.

Have you ever tried to copy and paste data out of a PDF

Вы когда-нибудь пытались скопировать данные из PDF так,

and make sense of it?

чтобы они не стали бессмыслицей?

I see more shakes.

Мотаете головой.

More of you tried copying and pasting than knew the logo. I like that.

Многие знают, что такое копировать данные из PDF, но не узнают логотип.

So what happened is, the data that you just saw was actually on a PDF.

Так вот, данные, которые вы только что видели, были в формате PDF.

In fact, hundreds and hundreds and hundreds of pages of PDF

Сотни и сотни страниц PDF-файлов,

put out by our very own NYPD,

опубликованных Департаментом полиции Нью-Йорка,

and in order to access it, you would either have to copy and paste

и чтобы получить доступ к данным, вам нужно или копировать их вручную

for hundreds and hundreds of hours,

на протяжении сотен часов,

or you could be John Krauss.

или быть Джоном Крауссом.

John Krauss was like,

Джон Краусс подумал:

I'm not going to copy and paste this data. I'm going to write a program.

«Не буду я копировать данные вручную. Лучше я напишу программу».

It's called the NYPD Crash Data Band-Aid,

Он назвал её NYPD Crash Data Band-Aid,

and it goes to the NYPD's website and it would download PDFs.

она заходила на сайт Департамента полиции и скачивала PDF-файлы.

Every day it would search; if it found a PDF, it would download it

Каждый день она искала PDF-файлы и, если находила, скачивала их,

and then it would run some PDF-scraping program,

а затем запускала программу разбора PDF,

and out would come the text,

извлекала текст,

and it would go on the Internet, and then people could make maps like that.

загружала данные в Интернет, и в итоге люди могли делать подобные карты.

And the fact that the data's here, the fact that we have access to it --

И то, что у нас есть эти данные, что мы можем работать с ними...

Every accident, by the way, is a row in this table.

Кстати, каждое ДТП — строка в этой таблице.

You can imagine how many PDFs that is.

Представьте, сколько это PDF-файлов.

The fact that we have access to that is great,

У нас есть доступ к данным — это отлично,

but let's not release it in PDF form,

но не нужно публиковать их в формате PDF

because then we're having our citizens write PDF scrapers.

и заставлять горожан писать программы разбора PDF-файлов.

It's not the best use of our citizens' time,

Это не лучший способ задействовать горожан,

and we as a city can do better than that.

и мы, как город, можем улучшить ситуацию.

Now, the good news is that the de Blasio administration

Есть и хорошая новость — администрация де Блазио

actually recently released this data a few months ago,

недавно опубликовала эти данные, несколько месяцев назад,

and so now we can actually have access to it,

и теперь у нас есть нормальный доступ к ним,

but there's a lot of data still entombed in PDF.

но множество данных по-прежнему сокрыто в PDF-файлах.

For example, our crime data is still only available in PDF.

Например, данные по преступности доступны только в формате PDF.

And not just our crime data, our own city budget.

И не только. Даже бюджет города.

Our city budget is only readable right now in PDF form.

Бюджет города доступен только в формате PDF.

And it's not just us that can't analyze it --

И не только мы с вами не можем проанализировать его,

our own legislators who vote for the budget

но и сами законодатели, которые голосуют за бюджет,

also only get it in PDF.

тоже получают его только в формате PDF.

So our legislators cannot analyze the budget that they are voting for.

Законодатели не могут проанализировать бюджет, за который голосуют.

And I think as a city we can do a little better than that as well.

И я думаю, что мы можем организовать всё гораздо лучше.

Now, there's a lot of data that's not hidden in PDFs.

Есть множество данных, не похороненных в PDF-файлах.

This is an example of a map I made,

Вот ещё одна из таких карт —

and this is the dirtiest waterways in New York City.

самая грязная вода в Нью-Йорке.

Now, how do I measure dirty?

Как измерить загрязнённость воды?

Well, it's kind of a little weird,

Это покажется немного странным,

but I looked at the level of fecal coliform,

но я смотрел на уровень фекальных бактерий,

which is a measurement of fecal matter in each of our waterways.

который по сути отражает количество экскрементов в воде.

The larger the circle, the dirtier the water,

Чем больше круг, тем грязнее вода,

so the large circles are dirty water, the small circles are cleaner.

большие круги — грязная вода, маленькие — вода почище.

What you see is inland waterways.

Вы видите, что каналы на суше —

This is all data that was sampled by the city over the last five years.

эти данные собирались в течение последних пяти лет —

And inland waterways are, in general, dirtier.

каналы на суше, в общем случае, грязнее.

That makes sense, right?

Логично, не так ли?

And the bigger circles are dirty. And I learned a few things from this.

Больше круг — грязнее вода. Из этой карты я сделал несколько выводов.

Number one: Never swim in anything that ends in "creek" or "canal."

Первое: никогда не купаться в том, что называется «сток» или «канал».

But number two: I also found the dirtiest waterway in New York City,

Второе: я также нашёл грязнейший водосток в Нью-Йорке.

by this measure, one measure.

Но только по этому параметру.

In Coney Island Creek, which is not the Coney Island you swim in, luckily.

В Кони-Айленд Крик — это не тот Кони-Айленд, где вы купаетесь, к счастью.

It's on the other side.

Это с другой стороны.

But Coney Island Creek, 94 percent of samples taken over the last five years

Но в Кони-Айленд Крик в 94% образцов, взятых за пять лет,

have had fecal levels so high

был настолько повышенный уровень экскрементов,

that it would be against state law to swim in the water.

что плавать там было просто незаконно.

And this is not the kind of fact that you're going to see

Подобными вещами не хвалятся

boasted in a city report, right?

в городских отчётах, верно?

It's not going to be the front page on nyc.gov.

Этого не будет на домашней странице nyc.gov.

You're not going to see it there,

Там вы этого не увидите,

but the fact that we can get to that data is awesome.

но то, что мы можем получить эти данные,— это очень круто.

But once again, it wasn't super easy,

Но опять же это было непросто,

because this data was not on the open data portal.

потому что этого не было на портале открытых данных.

If you were to go to the open data portal,

Если бы вы зашли на портал открытых данных,

you'd see just a snippet of it, a year or a few months.

вы бы увидели данные за год или за пару месяцев.

It was actually on the Department of Environmental Protection's website.

Полный массив находился на сайте Департамента охраны окружающей среды.

And each one of these links is an Excel sheet, and each Excel sheet is different.

И каждая из этих ссылок — лист Excel, все эти листы Excel — разные.

Every heading is different: you copy, paste, reorganize.

Разные заголовки, их приходится копировать, всё переделывать.

When you do you can make maps and that's great, but once again,

В итоге вы можете рисовать такие карты, и это хорошо,

we can do better than that as a city, we can normalize things.

но можно организовать это получше, стандартизировать форму.

And we're getting there, because there's this website that Socrata makes

И мы движемся в этом направлении, есть один сайт от Socrata,

«Портал открытых данных Нью-Йорка».

called the Open Data Portal NYC.

This is where 1,100 data sets that don't suffer

Это около 1 100 массивов данных без тех недостатков,

from the things I just told you live,

о которых я говорил.

and that number is growing, and that's great.

Сайт постоянно растёт, и это прекрасно.

You can download data in any format, be it CSV or PDF or Excel document.

Вы можете скачать данные в любом формате, будь то CSV, PDF или Excel.

Whatever you want, you can download the data that way.

Вы можете скачать всё, что захотите, в удобном формате.

The problem is, once you do,

Но даже тут есть одна проблема:

you will find that each agency codes their addresses differently.

каждое агенство по-разному кодирует адреса.

So one is street name, intersection street,

Где-то есть названия пересекающихся улиц,

street, borough, address, building, building address.

улица, боро, адрес, номер дома, адрес дома.

So once again, you're spending time, even when we have this portal,

И вы снова вынуждены тратить своё время, даже используя этот портал,

you're spending time normalizing our address fields.

вы тратите время, нормализуя данные в адресных полях.

And that's not the best use of our citizens' time.

Это не лучший способ использовать время горожан.

We can do better than that as a city.

Мы можем улучшить ситуацию.

We can standardize our addresses,

Мы можем стандартизировать адреса,

and if we do, we can get more maps like this.

и сделав это, мы получим больше таких карт.

This is a map of fire hydrants in New York City,

Это карта пожарных гидрантов Нью-Йорка,

but not just any fire hydrants.

но не всех подряд.

These are the top 250 grossing fire hydrants in terms of parking tickets.

Это 250 гидрантов, лидирующих по прибыли за счёт штрафов за неправильную парковку.

(Laughter)

(Смех)

So I learned a few things from this map, and I really like this map.

Я кое-что узнал благодаря этой карте, мне она очень нравится.

Number one, just don't park on the Upper East Side.

Первое: не паркуйтесь в Верхнем Ист-Сайде.

Just don't. It doesn't matter where you park, you will get a hydrant ticket.

Просто не надо. Не важно, где вы встали, вы заплатите за парковку у гидранта.

Number two, I found the two highest grossing hydrants in all of New York City,

Второе: есть два самых прибыльных гидранта во всем Нью-Йорке,

and they're on the Lower East Side,

они находятся в Нижнем Ист-Сайде

and they were bringing in over 55,000 dollars a year in parking tickets.

и собирают более 55 000 долларов в год в виде штрафов за парковку.

And that seemed a little strange to me when I noticed it,

Мне это показалось немного странным,

so I did a little digging and it turns out what you had is a hydrant

я копнул глубже и увидел вот что: гидрант на краю тротуара,

and then something called a curb extension,

потом расширение тротуара, что-то вроде

which is like a seven-foot space to walk on,

двухметровой полосы для пешеходов,

and then a parking spot.

а затем парковочные места.

And so these cars came along, and the hydrant --

Люди приезжали, видели гидрант... Думали:

"It's all the way over there, I'm fine,"

«Гидрант далеко, вон там, всё в порядке».

and there was actually a parking spot painted there beautifully for them.

И плюс ко всему, там была разметка, обозначающая парковочное место.

They would park there, and the NYPD disagreed with this designation

Люди парковались там, а полиция Нью-Йорка не соглашалась с этой разметкой

and would ticket them.

и штрафовала их.

And it wasn't just me who found a parking ticket.

И не только я видел эти штрафы за парковку.

This is the Google Street View car driving by

Вот машина Google Street View проезжает там

finding the same parking ticket.

и снимает тот же самый штраф.

So I wrote about this on my blog, on I Quant NY, and the DOT responded,

Я написал об этом в своём блоге I Quant NY, и мне ответили из Департамента транспорта,

and they said,

они написали:

"While the DOT has not received any complaints about this location,

«Хотя Департамент транспорта и не получал жалоб по поводу этого места,

we will review the roadway markings and make any appropriate alterations."

мы пересмотрим разметку и внесём необходимые изменения».

And I thought to myself, typical government response,

Я подумал: «Типичная государственная отписка».

all right, moved on with my life.

Ну и ладно, и забыл об этом.

But then, a few weeks later, something incredible happened.

Но спустя несколько недель случилось кое-что невообразимое.

They repainted the spot,

Они переделали разметку,

and for a second I thought I saw the future of open data,

и в тот момент я увидел будущее, эпоху открытых данных.

because think about what happened here.

Только подумайте, что произошло.

For five years, this spot was being ticketed, and it was confusing,

На протяжении пяти лет тут выписывали штрафы, разметка была неоднозначной,

and then a citizen found something, they told the city, and within a few weeks

а потом горожанин заметил это, сообщил городу, и в течение нескольких недель

the problem was fixed.

проблема была решена.

It's amazing. And a lot of people see open data as being a watchdog.

Потрясающе. Многие смотрят на открытые данные как на механизм контроля.

It's not, it's about being a partner.

Это не так, суть в партнёрстве.

We can empower our citizens to be better partners for government,

Мы даём гражданам возможность работать рука об руку с государством,

and it's not that hard.

и это не так уж сложно.

All we need are a few changes.

Всё, что нужно, — пара изменений.

If you're FOILing data,

Если вы предоставляете

if you're seeing your data being FOILed over and over again,

данные по запросу FOIL и видите, что их запрашивают постоянно,

let's release it to the public, that's a sign that it should be made public.

просто выложите их в общий доступ, вы ведь видите, что они востребованы.

And if you're a government agency releasing a PDF,

Если вы агентство, которое публикует PDF-файлы,

let's pass legislation that requires you to post it with the underlying data,

нужен закон, обязующий вас публиковать данные, лежащие в основе PDF-файлов,

because that data is coming from somewhere.

ведь вы получаете их каким-то образом.

I don't know where, but it's coming from somewhere,

Я не знаю откуда, но где-то вы их берёте, а значит,

and you can release it with the PDF.

можете опубликовать вместе с PDF-ками.

And let's adopt and share some open data standards.

Давайте примем и внедрим стандарты открытых данных.

Let's start with our addresses here in New York City.

Начнём с адресов в Нью-Йорке.

Let's just start normalizing our addresses.

Стандартизируем формат адреса.

Because New York is a leader in open data.

Нью-Йорк — лидер в области открытых данных.

Despite all this, we are absolutely a leader in open data,

Несмотря на всё это, мы лидеры в области открытых данных,

and if we start normalizing things, and set an open data standard,

и если мы займёмся нормализацией, стандартизацией открытых данных,

others will follow. The state will follow, and maybe the federal government,

нашему примеру последует и штат, и, может быть, федеральное правительство.

Other countries could follow,

За нами пойдут и другие страны,

and we're not that far off from a time where you could write one program

мы не так далеко от момента, когда кто-то сможет написать программу,

and map information from 100 countries.

наносящую на карту данные из 100 стран.

It's not science fiction. We're actually quite close.

Это не научная фантастика. Мы довольно-таки близко.

And by the way, who are we empowering with this?

Кстати, а кто всем этим занимается?

Because it's not just John Krauss and it's not just Chris Whong.

Это не только Джон Краусс и Крис Вонг.

There are hundreds of meetups going on in New York City right now,

В Нью-Йорке проходят сотни встреч,

оживлённых встреч.

active meetups.

Тысячи людей приходят на эти собрания.

There are thousands of people attending these meetups.

These people are going after work and on weekends,

Люди приходят после работы, на выходных,

они собираются, чтобы взглянуть на открытые данные

and they're attending these meetups to look at open data

and make our city a better place.

и сделать наш город лучше.

Groups like BetaNYC, who just last week released something called citygram.nyc

Есть группы вроде BetaNYC, которая недавно создала сайт www.citygram.nyc,

that allows you to subscribe to 311 complaints

где вы можете подписаться на жалобы в службу «3-1-1»

around your own home, or around your office.

рядом с домом или местом работы.

You put in your address, you get local complaints.

Ввóдите свой адрес и видите жалобы в окрестностях.

And it's not just the tech community that are after these things.

Этим занимаются не только технари.

It's urban planners like the students I teach at Pratt.

Градостроители, студенты, которых я учу в Институте Пратта.

It's policy advocates, it's everyone,

Правозащитники — да все подряд,

it's citizens from a diverse set of backgrounds.

горожане с самым разным опытом.

And with some small, incremental changes,

Путём небольших, постепенных изменений

we can unlock the passion and the ability of our citizens

мы можем разбудить страсть и дать горожанам возможность

to harness open data and make our city even better,

использовать открытые данные и улучшать наш город,

whether it's one dataset, or one parking spot at a time.

не важно, идёт речь о целом массиве данных или об одном парковочном месте.

Thank you.

Спасибо.

(Applause)

(Аплодисменты)