Ben Wellington: How we found the worst place to park in New York City — using big data

ベン・ウェリントン: ビックデータを使ったNYCでの最悪な駐車場の見つけ方

翻訳: Masako Kigami 校正: Claire Ghyselen

Six thousand miles of road,

道路なら６千マイル

600 miles of subway track,

地下鉄なら600マイル

400 miles of bike lanes

自転車専用道路なら400マイル

and a half a mile of tram track,

トラムウェイなら0.5マイル

if you've ever been to Roosevelt Island.

ルーズベルト島に行ったらわかりますね

These are the numbers that make up the infrastructure of New York City.

これはニューヨーク市(NYC)のインフラを表す数字です

These are the statistics of our infrastructure.

インフラを統計的にまとめ

They're the kind of numbers you can find released in reports by city agencies.

市の各部局が公表した報告書の数字です

For example, the Department of Transportation will probably tell you

例えば交通課では 保守管理した道路の距離を

how many miles of road they maintain.

報告するかもしれませんし

The MTA will boast how many miles of subway track there are.

都市交通局は誇らしげに地下鉄の路線の距離を 示すでしょう

Most city agencies give us statistics.

市の部局の大半が統計を使います

This is from a report this year

今年の報告書や

from the Taxi and Limousine Commission,

タクシー・リムジン委員会(TLC)によると

where we learn that there's about 13,500 taxis here in New York City.

ここNYCには約13,500台のタクシーがいます

Pretty interesting, right?

とても面白いでしょう？

But did you ever think about where these numbers came from?

でも これらの数字はどこから来たのでしょうか？

Because for these numbers to exist, someone at the city agency

こういう数字が存在するためには 市の職員の誰かがふと

had to stop and say, hmm, here's a number that somebody might want want to know.

「これは誰かが知りたがっている数字だ」と 気づかなければなりません

Here's a number that our citizens want to know.

これが市民が知りたがっている数字なのです

So they go back to their raw data,

そのため 加工していないデータを

they count, they add, they calculate,

数えたり 足したり 計算して

and then they put out reports,

報告書を発行するので

and those reports will have numbers like this.

報告書には このような数字があるのです

The problem is, how do they know all of our questions?

問題は 私たちが聞きたい質問をどのように知るのか？

We have lots of questions.

様々な質問があるのです

In fact, in some ways there's literally an infinite number of questions

実際ある意味では 市民には文字通り

that we can ask about our city.

市に関する質問が無数にあり

The agencies can never keep up.

各部局は対応しきれません

So the paradigm isn't exactly working, and I think our policymakers realize that,

パラダイムは上手く機能しておらず 政治家もそれに気付いていると思います

because in 2012, Mayor Bloomberg signed into law what he called

2012年ブルームバーグ市長は アメリカで最も熱望され

the most ambitious and comprehensive open data legislation in the country.

包括的なオープンデータ法案を 成立させたからです

In a lot of ways, he's right.

多くの意味で市長は正しいのです

In the last two years, the city has released 1,000 datasets

過去２年間NYCは オープンデータポータルのデータセットを

on our open data portal,

1,000件公表しました

and it's pretty awesome.

物凄いことですよね

So you go and look at data like this,

だから タクシーの数を数えなくても

and instead of just counting the number of cabs,

このようにデータを見られるので

we can start to ask different questions.

違う質問もできるのです

So I had a question.

そこで 私は質問しました

When's rush hour in New York City?

NYCのラッシュアワーはいつ？

It can be pretty bothersome. When is rush hour exactly?

厄介ですよね 正確なラッシュアワーの時間帯は？

And I thought to myself, these cabs aren't just numbers,

私はタクシーがただの数字 ではないと考えたのです

these are GPS recorders driving around in our city streets

市内の路上を走り回る GPSレコーダーであり

recording each and every ride they take.

乗客を乗せる度に記録しています

There's data there, and I looked at that data,

そこにデータがあるのです 私はそのデータを調べて

and I made a plot of the average speed of taxis in New York City throughout the day.

１日のNYCのタクシーの 平均スピードを策定しました

You can see that from about midnight to around 5:18 in the morning,

ご覧のとおり 真夜中から朝の5時18分まで

speed increases, and at that point, things turn around,

スピードは速くなり そこからスピードが落ちていきます

and they get slower and slower and slower until about 8:35 in the morning,

だんだん遅くなり 朝の8時35分には

when they end up at around 11 and a half miles per hour.

時速11.5マイルになります

The average taxi is going 11 and a half miles per hour on our city streets,

路上を走る平均的なタクシーのスピードは 時速11.5マイルです

and it turns out it stays that way

日中の時速は変わらないのです

for the entire day.

日中の時速は変わらないのです

(Laughter)

(笑)

So I said to myself, I guess there's no rush hour in New York City.

私はNYCにラッシュアワーが ないのだと思いました

There's just a rush day.

ただラッシュデイがあるのです

Makes sense. And this is important for a couple of reasons.

なるほど これは２つの理由で重要です

If you're a transportation planner, this might be pretty interesting to know.

あなたが交通プランナーなら とても知りたいかもしれませんよね

But if you want to get somewhere quickly,

どこかに早く着きたければ

you now know to set your alarm for 4:45 in the morning and you're all set.

目覚まし時計を 朝の4時45分にセットすればいいのです

New York, right?

NYのことですよ

But there's a story behind this data.

でも このデータには裏話があります

This data wasn't just available, it turns out.

こんなデータは 入手できなかったのです

It actually came from something called a Freedom of Information Law Request,

実際 出所は情報公開法による請求でした

or a FOIL Request.

実際 出所は情報公開法による請求でした

This is a form you can find on the Taxi and Limousine Commission website.

これはTLCのホームページにあるフォームです

In order to access this data, you need to go get this form,

データにアクセスするため このフォームをダウンロードして

fill it out, and they will notify you,

記入すると 情報が得られます

and a guy named Chris Whong did exactly that.

クリス・ウォンという男性が それをしました

Chris went down, and they told him,

クリスが行くと 新品のハードディスクを

"Just bring a brand new hard drive down to our office,

事務所に持って来るよう 職員から言われました

leave it here for five hours, we'll copy the data and you take it back."

「５時間後にデータをコピーしてお返しします」

And that's where this data came from.

そうやってこのデータを取得したのです

Now, Chris is the kind of guy who wants to make the data public,

さて クリスはデータを公表するタイプなので

and so it ended up online for all to use, and that's where this graph came from.

ネット上で誰でも利用できるようにしました そうやってこのグラフが作られました

And the fact that it exists is amazing. These GPS recorders -- really cool.

存在自体が驚きですね GPSレコーダーの記録 すごいです

But the fact that we have citizens walking around with hard drives

ではデータを公表するために 役所にハードディスクを持って行き

picking up data from city agencies to make it public --

データを受取る市民がいるという事実はどうでしょう

it was already kind of public, you could get to it,

もともと公的データで 得られてしかるべきものでした

but it was "public," it wasn't public.

「公」のデータでしたが 非公開でした

And we can do better than that as a city.

市として もっと上手いやり方があります

We don't need our citizens walking around with hard drives.

市民がハードディスクを 持って歩かなくてもいいのです

Now, not every dataset is behind a FOIL Request.

情報公開で得られないデータセットもあります

Here is a map I made with the most dangerous intersections in New York City

これは自転車事故に基づいて作成した

based on cyclist accidents.

NYCで最も危険な交差点の地図です

So the red areas are more dangerous.

赤のエリアはより危険です

And what it shows is first the East side of Manhattan,

地図によると まずマンハッタンの東側

especially in the lower area of Manhattan, has more cyclist accidents.

特にロワー・マンハッタン地域で 自転車事故が多発しています

That might make sense

多くのサイクリストが

because there are more cyclists coming off the bridges there.

そこで橋を渡ってくるので 納得できますよね

But there's other hotspots worth studying.

しかし他の危険地域も調査の価値ありです

There's Williamsburg. There's Roosevelt Avenue in Queens.

ウィリアムズバーグと クイーンズ州ルーズベルト・アベニューです

And this is exactly the kind of data we need for Vision Zero.

これこそが ビジョン・ゼロに求めるデータで

This is exactly what we're looking for.

まさに 私たちが探し求めているものです

But there's a story behind this data as well.

しかし このデータを入手するにも

This data didn't just appear.

工夫が必要だったのです

How many of you guys know this logo?

このロゴを知っている人は？

Yeah, I see some shakes.

何人か手を上げていますね

Have you ever tried to copy and paste data out of a PDF

PDFをコピー・ペーストして 文書を作成しようと

and make sense of it?

したことがありますか？

I see more shakes.

更に手が上がりました

More of you tried copying and pasting than knew the logo. I like that.

ロゴを知らなくてもコピー・ペーストしてみる いいですね

So what happened is, the data that you just saw was actually on a PDF.

つまり お見せしたのは PDFだったのです

In fact, hundreds and hundreds and hundreds of pages of PDF

実際 物凄い数のPDFを ニューヨーク市警は公開しました

put out by our very own NYPD,

実際 物凄い数のPDFを ニューヨーク市警は公開しました

and in order to access it, you would either have to copy and paste

それにアクセスする方法は 物凄い時間をかけて

for hundreds and hundreds of hours,

コピー・ペーストするか

or you could be John Krauss.

ジョン・クラウスのようにするかです

John Krauss was like,

ジョン・クラウスは

I'm not going to copy and paste this data. I'm going to write a program.

ニューヨーク市警クラッシュデータ・バンドエイド というプログラムを書き

It's called the NYPD Crash Data Band-Aid,

コピー・ペーストを不要にしました

and it goes to the NYPD's website and it would download PDFs.

ニューヨーク市警のホームページから PDFをダウンロードします

Every day it would search; if it found a PDF, it would download it

データを収集するプログラムを実行し

and then it would run some PDF-scraping program,

PDFの保護を解除するプログラムを実行し

and out would come the text,

編集できるテキストに戻し

and it would go on the Internet, and then people could make maps like that.

ネット上に上げるのです だから誰でも地図も作れるのです

And the fact that the data's here, the fact that we have access to it --

ここにデータがあり それにアクセスできるのです

Every accident, by the way, is a row in this table.

ところで この表では 事故毎に一列になっています

You can imagine how many PDFs that is.

PDFの量はどのくらいだと思いますか

The fact that we have access to that is great,

アクセスできることは素晴らしいのですが

but let's not release it in PDF form,

PDF以外にして欲しいものです

because then we're having our citizens write PDF scrapers.

市民がデータ読み取りプログラムを 書くはめになるからです

It's not the best use of our citizens' time,

市民は時間の有効利用できませんし

and we as a city can do better than that.

市として もっと良くやれるのです

Now, the good news is that the de Blasio administration

さて 良いニュースは デブラシオの行政が数か月前に

actually recently released this data a few months ago,

このデータを公表したことで

and so now we can actually have access to it,

私たちはアクセスできるようになりました

but there's a lot of data still entombed in PDF.

しかしまだ 多くのデータがPDFのままです

For example, our crime data is still only available in PDF.

例えば 犯罪データはPDFしかありません

And not just our crime data, our own city budget.

また犯罪データだけでなく 市の予算もです

Our city budget is only readable right now in PDF form.

市の予算はPDFでしか読めません

And it's not just us that can't analyze it --

私たちがデータ分析を出来ないだけでなく

our own legislators who vote for the budget

予算に賛成票を投じる議員も

also only get it in PDF.

PDFしか使えません

So our legislators cannot analyze the budget that they are voting for.

そのため 議員は賛成する 予算の分析できないのです

And I think as a city we can do a little better than that as well.

市の行政として 私たちはそれよりも少しましだと思うのです

Now, there's a lot of data that's not hidden in PDFs.

さて PDFではないデータもたくさんあります

This is an example of a map I made,

私の作った地図を例にとると

and this is the dirtiest waterways in New York City.

これはNYCで一番汚い河川です

Now, how do I measure dirty?

どうやって汚さを測るのか？

Well, it's kind of a little weird,

ちょっと変なんですけど

but I looked at the level of fecal coliform,

糞便性大腸菌のレベルを

which is a measurement of fecal matter in each of our waterways.

つまり 河川ごとの糞便物質の指標を調べました

The larger the circle, the dirtier the water,

円が大きいほど 水が汚れているのです

so the large circles are dirty water, the small circles are cleaner.

大きな円が汚水で 小さな円がきれいな水です

What you see is inland waterways.

ご覧のものは 陸地の河川です

This is all data that was sampled by the city over the last five years.

これは過去５年間に 市が採取した全データなのです

And inland waterways are, in general, dirtier.

陸地の河川は一般的により汚いのです

That makes sense, right?

納得ですか？

And the bigger circles are dirty. And I learned a few things from this.

より大きな円は汚いのです こんなことがわかります

Number one: Never swim in anything that ends in "creek" or "canal."

その１： 河口で泳がないこと

But number two: I also found the dirtiest waterway in New York City,

その２： NYCに一番汚い河川があること

by this measure, one measure.

が測定から判明しました

In Coney Island Creek, which is not the Coney Island you swim in, luckily.

コニー・アイランド・クリークです コニーアイランドの海水浴場ではなく

It's on the other side.

対岸です

But Coney Island Creek, 94 percent of samples taken over the last five years

しかし ５年間に渡り コニー・アイランド・クリークで採取した試料の94％では

have had fecal levels so high

糞便性大腸菌のレベルがとても高く

that it would be against state law to swim in the water.

河川で泳ぐことは州法に触れます

And this is not the kind of fact that you're going to see

市の報告書で強調されるような

boasted in a city report, right?

成果とは言えませんね

It's not going to be the front page on nyc.gov.

nyc.govのトップ・ページに載ったりもしません

You're not going to see it there,

そうやって見せようとしていなくても

but the fact that we can get to that data is awesome.

そういうデータに到達したことが凄いのです

But once again, it wasn't super easy,

でも データがオープン・データ・ポータルに

because this data was not on the open data portal.

掲載されていなかったので 超簡単とは言えませんでした

If you were to go to the open data portal,

オープン・データ・ポータルで探しても

you'd see just a snippet of it, a year or a few months.

部分的な数か月か１年分しか見つかりません

It was actually on the Department of Environmental Protection's website.

実際 環境保護課のホームページにありました

And each one of these links is an Excel sheet, and each Excel sheet is different.

リンクは全てエクセルで 全て違う形式でした

Every heading is different: you copy, paste, reorganize.

見出しも全て違うので コピー・ペーストして 編集します

When you do you can make maps and that's great, but once again,

それでようやく 地図が作れます 素晴らしいことですが ここでもまた

we can do better than that as a city, we can normalize things.

市としてはもっと上手なやり方があり 標準化できるのです

And we're getting there, because there's this website that Socrata makes

Socrata のオープンデータポータルNYC というホームページで

called the Open Data Portal NYC.

目的を果たせそうです

This is where 1,100 data sets that don't suffer

ここにある1100個のデータセットは 今話したような問題がなく

from the things I just told you live,

ここにある1100個のデータセットは 今話したような問題がなく

and that number is growing, and that's great.

その数が増えていくのは 素晴らしいことです

You can download data in any format, be it CSV or PDF or Excel document.

CSV､PDF､エクセルなどに データをダウンロードできるのです

Whatever you want, you can download the data that way.

どんなデータであれ ダウンロードできるのです

The problem is, once you do,

問題は ダウンロードする時

you will find that each agency codes their addresses differently.

部署ごとに住所の切れ目がバラバラなことです

So one is street name, intersection street,

街路名､交差点の通り、通り、区

street, borough, address, building, building address.

住所、建物、建物の住所などです

So once again, you're spending time, even when we have this portal,

だから このポータルを使ってもまだ 時間がかかるのです

you're spending time normalizing our address fields.

住所のフィールドを標準化するのに 時間をかけるので

And that's not the best use of our citizens' time.

市民の時間の 有効活用になりません

We can do better than that as a city.

私たちは市として上手にできるのです

We can standardize our addresses,

私たちは住所を標準化できます

and if we do, we can get more maps like this.

そうすれば こんな地図がもっと増えます

This is a map of fire hydrants in New York City,

これはNYCの消火栓の地図ですが

but not just any fire hydrants.

ただの消火栓ではないのです

These are the top 250 grossing fire hydrants in terms of parking tickets.

駐車違反切符に関して トップ250の消火栓なのです

(Laughter)

(笑)

So I learned a few things from this map, and I really like this map.

この地図には学べることがあったので 私のお気に入りです

Number one, just don't park on the Upper East Side.

その１ アッパー・イースト・サイドに駐車しないこと

Just don't. It doesn't matter where you park, you will get a hydrant ticket.

だめですよ どこに駐車しても 消火栓の違反切符をもらいますよ

Number two, I found the two highest grossing hydrants in all of New York City,

その２ NYCの中で上位２位の消火栓を特定しました

and they're on the Lower East Side,

ロワー・イースト・サイドにあり

and they were bringing in over 55,000 dollars a year in parking tickets.

駐車違反切符で年間55,000ドルを超える 収益を上げていました

And that seemed a little strange to me when I noticed it,

そのことに気付いた時 私はちょっと変な感じがしました

so I did a little digging and it turns out what you had is a hydrant

ちょっと調べて分かったのですが 消火栓があって

and then something called a curb extension,

脇に縁石に囲まれた路側帯があります

which is like a seven-foot space to walk on,

幅7フィートで歩ける場所です

and then a parking spot.

駐車する場所はその隣です

And so these cars came along, and the hydrant --

だから 駐車する車が現れても 消火栓がずっと

"It's all the way over there, I'm fine,"

向こうにあるので 大丈夫と思うのです

and there was actually a parking spot painted there beautifully for them.

実際 駐車スペースはきれいに塗ってあります

They would park there, and the NYPD disagreed with this designation

そこに駐車すると ニューヨーク市警はこれは困ると

and would ticket them.

違反切符を貼るのです

And it wasn't just me who found a parking ticket.

駐車違反切符を見つけたのは 私だけではありません

This is the Google Street View car driving by

Googleストリート・ビューカーも

finding the same parking ticket.

駐車違反切符を撮影していたのです

So I wrote about this on my blog, on I Quant NY, and the DOT responded,

私が I Quant NYというブログに このことを書くと 交通課が

and they said,

回答を寄せました

"While the DOT has not received any complaints about this location,

「この場所について 交通課は 苦情を言われたことはありませんが

we will review the roadway markings and make any appropriate alterations."

道路標示を検討し 適切なものに変更します」

And I thought to myself, typical government response,

定型的な行政の反応だと 私は内心思いました

all right, moved on with my life.

半ば諦めてもいたのです

But then, a few weeks later, something incredible happened.

数週間後 信じられないようなことが 起こりました

They repainted the spot,

交通課はその場所を塗り直しました

and for a second I thought I saw the future of open data,

一瞬 私はオープンデータの 未来を見たと思いました

because think about what happened here.

ここで起きたことを考えてみてください

For five years, this spot was being ticketed, and it was confusing,

５年間 この場所は 駐車違反切符でだらけでした

and then a citizen found something, they told the city, and within a few weeks

市民が何かを見つけ 市に話すと 数週間以内に

the problem was fixed.

問題が解決したのです

It's amazing. And a lot of people see open data as being a watchdog.

素晴らしい 多くの人がオープンデータが番犬になると考えますが

It's not, it's about being a partner.

むしろパートナーと見るべきなのです

We can empower our citizens to be better partners for government,

市民に行政のより良いパートナーになる 力を与えます

and it's not that hard.

そんなに難しいことではありません

All we need are a few changes.

必要なのは 少しの変化です

If you're FOILing data,

公開要請のデータがあり

if you're seeing your data being FOILed over and over again,

何度となく公開を求められるなら

let's release it to the public, that's a sign that it should be made public.

データを公開しましょう それは公開すべきという合図なのです

And if you're a government agency releasing a PDF,

そして PDFを公開する部局のみなさん

let's pass legislation that requires you to post it with the underlying data,

基礎資料をデータと一緒に掲載する 規則にしてください

because that data is coming from somewhere.

そのデータは どこかから来ているからです

I don't know where, but it's coming from somewhere,

どこかは分かりませんが どこかから来ているのです

and you can release it with the PDF.

それをPDFと共に公開できるのです

And let's adopt and share some open data standards.

そしてオープンデータの基準を 採用し共有しましょう

Let's start with our addresses here in New York City.

ここNYCの住所から始めましょう

Let's just start normalizing our addresses.

まず住所を標準化することから 始めるのです

Because New York is a leader in open data.

NYはオープンデータのリーダーだからです

Despite all this, we are absolutely a leader in open data,

問題があっても オープンデータの 絶対的なリーダーです

and if we start normalizing things, and set an open data standard,

標準化に着手し オープンデータの基準を作るなら

others will follow. The state will follow, and maybe the federal government,

自治体も州も おそらく連邦政府も倣うでしょう

Other countries could follow,

他国も倣うかもしれません

and we're not that far off from a time where you could write one program

プログラムや100か国の地図情報を 書いた時から

and map information from 100 countries.

そんなに時間が経っていないのです

It's not science fiction. We're actually quite close.

SFではありません 実際つい最近のことです

And by the way, who are we empowering with this?

ところで これにより得するのは誰でしょう？

Because it's not just John Krauss and it's not just Chris Whong.

ジョン・クラウスや クリス・ウォンだけではありません

There are hundreds of meetups going on in New York City right now,

NYCでは現在 何百もの

active meetups.

活発な会合があります

There are thousands of people attending these meetups.

それらの会合に何千人が出席します

These people are going after work and on weekends,

彼らは仕事の後や週末に集まります

and they're attending these meetups to look at open data

オープンデータを調べ 都市をより住みやすくするために

and make our city a better place.

会合に参加するのです

Groups like BetaNYC, who just last week released something called citygram.nyc

BetaNYCのような団体は先週 citygram.nycを公表し

that allows you to subscribe to 311 complaints

自宅や職場に関する311への苦情の

around your own home, or around your office.

定期購読を可能にしました

You put in your address, you get local complaints.

住所を入力し 地元の苦情を検索します

And it's not just the tech community that are after these things.

これらの情報を求めているのは 技術者コミュニティーだけではありません

It's urban planners like the students I teach at Pratt.

私がプラットで教えている学生の 都市プランナーも

It's policy advocates, it's everyone,

政策支持者も 皆もです

it's citizens from a diverse set of backgrounds.

様々な背景の市民もです

And with some small, incremental changes,

小さな変化の積み重ねで

we can unlock the passion and the ability of our citizens

オープンデータを利用し より良い都市を作るため

to harness open data and make our city even better,

市民の情熱や能力を解き放つのです

whether it's one dataset, or one parking spot at a time.

変化は１つのデータセットや１か所の駐車場からです

Thank you.

ありがとう

(Applause)

(拍手)