What we learned from 5 million books

236,062 views ・ 2011-09-20

TED


Будь ласка, двічі клацніть на англійські субтитри нижче, щоб відтворити відео.

Перекладач: Inna Kravchenko Утверджено: Kato Despati
00:15
Erez Lieberman Aiden: Everyone knows
0
15260
2000
Ерез Ліберман Айден: Усі знають,
00:17
that a picture is worth a thousand words.
1
17260
3000
що зображення варте тисячі слів.
00:22
But we at Harvard
2
22260
2000
Але ми у Гарварді
00:24
were wondering if this was really true.
3
24260
3000
сумнівалися, чи це є правдою.
00:27
(Laughter)
4
27260
2000
(Сміх)
00:29
So we assembled a team of experts,
5
29260
4000
Тому ми зібрали команду експертів
00:33
spanning Harvard, MIT,
6
33260
2000
з Гарварду, МТІ,
00:35
The American Heritage Dictionary, The Encyclopedia Britannica
7
35260
3000
Словника Американської Спадщини, Енциклопедії Британіка,
00:38
and even our proud sponsors,
8
38260
2000
та навіть нашого величного спонсора
00:40
the Google.
9
40260
3000
Google.
00:43
And we cogitated about this
10
43260
2000
Ми обмірковували це
00:45
for about four years.
11
45260
2000
приблизно чотири роки.
00:47
And we came to a startling conclusion.
12
47260
5000
І ми дійшли до вражаючого висновку.
00:52
Ladies and gentlemen, a picture is not worth a thousand words.
13
52260
3000
Леді та джентельмени, зображення не варте тисячі слів.
00:55
In fact, we found some pictures
14
55260
2000
Направду, ми знайшли певні зображення,
00:57
that are worth 500 billion words.
15
57260
5000
що варті більше 500 мільярдів слів.
01:02
Jean-Baptiste Michel: So how did we get to this conclusion?
16
62260
2000
Жан-Баптист Мішель: То як ми зробили такий висновок?
01:04
So Erez and I were thinking about ways
17
64260
2000
Ерез та я обмірковували те,
01:06
to get a big picture of human culture
18
66260
2000
як отримати загальний план людської культури та історії:
01:08
and human history: change over time.
19
68260
3000
що змінюється з плином часу.
01:11
So many books actually have been written over the years.
20
71260
2000
Так багато книг було написано за довгі роки.
01:13
So we were thinking, well the best way to learn from them
21
73260
2000
Тож ми вважали, що найкращий шлях вивчити їх -
01:15
is to read all of these millions of books.
22
75260
2000
це прочитати всі ці мільйони книг.
01:17
Now of course, if there's a scale for how awesome that is,
23
77260
3000
Звичайно, якби була така шкала, щоб показати наскільки це круто
01:20
that has to rank extremely, extremely high.
24
80260
3000
то це було б вийнятково, виключно круто
01:23
Now the problem is there's an X-axis for that,
25
83260
2000
Проблема в тому, що існує вісь Х,
01:25
which is the practical axis.
26
85260
2000
практична вісь.
01:27
This is very, very low.
27
87260
2000
Це дуже, дуже низько.
01:29
(Applause)
28
89260
3000
(Аплодисменти)
01:32
Now people tend to use an alternative approach,
29
92260
3000
Тепер люди мають тенденцію використовувати альтернативний підхід -
01:35
which is to take a few sources and read them very carefully.
30
95260
2000
взяти декілька джерел та дуже ретельно їх прочитати.
01:37
This is extremely practical, but not so awesome.
31
97260
2000
Це дуже практично, але не так круто.
01:39
What you really want to do
32
99260
3000
Чого насправді хочеться
01:42
is to get to the awesome yet practical part of this space.
33
102260
3000
дістатися практичної, але крутої частини цього простору.
01:45
So it turns out there was a company across the river called Google
34
105260
3000
Виявляється, навпроти, через річку, є компанія Google,
01:48
who had started a digitization project a few years back
35
108260
2000
яка кілька років тому розпочала проект оцифровки,
01:50
that might just enable this approach.
36
110260
2000
що може дозволити такий підхід.
01:52
They have digitized millions of books.
37
112260
2000
Вони оцифрували мільйони книг.
01:54
So what that means is, one could use computational methods
38
114260
3000
Це значить, що можна використовувати обчислювальні методи
01:57
to read all of the books in a click of a button.
39
117260
2000
для того, щоб прочитати всі ці книги одним натисненням кнопки.
01:59
That's very practical and extremely awesome.
40
119260
3000
Це дуже практично і неймовірно круто.
02:03
ELA: Let me tell you a little bit about where books come from.
41
123260
2000
Ела: Давайте я розповім про походження книг.
02:05
Since time immemorial, there have been authors.
42
125260
3000
З незапам'ятних часів були автори.
02:08
These authors have been striving to write books.
43
128260
3000
Ці автори прагнули писати книги.
02:11
And this became considerably easier
44
131260
2000
І це стало значно простіше
02:13
with the development of the printing press some centuries ago.
45
133260
2000
з розвитком друкарства кілька століть тому.
02:15
Since then, the authors have won
46
135260
3000
З тих пір, автори перемогли
02:18
on 129 million distinct occasions,
47
138260
2000
у 129 мільйонів різних випадків
02:20
publishing books.
48
140260
2000
видання книг.
02:22
Now if those books are not lost to history,
49
142260
2000
Якщо ці книги не канули в історію,
02:24
then they are somewhere in a library,
50
144260
2000
вони зберігаються десь в якійсь бібліотеці,
02:26
and many of those books have been getting retrieved from the libraries
51
146260
3000
і більшість з цих книг беруться з бібліотек
02:29
and digitized by Google,
52
149260
2000
та оцифровуються компанією Google,
02:31
which has scanned 15 million books to date.
53
151260
2000
яка на сьогоднішній день відсканувала 15 мільйонів книг.
02:33
Now when Google digitizes a book, they put it into a really nice format.
54
153260
3000
Коли компанія Google оцифровує книгу, вони зберігають її у дуже зручному форматі.
02:36
Now we've got the data, plus we have metadata.
55
156260
2000
У нас є дані та метадані.
02:38
We have information about things like where was it published,
56
158260
3000
У нас є інформація про такі речі, де це було опубліковано,
02:41
who was the author, when was it published.
57
161260
2000
хто автор книги, коли відбулася публікація.
02:43
And what we do is go through all of those records
58
163260
3000
Ми пройшлись по усім цим записам,
02:46
and exclude everything that's not the highest quality data.
59
166260
4000
та виключили всі, окрім даних найкращої якості.
02:50
What we're left with
60
170260
2000
Таким чином,
02:52
is a collection of five million books,
61
172260
3000
залишилась колекція з 5 мільйонів книг,
02:55
500 billion words,
62
175260
3000
500 мільярдів слів,
02:58
a string of characters a thousand times longer
63
178260
2000
рядок символів у тисячу разів довший
03:00
than the human genome --
64
180260
3000
ніж геном людини -
03:03
a text which, when written out,
65
183260
2000
якщо написати цей текст,
03:05
would stretch from here to the Moon and back
66
185260
2000
він простягнеться до Місяця та назад
03:07
10 times over --
67
187260
2000
10 разів -
03:09
a veritable shard of our cultural genome.
68
189260
4000
справжній уламок нашого культурного геному.
03:13
Of course what we did
69
193260
2000
Звісно, ми зробили,
03:15
when faced with such outrageous hyperbole ...
70
195260
3000
коли зіштовхнулися з такою обурливою гіперболою ...
03:18
(Laughter)
71
198260
2000
(Сміх)
03:20
was what any self-respecting researchers
72
200260
3000
те, що зробив би будь-який
03:23
would have done.
73
203260
3000
поважаючий себе вчений.
03:26
We took a page out of XKCD,
74
206260
2000
Ми взяли сторінку з XKСD
03:28
and we said, "Stand back.
75
208260
2000
та сказали: "Відійдіть,
03:30
We're going to try science."
76
210260
2000
ми збираємося зайнятися наукою".
03:32
(Laughter)
77
212260
2000
(Сміх)
03:34
JM: Now of course, we were thinking,
78
214260
2000
ЖМ: Звісно, ми подумали,
03:36
well let's just first put the data out there
79
216260
2000
що ж, давайте спочатку викладемо дані
03:38
for people to do science to it.
80
218260
2000
для людей, що опрацюють їх науково.
03:40
Now we're thinking, what data can we release?
81
220260
2000
Тож ми подумали, які дані ми можемо опублікувати?
03:42
Well of course, you want to take the books
82
222260
2000
Звісно, хотілося взяти
03:44
and release the full text of these five million books.
83
224260
2000
та видати усі тексти цих пяти мільйонів книг.
03:46
Now Google, and Jon Orwant in particular,
84
226260
2000
Google та особоливо Джон Орвант
03:48
told us a little equation that we should learn.
85
228260
2000
навчили нас невеликому рівнянню.
03:50
So you have five million, that is, five million authors
86
230260
3000
Отже, є п'ять мільйонів книг - це п'ять мільйонів авторів
03:53
and five million plaintiffs is a massive lawsuit.
87
233260
3000
та п'ять мільйонів позивачів - це величезна судова тяганина.
03:56
So, although that would be really, really awesome,
88
236260
2000
І, хоча це було б просто неймовірно круто,
03:58
again, that's extremely, extremely impractical.
89
238260
3000
знову ж таки, це дуже, просто нереально непрактично.
04:01
(Laughter)
90
241260
2000
(Сміх)
04:03
Now again, we kind of caved in,
91
243260
2000
Що ж, ми здається як піддалися
04:05
and we did the very practical approach, which was a bit less awesome.
92
245260
3000
та підійшли до справи дуже практично, хоча й не так круто.
04:08
We said, well instead of releasing the full text,
93
248260
2000
Ми сказали, що замість публікації повних текстів,
04:10
we're going to release statistics about the books.
94
250260
2000
ми опублікуємо статистику про книги.
04:12
So take for instance "A gleam of happiness."
95
252260
2000
Візьмемо, для прикладу, «A gleam of happiness».
04:14
It's four words; we call that a four-gram.
96
254260
2000
Ці чотири слова ми називаємо four-gram.
04:16
We're going to tell you how many times a particular four-gram
97
256260
2000
Ми повідомимо вам, як часто цей конкретний four-gram
04:18
appeared in books in 1801, 1802, 1803,
98
258260
2000
з'являється в книгах у 1801, 1802, 1803,
04:20
all the way up to 2008.
99
260260
2000
і так далі аж до 2008.
04:22
That gives us a time series
100
262260
2000
Це дає нам часовий ряд
04:24
of how frequently this particular sentence was used over time.
101
264260
2000
частоти використання даної фрази впродовж часу.
04:26
We do that for all the words and phrases that appear in those books,
102
266260
3000
Ми робимо це для усіх слів та фраз, що з'являються у цих книгах,
04:29
and that gives us a big table of two billion lines
103
269260
3000
і це дає нам велику таблицю з двох мільярдів рядків,
04:32
that tell us about the way culture has been changing.
104
272260
2000
які говорять нам, яким чином змінювалась культура.
04:34
ELA: So those two billion lines,
105
274260
2000
ЕЛА: Ці два мільярди рядків,
04:36
we call them two billion n-grams.
106
276260
2000
ми називаємо їх два мільярди n-gram.
04:38
What do they tell us?
107
278260
2000
Що вони нам говорять?
04:40
Well the individual n-grams measure cultural trends.
108
280260
2000
Окремі n-gram'и вимірюють культурні тенденції.
04:42
Let me give you an example.
109
282260
2000
Дозвольте навести приклад.
04:44
Let's suppose that I am thriving,
110
284260
2000
Давайте припустимо, що я процвітаю,
04:46
then tomorrow I want to tell you about how well I did.
111
286260
2000
і завтра хочу розповісти вам, як мені було добре.
04:48
And so I might say, "Yesterday, I throve."
112
288260
3000
Я можу сказати: "Учора я процвітав [throve]".
04:51
Alternatively, I could say, "Yesterday, I thrived."
113
291260
3000
Крім того, я можу сказати: "Учора я процвітав [thrived]".
04:54
Well which one should I use?
114
294260
3000
Який варіант мені використовувати?
04:57
How to know?
115
297260
2000
Як дізнатися?
04:59
As of about six months ago,
116
299260
2000
Приблизно шість місяців тому,
05:01
the state of the art in this field
117
301260
2000
стан справ у цій області
05:03
is that you would, for instance,
118
303260
2000
був таким, що можна було, наприклад,
05:05
go up to the following psychologist with fabulous hair,
119
305260
2000
підійти до психолога з приголомшливою зачіскою
05:07
and you'd say,
120
307260
2000
та запитати:
05:09
"Steve, you're an expert on the irregular verbs.
121
309260
3000
"Стів, ти експерт з неправильних дієслів.
05:12
What should I do?"
122
312260
2000
Що мені робити?"
05:14
And he'd tell you, "Well most people say thrived,
123
314260
2000
А він би відповів: "Більшість людей сказали б процвітав [thrive],
05:16
but some people say throve."
124
316260
3000
та лише деякі скажуть процвітав [throve]".
05:19
And you also knew, more or less,
125
319260
2000
Як більш-менш відомо,
05:21
that if you were to go back in time 200 years
126
321260
3000
якщо повернутися на 200 років тому назад,
05:24
and ask the following statesman with equally fabulous hair,
127
324260
3000
та запитати ось цього політика з не менш приголомшливою зачіскою,
05:27
(Laughter)
128
327260
3000
(Сміх)
05:30
"Tom, what should I say?"
129
330260
2000
"Том, як мені потрібно говорити?"
05:32
He'd say, "Well, in my day, most people throve,
130
332260
2000
Він би відповів: "У мої часи більшість людей процвітала [throve],
05:34
but some thrived."
131
334260
3000
але деякі з них процвітали [thrived]".
05:37
So now what I'm just going to show you is raw data.
132
337260
2000
Я покажу вам неопрацьовані дані.
05:39
Two rows from this table of two billion entries.
133
339260
4000
Два рядки з таблиці в два мільярди рядків.
05:43
What you're seeing is year by year frequency
134
343260
2000
Тут показана, частота слів
05:45
of "thrived" and "throve" over time.
135
345260
3000
"процвітав" [thrived] та "процвітав" [throve] протягом часу.
05:49
Now this is just two
136
349260
2000
І це лише два рядки
05:51
out of two billion rows.
137
351260
3000
з двох мільярдів.
05:54
So the entire data set
138
354260
2000
Весь набір даних
05:56
is a billion times more awesome than this slide.
139
356260
3000
в мільярд разів дивовижніший, ніж цей слайд.
05:59
(Laughter)
140
359260
2000
(Сміх)
06:01
(Applause)
141
361260
4000
(Аплодисменти)
06:05
JM: Now there are many other pictures that are worth 500 billion words.
142
365260
2000
ЖМ: Існує багато інших картинок, котрі вартують 500 мільярдів слів.
06:07
For instance, this one.
143
367260
2000
Наприклад, ось ця.
06:09
If you just take influenza,
144
369260
2000
Якщо взяти грипп,
06:11
you will see peaks at the time where you knew
145
371260
2000
ви побачите піки на той час,
06:13
big flu epidemics were killing people around the globe.
146
373260
3000
коли епідемії грипу вбивали людей по всьому світу.
06:16
ELA: If you were not yet convinced,
147
376260
3000
ЕЛА: Якщо ви досі не переконані,
06:19
sea levels are rising,
148
379260
2000
рівень моря піднімається,
06:21
so is atmospheric CO2 and global temperature.
149
381260
3000
а також вміст СО2 в атмосфері та глобальна температура.
06:24
JM: You might also want to have a look at this particular n-gram,
150
384260
3000
ЖМ: А також можна подивитись на оць цю N-граму,
06:27
and that's to tell Nietzsche that God is not dead,
151
387260
3000
та сказати Ніцше, що Бог не мертвий,
06:30
although you might agree that he might need a better publicist.
152
390260
3000
хоча можна погодитись, що йому потрібен кращий публіцист.
06:33
(Laughter)
153
393260
2000
(Сміх)
06:35
ELA: You can get at some pretty abstract concepts with this sort of thing.
154
395260
3000
ЕЛА: За допомогою цих речей ви можете отримати певні абстрактні уявлення.
06:38
For instance, let me tell you the history
155
398260
2000
Наприклад, дозвольте розповісти
06:40
of the year 1950.
156
400260
2000
історію 1950-го року.
06:42
Pretty much for the vast majority of history,
157
402260
2000
Впродовж більшої частини історії
06:44
no one gave a damn about 1950.
158
404260
2000
ніхто не згадував про 1950-й.
06:46
In 1700, in 1800, in 1900,
159
406260
2000
У 1700-х, 1800-х, 1900-х
06:48
no one cared.
160
408260
3000
ніхто ним не цікавився.
06:52
Through the 30s and 40s,
161
412260
2000
Протягом 30-х та 40-х років
06:54
no one cared.
162
414260
2000
ніхто ним не цікавився.
06:56
Suddenly, in the mid-40s,
163
416260
2000
Раптово, в середині 40-х років,
06:58
there started to be a buzz.
164
418260
2000
там здійнявся гомін.
07:00
People realized that 1950 was going to happen,
165
420260
2000
Люди зрозуміли, що скоро наступить 1950-й рік,
07:02
and it could be big.
166
422260
2000
і це може бути подією.
07:04
(Laughter)
167
424260
3000
(Сміх)
07:07
But nothing got people interested in 1950
168
427260
3000
Але нічого не цікавило людей сильніше у 1950-му,
07:10
like the year 1950.
169
430260
3000
ніж сам 1950-й.
07:13
(Laughter)
170
433260
3000
(Сміх)
07:16
People were walking around obsessed.
171
436260
2000
Люди були одержимі.
07:18
They couldn't stop talking
172
438260
2000
Вони не могли перестати говорити
07:20
about all the things they did in 1950,
173
440260
3000
про речі, які вони зробили у 1950-му,
07:23
all the things they were planning to do in 1950,
174
443260
3000
про все, що вони планували зробити у 1950-му.
07:26
all the dreams of what they wanted to accomplish in 1950.
175
446260
5000
про усі мрії, які вони хотіли реалізувати у 1950-му.
07:31
In fact, 1950 was so fascinating
176
451260
2000
Насправді, 1950-й був настільки захоплюючим,
07:33
that for years thereafter,
177
453260
2000
що протягом багатьох років після цього
07:35
people just kept talking about all the amazing things that happened,
178
455260
3000
люди просто продовжували говорити про всі дивовижні речі, які сталися
07:38
in '51, '52, '53.
179
458260
2000
у 1951, 1952, 1953.
07:40
Finally in 1954,
180
460260
2000
Нарешті, у 1954-му
07:42
someone woke up and realized
181
462260
2000
хтось прокинувся й усвідомив,
07:44
that 1950 had gotten somewhat passé.
182
464260
4000
що 1950-й рік застарів.
07:48
(Laughter)
183
468260
2000
(Сміх)
07:50
And just like that, the bubble burst.
184
470260
2000
І просто так бульбашка лопнула.
07:52
(Laughter)
185
472260
2000
(Сміх)
07:54
And the story of 1950
186
474260
2000
Історія 1950-го
07:56
is the story of every year that we have on record,
187
476260
2000
повторюється для кожного року, про який у нас є дані,
07:58
with a little twist, because now we've got these nice charts.
188
478260
3000
с невеликими змінами, тому що тепер у нас є ось ці гарні графіки.
08:01
And because we have these nice charts, we can measure things.
189
481260
3000
Завдяки цим графікам, ми можемо вимірювати речі.
08:04
We can say, "Well how fast does the bubble burst?"
190
484260
2000
Ми можемо сказати: "Як швидко це бульбашка лопне?"
08:06
And it turns out that we can measure that very precisely.
191
486260
3000
І виходить, що ми можемо виміряти це дуже точно.
08:09
Equations were derived, graphs were produced,
192
489260
3000
Рівняння були отримані, графіки побудовані,
08:12
and the net result
193
492260
2000
і кінцевим результатом стало те,
08:14
is that we find that the bubble bursts faster and faster
194
494260
3000
що бульбашки лопаються все швидше та швидше
08:17
with each passing year.
195
497260
2000
з кожним роком.
08:19
We are losing interest in the past more rapidly.
196
499260
5000
Ми втрачаємо інтерес до минулого все більш швидкими темпами.
08:24
JM: Now a little piece of career advice.
197
504260
2000
ЖМ: Невелика кар'ерна порада.
08:26
So for those of you who seek to be famous,
198
506260
2000
Для тих із вас, хто прагне слави,
08:28
we can learn from the 25 most famous political figures,
199
508260
2000
можна навчитися у 25-ти найвідоміших політиків,
08:30
authors, actors and so on.
200
510260
2000
авторів, акторів і т.д.
08:32
So if you want to become famous early on, you should be an actor,
201
512260
3000
Якщо ви хочете рано стати знаменитимм, вам потрібно бути актором,
08:35
because then fame starts rising by the end of your 20s --
202
515260
2000
тому, що слава почне зростати близько кінця вашого третього десятку -
08:37
you're still young, it's really great.
203
517260
2000
ви досі молоді, і це чудово.
08:39
Now if you can wait a little bit, you should be an author,
204
519260
2000
Якщо ви можете трішки почекати, тоді вам потрібно стати автором,
08:41
because then you rise to very great heights,
205
521260
2000
тому, що це дозволить піднятися на більші висоти,
08:43
like Mark Twain, for instance: extremely famous.
206
523260
2000
як Марк Твен, наприклад, дуже відомий.
08:45
But if you want to reach the very top,
207
525260
2000
Але якщо ви хочете піднятися на саму вершину,
08:47
you should delay gratification
208
527260
2000
потрібно відкласти задоволення
08:49
and, of course, become a politician.
209
529260
2000
і, звісно, стати політиком.
08:51
So here you will become famous by the end of your 50s,
210
531260
2000
Ви станете відомими під кінець вашого шостого десятку,
08:53
and become very, very famous afterward.
211
533260
2000
та станете дуже, дуже відомими потім.
08:55
So scientists also tend to get famous when they're much older.
212
535260
3000
Вчені також стають знаменитими, коли вони стають набагато старішими.
08:58
Like for instance, biologists and physics
213
538260
2000
Наприклад, біологи та фізики
09:00
tend to be almost as famous as actors.
214
540260
2000
стають приблизно такими ж відомими як і актори.
09:02
One mistake you should not do is become a mathematician.
215
542260
3000
Помилкою, яку робити не варто - ставати математиком.
09:05
(Laughter)
216
545260
2000
(Сміх)
09:07
If you do that,
217
547260
2000
У цьому випадку,
09:09
you might think, "Oh great. I'm going to do my best work when I'm in my 20s."
218
549260
3000
ви можете думати: "Чудово. Свої накращі роботи я зроблю до тридцяти років".
09:12
But guess what, nobody will really care.
219
552260
2000
Але знаете що? Це нікого не цікавить.
09:14
(Laughter)
220
554260
3000
(Сміх)
09:17
ELA: There are more sobering notes
221
557260
2000
ЕЛА: Існують більш серьйозніші речі
09:19
among the n-grams.
222
559260
2000
в N-граммах.
09:21
For instance, here's the trajectory of Marc Chagall,
223
561260
2000
Наприклад, ось траекторія Марка Шагала,
09:23
an artist born in 1887.
224
563260
2000
художника, що народився у 1887-му.
09:25
And this looks like the normal trajectory of a famous person.
225
565260
3000
Виглядає, як нормальна траекторія знаменитої людини.
09:28
He gets more and more and more famous,
226
568260
4000
Він стає все більш і більш знаменитим,
09:32
except if you look in German.
227
572260
2000
за виключенням відомості серед німців.
09:34
If you look in German, you see something completely bizarre,
228
574260
2000
Якщо подивитися на німецьку мову, ви бачите щось зовсім дивне,
09:36
something you pretty much never see,
229
576260
2000
те, що ви майже ніколи не бачите -
09:38
which is he becomes extremely famous
230
578260
2000
він стає надзвичайно відомим,
09:40
and then all of a sudden plummets,
231
580260
2000
а потім раптом різко падає,
09:42
going through a nadir between 1933 and 1945,
232
582260
3000
переживає надир між 1933 і 1945,
09:45
before rebounding afterward.
233
585260
3000
перш ніж повертається знову.
09:48
And of course, what we're seeing
234
588260
2000
Звісно, ми бачимо
09:50
is the fact Marc Chagall was a Jewish artist
235
590260
3000
факт того, що Марк Шагал був єврейським художником
09:53
in Nazi Germany.
236
593260
2000
у нацистській Німеччині.
09:55
Now these signals
237
595260
2000
Ці сигнали
09:57
are actually so strong
238
597260
2000
настільки сильні,
09:59
that we don't need to know that someone was censored.
239
599260
3000
що нам не потрібно знати, що хтось піддавався цензурі.
10:02
We can actually figure it out
240
602260
2000
Ми можемо це зрозуміти,
10:04
using really basic signal processing.
241
604260
2000
використовуючи найпростіший аналіз сигналів.
10:06
Here's a simple way to do it.
242
606260
2000
Ось простий спосіб це зробити.
10:08
Well, a reasonable expectation
243
608260
2000
Доцільно припустити,
10:10
is that somebody's fame in a given period of time
244
610260
2000
що чиясь слава в даний період часу
10:12
should be roughly the average of their fame before
245
612260
2000
повинна бути приблизно рівна середньому рівню слави до
10:14
and their fame after.
246
614260
2000
і слави після.
10:16
So that's sort of what we expect.
247
616260
2000
Це те, чого ми очікуємо.
10:18
And we compare that to the fame that we observe.
248
618260
3000
Ми порівнюємо це зі славою, яку ми спостерігаємо.
10:21
And we just divide one by the other
249
621260
2000
А потім ділимо одне на інше,
10:23
to produce something we call a suppression index.
250
623260
2000
щоб отримати дещо, що ми називаємо індексом пригнічення.
10:25
If the suppression index is very, very, very small,
251
625260
3000
Якщо індекс пригнічення дуже, дуже, дуже низький,
10:28
then you very well might be being suppressed.
252
628260
2000
то найбільш ймовірно, що ви дійсно зазнаєте утисків.
10:30
If it's very large, maybe you're benefiting from propaganda.
253
630260
3000
Коли він дуже великий, напевне, ви отримуєте зиск від пропаганди.
10:34
JM: Now you can actually look at
254
634260
2000
ЖМ: Тепер можна подивитись
10:36
the distribution of suppression indexes over whole populations.
255
636260
3000
на розподілення індексів подавлення по всьому населенню.
10:39
So for instance, here --
256
639260
2000
Наприклад, тут:
10:41
this suppression index is for 5,000 people
257
641260
2000
це індекс подавлення для 5 тисяч людей,
10:43
picked in English books where there's no known suppression --
258
643260
2000
взятих з англійських книг, де відомо про відсутність цензури,
10:45
it would be like this, basically tightly centered on one.
259
645260
2000
він, приблизно, ось такий, сконцентрований біля одиниці.
10:47
What you expect is basically what you observe.
260
647260
2000
Очікуване співпадає з тим, що ми спостерігаємо.
10:49
This is distribution as seen in Germany --
261
649260
2000
Це розподілення спостерігалось у Німеччині -
10:51
very different, it's shifted to the left.
262
651260
2000
воно зовсім інше, зміщене вліво.
10:53
People talked about it twice less as it should have been.
263
653260
3000
Люди говорили про це в вдвічі менше, ніж мали-б.
10:56
But much more importantly, the distribution is much wider.
264
656260
2000
Але, що більш важливо, розподілення набагато ширше.
10:58
There are many people who end up on the far left on this distribution
265
658260
3000
Про більшість людей, які опиняються на лівому боці цього розподілу
11:01
who are talked about 10 times fewer than they should have been.
266
661260
3000
говорять у 10 разів менше, ніж повинні.
11:04
But then also many people on the far right
267
664260
2000
Але і багато людей на правому краю,
11:06
who seem to benefit from propaganda.
268
666260
2000
які отримують вигоди від пропаганди.
11:08
This picture is the hallmark of censorship in the book record.
269
668260
3000
Ця картинка є характерною ознакою цензури в історії книг.
11:11
ELA: So culturomics
270
671260
2000
ЕЛА: Культуроміка -
11:13
is what we call this method.
271
673260
2000
ось як ми називаємо цей метод.
11:15
It's kind of like genomics.
272
675260
2000
Це ніби як геноміка.
11:17
Except genomics is a lens on biology
273
677260
2000
Хіба що, геноміка це лінза для біології,
11:19
through the window of the sequence of bases in the human genome.
274
679260
3000
погляд через вікно послідовностей основ генома людини.
11:22
Culturomics is similar.
275
682260
2000
Культуроміка схожа.
11:24
It's the application of massive-scale data collection analysis
276
684260
3000
Це застосування аналізу набору даних величезного маштабу
11:27
to the study of human culture.
277
687260
2000
для вивчення людської культури.
11:29
Here, instead of through the lens of a genome,
278
689260
2000
А тут, замість лінзи геному,
11:31
through the lens of digitized pieces of the historical record.
279
691260
3000
ми дивимось через лінзу оцифрованих частинок історії.
11:34
The great thing about culturomics
280
694260
2000
Чудовим аспектом культуроміки є те,
11:36
is that everyone can do it.
281
696260
2000
що будь-хто може нею зайнятися.
11:38
Why can everyone do it?
282
698260
2000
Чому ж будь-хто може нею зайнятися?
11:40
Everyone can do it because three guys,
283
700260
2000
Кожен може робити це, тому що троє хлопців,
11:42
Jon Orwant, Matt Gray and Will Brockman over at Google,
284
702260
3000
Джон Орвант, Метт Грей та Уилл Брокман з Google,
11:45
saw the prototype of the Ngram Viewer,
285
705260
2000
побачивши прототип засобу перегляду N-грамм,
11:47
and they said, "This is so fun.
286
707260
2000
сказали: "Це так весело.
11:49
We have to make this available for people."
287
709260
3000
Ми повинні зробити це доступним для людей".
11:52
So in two weeks flat -- the two weeks before our paper came out --
288
712260
2000
Рівно через два тижні - за два тижні до публікації нашої статті -
11:54
they coded up a version of the Ngram Viewer for the general public.
289
714260
3000
вони запрограмували публічну версію засобу перегляду N-грам.
11:57
And so you too can type in any word or phrase that you're interested in
290
717260
3000
Тепер і ви можете надрукувати будь-яке слово або речення, яке вас цікавить,
12:00
and see its n-gram immediately --
291
720260
2000
і відразу подивитись його N-грами,
12:02
also browse examples of all the various books
292
722260
2000
включаючи перегляд прикладів із усіх тих різних книг,
12:04
in which your n-gram appears.
293
724260
2000
в яких зустрічається ваша N-грамма.
12:06
JM: Now this was used over a million times on the first day,
294
726260
2000
ЖМ: В перший же день цим скористалися більше мільйона разів,
12:08
and this is really the best of all the queries.
295
728260
2000
і це - найкраще із усіх запитів.
12:10
So people want to be their best, put their best foot forward.
296
730260
3000
Люди хочуть показати себе з найкращої сторони.
12:13
But it turns out in the 18th century, people didn't really care about that at all.
297
733260
3000
Але виявляється, що у 18-му столітті людей це зовсім не цікавило.
12:16
They didn't want to be their best, they wanted to be their beft.
298
736260
3000
Вони не хотіли показати себе з кращої [best], вони хотіли показати себе з кращої сторони [beft].
12:19
So what happened is, of course, this is just a mistake.
299
739260
3000
Як зазвичай, це була просто помилка.
12:22
It's not that strove for mediocrity,
300
742260
2000
Це не прагнення до посередньості,
12:24
it's just that the S used to be written differently, kind of like an F.
301
744260
3000
просто буква S писалася по іншому, схоже на F.
12:27
Now of course, Google didn't pick this up at the time,
302
747260
3000
Звісно, Google тоді це не дослідив,
12:30
so we reported this in the science article that we wrote.
303
750260
3000
тому ми відмітили це в написаній нами науковій статті.
12:33
But it turns out this is just a reminder
304
753260
2000
Але виявляється, це всього лише нагадування про те,
12:35
that, although this is a lot of fun,
305
755260
2000
що, хоча це дуже весело,
12:37
when you interpret these graphs, you have to be very careful,
306
757260
2000
при інтерпритації цих графіків ви повинні бути дуже обережні
12:39
and you have to adopt the base standards in the sciences.
307
759260
3000
і ви маєте керуватись базовими нормами наукових досліджень.
12:42
ELA: People have been using this for all kinds of fun purposes.
308
762260
3000
ЕЛА: Як тільки люди цим не користувались.
12:45
(Laughter)
309
765260
7000
(Сміх)
12:52
Actually, we're not going to have to talk,
310
772260
2000
Насправда, говорити нічого не потрібно,
12:54
we're just going to show you all the slides and remain silent.
311
774260
3000
ми просто збираємося показати вам усі слайди мовчки.
12:57
This person was interested in the history of frustration.
312
777260
3000
Ця людина була зацікавлена в історії розчарування.
13:00
There's various types of frustration.
313
780260
3000
Існують різні види розчарування.
13:03
If you stub your toe, that's a one A "argh."
314
783260
3000
Якщо ви ударились великим пальцем, це "ах" з одним А.
13:06
If the planet Earth is annihilated by the Vogons
315
786260
2000
Якщо планета Земля буде знищена Вогонами,
13:08
to make room for an interstellar bypass,
316
788260
2000
щоб звільнити місце для міжгалактичного тунелю,
13:10
that's an eight A "aaaaaaaargh."
317
790260
2000
це "аааааааах" з вісьмома А.
13:12
This person studies all the "arghs,"
318
792260
2000
Ця людина вивчила усі "ахи",
13:14
from one through eight A's.
319
794260
2000
які містять від одного до восьми А.
13:16
And it turns out
320
796260
2000
Виходить,
13:18
that the less-frequent "arghs"
321
798260
2000
найбільш рідкими "ахами" являються ті,
13:20
are, of course, the ones that correspond to things that are more frustrating --
322
800260
3000
які відносяться до найстрашніших речей,
13:23
except, oddly, in the early 80s.
323
803260
3000
окрім, як не дивно, початку 80-х.
13:26
We think that might have something to do with Reagan.
324
806260
2000
Напевне, Рейган має до цього відношення.
13:28
(Laughter)
325
808260
2000
(Сміх)
13:30
JM: There are many usages of this data,
326
810260
3000
ЖМ: Ці дані можна використовувати по різному,
13:33
but the bottom line is that the historical record is being digitized.
327
813260
3000
але суть в тому, що історія оцифровується.
13:36
Google has started to digitize 15 million books.
328
816260
2000
Google почав оцифровувати 15 мільйонів книг.
13:38
That's 12 percent of all the books that have ever been published.
329
818260
2000
Це 12 відсотків усіх книг, які коли-небудь були опубліковані.
13:40
It's a sizable chunk of human culture.
330
820260
3000
Це значна частина людської культури.
13:43
There's much more in culture: there's manuscripts, there newspapers,
331
823260
3000
Але в культурі набагато більше речей: рукописи, газети,
13:46
there's things that are not text, like art and paintings.
332
826260
2000
нетекстові речі, наприклад, мистецтво і картини.
13:48
These all happen to be on our computers,
333
828260
2000
Все це виявляється на наших комп'ютерах,
13:50
on computers across the world.
334
830260
2000
на комп'ютерах по всьому світу.
13:52
And when that happens, that will transform the way we have
335
832260
3000
І коли це трапиться, це змінить те,
13:55
to understand our past, our present and human culture.
336
835260
2000
як ми розуміємо минуле, сьогодення та людську культуру.
13:57
Thank you very much.
337
837260
2000
Дуже дякую.
13:59
(Applause)
338
839260
3000
(Оплески)
Про цей сайт

Цей сайт познайомить вас з відеороликами YouTube, корисними для вивчення англійської мови. Ви побачите уроки англійської мови, які проводять першокласні викладачі з усього світу. Двічі клацніть на англійських субтитрах, що відображаються на кожній сторінці відео, щоб відтворити відео з цієї сторінки. Субтитри прокручуються синхронно з відтворенням відео. Якщо у вас є коментарі або побажання, будь ласка, зв'яжіться з нами за допомогою цієї контактної форми.

https://forms.gle/WvT1wiN1qDtmnspy7