Jeff Dean: AI isn't as smart as you think -- but it could be | TED

250,407 views ・ 2022-01-12

TED


Пожалуйста, дважды щелкните на английские субтитры ниже, чтобы воспроизвести видео.

Переводчик: Elena Malykh Редактор: Olga Mansurova
00:13
Hi, I'm Jeff.
0
13329
1583
Привет, меня зовут Джефф.
00:15
I lead AI Research and Health at Google.
1
15746
2833
Я веду исследования в Google в сфере ИИ и здоровья.
00:18
I joined Google more than 20 years ago,
2
18621
1875
В Google я пришёл более 20 лет назад,
00:20
when we were all wedged into a tiny office space,
3
20538
3166
тогда нас всех втиснули в крошечный офис,
00:23
above what's now a T-Mobile store in downtown Palo Alto.
4
23704
2750
над нынешним магазином T-Мobile в центре Пало Альто.
00:27
I've seen a lot of computing transformations in that time,
5
27163
2875
За это время я видел много вычислительных трансформаций,
00:30
and in the last decade, we've seen AI be able to do tremendous things.
6
30079
3459
и в последние 10 лет мы поняли, что ИИ может делать потрясающие вещи.
00:34
But we're still doing it all wrong in many ways.
7
34746
2542
Но мы всё ещё многое делаем не так.
00:37
That's what I want to talk to you about today.
8
37329
2209
Вот об этом я и хочу сейчас с вами поговорить.
00:39
But first, let's talk about what AI can do.
9
39579
2209
Но сначала посмотрим, что же ИИ может делать.
00:41
So in the last decade, we've seen tremendous progress
10
41829
3292
За последнее десятилетие мы увидели огромный прогресс в том,
00:45
in how AI can help computers see, understand language,
11
45121
4333
как искусственный интеллект может помочь компьютерам определить и понять язык,
00:49
understand speech better than ever before.
12
49496
2833
понять речь лучше, чем когда-либо.
00:52
Things that we couldn't do before, now we can do.
13
52329
2583
Что раньше мы не могли делать, теперь мы можем.
00:54
If you think about computer vision alone,
14
54954
2333
Если вы думаете только о компьютерном зрении,
00:57
just in the last 10 years,
15
57329
1583
то только за последние 10 лет
00:58
computers have effectively developed the ability to see;
16
58912
2792
компьютеры значительно развили свою способность видеть:
01:01
10 years ago, they couldn't see, now they can see.
17
61746
2500
ещё 10 лет назад они этого не умели, а сейчас могут.
01:04
You can imagine this has had a transformative effect
18
64287
2500
Можете себе представить, насколько это преобразило
01:06
on what we can do with computers.
19
66787
2209
нашу работу с компьютерами.
01:08
So let's look at a couple of the great applications
20
68996
2500
Возьмём для примера пару замечательных приложений,
01:11
enabled by these capabilities.
21
71496
2000
обладающих этими способностями.
01:13
We can better predict flooding, keep everyone safe,
22
73537
2417
Можно уберечь людей, точнее предсказывая наводнения
01:15
using machine learning.
23
75996
1500
с помощью машинного обучения.
01:17
We can translate over 100 languages so we all can communicate better,
24
77538
3250
Можно переводить на 100 языков и более, чтобы лучше общаться,
01:20
and better predict and diagnose disease,
25
80788
2000
диагностировать и предугадывать болезни,
01:22
where everyone gets the treatment that they need.
26
82788
2333
давая пациентам необходимое лечение.
01:25
So let's look at two key components
27
85163
1916
Теперь рассмотрим два ключевых момента,
01:27
that underlie the progress in AI systems today.
28
87121
2333
лежащих в основе прогресса современных систем ИИ.
01:30
The first is neural networks,
29
90121
1542
Первый — это нейросети,
01:31
a breakthrough approach to solving some of these difficult problems
30
91704
3417
революционный подход к решению некоторых сложных проблем,
01:35
that has really shone in the last 15 years.
31
95121
2833
который так ярко проявился за последние 15 лет.
01:37
But they're not a new idea.
32
97954
1625
Но их идея далеко не новая.
01:39
And the second is computational power.
33
99621
1833
Второй — это вычислительная мощность.
01:41
It actually takes a lot of computational power
34
101454
2167
Требуется очень много вычислительной мощности,
01:43
to make neural networks able to really sing,
35
103663
2083
чтобы нейросети могли по-настоящему петь,
01:45
and in the last 15 years, we’ve been able to halve that,
36
105746
3375
и за последние 15 лет мы смогли этого добиться,
01:49
and that's partly what's enabled all this progress.
37
109121
2458
и отчасти поэтому прогресс стал возможным.
01:51
But at the same time, I think we're doing several things wrong,
38
111954
3459
Но в то же время я думаю, что в каких-то вещах мы ошибаемся,
01:55
and that's what I want to talk to you about
39
115413
2000
собственно об этом я и хочу поговорить
01:57
at the end of the talk.
40
117454
1167
в конце нашей беседы.
01:58
First, a bit of a history lesson.
41
118663
1958
Для начала немного истории.
02:00
So for decades,
42
120663
1208
Десятилетиями,
02:01
almost since the very beginning of computing,
43
121913
2125
почти с самого начала машинных вычислений,
02:04
people have wanted to be able to build computers
44
124079
2250
люди хотели создать компьютеры,
02:06
that could see, understand language, understand speech.
45
126329
3917
которые могли бы видеть, понимать языки и человеческую речь.
02:10
The earliest approaches to this, generally,
46
130579
2000
Для первых попыток было характерно
02:12
people were trying to hand-code all the algorithms
47
132621
2333
ручное кодирование всех алгоритмов,
02:14
that you need to accomplish those difficult tasks,
48
134996
2458
необходимых для решения этих сложных задач,
02:17
and it just turned out to not work very well.
49
137454
2375
и оказалось, что это не очень хорошо работает.
02:19
But in the last 15 years, a single approach
50
139829
3250
Но за последние 15 лет благодаря одному методу
02:23
unexpectedly advanced all these different problem spaces all at once:
51
143079
4167
неожиданно мы продвинулись во всех проблемных областях:
02:27
neural networks.
52
147954
1542
это искусственные нейросети.
02:29
So neural networks are not a new idea.
53
149538
1833
Нейронные сети — не новая идея.
02:31
They're kind of loosely based
54
151371
1417
В какой-то степени
02:32
on some of the properties that are in real neural systems.
55
152788
3041
они основаны на некоторых свойствах реальных нейросистем.
02:35
And many of the ideas behind neural networks
56
155829
2084
И многие идеи создания нейронных сетей
02:37
have been around since the 1960s and 70s.
57
157954
2250
начали появляться в 1960-е и 1970-е годы.
02:40
A neural network is what it sounds like,
58
160204
2167
Нейросеть — это что-то вроде
02:42
a series of interconnected artificial neurons
59
162413
2708
серии взаимосвязанных искусственных нейронов,
02:45
that loosely emulate the properties of your real neurons.
60
165121
3000
которые приблизительно имитируют свойства настоящих нейронов.
02:48
An individual neuron in one of these systems
61
168163
2166
Отдельный нейрон в одной из таких серий
02:50
has a set of inputs,
62
170371
1417
имеет набор входов,
02:51
each with an associated weight,
63
171788
2041
каждый с соответствующим весом,
02:53
and the output of a neuron
64
173871
1833
а выход нейрона
02:55
is a function of those inputs multiplied by those weights.
65
175704
3209
представляет функция этих входов, умноженных на вес каждого.
02:59
So pretty simple,
66
179288
1208
В общем, всё несложно,
03:00
and lots and lots of these work together to learn complicated things.
67
180538
3666
и их множества работают вместе для обучения сложным вещам.
03:04
So how do we actually learn in a neural network?
68
184496
2833
Так как же мы на самом деле обучаем в нейросети?
03:07
It turns out the learning process
69
187371
1708
Получается, что процесс обучения
03:09
consists of repeatedly making tiny little adjustments
70
189079
2792
состоит из повторяющихся крошечных корректировок
03:11
to the weight values,
71
191913
1208
весовых значений,
03:13
strengthening the influence of some things,
72
193121
2042
усиливающих влияние одних вещей,
03:15
weakening the influence of others.
73
195204
1959
и ослабляющих другие.
03:17
By driving the overall system towards desired behaviors,
74
197204
3917
Путём ориентации всей системы на желаемое поведение
03:21
these systems can be trained to do really complicated things,
75
201163
2916
серии можно натренировать так, чтобы они делали сложные вещи,
03:24
like translate from one language to another,
76
204121
2875
такие, например, как перевод с одного языка на другой,
03:27
detect what kind of objects are in a photo,
77
207038
3083
определение типа объектов на фотографии
03:30
all kinds of complicated things.
78
210121
1875
и другие сложные задания.
03:32
I first got interested in neural networks
79
212038
2000
Впервые я заинтересовался нейросетями
03:34
when I took a class on them as an undergraduate in 1990.
80
214079
3042
в 1990 году, когда взял по ним спецкурс, ещё будучи студентом.
03:37
At that time,
81
217163
1125
Уже тогда
03:38
neural networks showed impressive results on tiny problems,
82
218329
3792
нейросети показали впечатляющие результаты в решении мелких проблем,
03:42
but they really couldn't scale to do real-world important tasks.
83
222121
4375
но они не могли достичь того масштаба, чтобы решать жизненно важные задачи.
03:46
But I was super excited.
84
226538
1500
Но мой восторг не знал границ.
03:48
(Laughter)
85
228079
2500
(Смех)
03:50
I felt maybe we just needed more compute power.
86
230579
2417
Может, требовались лишь более мощные компьютеры.
03:52
And the University of Minnesota had a 32-processor machine.
87
232996
3625
В университете Миннесоты была 32-процессорная машина.
03:56
I thought, "With more compute power,
88
236621
1792
И я подумал: «Имея бо́льшую мощность,
03:58
boy, we could really make neural networks really sing."
89
238413
3000
дружище, мы реально сможем заставить нейросети петь».
04:01
So I decided to do a senior thesis on parallel training of neural networks,
90
241454
3584
И решил написать дипломную работу по параллельной тренировке нейросетей
04:05
the idea of using processors in a computer or in a computer system
91
245079
4000
с идеей использовать процессоры компьютера или системы компьютеров
04:09
to all work toward the same task,
92
249079
2125
для работы над одной и той же задачей
04:11
that of training neural networks.
93
251204
1584
тренировки нейросетей.
04:12
32 processors, wow,
94
252829
1292
Круто, 32 процессора,
04:14
we’ve got to be able to do great things with this.
95
254163
2833
мы просто свернём горы!
04:17
But I was wrong.
96
257496
1167
Но я был неправ.
04:20
Turns out we needed about a million times as much computational power
97
260038
3333
Оказалось, что нам нужна мощность в миллион раз бо́льшая,
04:23
as we had in 1990
98
263371
1375
чем была в 1990 году,
04:24
before we could actually get neural networks to do impressive things.
99
264788
3333
для создания нейросетей, способных делать потрясающие вещи.
04:28
But starting around 2005,
100
268121
2417
Но начиная примерно с 2005 года,
04:30
thanks to the computing progress of Moore's law,
101
270579
2500
благодаря прогрессу в вычислениях и закону Мура,
04:33
we actually started to have that much computing power,
102
273121
2625
у нас появилось достаточно вычислительных мощностей,
04:35
and researchers in a few universities around the world started to see success
103
275746
4250
и учёные в ряде университетов по всему миру стали видеть успехи
04:40
in using neural networks for a wide variety of different kinds of tasks.
104
280038
4083
в использовании нейросетей для решения разных видов задач.
04:44
I and a few others at Google heard about some of these successes,
105
284121
3583
Я и ещё несколько человек в Google слышали о некоторых из этих успехов,
04:47
and we decided to start a project to train very large neural networks.
106
287746
3333
и мы решили начать проект по обучению очень больших нейросетей.
04:51
One system that we trained,
107
291079
1459
Одну из систем
04:52
we trained with 10 million randomly selected frames
108
292538
3541
мы обучали на 10 миллионах произвольно выбранных фрагментов
04:56
from YouTube videos.
109
296079
1292
из видео на Youtube.
04:57
The system developed the capability
110
297371
1750
Эта система развивала способность
04:59
to recognize all kinds of different objects.
111
299121
2583
распознавать все виды разных объектов.
05:01
And it being YouTube, of course,
112
301746
1542
И конечно, на видео Youtube
05:03
it developed the ability to recognize cats.
113
303329
2500
она развивала своё умение распознавать кошек.
05:05
YouTube is full of cats.
114
305829
1292
На Youtube полно кошек.
05:07
(Laughter)
115
307163
1416
(Смех)
05:08
But what made that so remarkable
116
308621
2208
Но в этом замечательно именно то,
05:10
is that the system was never told what a cat was.
117
310871
2417
что системе никто не говорил, что такое кошка.
05:13
So using just patterns in data,
118
313704
2500
Итак, используя только образы в данных,
05:16
the system honed in on the concept of a cat all on its own.
119
316204
3625
система совершенствовала свою концепцию кошки.
05:20
All of this occurred at the beginning of a decade-long string of successes,
120
320371
3750
Всё это произошло в начале десятилетней полосы успехов
05:24
of using neural networks for a huge variety of tasks,
121
324121
2500
использования нейросетей в массе самых разных задач
05:26
at Google and elsewhere.
122
326663
1166
в Google и помимо него.
05:27
Many of the things you use every day,
123
327871
2167
Многими вещами мы пользуемся ежедневно:
05:30
things like better speech recognition for your phone,
124
330079
2500
улучшенным распознаванием речи для ваших телефонов,
05:32
improved understanding of queries and documents
125
332579
2209
более глубоким пониманием запросов и документов
05:34
for better search quality,
126
334829
1459
для лучшего поиска,
05:36
better understanding of geographic information to improve maps,
127
336329
3042
лучшим восприятием географической информации для улучшения карт
05:39
and so on.
128
339413
1166
и так далее.
05:40
Around that time,
129
340621
1167
Примерно тогда же
05:41
we also got excited about how we could build hardware that was better tailored
130
341788
3750
мы пришли в восторг от того, что смогли лучше подготовить компьютер
05:45
to the kinds of computations neural networks wanted to do.
131
345579
2792
к вычислительным задачам нейросетей.
05:48
Neural network computations have two special properties.
132
348371
2667
Вычисления в нейросетях отличают два особых свойства.
05:51
The first is they're very tolerant of reduced precision.
133
351079
2625
Во-первых, они очень терпимы к пониженной точности.
05:53
Couple of significant digits, you don't need six or seven.
134
353746
2750
Пара главных цифр вместо шести-семи.
05:56
And the second is that all the algorithms are generally composed
135
356496
3458
И во-вторых, все алгоритмы в основном состоят
05:59
of different sequences of matrix and vector operations.
136
359996
3458
из различных последовательностей матричных и векторных операций.
06:03
So if you can build a computer
137
363496
1750
И если вы можете создать компьютер,
06:05
that is really good at low-precision matrix and vector operations
138
365246
3792
который годится для низкоточных матричных и векторных операций,
06:09
but can't do much else,
139
369079
1709
но не делает другое,
06:10
that's going to be great for neural-network computation,
140
370829
2625
он отлично подойдёт для вычислений в нейросетях,
06:13
even though you can't use it for a lot of other things.
141
373496
2667
даже если вы не используете его для массы других вещей.
06:16
And if you build such things, people will find amazing uses for them.
142
376163
3291
И если вы создадите такие вещи, люди найдут им интересное применение.
06:19
This is the first one we built, TPU v1.
143
379496
2083
Для начала мы создали вот это, TPU v1.
06:21
"TPU" stands for Tensor Processing Unit.
144
381621
2542
TPU означает «тензорный процессор».
06:24
These have been used for many years behind every Google search,
145
384204
3042
Они использовались многие годы в каждом поиске Google:
06:27
for translation,
146
387246
1167
для переводов,
06:28
in the DeepMind AlphaGo matches,
147
388454
1917
в матчах по DeepMind AlphaGo,
06:30
so Lee Sedol and Ke Jie maybe didn't realize,
148
390413
2583
так что Ли Седол и Ке Дзе, возможно, не понимали,
06:33
but they were competing against racks of TPU cards.
149
393038
2708
но они играли против стеллажей карт TPU.
06:35
And we've built a bunch of subsequent versions of TPUs
150
395788
2583
Мы создали кучу следующих версий TPU,
06:38
that are even better and more exciting.
151
398371
1875
ещё лучше и интереснее.
06:40
But despite all these successes,
152
400288
2083
Но, несмотря на эти успехи,
06:42
I think we're still doing many things wrong,
153
402371
2208
думаю, что мы до сих пор делаем много ошибок,
06:44
and I'll tell you about three key things we're doing wrong,
154
404621
2792
и я вам расскажу о трёх главных из них
06:47
and how we'll fix them.
155
407454
1167
и как их исправить.
06:48
The first is that most neural networks today
156
408663
2083
Первая в том, что большинство нейросетей
06:50
are trained to do one thing, and one thing only.
157
410746
2250
сегодня учат выполнять лишь одну задачу.
06:53
You train it for a particular task that you might care deeply about,
158
413038
3208
Вы обучаете нейросеть для той задачи, которая вас очень интересует,
06:56
but it's a pretty heavyweight activity.
159
416288
1916
но это довольно-таки трудоёмко.
06:58
You need to curate a data set,
160
418246
1667
Нужно следить за набором данных,
06:59
you need to decide what network architecture you'll use
161
419913
3000
выбрать сетевую архитектуру
07:02
for this problem,
162
422954
1167
для решения проблемы,
07:04
you need to initialize the weights with random values,
163
424121
2708
нужно инициализировать веса со случайными значениями,
07:06
apply lots of computation to make adjustments to the weights.
164
426871
2875
применять множество расчётов для корректировки весов.
07:09
And at the end, if you’re lucky, you end up with a model
165
429746
2750
И в конце, если вам повезёт, у вас получится модель,
07:12
that is really good at that task you care about.
166
432538
2291
которая идеально подходит для вашей задачи.
07:14
But if you do this over and over,
167
434871
1583
Но если вы повторяете это снова,
07:16
you end up with thousands of separate models,
168
436496
2667
то в итоге приходите к тысячам отдельных моделей,
07:19
each perhaps very capable,
169
439204
1792
каждая из которых может быть
07:21
but separate for all the different tasks you care about.
170
441038
2791
очень хорошей, но только для каждой отдельной вашей задачи.
07:23
But think about how people learn.
171
443829
1667
А как же учатся люди?
07:25
In the last year, many of us have picked up a bunch of new skills.
172
445538
3166
В прошлом году многие из нас овладели целым набором новых навыков.
07:28
I've been honing my gardening skills,
173
448746
1792
Я совершенствовал себя в садоводстве,
07:30
experimenting with vertical hydroponic gardening.
174
450579
2375
пробуя вертикальные гидропонные системы.
07:32
To do that, I didn't need to relearn everything I already knew about plants.
175
452954
3792
Чтобы сделать это, я не должен был повторять всё, что я знаю о растениях.
07:36
I was able to know how to put a plant in a hole,
176
456746
3375
Мне достаточно было узнать, как посадить растение в вырытую ямку,
07:40
how to pour water, that plants need sun,
177
460163
2291
как поливать, что растениям нужно солнце,
07:42
and leverage that in learning this new skill.
178
462496
3583
и использовать это, обучаясь новым навыкам.
07:46
Computers can work the same way, but they don’t today.
179
466079
3042
Компьютеры могут работать так же, но сейчас этого не происходит.
07:49
If you train a neural network from scratch,
180
469163
2583
Если вы обучаете нейросеть с нуля,
07:51
it's effectively like forgetting your entire education
181
471746
3542
практически это как забыть о своём образовании,
07:55
every time you try to do something new.
182
475288
1875
каждый раз начиная что-то новое.
07:57
That’s crazy, right?
183
477163
1000
Ведь это безумие?
07:58
So instead, I think we can and should be training
184
478788
3708
Вместо этого, я думаю, мы можем и должны обучать
08:02
multitask models that can do thousands or millions of different tasks.
185
482538
3791
мультизадачные модели, которые могут решать тысячи или миллионы разных задач.
08:06
Each part of that model would specialize in different kinds of things.
186
486329
3375
Каждая часть этой модели отвечала бы за разные вещи.
08:09
And then, if we have a model that can do a thousand things,
187
489704
2792
И если у нас есть модель, делающая тысячу вещей,
08:12
and the thousand and first thing comes along,
188
492538
2166
и появляется тысяча первая,
08:14
we can leverage the expertise we already have
189
494746
2125
мы можем использовать имеющийся опыт
08:16
in the related kinds of things
190
496913
1541
в соответствующих вещах,
08:18
so that we can more quickly be able to do this new task,
191
498496
2792
поэтому мы сможем решить эту новую задачу быстрее,
08:21
just like you, if you're confronted with some new problem,
192
501288
2791
как и вы, когда вы сталкиваетесь с какой-то новой задачей,
08:24
you quickly identify the 17 things you already know
193
504121
2625
вы быстро определяете 17 вещей, которые уже знаете
08:26
that are going to be helpful in solving that problem.
194
506746
2542
и которые могут помочь в её решении.
08:29
Second problem is that most of our models today
195
509329
2709
Вторая проблема в том, что большинство наших моделей
08:32
deal with only a single modality of data --
196
512079
2125
рассматривают только один тип данных:
08:34
with images, or text or speech,
197
514204
3084
либо изображения, либо текст, либо речь,
08:37
but not all of these all at once.
198
517329
1709
но не все сразу.
08:39
But think about how you go about the world.
199
519079
2042
Но задумайтесь о вашей жизни в этом мире.
08:41
You're continuously using all your senses
200
521121
2333
Вы всегда используете весь свой разум и чувства,
08:43
to learn from, react to,
201
523454
3083
чтобы что-то узнавать, как-то реагировать,
08:46
figure out what actions you want to take in the world.
202
526579
2667
понимать, что вам необходимо сделать.
08:49
Makes a lot more sense to do that,
203
529287
1667
В этом есть намного больше смысла,
08:50
and we can build models in the same way.
204
530954
2000
и мы можем точно так же построить модели.
08:52
We can build models that take in these different modalities of input data,
205
532954
4042
Мы можем построить модели, воспринимающие эти разные типы входных данных:
08:57
text, images, speech,
206
537037
1750
текст, изображения, речь,
08:58
but then fuse them together,
207
538829
1417
но потом слить их вместе так,
09:00
so that regardless of whether the model sees the word "leopard,"
208
540329
3833
чтобы независимо от того, видит ли модель слово «леопард»,
09:04
sees a video of a leopard or hears someone say the word "leopard,"
209
544204
4083
или видео с леопардом, или слышит слово «леопард»,
09:08
the same response is triggered inside the model:
210
548329
2250
внутри этой модели ответ был бы одним и тем же:
09:10
the concept of a leopard
211
550621
1750
понятие о леопарде,
09:12
can deal with different kinds of input data,
212
552412
2250
связанное с разными типами входных данных,
09:14
even nonhuman inputs, like genetic sequences,
213
554662
3000
даже с не человеческими, например, генетическими рядами,
09:17
3D clouds of points, as well as images, text and video.
214
557662
3209
трёхмерными облаками точек, как и с изображениями, текстом и видео.
09:20
The third problem is that today's models are dense.
215
560912
3625
Третья проблема в том, что современные модели очень насыщенные.
09:24
There's a single model,
216
564579
1417
Это единая модель,
09:25
the model is fully activated for every task,
217
565996
2375
полностью активированная для каждого задания,
09:28
for every example that we want to accomplish,
218
568412
2125
каждого типа поставленной задачи,
09:30
whether that's a really simple or a really complicated thing.
219
570537
2917
от простейшей до самой сложной.
09:33
This, too, is unlike how our own brains work.
220
573496
2666
К тому же это непохоже на то, как работает наш мозг.
09:36
Different parts of our brains are good at different things,
221
576204
3000
Разные части нашего мозга отвечают за разные вещи,
09:39
and we're continuously calling upon the pieces of them
222
579246
3291
и мы постоянно вызываем определённые его участки,
09:42
that are relevant for the task at hand.
223
582579
2167
которые соответствуют текущей задаче.
09:44
For example, nervously watching a garbage truck
224
584787
2334
К примеру, когда вы нервничаете из-за мусоровоза,
09:47
back up towards your car,
225
587162
1875
пятящегося назад к вашей машине,
09:49
the part of your brain that thinks about Shakespearean sonnets
226
589037
2917
та часть вашего мозга, которая думает о сонетах Шекспира,
09:51
is probably inactive.
227
591996
1250
скорее всего, неактивна.
09:53
(Laughter)
228
593246
1625
(Смех)
09:54
AI models can work the same way.
229
594912
1750
Модели ИИ могут работать именно так.
09:56
Instead of a dense model,
230
596662
1292
Вместо насыщенной модели
09:57
we can have one that is sparsely activated.
231
597954
2250
можно создать такую, которая слабо активирована.
10:00
So for particular different tasks, we call upon different parts of the model.
232
600204
4250
Для выполнения разных частных задач мы вызываем разные части модели.
10:04
During training, the model can also learn which parts are good at which things,
233
604496
4375
В процессе обучения модель узнаёт, какие части для каких задач подходят,
10:08
to continuously identify what parts it wants to call upon
234
608871
3791
чтобы постоянно определять, к каким частям ей обратиться,
10:12
in order to accomplish a new task.
235
612662
1834
чтобы выполнить новое задание.
10:14
The advantage of this is we can have a very high-capacity model,
236
614496
3541
Преимущество в том, что у нас будет модель с очень высокой ёмкостью,
10:18
but it's very efficient,
237
618037
1250
но она очень эффективна,
10:19
because we're only calling upon the parts that we need
238
619329
2583
так как мы вызываем лишь те части, которые нам нужны
10:21
for any given task.
239
621954
1208
для любой искомой задачи.
10:23
So fixing these three things, I think,
240
623162
2000
Думаю, что исправление этих трёх моментов
10:25
will lead to a more powerful AI system:
241
625162
2209
приведёт к созданию более мощной системы ИИ:
10:27
instead of thousands of separate models,
242
627412
2000
вместо тысяч разрозненных моделей
10:29
train a handful of general-purpose models
243
629412
2000
обучать немногие модели общего назначения,
10:31
that can do thousands or millions of things.
244
631454
2083
способные делать тысячи или миллионы вещей.
10:33
Instead of dealing with single modalities,
245
633579
2042
Вместо работы с отдельными типами
10:35
deal with all modalities,
246
635662
1334
работать со всеми типами
10:36
and be able to fuse them together.
247
636996
1708
и уметь сочетать их вместе.
10:38
And instead of dense models, use sparse, high-capacity models,
248
638746
3458
И вместо сжатых моделей использовать разреженные модели большой ёмкости,
10:42
where we call upon the relevant bits as we need them.
249
642246
2958
где вызывать при необходимости соответствующие её части.
10:45
We've been building a system that enables these kinds of approaches,
250
645246
3416
Мы строим систему, которая сделает возможными подобные подходы,
10:48
and we’ve been calling the system “Pathways.”
251
648704
2542
систему под названием «Пути».
10:51
So the idea is this model will be able to do
252
651287
3084
Идея в том, что эта модель будет в состоянии выполнять
10:54
thousands or millions of different tasks,
253
654412
2084
тысячи или миллионы разных задач,
10:56
and then, we can incrementally add new tasks,
254
656537
2250
затем мы сможем по шагам добавлять новые задачи,
10:58
and it can deal with all modalities at once,
255
658787
2125
и она сможет работать сразу со всеми типами,
11:00
and then incrementally learn new tasks as needed
256
660954
2958
а потом постепенно научится выполнять новые нужные задачи
11:03
and call upon the relevant bits of the model
257
663954
2083
и вызывать соответствующие части модели
11:06
for different examples or tasks.
258
666037
1709
для разных примеров или задач.
11:07
And we're pretty excited about this,
259
667787
1750
Нас это очень волнует,
11:09
we think this is going to be a step forward
260
669537
2042
и мы считаем, что это будет шагом вперёд
11:11
in how we build AI systems.
261
671621
1333
в построении систем ИИ.
11:12
But I also wanted to touch on responsible AI.
262
672954
3708
Но я также хочу затронуть вопрос об ответственном ИИ.
11:16
We clearly need to make sure that this vision of powerful AI systems
263
676662
4875
Нам определённо нужна уверенность, что понимание силы систем ИИ
11:21
benefits everyone.
264
681579
1167
принесёт пользу каждому.
11:23
These kinds of models raise important new questions
265
683496
2458
Такого рода модели поднимают новые важные вопросы
11:25
about how do we build them with fairness,
266
685954
2458
о том, как нам сделать их справедливыми,
11:28
interpretability, privacy and security,
267
688454
3208
понятными, приватными и безопасными
11:31
for all users in mind.
268
691662
1459
для всех пользователей.
11:33
For example, if we're going to train these models
269
693621
2291
Например, если мы хотим тренировать эти модели
11:35
on thousands or millions of tasks,
270
695954
2125
на тысячах или миллионах задач,
11:38
we'll need to be able to train them on large amounts of data.
271
698079
2875
мы должны уметь их тренировать на больших объёмах данных.
11:40
And we need to make sure that data is thoughtfully collected
272
700996
3250
И быть уверенными в том, что эти данные продуманно собраны
11:44
and is representative of different communities and situations
273
704287
3667
и представляют различные сообщества и ситуации
11:47
all around the world.
274
707954
1167
по всему миру.
11:49
And data concerns are only one aspect of responsible AI.
275
709579
4000
Проблема данных — это только один аспект ответственного ИИ.
11:53
We have a lot of work to do here.
276
713621
1583
Нам ещё многое предстоит сделать.
11:55
So in 2018, Google published this set of AI principles
277
715246
2666
И в 2018 году Google опубликовал список принципов ИИ,
11:57
by which we think about developing these kinds of technology.
278
717912
3500
лежащих в основе наших идей о развитии таких технологий.
12:01
And these have helped guide us in how we do research in this space,
279
721454
3625
Эти принципы помогли нам направить наши исследования в эту область,
12:05
how we use AI in our products.
280
725121
1833
как использовать ИИ в наших продуктах.
12:06
And I think it's a really helpful and important framing
281
726996
2750
И я думаю, что эти принципы очень полезны и важны для нас
12:09
for how to think about these deep and complex questions
282
729746
2875
в подходе к таким глубоким и сложным вопросам о том,
12:12
about how we should be using AI in society.
283
732621
2833
как мы должны использовать ИИ в нашем обществе.
12:15
We continue to update these as we learn more.
284
735454
3625
Мы продолжаем их обновлять по мере накопления новых знаний.
12:19
Many of these kinds of principles are active areas of research --
285
739079
3458
Многие из этих принципов являются активными областями исследований,
12:22
super important area.
286
742537
1542
чрезвычайно важными областями.
12:24
Moving from single-purpose systems that kind of recognize patterns in data
287
744121
4125
Переход от одноцелевых систем типа распознавания закономерностей в данных
12:28
to these kinds of general-purpose intelligent systems
288
748246
2750
к общецелевым интеллектуальным системам
12:31
that have a deeper understanding of the world
289
751037
2292
с более глубоким пониманием нашего мира
12:33
will really enable us to tackle
290
753329
1583
поможет нам взяться за решение
12:34
some of the greatest problems humanity faces.
291
754954
2500
некоторых величайших проблем человечества.
12:37
For example,
292
757454
1167
Например,
12:38
we’ll be able to diagnose more disease;
293
758662
2375
мы сможем диагностировать больше болезней;
12:41
we'll be able to engineer better medicines
294
761079
2000
сможем создать лучшие лекарства,
12:43
by infusing these models with knowledge of chemistry and physics;
295
763079
3083
включив в эти модели знания по химии и физике;
12:46
we'll be able to advance educational systems
296
766204
2667
сможем развивать системы образования,
12:48
by providing more individualized tutoring
297
768871
2041
сделав обучение людей более индивидуальным,
12:50
to help people learn in new and better ways;
298
770912
2375
чтобы помочь им учиться лучше и по-новому;
12:53
we’ll be able to tackle really complicated issues,
299
773287
2375
мы сможем заняться такими сложными проблемами,
12:55
like climate change,
300
775704
1208
как изменение климата
12:56
and perhaps engineering of clean energy solutions.
301
776954
2792
и, возможно, работой над чистыми источниками энергии.
12:59
So really, all of these kinds of systems
302
779787
2667
И конечно, всем этим типам систем
13:02
are going to be requiring the multidisciplinary expertise
303
782496
2875
потребуется мультидисциплинарная экспертиза
13:05
of people all over the world.
304
785371
1875
от людей во всём мире.
13:07
So connecting AI with whatever field you are in,
305
787287
3542
Таким образом связывая ИИ с любой сферой вашей деятельности
13:10
in order to make progress.
306
790829
1750
для общего прогресса.
13:13
So I've seen a lot of advances in computing,
307
793579
2292
Я вижу много достижений в вычислительной технике
13:15
and how computing, over the past decades,
308
795912
2292
и как она за последние десятилетия
13:18
has really helped millions of people better understand the world around them.
309
798204
4167
помогла миллионам людей лучше понять окружающий мир.
13:22
And AI today has the potential to help billions of people.
310
802412
3000
Сегодня ИИ обладает потенциалом, чтобы помочь миллионам людей.
13:26
We truly live in exciting times.
311
806204
2125
Мы живём поистине в волнующее время.
13:28
Thank you.
312
808746
1166
Спасибо.
13:29
(Applause)
313
809912
7000
(Аплодисменты)
13:39
Chris Anderson: Thank you so much.
314
819829
1667
Крис Андерсон: Большое спасибо.
13:41
I want to follow up on a couple things.
315
821537
2375
Я только хочу кое-что прояснить.
13:44
This is what I heard.
316
824454
2792
Это то, что я услышал.
13:47
Most people's traditional picture of AI
317
827287
4125
Большинство людей традиционно представляют ИИ так:
13:51
is that computers recognize a pattern of information,
318
831412
3125
компьютеры распознают некий пример информации,
13:54
and with a bit of machine learning,
319
834579
2125
и, получив немного машинного обучения,
13:56
they can get really good at that, better than humans.
320
836704
2625
они могут в этом преуспеть больше, чем люди.
13:59
What you're saying is those patterns
321
839329
1792
Вы хотите сказать, что эти примеры
14:01
are no longer the atoms that AI is working with,
322
841121
2875
больше не атомы, с которыми работает ИИ,
14:04
that it's much richer-layered concepts
323
844037
2542
а более многослойные понятия,
14:06
that can include all manners of types of things
324
846621
3458
которые могут включать в себя все разновидности вещей,
14:10
that go to make up a leopard, for example.
325
850121
3000
с помощью которых распознаётся, например, леопард.
14:13
So what could that lead to?
326
853121
2916
К чему же это может привести?
14:16
Give me an example of when that AI is working,
327
856079
2750
Приведите мне пример работы ИИ,
14:18
what do you picture happening in the world
328
858829
2042
что, по-вашему, произойдёт в мире
14:20
in the next five or 10 years that excites you?
329
860912
2209
в ближайшие 10 лет, что вас волнует?
14:23
Jeff Dean: I think the grand challenge in AI
330
863537
2500
Джефф Дин: Я думаю, что очень важная проблема в ИИ
14:26
is how do you generalize from a set of tasks
331
866079
2375
в том, как вы обобщите переход от набора задач,
14:28
you already know how to do
332
868496
1416
которые знаете, как решить,
14:29
to new tasks,
333
869954
1208
к новым задачам
14:31
as easily and effortlessly as possible.
334
871204
2542
как можно легче и быстрее.
14:33
And the current approach of training separate models for everything
335
873746
3250
И нынешний подход к тренировке отдельных моделей на всех видах
14:36
means you need lots of data about that particular problem,
336
876996
3166
означает, что вам нужно множество данных о частной проблеме,
14:40
because you're effectively trying to learn everything
337
880162
2542
потому что вы пытаетесь эффективно узнать всё
14:42
about the world and that problem, from nothing.
338
882746
2541
о мире и об этой проблеме, из ничего.
14:45
But if you can build these systems
339
885287
1667
Но если вы построите эти системы,
14:46
that already are infused with how to do thousands and millions of tasks,
340
886996
4458
которые уже знают, как делать тысячи и миллионы заданий,
14:51
then you can effectively teach them to do a new thing
341
891496
3791
то вы сможете эффективно обучить их чему-то новому
14:55
with relatively few examples.
342
895329
1500
на немногих примерах.
14:56
So I think that's the real hope,
343
896871
2083
Думаю, что на самом деле есть надежда,
14:58
that you could then have a system where you just give it five examples
344
898996
4083
что мы сможем получить систему, где достаточно лишь пяти примеров,
15:03
of something you care about,
345
903121
1541
важных для нас,
15:04
and it learns to do that new task.
346
904704
1917
и она научится делать новое задание.
15:06
CA: You can do a form of self-supervised learning
347
906662
2375
КА: Вы создадите форму самостоятельного обучения,
15:09
that is based on remarkably little seeding.
348
909079
2542
для которого нужно на удивление мало.
15:11
JD: Yeah, as opposed to needing 10,000 or 100,000 examples
349
911662
2875
ДД: Да, по сравнению с теми 10 000 или 100 000 образцов,
15:14
to figure everything in the world out.
350
914579
1833
необходимых для понимания мира.
15:16
CA: Aren't there kind of terrifying unintended consequences
351
916454
2792
КА: Не вызовет ли это ужасные непредвиденные последствия,
15:19
possible, from that?
352
919287
1334
возможно ли это?
15:20
JD: I think it depends on how you apply these systems.
353
920621
2625
ДД: Это зависит от того, как вы примените эти системы.
15:23
It's very clear that AI can be a powerful system for good,
354
923287
4167
Совершенно ясно, что ИИ может быть мощной системой для хороших дел
15:27
or if you apply it in ways that are not so great,
355
927496
2333
или, если вы используете его не во благо,
15:29
it can be a negative consequence.
356
929871
3375
последствия могут быть отрицательными.
15:33
So I think that's why it's important to have a set of principles
357
933287
3042
Вот почему я думаю о том, как важно иметь набор принципов
15:36
by which you look at potential uses of AI
358
936371
2250
для рассмотрения возможного использования ИИ
15:38
and really are careful and thoughtful about how you consider applications.
359
938662
5125
и быть благоразумным и предусмотрительным в вопросах его применения.
15:43
CA: One of the things people worry most about
360
943787
2209
КА: Один из наиболее волнующих людей вопросов
15:45
is that, if AI is so good at learning from the world as it is,
361
945996
3583
заключается в том, что если ИИ так хорошо учится у реального мира,
15:49
it's going to carry forward into the future
362
949621
2875
то он перенесёт в будущее те аспекты мира, какие есть,
15:52
aspects of the world as it is that actually aren't right, right now.
363
952537
4375
которые на самом деле неправильны, именно сейчас.
15:56
And there's obviously been a huge controversy about that
364
956954
2708
Как раз по этому поводу была большая дискуссия
15:59
recently at Google.
365
959662
2417
недавно в Google.
16:02
Some of those principles of AI development,
366
962121
3083
С некоторыми принципами развития ИИ
16:05
you've been challenged that you're not actually holding to them.
367
965246
4708
у вас были проблемы именно в том, что вы их не придерживаетесь.
16:10
Not really interested to hear about comments on a specific case,
368
970329
3250
Меня не интересуют комментарии по поводу конкретного случая,
16:13
but ... are you really committed?
369
973621
2708
но... вы действительно им следуете?
16:16
How do we know that you are committed to these principles?
370
976329
2750
Как понять, что вы привержены этим принципам?
16:19
Is that just PR, or is that real, at the heart of your day-to-day?
371
979079
4417
Это просто пиар, или суть вашей повседневной жизни?
16:23
JD: No, that is absolutely real.
372
983496
1541
ДД: Нет, это на самом деле.
16:25
Like, we have literally hundreds of people
373
985079
2125
Например, у нас буквально сотни людей
16:27
working on many of these related research issues,
374
987204
2333
работают над многими из этих вопросов,
16:29
because many of those things are research topics
375
989537
2417
так как многие из принципов сами по себе являются
16:31
in their own right.
376
991996
1166
темами исследований.
16:33
How do you take data from the real world,
377
993162
2250
Как взять данные из реального мира,
16:35
that is the world as it is, not as we would like it to be,
378
995412
5000
мира, каков он есть, а не того, каким мы хотели бы его увидеть,
16:40
and how do you then use that to train a machine-learning model
379
1000412
3209
использовать их для тренировки модели машинного обучения
16:43
and adapt the data bit of the scene
380
1003621
2500
и адаптировать конкретный элемент данных
16:46
or augment the data with additional data
381
1006162
2500
или добавить дополнительные данные так,
16:48
so that it can better reflect the values we want the system to have,
382
1008704
3292
чтобы она лучше воспроизводила значения, которые мы хотим иметь,
16:51
not the values that it sees in the world?
383
1011996
2208
а не те, которые она видит в реальности?
16:54
CA: But you work for Google,
384
1014204
2417
КА: Но вы работаете для Google,
16:56
Google is funding the research.
385
1016662
2084
Google спонсирует это научное исследование.
16:59
How do we know that the main values that this AI will build
386
1019371
4458
Откуда мы знаем, что главные ценности, которые этот ИИ создаст,
17:03
are for the world,
387
1023871
1208
будут для всего мира,
17:05
and not, for example, to maximize the profitability of an ad model?
388
1025121
4916
а не для максимизации прибыли рекламной модели?
17:10
When you know everything there is to know about human attention,
389
1030037
3084
Когда ты знаешь всё, что нужно знать о человеческом внимании,
17:13
you're going to know so much
390
1033121
1500
ты узнаёшь многое
17:14
about the little wriggly, weird, dark parts of us.
391
1034621
2458
о самых потаённых тёмных уголках нашего сознания.
17:17
In your group, are there rules about how you hold off,
392
1037121
6167
Есть ли в вашей группе правила о том, как вам удержаться,
17:23
church-state wall between a sort of commercial push,
393
1043329
3750
есть ли церковно-государственная стена против коммерческого давления
17:27
"You must do it for this purpose,"
394
1047079
2292
типа «Ты должен делать это»,
17:29
so that you can inspire your engineers and so forth,
395
1049413
2458
и вы можете вдохновить ваших инженеров и других
17:31
to do this for the world, for all of us.
396
1051913
1916
делать это для людей, для нас всех?
17:33
JD: Yeah, our research group does collaborate
397
1053871
2125
ДД: Да, наша группа как раз сотрудничает
17:36
with a number of groups across Google,
398
1056038
1833
с рядом групп помимо Google,
17:37
including the Ads group, the Search group, the Maps group,
399
1057913
2750
включая группы Ads, Search, Maps,
17:40
so we do have some collaboration, but also a lot of basic research
400
1060704
3209
и есть ряд совместных, а также много фундаментальных исследований,
17:43
that we publish openly.
401
1063954
1542
мы их открыто публикуем.
17:45
We've published more than 1,000 papers last year
402
1065538
3333
В прошлом году мы опубликовали более 1000 статей
17:48
in different topics, including the ones you discussed,
403
1068871
2583
на разные темы, включая те, которые мы уже обсуждали:
17:51
about fairness, interpretability of the machine-learning models,
404
1071454
3042
о справедливости, интерпретируемости моделей машинного обучения,
17:54
things that are super important,
405
1074538
1791
вещах чрезвычайно важных,
17:56
and we need to advance the state of the art in this
406
1076371
2417
и нам нужно повышать уровень развития в этой сфере,
17:58
in order to continue to make progress
407
1078829
2209
чтобы продолжать добиваться прогресса
18:01
to make sure these models are developed safely and responsibly.
408
1081079
3292
и быть уверенными в безопасности и надёжности этих моделей.
18:04
CA: It feels like we're at a time when people are concerned
409
1084788
3041
КА: Такое ощущение, что мы живём во время, когда людей заботит
18:07
about the power of the big tech companies,
410
1087829
2042
мощь больших высокотехнологичных компаний,
18:09
and it's almost, if there was ever a moment to really show the world
411
1089871
3750
и хорошо, если бы наступил момент реально показать миру,
18:13
that this is being done to make a better future,
412
1093663
3333
что это делается для лучшего будущего,
18:17
that is actually key to Google's future,
413
1097038
2791
что это главное и для компании Google,
18:19
as well as all of ours.
414
1099871
1750
как и для всех нас.
18:21
JD: Indeed.
415
1101663
1166
ДД: Именно так.
18:22
CA: It's very good to hear you come and say that, Jeff.
416
1102871
2583
КА: Очень здорово услышать вас здесь, Джефф.
18:25
Thank you so much for coming here to TED.
417
1105454
2042
Большое спасибо, что пришли на TED.
18:27
JD: Thank you.
418
1107538
1166
ДД: Спасибо.
18:28
(Applause)
419
1108704
1167
(Аплодисменты)
Об этом сайте

Этот сайт познакомит вас с видеороликами YouTube, полезными для изучения английского языка. Вы увидите уроки английского языка, преподаваемые высококлассными учителями со всего мира. Дважды щелкните по английским субтитрам, отображаемым на каждой странице видео, чтобы воспроизвести видео оттуда. Субтитры прокручиваются синхронно с воспроизведением видео. Если у вас есть какие-либо комментарии или пожелания, пожалуйста, свяжитесь с нами, используя эту контактную форму.

https://forms.gle/WvT1wiN1qDtmnspy7