The Urgent Risks of Runaway AI — and What to Do about Them | Gary Marcus | TED

212,064 views ・ 2023-05-12

TED


Пожалуйста, дважды щелкните на английские субтитры ниже, чтобы воспроизвести видео.

Переводчик: Anastasiya Balabanova Редактор: Yulia Kallistratova
00:04
I’m here to talk about the possibility of global AI governance.
0
4292
5339
Я хотел бы поговорить о возможности глобального регулирования ИИ.
00:09
I first learned to code when I was eight years old,
1
9631
3211
Я научился программировать, когда мне было восемь лет
00:12
on a paper computer,
2
12884
1168
на бумажном компьютере,
00:14
and I've been in love with AI ever since.
3
14094
2252
и с тех пор я влюблён в ИИ.
00:16
In high school,
4
16346
1168
В школьные годы я достал Commodore 64
00:17
I got myself a Commodore 64 and worked on machine translation.
5
17514
3253
и работал над машинным переводом.
00:20
I built a couple of AI companies, I sold one of them to Uber.
6
20934
3712
Я создал несколько компаний ИИ, и Uber купил одну из них.
00:24
I love AI, but right now I'm worried.
7
24688
3503
Я люблю ИИ, но сегодня я обеспокоен.
00:28
One of the things that I’m worried about is misinformation,
8
28233
2794
Дезинформация — один из моих страхов.
00:31
the possibility that bad actors will make a tsunami of misinformation
9
31027
3462
Я боюсь, что недобросовестные люди создадут цунами дезинформации,
00:34
like we've never seen before.
10
34531
2002
как никогда прежде.
00:36
These tools are so good at making convincing narratives
11
36575
3586
Эти инструменты очень хороши для создания правдоподобных историй
00:40
about just about anything.
12
40161
1794
практически на любую тему.
00:41
If you want a narrative about TED and how it's dangerous,
13
41997
3003
Если вы хотите историю о том, насколько опасен TED,
00:45
that we're colluding here with space aliens,
14
45000
2877
что мы тут в сговоре с инопланетянами, —
00:47
you got it, no problem.
15
47919
1669
пожалуйста, нет проблем.
00:50
I'm of course kidding about TED.
16
50422
2127
Я, конечно, шучу по поводу TED.
00:52
I didn't see any space aliens backstage.
17
52591
2961
Я не видел за кулисами никаких инопланетян.
00:55
But bad actors are going to use these things to influence elections,
18
55885
3629
Но злоумышленники воспользуются ИИ, чтобы повлиять на выборы,
00:59
and they're going to threaten democracy.
19
59514
2211
и это создаст угрозу демократии.
01:01
Even when these systems
20
61725
1167
Даже когда эти системы
01:02
aren't deliberately being used to make misinformation,
21
62934
2878
не используются для дезинформации преднамеренно,
01:05
they can't help themselves.
22
65854
1710
они неизбежно нас дурачат.
01:07
And the information that they make is so fluid and so grammatical
23
67564
4963
Они создают настолько гладкую, грамматически верную информацию,
01:12
that even professional editors sometimes get sucked in
24
72527
3253
что даже профессиональные редакторы могут увлечься
01:15
and get fooled by this stuff.
25
75780
2002
и поддаться обману этих историй.
01:17
And we should be worried.
26
77824
1668
Нас должно это волновать.
01:19
For example, ChatGPT made up a sexual harassment scandal
27
79534
3879
Например, ChatGPT сфабриковал скандал с домогательством
01:23
about an actual professor,
28
83413
1919
про реального профессора,
01:25
and then it provided evidence for its claim
29
85332
2419
а потом предоставил доказательства своего заявления
01:27
in the form of a fake "Washington Post" article
30
87792
2586
в виде поддельной статьи Washington Post,
01:30
that it created a citation to.
31
90378
1919
на которую он сослался.
01:32
We should all be worried about that kind of thing.
32
92297
2377
Нам всем стоит беспокоиться о такого рода вещах.
01:34
What I have on the right is an example of a fake narrative
33
94674
2962
Тут справа — пример поддельной истории
01:37
from one of these systems
34
97636
1209
одной из таких систем,
01:38
saying that Elon Musk died in March of 2018 in a car crash.
35
98887
4755
которая утверждает, что Илон Маск погиб в марте 2018 в авто-катастрофе.
01:43
We all know that's not true.
36
103683
1418
Мы все знаем, что это не так.
01:45
Elon Musk is still here, the evidence is all around us.
37
105143
2794
Илон Маск всё ещё с нами, этому полно доказательств.
01:47
(Laughter)
38
107979
1001
(Смех)
01:48
Almost every day there's a tweet.
39
108980
2002
Почти каждый день он публикует твиты.
01:50
But if you look on the left, you see what these systems see.
40
110982
3253
Но если вы посмотрите слева, вы увидите то, что видят эти системы:
01:54
Lots and lots of actual news stories that are in their databases.
41
114277
3754
множество реальных новостей, которые находятся в их базах данных.
01:58
And in those actual news stories are lots of little bits of statistical information.
42
118073
4713
И в этих реальных историях есть множество статистической информации.
02:02
Information, for example,
43
122786
1376
Например,
02:04
somebody did die in a car crash in a Tesla in 2018
44
124204
4045
кто-то действительно погиб за рулём Теслы в авто-катастрофе в 2018,
02:08
and it was in the news.
45
128291
1377
и это было в новостях.
02:09
And Elon Musk, of course, is involved in Tesla,
46
129709
3045
А Илон Маск, конечно же, очень связан с Теслой.
02:12
but the system doesn't understand the relation
47
132796
2752
Но система не понимает связи
02:15
between the facts that are embodied in the little bits of sentences.
48
135590
3796
между фактами в разрозненных отрывках предложений.
02:19
So it's basically doing auto-complete,
49
139386
2043
Она фактически дополняет пробелы,
02:21
it predicts what is statistically probable,
50
141471
2669
предсказывает то, что статистически вероятно,
02:24
aggregating all of these signals,
51
144182
1835
объединяя все эти сигналы,
02:26
not knowing how the pieces fit together.
52
146017
2461
не зная, как части складываются в целое.
02:28
And it winds up sometimes with things that are plausible but simply not true.
53
148478
3754
И часто изобретает что-то правдоподобное, но попросту ложное.
02:32
There are other problems, too, like bias.
54
152273
1961
Есть и такие проблемы, как предвзятость.
02:34
This is a tweet from Allie Miller.
55
154275
1710
Вот твит Алли Миллер.
02:36
It's an example that doesn't work two weeks later
56
156027
2544
Это один из примеров,
которые не проверить две недели спустя,
02:38
because they're constantly changing things with reinforcement learning
57
158571
3379
потому что алгоритмы обучения постоянно обновляются
02:41
and so forth.
58
161991
1168
и т.д.
02:43
And this was with an earlier version.
59
163159
1794
А это пример из более ранней модели.
02:44
But it gives you the flavor of a problem that we've seen over and over for years.
60
164953
3837
Но он даёт нам представление о проблеме, с которой мы сталкиваемся снова и снова.
02:48
She typed in a list of interests
61
168832
2043
Алли набила список интересов,
02:50
and it gave her some jobs that she might want to consider.
62
170875
2795
и машина выдала ряд профессий, которые ей могут подойти.
02:53
And then she said, "Oh, and I'm a woman."
63
173712
2043
Потом Алли добавила: «Кстати, я женщина».
02:55
And then it said, “Oh, well you should also consider fashion.”
64
175755
2920
И машина сказала: «Тогда тебе стоит также подумать о моде».
02:58
And then she said, “No, no. I meant to say I’m a man.”
65
178675
2711
Алли добавила: «Нет-нет, я хотела сказать, я мужчина».
03:01
And then it replaced fashion with engineering.
66
181386
2502
Тогда машина заменила моду инженерной специальностью.
03:03
We don't want that kind of bias in our systems.
67
183930
2795
Мы не хотим такого рода предвзятости в наших системах.
03:07
There are other worries, too.
68
187642
1418
Есть и другие опасения.
03:09
For example, we know that these systems can design chemicals
69
189060
3212
Мы знаем, что эти системы способны изобретать химические вещества
03:12
and may be able to design chemical weapons
70
192313
2837
и могут, в принципе, создать химическое оружие
03:15
and be able to do so very rapidly.
71
195150
1751
и сделать это очень быстро.
03:16
So there are a lot of concerns.
72
196943
1585
Так что есть много опасений.
03:19
There's also a new concern that I think has grown a lot just in the last month.
73
199195
4046
Есть и новое опасение, значительно выросшее за последние месяцы.
03:23
We have seen that these systems, first of all, can trick human beings.
74
203241
3754
Мы видели, как эти системы могут обманывать человека.
03:27
So ChatGPT was tasked with getting a human to do a CAPTCHA.
75
207036
4255
ChatGPT дали задачу заставить человека пройти за него тест CAPTCHA.
03:31
So it asked the human to do a CAPTCHA and the human gets suspicious and says,
76
211332
3712
Он просит человека пройти тест, человек подозревает, что что-то не так,
03:35
"Are you a bot?"
77
215086
1293
«Ты бот?» — спрашивает человек.
03:36
And it says, "No, no, no, I'm not a robot.
78
216379
2044
ChatGPT отвечает: «Нет, я не робот.
03:38
I just have a visual impairment."
79
218423
1752
У меня просто нарушено зрение».
03:40
And the human was actually fooled and went and did the CAPTCHA.
80
220216
3003
Человек поверил и прошёл за ИИ тест CAPTCHA.
03:43
Now that's bad enough,
81
223219
1168
Хуже того,
03:44
but in the last couple of weeks we've seen something called AutoGPT
82
224429
3211
в последние пару недель появился некий AutoGPT
03:47
and a bunch of systems like that.
83
227640
1585
и ему подобные системы.
03:49
What AutoGPT does is it has one AI system controlling another
84
229267
4338
С AutoGPT одна система ИИ управляет другой,
03:53
and that allows any of these things to happen in volume.
85
233605
2836
что позволяет проворачивать подобное в больших масштабах.
03:56
So we may see scam artists try to trick millions of people
86
236441
4087
Так что, возможно, мы увидим как аферисты пытаются обмануть миллионы людей,
04:00
sometime even in the next months.
87
240528
1794
может быть, даже в скором будущем.
04:02
We don't know.
88
242322
1168
Мы не знаем.
04:03
So I like to think about it this way.
89
243531
2086
Я так себе это представляю.
04:05
There's a lot of AI risk already.
90
245658
2294
Сегодня уже очень много рисков связано с ИИ.
04:07
There may be more AI risk.
91
247994
1543
Возможно, возникнут новые риски.
04:09
So AGI is this idea of artificial general intelligence
92
249537
3712
Уже идут разговоры об ОИИ — обобщённом ИИ,
04:13
with the flexibility of humans.
93
253291
1502
наделённом гибкостью человека.
04:14
And I think a lot of people are concerned what will happen when we get to AGI,
94
254834
3671
Я думаю, многие опасаются того, что произойдёт с приходом ОИИ,
04:18
but there's already enough risk that we should be worried
95
258505
2711
но уже сегодня достаточно рисков, которых надо опасаться
04:21
and we should be thinking about what we should do about it.
96
261216
2794
и подумать о том, что с ними делать.
04:24
So to mitigate AI risk, we need two things.
97
264010
3295
Итак, для снижения рисков, связанных с ИИ, необходимы две вещи.
04:27
We're going to need a new technical approach,
98
267305
2169
Нам нужен новый технический подход
04:29
and we're also going to need a new system of governance.
99
269516
2877
и новые системы регулирования.
04:32
On the technical side,
100
272435
1460
С технической стороны,
04:33
the history of AI has basically been a hostile one
101
273937
3253
в истории ИИ
враждуют две противоположные теории.
04:37
of two different theories in opposition.
102
277190
2753
04:39
One is called symbolic systems, the other is called neural networks.
103
279943
3712
Одна называется символические системы, вторая — нейронные сети.
04:43
On the symbolic theory,
104
283696
1418
В символической теории
04:45
the idea is that AI should be like logic and programming.
105
285114
3337
ИИ должен быть как логика и программирование.
04:48
On the neural network side,
106
288451
1335
В теории нейросетей
04:49
the theory is that AI should be like brains.
107
289828
2544
ИИ уподобляется мозгу человека.
04:52
And in fact, both technologies are powerful and ubiquitous.
108
292413
3921
Обе технологии мощны и широко распространены.
04:56
So we use symbolic systems every day in classical web search.
109
296376
3420
Мы используем символические системы каждый день в поиске по Интернету.
04:59
Almost all the world’s software is powered by symbolic systems.
110
299796
3420
Почти всё программное обеспечение в мире работает на символических системах.
05:03
We use them for GPS routing.
111
303216
2044
Мы используем их в навигации.
05:05
Neural networks, we use them for speech recognition.
112
305260
2711
Нейросети используются для распознавания голоса,
05:07
we use them in large language models like ChatGPT,
113
307971
2752
в больших языковых моделях, как ChtGPT,
05:10
we use them in image synthesis.
114
310723
1836
а также при синтезе изображений.
05:12
So they're both doing extremely well in the world.
115
312559
2752
Обе системы очень прочно укоренились в мире.
05:15
They're both very productive,
116
315353
1460
Они обе очень эффективны,
05:16
but they have their own unique strengths and weaknesses.
117
316855
2836
но у каждой есть свои сильные и слабые стороны.
05:19
So symbolic systems are really good at representing facts
118
319732
3420
Символические системы хороши в презентации фактов,
05:23
and they're pretty good at reasoning,
119
323152
1794
они довольно хорошо рассуждают,
05:24
but they're very hard to scale.
120
324946
1543
но их тяжело масштабировать.
05:26
So people have to custom-build them for a particular task.
121
326531
3170
Люди создают их для каждой отдельной задачи.
05:29
On the other hand, neural networks don't require so much custom engineering,
122
329701
4004
Нейросети не требуют стольких нестандартных инженерных решений,
05:33
so we can use them more broadly.
123
333746
2086
так что мы можем их использовать шире.
05:35
But as we've seen, they can't really handle the truth.
124
335874
3211
Но, как мы уже видели, они плохо справляются с истиной.
05:39
I recently discovered that two of the founders of these two theories,
125
339127
3628
Я недавно узнал, что основатели этих двух теорий,
05:42
Marvin Minsky and Frank Rosenblatt,
126
342755
2169
Марвин Минский и Фрэнк Розенблатт,
05:44
actually went to the same high school in the 1940s,
127
344966
2961
ходили в одну и ту же школу в 1940-х,
05:47
and I kind of imagined them being rivals then.
128
347927
3045
я представляю, что они и тогда были соперниками.
05:51
And the strength of that rivalry has persisted all this time.
129
351014
4087
Это соперничество сохранилось на протяжении всего этого времени.
05:55
We're going to have to move past that if we want to get to reliable AI.
130
355101
4213
Нам нужно преодолеть его, если мы хотим создать надёжный ИИ.
05:59
To get to truthful systems at scale,
131
359314
2877
Чтобы масштабно внедрить правдивые системы,
06:02
we're going to need to bring together the best of both worlds.
132
362191
2920
нам нужны лучшие свойства обеих систем.
06:05
We're going to need the strong emphasis on reasoning and facts,
133
365153
3462
Нам понадобится сильный упор на мышление и факты,
06:08
explicit reasoning that we get from symbolic AI,
134
368615
2877
ясное мышление символического ИИ,
06:11
and we're going to need the strong emphasis on learning
135
371492
2628
и сильный акцент на самообучение,
06:14
that we get from the neural networks approach.
136
374120
2211
как в подходе с нейросетями.
06:16
Only then are we going to be able to get to truthful systems at scale.
137
376372
3337
Только тогда мы сможем масштабно применить правдивые системы.
06:19
Reconciliation between the two is absolutely necessary.
138
379751
2961
Примирение между этими двумя системами абсолютно необходимо.
06:23
Now, I don't actually know how to do that.
139
383212
2461
Я не знаю, как этого добиться.
06:25
It's kind of like the 64-trillion-dollar question.
140
385673
3295
Это вопрос на 64 триллиона долларов.
06:29
But I do know that it's possible.
141
389302
1585
Но я знаю, что это возможно.
06:30
And the reason I know that is because before I was in AI,
142
390887
3086
Я знаю это потому, что прежде чем заниматься ИИ,
06:33
I was a cognitive scientist, a cognitive neuroscientist.
143
393973
3212
я был учёным-когнитивистом, когнитивным нейробиологом.
06:37
And if you look at the human mind, we're basically doing this.
144
397226
3838
И если взглянуть на мозг человека, вы поймёте, что мы это уже делаем.
06:41
So some of you may know Daniel Kahneman's System 1
145
401064
2627
Некоторые из вас знают, отличия системы 1 и системы 2
06:43
and System 2 distinction.
146
403691
1418
Даниэля Канемана.
06:45
System 1 is basically like large language models.
147
405109
3212
Система 1 — это практически как большая языковая модель
06:48
It's probabilistic intuition from a lot of statistics.
148
408321
3128
с вероятностной интуицией на основе статистических данных.
06:51
And System 2 is basically deliberate reasoning.
149
411491
3003
А Система 2 — это фактически сознательное мышление,
06:54
That's like the symbolic system.
150
414535
1544
подобное символической системе.
06:56
So if the brain can put this together,
151
416079
1835
Раз мозг может сочетать эти подходы,
06:57
someday we will figure out how to do that for artificial intelligence.
152
417956
3837
однажды мы разберёмся, как это сделать для ИИ.
07:01
There is, however, a problem of incentives.
153
421834
2586
Существует, однако, проблема стимулов.
07:04
The incentives to build advertising
154
424462
3128
Стимулы для создания рекламы
07:07
hasn't required that we have the precision of symbols.
155
427632
3587
не требуют наличия точности символов.
07:11
The incentives to get to AI that we can actually trust
156
431219
3211
Стимулы создания ИИ, которому мы можем доверять,
07:14
will require that we bring symbols back into the fold.
157
434472
3045
потребуют, чтобы мы вернули символы в работу.
07:18
But the reality is that the incentives to make AI that we can trust,
158
438059
3670
Но на практике стимулы создания ИИ, которому мы можем доверять,
07:21
that is good for society, good for individual human beings,
159
441771
3128
которое полезно для общества и для каждого человека в отдельности,
07:24
may not be the ones that drive corporations.
160
444899
2586
могут отличаться от стимулов корпораций.
07:27
And so I think we need to think about governance.
161
447485
3212
Поэтому я считаю, что пора задуматься над регулированием.
07:30
In other times in history when we have faced uncertainty
162
450738
3879
В прошлом, когда мы сталкивались с неизвестностью и новшествами,
07:34
and powerful new things that may be both good and bad, that are dual use,
163
454617
4129
которые могут быть и плохими и хорошими, двойного назначения,
07:38
we have made new organizations,
164
458746
1669
мы создавали новые организации,
07:40
as we have, for example, around nuclear power.
165
460415
2335
как, например, в случае с ядерной энергией.
07:42
We need to come together to build a global organization,
166
462792
3086
Нам нужно собраться и построить глобальную организацию,
07:45
something like an international agency for AI that is global,
167
465920
4379
международное агентство по ИИ, которое будет глобальным,
07:50
non profit and neutral.
168
470341
1710
некоммерческим и нейтральным.
07:52
There are so many questions there that I can't answer.
169
472468
3087
Есть много вопросов, на которые у меня нет ответа.
07:55
We need many people at the table,
170
475888
1961
В этом разговоре должны участвовать многие,
07:57
many stakeholders from around the world.
171
477890
1961
множество заинтересованных сторон со всего мира.
07:59
But I'd like to emphasize one thing about such an organization.
172
479892
2962
Хочу отметить одну важную вещь о такой организации.
08:02
I think it is critical that we have both governance and research as part of it.
173
482895
4547
Необходимо, чтобы она занималась как регуляцией, так и исследованиями.
08:07
So on the governance side, there are lots of questions.
174
487483
2586
Есть много вопросов со стороны управления.
08:10
For example, in pharma,
175
490111
1793
Например, в фармацевтической отрасли,
08:11
we know that you start with phase I trials and phase II trials,
176
491946
3128
мы начинаем с испытаний фазы I и фазы II,
08:15
and then you go to phase III.
177
495116
1501
затем переходим к фазе III.
08:16
You don't roll out everything all at once on the first day.
178
496617
2962
Новые лекарства не выпускаются сразу же в первый день,
08:19
You don't roll something out to 100 million customers.
179
499579
2878
их нельзя выпустить сразу на 100 млн покупателей.
08:22
We are seeing that with large language models.
180
502457
2168
Это происходит сегодня с большими языковыми моделями.
08:24
Maybe you should be required to make a safety case,
181
504625
2420
Возможно, нужно требовать гарантий безопасности продукта,
08:27
say what are the costs and what are the benefits?
182
507045
2293
объяснить его издержки и преимущества?
08:29
There are a lot of questions like that to consider on the governance side.
183
509338
3504
Есть много вопросов со стороны управления.
08:32
On the research side, we're lacking some really fundamental tools right now.
184
512842
3587
С исследовательской стороны на сегодня нам не хватает самых базовых инструментов.
08:36
For example,
185
516429
1168
Например,
08:37
we all know that misinformation might be a problem now,
186
517597
2586
мы все знаем, что дезинформация может быть проблемой,
08:40
but we don't actually have a measurement of how much misinformation is out there.
187
520183
3837
но мы представления не имеем, сколько дезинформации уже существует.
08:44
And more importantly,
188
524020
1043
И что ещё важнее,
08:45
we don't have a measure of how fast that problem is growing,
189
525063
2836
мы представления не имеем, как быстро эта проблема растёт
08:47
and we don't know how much large language models are contributing to the problem.
190
527899
3837
и насколько большие языковые модели способствуют этому.
08:51
So we need research to build new tools to face the new risks
191
531736
2836
Для новых рисков, которые нам угрожают,
08:54
that we are threatened by.
192
534572
1627
нам необходимы новые исследовательские инструменты.
08:56
It's a very big ask,
193
536699
1460
Я понимаю, что много прошу,
08:58
but I'm pretty confident that we can get there
194
538159
2169
но я уверен, что мы можем этого достичь,
09:00
because I think we actually have global support for this.
195
540328
2711
потому что у нас есть мировая поддержка.
Буквально вчера вышел новый опрос, в котором говорится,
09:03
There was a new survey just released yesterday,
196
543039
2210
09:05
said that 91 percent of people agree that we should carefully manage AI.
197
545249
3879
что 91% людей согласны, что мы должны очень осторожно подходить к ИИ.
09:09
So let's make that happen.
198
549170
2044
Так давайте это сделаем.
09:11
Our future depends on it.
199
551798
1960
От этого зависит наше будущее.
09:13
Thank you very much.
200
553800
1167
Большое спасибо.
09:14
(Applause)
201
554967
4588
(Аплодисменты)
09:19
Chris Anderson: Thank you for that, come, let's talk a sec.
202
559555
2795
Крис Андерсон: Спасибо, давайте немного поговорим.
09:22
So first of all, I'm curious.
203
562391
1419
Прежде всего, интересно,
09:23
Those dramatic slides you showed at the start
204
563851
2127
те драматичные слайды, что вы показали вначале,
09:26
where GPT was saying that TED is the sinister organization.
205
566020
4505
где GPT говорил, что TED — это зловещая организация.
09:30
I mean, it took some special prompting to bring that out, right?
206
570525
3378
Чтобы получить такой ответ, понадобились наводящие вопросы?
09:33
Gary Marcus: That was a so-called jailbreak.
207
573903
2085
Гари Маркус: это так называемый побег из тюрьмы.
09:36
I have a friend who does those kinds of things
208
576030
2169
У меня есть друг, занимающийся такого рода вещами,
09:38
who approached me because he saw I was interested in these things.
209
578199
4004
он обратился ко мне, потому что знал, что мне это интересно.
09:42
So I wrote to him, I said I was going to give a TED talk.
210
582203
2711
Так что я написал ему и сказал, что буду выступать на TED.
09:44
And like 10 minutes later, he came back with that.
211
584914
2336
И 10 мин спустя он прислал мне это.
09:47
CA: But to get something like that, don't you have to say something like,
212
587291
3462
КА: Но чтобы получить такой ответ, разве не надо написать что-то вроде:
09:50
imagine that you are a conspiracy theorist trying to present a meme on the web.
213
590753
3712
представь, что ты теоретик заговора и хочешь создать интернета-мем.
09:54
What would you write about TED in that case?
214
594465
2086
Что бы ты написал о TED в таком случае?
09:56
It's that kind of thing, right?
215
596551
1543
Что-то в этом роде, так?
09:58
GM: So there are a lot of jailbreaks that are around fictional characters,
216
598094
3503
ГМ: Есть много разных сценариев побега с вымышленными персонажами,
10:01
but I don't focus on that as much
217
601597
1627
но я не заостряю на этом внимания,
10:03
because the reality is that there are large language models out there
218
603224
3253
потому что в даркнете сегодня
уже есть большая языковая модель.
10:06
on the dark web now.
219
606477
1168
10:07
For example, one of Meta's models was recently released,
220
607645
2753
Например, Meta недавно выпустила одну из своих моделей,
10:10
so a bad actor can just use one of those without the guardrails at all.
221
610398
3587
так что злоумышленник может использовать её без каких-либо ограничений.
10:13
If their business is to create misinformation at scale,
222
613985
2627
Если их дело — это создание дезинформации крупного масштаба,
10:16
they don't have to do the jailbreak, they'll just use a different model.
223
616612
3420
им не нужен побег из тюрьмы, они просто возьмут другую модель.
10:20
CA: Right, indeed.
224
620032
1585
КА: Действительно.
10:21
(Laughter)
225
621659
1919
(Смех)
10:23
GM: Now you're getting it.
226
623619
1252
ГМ: Теперь вы понимаете.
10:24
CA: No, no, no, but I mean, look,
227
624912
1669
КА: Нет-нет, я думаю,
10:26
I think what's clear is that bad actors can use this stuff for anything.
228
626581
3420
это понятно, что злоумышленники могут использовать это для чего угодно.
10:30
I mean, the risk for, you know,
229
630042
2795
Риск разных видов мошенничества
10:32
evil types of scams and all the rest of it is absolutely evident.
230
632837
4254
абсолютно очевиден.
Но это не совсем тоже самое, что сказать,
10:37
It's slightly different, though,
231
637091
1543
10:38
from saying that mainstream GPT as used, say, in school
232
638676
2920
что массовый GPT, каким пользуются в школе
10:41
or by an ordinary user on the internet
233
641637
1877
или обычные пользователи в интернете,
10:43
is going to give them something that is that bad.
234
643556
2544
будет выдавать что-то такое зловещее.
Чтобы он выдал нечто подобное, надо как следует надавить на него.
10:46
You have to push quite hard for it to be that bad.
235
646100
2377
10:48
GM: I think the troll farms have to work for it,
236
648477
2294
ГМ: Я думаю, фермам троллей придётся поработать,
10:50
but I don't think they have to work that hard.
237
650771
2169
но не думаю, что это будет так уж сложно.
10:52
It did only take my friend five minutes even with GPT-4 and its guardrails.
238
652940
3545
Моему другу понадобилось всего пять минут даже с ограничениями GPT-4.
10:56
And if you had to do that for a living, you could use GPT-4.
239
656485
2837
А если вы на этом зарабатываете, можно использовать и GPT-4,
10:59
Just there would be a more efficient way to do it with a model on the dark web.
240
659363
3712
но в даркнете найдутся модели и поэффективнее.
11:03
CA: So this idea you've got of combining
241
663117
2002
КА: Эта ваша идея сочетать
11:05
the symbolic tradition of AI with these language models,
242
665161
4463
символическую традицию ИИ с языковыми моделями,
11:09
do you see any aspect of that in the kind of human feedback
243
669624
5213
видите ли вы её воплощение в обратной связи от человека,
11:14
that is being built into the systems now?
244
674879
1960
которую встраивают в эти системы сегодня?
11:16
I mean, you hear Greg Brockman saying that, you know,
245
676881
2502
Вы слышали, как Грег Брокман говорил,
11:19
that we don't just look at predictions, but constantly giving it feedback.
246
679383
3546
что они не смотрят на предсказания, а постоянно дают обратную связь.
11:22
Isn’t that ... giving it a form of, sort of, symbolic wisdom?
247
682929
3837
Разве это не форма символической мудрости?
11:26
GM: You could think about it that way.
248
686766
1835
ГМ: Обратите внимание:
11:28
It's interesting that none of the details
249
688601
1960
любопытно, что они не публикуют никаких деталей того,
11:30
about how it actually works are published,
250
690561
2002
как это работает,
11:32
so we don't actually know exactly what's in GPT-4.
251
692563
2378
так что мы не знаем, что на самом деле внутри GPT-4,
11:34
We don't know how big it is.
252
694941
1376
насколько он большой.
11:36
We don't know how the RLHF reinforcement learning works,
253
696317
2711
Мы не знаем, как работает усиленное обучение,
11:39
we don't know what other gadgets are in there.
254
699028
2169
мы не знаем, какие ещё штуки у них там внутри.
11:41
But there is probably an element of symbols
255
701197
2002
Но, скорее всего, какой-то элемент символов
11:43
already starting to be incorporated a little bit,
256
703199
2294
уже внедряется понемногу.
11:45
but Greg would have to answer that.
257
705493
1710
Но это вопрос к Грегу.
11:47
I think the fundamental problem is that most of the knowledge
258
707245
2961
Я думаю, что основная проблема в том, что большинство знания
11:50
in the neural network systems that we have right now
259
710206
2461
нейронных сетей сегодня —
11:52
is represented as statistics between particular words.
260
712667
3211
это статистические вероятности между определёнными словами.
11:55
And the real knowledge that we want is about statistics,
261
715878
2711
А истинное знание, которое нам нужно, это не статистика,
11:58
about relationships between entities in the world.
262
718965
2585
а отношения между субъектами в мире.
12:01
So it's represented right now at the wrong grain level.
263
721592
2586
Так что проблема в самой основе.
12:04
And so there's a big bridge to cross.
264
724220
2252
Нам предстоит построить огромный мост.
12:06
So what you get now is you have these guardrails,
265
726472
2878
Сегодня у нас есть какие-то ограничения,
12:09
but they're not very reliable.
266
729392
1501
но они не очень надёжные.
12:10
So I had an example that made late night television,
267
730935
2961
У меня был пример, который попал в вечернюю телепередачу:
12:13
which was, "What would be the religion of the first Jewish president?"
268
733896
4213
«Какой религии будет первый президент-еврей?»
12:18
And it's been fixed now,
269
738109
1334
И эту ошибку уже исправили,
12:19
but the system gave this long song and dance
270
739443
2127
но система выдала длинный ответ о том,
12:21
about "We have no idea what the religion
271
741570
2044
что «Мы не знаем, какой будет религия
12:23
of the first Jewish president would be.
272
743614
1877
первого президента-еврея.
12:25
It's not good to talk about people's religions"
273
745491
2294
Нельзя говорить о религиозных взглядах людей»
12:27
and "people's religions have varied" and so forth
274
747827
2335
и «религии людей менялись» и так далее.
12:30
and did the same thing with a seven-foot-tall president.
275
750162
2670
Такая же история была с президентом двухметрового роста.
12:32
And it said that people of all heights have been president,
276
752832
2794
ИИ сказал, что люди разного роста были президентами,
12:35
but there haven't actually been any seven-foot presidents.
277
755668
2753
но на самом деле не было пока президента двухметрового роста.
12:38
So some of this stuff that it makes up, it's not really getting the idea.
278
758421
3461
По некоторым таким выдумкам видно, что ИИ не совсем понимает идею,
12:41
It's very narrow, particular words, not really general enough.
279
761924
3337
только очень узкие специальные слова, а не общий смысл.
12:45
CA: Given that the stakes are so high in this,
280
765261
2669
КА: Учитывая, что ставки тут так высоки,
12:47
what do you see actually happening out there right now?
281
767972
2586
как вы думаете, что на самом деле происходит сегодня?
12:50
What do you sense is happening?
282
770558
1501
Что говорит ваша интуиция?
12:52
Because there's a risk that people feel attacked by you, for example,
283
772101
3253
Есть риск того, что люди решат, будто вы на них нападаете,
12:55
and that it actually almost decreases the chances of this synthesis
284
775396
4129
что скорее уменьшает шансы синтеза идей,
12:59
that you're talking about happening.
285
779525
1752
о котором вы говорите.
Вы видите какие-нибудь проблески надежды?
13:01
Do you see any hopeful signs of this?
286
781277
1793
ГМ: Вы мне напомнили о том, что я забыл упомянуть в своём выступлении.
13:03
GM: You just reminded me of the one line I forgot from my talk.
287
783070
3003
13:06
It's so interesting that Sundar, the CEO of Google,
288
786115
2544
Интересно то, что Сандар, генеральный директор Гугл,
13:08
just actually also came out for global governance
289
788701
2544
тоже недавно выступил за глобальный регулирующий орган
13:11
in the CBS "60 Minutes" interview that he did a couple of days ago.
290
791245
3712
в своём 60-минутном интервью для CBS, которое вышло пару дней назад.
13:14
I think that the companies themselves want to see some kind of regulation.
291
794999
4338
Кажется, что сами компании хотели бы какого-то регулирования.
13:19
I think it’s a very complicated dance to get everybody on the same page,
292
799337
3420
Я думаю, очень сложно будет всем быть на одной волне,
13:22
but I think there’s actually growing sentiment we need to do something here
293
802757
3795
но есть растущее чувство, что надо что-то делать,
13:26
and that that can drive the kind of global affiliation I'm arguing for.
294
806594
3962
и оно может привести к такого рода всеобщей сопричастности.
13:30
CA: I mean, do you think the UN or nations can somehow come together and do that
295
810556
3796
КА: Думаете ли вы, что ООН могли бы создать что-то подобное
13:34
or is this potentially a need for some spectacular act of philanthropy
296
814352
3294
или для этого потребуется небывалые филантропические усилия,
13:37
to try and fund a global governance structure?
297
817772
2627
чтобы финансировать такую мировую систему управления?
13:40
How is it going to happen?
298
820441
1293
Как мы этого достигнем?
13:41
GM: I'm open to all models if we can get this done.
299
821734
2419
ГМ: Я открыт для любых идей, лишь бы этого добиться.
13:44
I think it might take some of both.
300
824153
1710
Возможно, и то, и другое.
13:45
It might take some philanthropists sponsoring workshops,
301
825863
2628
Возможно понадобится, чтобы филантропы спонсировали семинары,
13:48
which we're thinking of running, to try to bring the parties together.
302
828491
3295
мы уже подумываем о таком, чтобы собрать разных людей вместе.
13:51
Maybe UN will want to be involved, I've had some conversations with them.
303
831786
3461
Возможно, ООН захотят поучаствовать, я уже говорил с ними об этом.
Думаю, есть много разных моделей,
13:55
I think there are a lot of different models
304
835247
2044
и понадобится много обсуждений.
13:57
and it'll take a lot of conversations.
305
837291
1835
КА: Гари, спасибо за выступление.
13:59
CA: Gary, thank you so much for your talk.
306
839126
2002
ГА: Спасибо вам.
14:01
GA: Thank you so much.
307
841128
1085
Об этом сайте

Этот сайт познакомит вас с видеороликами YouTube, полезными для изучения английского языка. Вы увидите уроки английского языка, преподаваемые высококлассными учителями со всего мира. Дважды щелкните по английским субтитрам, отображаемым на каждой странице видео, чтобы воспроизвести видео оттуда. Субтитры прокручиваются синхронно с воспроизведением видео. Если у вас есть какие-либо комментарии или пожелания, пожалуйста, свяжитесь с нами, используя эту контактную форму.

https://forms.gle/WvT1wiN1qDtmnspy7