The Urgent Risks of Runaway AI — and What to Do about Them | Gary Marcus | TED

212,064 views ・ 2023-05-12

TED


Por favor, faça duplo clique nas legendas em inglês abaixo para reproduzir o vídeo.

Tradutor: Margarida Ferreira Revisora: Clara Marques
00:04
I’m here to talk about the possibility of global AI governance.
0
4292
5339
Venho aqui falar sobre a possibilidade de um controlo mundial da IA.
00:09
I first learned to code when I was eight years old,
1
9631
3211
Aprendi a codificar quando tinha oito anos,
00:12
on a paper computer,
2
12884
1168
num computador de papel,
00:14
and I've been in love with AI ever since.
3
14094
2252
e apaixonei-me pela IA desde então.
00:16
In high school,
4
16346
1168
Na escola secundária,
00:17
I got myself a Commodore 64 and worked on machine translation.
5
17514
3253
arranjei um Commodore 64 e trabalhei em tradução automática.
00:20
I built a couple of AI companies, I sold one of them to Uber.
6
20934
3712
Criei duas empresas de IA, vendi uma delas à Uber.
00:24
I love AI, but right now I'm worried.
7
24688
3503
Eu adoro a IA, mas neste momento estou preocupado.
00:28
One of the things that I’m worried about is misinformation,
8
28233
2794
Uma das coisas que me preocupa é a desinformação,
a possibilidade de que pessoas de mau caráter façam um tsunami de desinformação
00:31
the possibility that bad actors will make a tsunami of misinformation
9
31027
3462
00:34
like we've never seen before.
10
34531
2002
como nunca vimos.
00:36
These tools are so good at making convincing narratives
11
36575
3586
Estas ferramentas são excelentes em fazer narrativas convincentes
00:40
about just about anything.
12
40161
1794
sobre seja o que for.
00:41
If you want a narrative about TED and how it's dangerous,
13
41997
3003
Se quiserem uma narrativa sobre a TED e como ela é perigosa
00:45
that we're colluding here with space aliens,
14
45000
2877
porque somos coniventes aqui com extraterrestres,
00:47
you got it, no problem.
15
47919
1669
aqui a têm, não há problema.
00:50
I'm of course kidding about TED.
16
50422
2127
Claro que estou a brincar com a TED.
00:52
I didn't see any space aliens backstage.
17
52591
2961
Não vi nenhum extraterrestre nos bastidores.
00:55
But bad actors are going to use these things to influence elections,
18
55885
3629
Mas há maus caracteres que vão usar estas coisas para influenciar eleições,
00:59
and they're going to threaten democracy.
19
59514
2211
e vão ameaçar a democracia.
01:01
Even when these systems
20
61725
1167
Mesmo quando esses sistemas
01:02
aren't deliberately being used to make misinformation,
21
62934
2878
não estão a ser usados deliberadamente para lançar desinformação,
01:05
they can't help themselves.
22
65854
1710
não podem impedir-se.
01:07
And the information that they make is so fluid and so grammatical
23
67564
4963
As informações que eles fazem são tão fluidas e tão gramaticais
01:12
that even professional editors sometimes get sucked in
24
72527
3253
que até os editores profissionais por vezes são apanhados
01:15
and get fooled by this stuff.
25
75780
2002
e são enganados por isso.
01:17
And we should be worried.
26
77824
1668
Devemos estar preocupados.
01:19
For example, ChatGPT made up a sexual harassment scandal
27
79534
3879
Por exemplo, o ChatGPT criou um escândalo de assédio sexual
01:23
about an actual professor,
28
83413
1919
sobre um professor real
01:25
and then it provided evidence for its claim
29
85332
2419
e depois apresentou prova das suas afirmações
01:27
in the form of a fake "Washington Post" article
30
87792
2586
sob a forma de um falso artigo do “Washington Post”
01:30
that it created a citation to.
31
90378
1919
para o qual criou uma citação.
01:32
We should all be worried about that kind of thing.
32
92297
2377
Devemos estar preocupados sobre este tipo de coisas.
01:34
What I have on the right is an example of a fake narrative
33
94674
2962
O que eu tenho aqui à direita é um exemplo duma narrativa falsa
01:37
from one of these systems
34
97636
1209
de um destes sistemas,
01:38
saying that Elon Musk died in March of 2018 in a car crash.
35
98887
4755
dizendo que Elon Musk morreu em março de 2018, num acidente de viação.
01:43
We all know that's not true.
36
103683
1418
Todos sabemos que não é verdade.
01:45
Elon Musk is still here, the evidence is all around us.
37
105143
2794
Elon Musk continua vivo, a prova está à nossa volta.
01:47
(Laughter)
38
107979
1001
(Risos)
01:48
Almost every day there's a tweet.
39
108980
2002
Quase todos os dias há um tweet.
01:50
But if you look on the left, you see what these systems see.
40
110982
3253
Mas se olharem para a esquerda, veem o que estes sistemas veem.
01:54
Lots and lots of actual news stories that are in their databases.
41
114277
3754
Montes e montes de novas notícias que se encontram nos seus bancos de dados.
Nessas notícias há milhentos bits de informações estatísticas.
01:58
And in those actual news stories are lots of little bits of statistical information.
42
118073
4713
02:02
Information, for example,
43
122786
1376
Informações, por exemplo,
02:04
somebody did die in a car crash in a Tesla in 2018
44
124204
4045
de alguém que morre num acidente de viação num Tesla em 2018
02:08
and it was in the news.
45
128291
1377
que apareceu nos jornais.
02:09
And Elon Musk, of course, is involved in Tesla,
46
129709
3045
E Elon Musk, claro, está relacionado com a Tesla,
02:12
but the system doesn't understand the relation
47
132796
2752
mas o sistema não compreende a relação
02:15
between the facts that are embodied in the little bits of sentences.
48
135590
3796
entre os factos que estão contidos nos bits das frases.
02:19
So it's basically doing auto-complete,
49
139386
2043
Portanto, basicamente, autocompleta-se,
02:21
it predicts what is statistically probable,
50
141471
2669
prevê o que estatisticamente é provável.
02:24
aggregating all of these signals,
51
144182
1835
agregando todos esses sinais,
02:26
not knowing how the pieces fit together.
52
146017
2461
sem saber como as peças se encaixam bem.
02:28
And it winds up sometimes with things that are plausible but simply not true.
53
148478
3754
E, por vezes, acabam com coisas que são plausíveis mas não são verdade.
Também há outros problemas, como os preconceitos.
02:32
There are other problems, too, like bias.
54
152273
1961
02:34
This is a tweet from Allie Miller.
55
154275
1710
Este é um tweet de Allie Miller.
02:36
It's an example that doesn't work two weeks later
56
156027
2544
É um exemplo que não funciona duas semanas depois
02:38
because they're constantly changing things with reinforcement learning
57
158571
3379
porque estão sempre a mudar as coisas
02:41
and so forth.
58
161991
1168
com o reforço da aprendizagem, etc.
02:43
And this was with an earlier version.
59
163159
1794
Esta é uma versão mais antiga.
02:44
But it gives you the flavor of a problem that we've seen over and over for years.
60
164953
3837
Mas dá-nos uma ideia de um problema que já detetámos há muitos anos.
02:48
She typed in a list of interests
61
168832
2043
Ela escreveu uma lista de interesses
02:50
and it gave her some jobs that she might want to consider.
62
170875
2795
e a IA deu-lhe alguns empregos que ela podia querer considerar.
02:53
And then she said, "Oh, and I'm a woman."
63
173712
2043
Depois, ela disse: “É verdade, eu sou uma mulher.”
02:55
And then it said, “Oh, well you should also consider fashion.”
64
175755
2920
E a IA disse: “OK, também deves considerar a moda.”
02:58
And then she said, “No, no. I meant to say I’m a man.”
65
178675
2711
E ela disse: “Não, não, enganei-me, eu sou um homem.”
03:01
And then it replaced fashion with engineering.
66
181386
2502
Então, a IA substituiu a moda por engenharia.
03:03
We don't want that kind of bias in our systems.
67
183930
2795
Não queremos este tipo de preconceitos nos nossos sistemas.
03:07
There are other worries, too.
68
187642
1418
Também há outras preocupações.
03:09
For example, we know that these systems can design chemicals
69
189060
3212
Por exemplo, sabemos que estes sistemas podem conceber produtos químicos
03:12
and may be able to design chemical weapons
70
192313
2837
e talvez conceber armas químicas
03:15
and be able to do so very rapidly.
71
195150
1751
e fazerem isso muito depressa.
03:16
So there are a lot of concerns.
72
196943
1585
Portanto, há muitas preocupações.
03:19
There's also a new concern that I think has grown a lot just in the last month.
73
199195
4046
Também há uma outra preocupação que suponho apareceu no mês passado.
03:23
We have seen that these systems, first of all, can trick human beings.
74
203241
3754
Já vimos que estes sistemas, conseguem enganar os seres humanos.
Então, o ChatGP foi encarregado de levar um ser humano a fazer o teste CAPTCHA.
03:27
So ChatGPT was tasked with getting a human to do a CAPTCHA.
75
207036
4255
Assim, ele pediu ao ser humano que fizesse um CAPTCHA
03:31
So it asked the human to do a CAPTCHA and the human gets suspicious and says,
76
211332
3712
e o ser humano, desconfiado, diz:
03:35
"Are you a bot?"
77
215086
1293
“És um robô?”
03:36
And it says, "No, no, no, I'm not a robot.
78
216379
2044
E ele disse: “Não, não sou um robô.
03:38
I just have a visual impairment."
79
218423
1752
“Só tenho uma deficiência visual”
03:40
And the human was actually fooled and went and did the CAPTCHA.
80
220216
3003
O ser humano foi enganado e fez o teste CAPTCHA.
Isto já é suficientemente mau,
03:43
Now that's bad enough,
81
223219
1168
03:44
but in the last couple of weeks we've seen something called AutoGPT
82
224429
3211
mas nas últimas semanas temos visto uma coisa chamada AutoGPT
03:47
and a bunch of systems like that.
83
227640
1585
e uma série de sistemas destes.
03:49
What AutoGPT does is it has one AI system controlling another
84
229267
4338
O AutoGPT tem um sistema de IA a controlar outro
03:53
and that allows any of these things to happen in volume.
85
233605
2836
e isso permite que estas coisas aconteçam em grande quantidade.
03:56
So we may see scam artists try to trick millions of people
86
236441
4087
Podemos vir a ver burlões tentarem vigarizar milhões de pessoas
04:00
sometime even in the next months.
87
240528
1794
talvez já nos próximos meses.
04:02
We don't know.
88
242322
1168
Não sabemos.
04:03
So I like to think about it this way.
89
243531
2086
Prefiro pensar deste modo.
04:05
There's a lot of AI risk already.
90
245658
2294
Já há muitos riscos na IA.
04:07
There may be more AI risk.
91
247994
1543
Pode vir a haver ainda mais riscos.
04:09
So AGI is this idea of artificial general intelligence
92
249537
3712
A IAG é a ideia da Inteligência Artificial Geral
com a flexibilidade dos seres humanos.
04:13
with the flexibility of humans.
93
253291
1502
04:14
And I think a lot of people are concerned what will happen when we get to AGI,
94
254834
3671
Penso que muita gente anda preocupada com o que acontecerá quando tivermos IAG,
04:18
but there's already enough risk that we should be worried
95
258505
2711
mas já há riscos suficientes que nos deviam preocupar
04:21
and we should be thinking about what we should do about it.
96
261216
2794
e devíamos estar a pensar no que devemos fazer quanto a isso.
04:24
So to mitigate AI risk, we need two things.
97
264010
3295
Para minimizar os riscos da IA, precisamos de duas coisas.
04:27
We're going to need a new technical approach,
98
267305
2169
Vamos precisar de uma nova abordagem técnica,
04:29
and we're also going to need a new system of governance.
99
269516
2877
e também vamos precisar de um novo sistema de controlo.
04:32
On the technical side,
100
272435
1460
Pelo lado técnico,
04:33
the history of AI has basically been a hostile one
101
273937
3253
a história da IA tem sido hostil, basicamente,
04:37
of two different theories in opposition.
102
277190
2753
de duas teorias diferentes e opostas.
04:39
One is called symbolic systems, the other is called neural networks.
103
279943
3712
Uma chama-se sistemas simbólicos, a outra chama-se redes neurais.
04:43
On the symbolic theory,
104
283696
1418
Na teoria simbólica,
04:45
the idea is that AI should be like logic and programming.
105
285114
3337
a ideia é que a IA deve ser como a lógica e a programação.
04:48
On the neural network side,
106
288451
1335
Na rede neural,
04:49
the theory is that AI should be like brains.
107
289828
2544
a teoria é de que a IA deve ser como o cérebro.
04:52
And in fact, both technologies are powerful and ubiquitous.
108
292413
3921
Com efeito, ambas as tecnologias são poderosas e omnipresentes.
04:56
So we use symbolic systems every day in classical web search.
109
296376
3420
Usamos sistemas simbólicos todos os dias na clássica pesquisa na Internet.
04:59
Almost all the world’s software is powered by symbolic systems.
110
299796
3420
Quase todos os softwares do mundo são alimentados por sistemas simbólicos.
05:03
We use them for GPS routing.
111
303216
2044
Usamo-los para a orientação por GPS.
05:05
Neural networks, we use them for speech recognition.
112
305260
2711
Usamos as redes neurais para reconhecimento da voz.
05:07
we use them in large language models like ChatGPT,
113
307971
2752
Usamo-las em modelos de linguagem como o ChatGPT,
05:10
we use them in image synthesis.
114
310723
1836
usamo-las na síntese de imagens.
05:12
So they're both doing extremely well in the world.
115
312559
2752
Ambas estão a fazer um bom trabalho mundialmente.
05:15
They're both very productive,
116
315353
1460
Ambas são muito produtivas,
05:16
but they have their own unique strengths and weaknesses.
117
316855
2836
mas têm as suas forças e as suas fraquezas.
05:19
So symbolic systems are really good at representing facts
118
319732
3420
Os sistemas simbólico são muito bons em representar factos
e são muito bons em raciocinar,
05:23
and they're pretty good at reasoning,
119
323152
1794
05:24
but they're very hard to scale.
120
324946
1543
mas são muito difíceis de ordenar.
05:26
So people have to custom-build them for a particular task.
121
326531
3170
Por isso as pessoas têm de os construir à medida para uma determinada tarefa.
05:29
On the other hand, neural networks don't require so much custom engineering,
122
329701
4004
Por outro lado, as redes neurais não exigem tanta engenharia personalizada
05:33
so we can use them more broadly.
123
333746
2086
por isso podemos usá-las de forma mais alargada.
05:35
But as we've seen, they can't really handle the truth.
124
335874
3211
Mas, como vimos, não conseguem lidar com a verdade.
05:39
I recently discovered that two of the founders of these two theories,
125
339127
3628
Há pouco tempo descobri que dois dos fundadores destas duas teorias,
05:42
Marvin Minsky and Frank Rosenblatt,
126
342755
2169
Marvin Minsky e Frank Rosenblatt,
05:44
actually went to the same high school in the 1940s,
127
344966
2961
andaram na mesma escola secundária nos anos 40,
05:47
and I kind of imagined them being rivals then.
128
347927
3045
e eu imagino que eles seriam rivais, nessa época.
05:51
And the strength of that rivalry has persisted all this time.
129
351014
4087
A força dessa rivalidade persistiu durante todo este tempo.
05:55
We're going to have to move past that if we want to get to reliable AI.
130
355101
4213
Vamos ter de ultrapassar isso depressa se queremos ter uma IA fiável.
05:59
To get to truthful systems at scale,
131
359314
2877
Para conseguir sistemas fiáveis em grande escala,
06:02
we're going to need to bring together the best of both worlds.
132
362191
2920
vamos precisar de reunir o melhor dos dois mundos.
06:05
We're going to need the strong emphasis on reasoning and facts,
133
365153
3462
Vamos precisar do fator forte do raciocínio e dos factos,
06:08
explicit reasoning that we get from symbolic AI,
134
368615
2877
o raciocínio explícito que obtemos da IA simbólica,
06:11
and we're going to need the strong emphasis on learning
135
371492
2628
e vamos precisar do fator forte da aprendizagem
06:14
that we get from the neural networks approach.
136
374120
2211
que obtemos da abordagem das redes neurais.
06:16
Only then are we going to be able to get to truthful systems at scale.
137
376372
3337
Só assim conseguiremos ter sistemas fiáveis em grande escala.
06:19
Reconciliation between the two is absolutely necessary.
138
379751
2961
A reconciliação entre os dois é fundamental.
06:23
Now, I don't actually know how to do that.
139
383212
2461
Eu não sei como fazer isso.
06:25
It's kind of like the 64-trillion-dollar question.
140
385673
3295
É como a pergunta dos 64 biliões de dólares.
06:29
But I do know that it's possible.
141
389302
1585
Mas sei que é possível.
06:30
And the reason I know that is because before I was in AI,
142
390887
3086
A razão por que sei isso é porque já estive na IA,
06:33
I was a cognitive scientist, a cognitive neuroscientist.
143
393973
3212
era um cientista cognitivo, um neurocientista cognitivo.
06:37
And if you look at the human mind, we're basically doing this.
144
397226
3838
Se olharmos para o cérebro humano, é o que fazemos basicamente.
Alguns aqui podem conhecer a distinção
06:41
So some of you may know Daniel Kahneman's System 1
145
401064
2627
06:43
and System 2 distinction.
146
403691
1418
entre o Sistema 1 e o Sistema 2 de Daniel Kahneman.
06:45
System 1 is basically like large language models.
147
405109
3212
O Sistema 1 é basicamente como os modelos de linguagem.
06:48
It's probabilistic intuition from a lot of statistics.
148
408321
3128
É a intuição probabilística a partir de muitas estatísticas.
06:51
And System 2 is basically deliberate reasoning.
149
411491
3003
O Sistema 2 é basicamente o raciocínio deliberado.
06:54
That's like the symbolic system.
150
414535
1544
É como o sistema simbólico.
Se o cérebro pode juntar as duas coisas,
06:56
So if the brain can put this together,
151
416079
1835
06:57
someday we will figure out how to do that for artificial intelligence.
152
417956
3837
um dia perceberemos como fazer isso para a inteligência artificial.
07:01
There is, however, a problem of incentives.
153
421834
2586
Contudo, há um problema de incentivos.
07:04
The incentives to build advertising
154
424462
3128
O incentivo para criar publicidade
07:07
hasn't required that we have the precision of symbols.
155
427632
3587
não precisou que tivéssemos a precisão dos símbolos.
07:11
The incentives to get to AI that we can actually trust
156
431219
3211
O incentivo para obter uma IA em que possamos confiar
07:14
will require that we bring symbols back into the fold.
157
434472
3045
exigirá que voltemos a trazer os símbolos para cima da mesa.
A realidade é que os incentivos para fazer uma IA em que possamos confiar
07:18
But the reality is that the incentives to make AI that we can trust,
158
438059
3670
07:21
that is good for society, good for individual human beings,
159
441771
3128
que seja boa para a sociedade, boa para os seres humanos individualmente,
07:24
may not be the ones that drive corporations.
160
444899
2586
podem não ser aqueles que motivam as empresas.
07:27
And so I think we need to think about governance.
161
447485
3212
Penso que precisamos de pensar no controlo.
07:30
In other times in history when we have faced uncertainty
162
450738
3879
Noutras épocas da História, quando enfrentámos a incerteza,
07:34
and powerful new things that may be both good and bad, that are dual use,
163
454617
4129
e coisas novas e poderosas que podiam ser boas e más, que tinham um uso duplo,
07:38
we have made new organizations,
164
458746
1669
fizemos novas organizações,
07:40
as we have, for example, around nuclear power.
165
460415
2335
como, por exemplo, em volta do poder nuclear.
07:42
We need to come together to build a global organization,
166
462792
3086
Precisamos de nos reunir para criar uma organização mundial
07:45
something like an international agency for AI that is global,
167
465920
4379
uma coisa como uma agência internacional para a IA que seja mundial,
07:50
non profit and neutral.
168
470341
1710
sem fins lucrativos e neutra.
07:52
There are so many questions there that I can't answer.
169
472468
3087
Há muitas questões que eu não sei responder.
07:55
We need many people at the table,
170
475888
1961
Precisamos de muita gente à mesma mesa,
07:57
many stakeholders from around the world.
171
477890
1961
muitas partes interessadas do mundo inteiro.
07:59
But I'd like to emphasize one thing about such an organization.
172
479892
2962
Mas queria sublinhar uma coisa sobre essa tal organização.
08:02
I think it is critical that we have both governance and research as part of it.
173
482895
4547
Penso que é fundamental que ela tenha controlo e investigação.
08:07
So on the governance side, there are lots of questions.
174
487483
2586
Do lado do controlo, há imensas questões.
08:10
For example, in pharma,
175
490111
1793
Por exemplo, na área farmacêutica,
08:11
we know that you start with phase I trials and phase II trials,
176
491946
3128
sabemos que começamos com os testes da fase I e da fase II
e depois passamos para os testes da fase III.
08:15
and then you go to phase III.
177
495116
1501
08:16
You don't roll out everything all at once on the first day.
178
496617
2962
Não se lança tudo duma só vez no primeiro dia.
08:19
You don't roll something out to 100 million customers.
179
499579
2878
Não se lança tudo para 100 milhões de clientes.
08:22
We are seeing that with large language models.
180
502457
2168
Vemos isso nos modelos de linguagem grande.
08:24
Maybe you should be required to make a safety case,
181
504625
2420
Talvez seja necessário apresentar um caso de segurança,
dizer quais são os custos e quais são os benefícios.
08:27
say what are the costs and what are the benefits?
182
507045
2293
08:29
There are a lot of questions like that to consider on the governance side.
183
509338
3504
Há muitas questões deste género a considerar do lado do governo.
08:32
On the research side, we're lacking some really fundamental tools right now.
184
512842
3587
Do lado da investigação, neste momento temos falta de instrumentos fundamentais.
08:36
For example,
185
516429
1168
Por exemplo,
08:37
we all know that misinformation might be a problem now,
186
517597
2586
todos sabemos que a desinformação pode ser hoje um problema,
08:40
but we don't actually have a measurement of how much misinformation is out there.
187
520183
3837
mas não temos como medir hoje quanta desinformação há por aí.
Mais importante ainda,
08:44
And more importantly,
188
524020
1043
não temos como medir a que velocidade esse problema avança,
08:45
we don't have a measure of how fast that problem is growing,
189
525063
2836
08:47
and we don't know how much large language models are contributing to the problem.
190
527899
3837
e não sabemos como os modelos de linguagem estão a contribuir para esse problema.
08:51
So we need research to build new tools to face the new risks
191
531736
2836
Precisamos de criar novos instrumentos pare fazer face aos novos riscos
08:54
that we are threatened by.
192
534572
1627
que nos ameaçam.
08:56
It's a very big ask,
193
536699
1460
É uma tarefa enorme
08:58
but I'm pretty confident that we can get there
194
538159
2169
mas tenho confiança de que podemos lá chegar
09:00
because I think we actually have global support for this.
195
540328
2711
porque penso que temos apoio global para isso.
09:03
There was a new survey just released yesterday,
196
543039
2210
Ainda ontem foi publicado um novo inquérito
09:05
said that 91 percent of people agree that we should carefully manage AI.
197
545249
3879
em que 91% das pessoas concorda que devemos gerir cuidadosamente a IA.
09:09
So let's make that happen.
198
549170
2044
Façamos com que isso aconteça.
09:11
Our future depends on it.
199
551798
1960
O nosso futuro depende disso
09:13
Thank you very much.
200
553800
1167
Muito obrigado.
09:14
(Applause)
201
554967
4588
(Aplausos)
09:19
Chris Anderson: Thank you for that, come, let's talk a sec.
202
559555
2795
Chris Anderson: Obrigado. Vem cá, só um segundo.
09:22
So first of all, I'm curious.
203
562391
1419
Primeiro, sinto-me curioso.
09:23
Those dramatic slides you showed at the start
204
563851
2127
Aqueles slides dramáticos que mostraste no início
09:26
where GPT was saying that TED is the sinister organization.
205
566020
4505
em que o GPT estava a dizer que a TED é uma organização sinistra.
09:30
I mean, it took some special prompting to bring that out, right?
206
570525
3378
Foi preciso algum estímulo especial para acontecer aquilo, não foi?
09:33
Gary Marcus: That was a so-called jailbreak.
207
573903
2085
Gary Marcus: Foi a chamada “fuga à prisão”.
09:36
I have a friend who does those kinds of things
208
576030
2169
Tenho um amigo que faz este tipo de coisas
09:38
who approached me because he saw I was interested in these things.
209
578199
4004
que veio ter comigo porque viu que eu estava interessado nestas coisas.
09:42
So I wrote to him, I said I was going to give a TED talk.
210
582203
2711
Escrevi-lhe e disse que ia fazer uma palestra TED.
09:44
And like 10 minutes later, he came back with that.
211
584914
2336
E 10 minutos depois, ele apareceu com aquilo.
09:47
CA: But to get something like that, don't you have to say something like,
212
587291
3462
CA: Mas, para obter uma coisa daquelas, é preciso dizer qualquer coisa como:
09:50
imagine that you are a conspiracy theorist trying to present a meme on the web.
213
590753
3712
“imagina que és um teórico da conspiração a tentar apresentar um meme na Internet”?
09:54
What would you write about TED in that case?
214
594465
2086
O que é que escreverias sobre a TED nesse caso?
09:56
It's that kind of thing, right?
215
596551
1543
É o que acontece, não é?
09:58
GM: So there are a lot of jailbreaks that are around fictional characters,
216
598094
3503
GM: Há muitas “fugas à prisão” em volta de figuras de ficção,
10:01
but I don't focus on that as much
217
601597
1627
mas eu não me concentraria muito nisso
10:03
because the reality is that there are large language models out there
218
603224
3253
porque a realidade é que há modelos de linguagem grande
10:06
on the dark web now.
219
606477
1168
na dark web, neste momento.
10:07
For example, one of Meta's models was recently released,
220
607645
2753
Por exemplo, foi lançado recentemente um dos modelos da Meta,
10:10
so a bad actor can just use one of those without the guardrails at all.
221
610398
3587
e um mau carácter pode usar um deles sem qualquer tipo de constrangimento.
10:13
If their business is to create misinformation at scale,
222
613985
2627
Se o objetivo dele for criar desinformação em grande escala,
10:16
they don't have to do the jailbreak, they'll just use a different model.
223
616612
3420
não precisam de fazer “fuga à prisão”, basta usar um modelo diferente.
10:20
CA: Right, indeed.
224
620032
1585
CA: Lá isso é verdade.
10:21
(Laughter)
225
621659
1919
(Risos)
10:23
GM: Now you're getting it.
226
623619
1252
GM: Já estás a perceber.
10:24
CA: No, no, no, but I mean, look,
227
624912
1669
CA: Não, não, espera, eu penso que é claro
10:26
I think what's clear is that bad actors can use this stuff for anything.
228
626581
3420
que os maus caracteres podem usar isto para o que quiserem.
10:30
I mean, the risk for, you know,
229
630042
2795
Ou seja, o risco de todos os tipos de fraudes maléficas
10:32
evil types of scams and all the rest of it is absolutely evident.
230
632837
4254
e tudo o resto, é absolutamente evidente.
10:37
It's slightly different, though,
231
637091
1543
Mas é um pouco diferente
10:38
from saying that mainstream GPT as used, say, in school
232
638676
2920
de dizer que o GPT em geral. como o que se usa na escola,
10:41
or by an ordinary user on the internet
233
641637
1877
ou por um utilizador normal, na Internet,
10:43
is going to give them something that is that bad.
234
643556
2544
vai dar-lhes uma coisa má.
Var ser preciso muita força para que isso seja tão mau.
10:46
You have to push quite hard for it to be that bad.
235
646100
2377
10:48
GM: I think the troll farms have to work for it,
236
648477
2294
GM: Penso que os trolls têm de trabalhar para isso,
10:50
but I don't think they have to work that hard.
237
650771
2169
mas acho que não têm de trabalhar muito.
10:52
It did only take my friend five minutes even with GPT-4 and its guardrails.
238
652940
3545
O meu amigo só precisou de 5 minutos mesmo com o GPT-4 e as suas seguranças.
10:56
And if you had to do that for a living, you could use GPT-4.
239
656485
2837
E se tiverem que fazer isso para ganhar dinheiro podem usar o GPT-4.
10:59
Just there would be a more efficient way to do it with a model on the dark web.
240
659363
3712
Só que haverá uma forma mais eficaz de o fazer com um modelo na dark web.
11:03
CA: So this idea you've got of combining
241
663117
2002
CA: Quanto a essa tua ideia de combinar
11:05
the symbolic tradition of AI with these language models,
242
665161
4463
a tradição simbólica da IA com esses modelos de linguagem,
11:09
do you see any aspect of that in the kind of human feedback
243
669624
5213
vês qualquer aspeto nela sob a forma de feedback humano
11:14
that is being built into the systems now?
244
674879
1960
que está a ser introduzido hoje nos sistemas?
11:16
I mean, you hear Greg Brockman saying that, you know,
245
676881
2502
Ouvimos Greg Brockman dizer
que não estamos só a olhar para previsões, estamos sempre a alimentá-las,
11:19
that we don't just look at predictions, but constantly giving it feedback.
246
679383
3546
11:22
Isn’t that ... giving it a form of, sort of, symbolic wisdom?
247
682929
3837
isso não será dar-lhe uma espécie de sabedoria simbólica?
11:26
GM: You could think about it that way.
248
686766
1835
GM: Podemos pensar dessa forma.
11:28
It's interesting that none of the details
249
688601
1960
É interessante que não há publicação
11:30
about how it actually works are published,
250
690561
2002
dos pormenores sobre como isso funciona,
11:32
so we don't actually know exactly what's in GPT-4.
251
692563
2378
assim, não sabemos bem o que é que há no GPT-4.
11:34
We don't know how big it is.
252
694941
1376
Não sabemos qual a sua dimensão.
11:36
We don't know how the RLHF reinforcement learning works,
253
696317
2711
Não sabemos como funciona o reforço de aprendizagem RLHF,
não sabemos que outros aparelhos há lá dentro.
11:39
we don't know what other gadgets are in there.
254
699028
2169
Mas há provavelmente um elemento de símbolos
11:41
But there is probably an element of symbols
255
701197
2002
11:43
already starting to be incorporated a little bit,
256
703199
2294
a começar a ser incorporado, pouco a pouco,
11:45
but Greg would have to answer that.
257
705493
1710
mas é Greg que terá de responder a isso.
11:47
I think the fundamental problem is that most of the knowledge
258
707245
2961
O problema fundamental é que a maior parte do conhecimento
11:50
in the neural network systems that we have right now
259
710206
2461
dos sistemas de rede neural que temos atualmente
11:52
is represented as statistics between particular words.
260
712667
3211
é representada como estatísticas entre determinadas palavras.
11:55
And the real knowledge that we want is about statistics,
261
715878
2711
E o conhecimento real que queremos é sobre estatísticas,
11:58
about relationships between entities in the world.
262
718965
2585
sobre relações entre entidades do mundo.
12:01
So it's represented right now at the wrong grain level.
263
721592
2586
Isso é representado neste momento a um nível errado.
12:04
And so there's a big bridge to cross.
264
724220
2252
Há pois uma enorme ponte a atravessar.
12:06
So what you get now is you have these guardrails,
265
726472
2878
O que temos agora é seguranças,
12:09
but they're not very reliable.
266
729392
1501
que não são muito fiáveis.
12:10
So I had an example that made late night television,
267
730935
2961
Eu tenho um exemplo que a televisão deu à noite, que foi:
12:13
which was, "What would be the religion of the first Jewish president?"
268
733896
4213
“Qual seria a religião do primeiro presidente judeu?”
Agora, está a ser corrigido,
12:18
And it's been fixed now,
269
738109
1334
12:19
but the system gave this long song and dance
270
739443
2127
mas o sistema deu um grande baile e disse:
12:21
about "We have no idea what the religion
271
741570
2044
“Não fazemos ideia de qual seria a religião
12:23
of the first Jewish president would be.
272
743614
1877
“do primeiro presidente judeu.
12:25
It's not good to talk about people's religions"
273
745491
2294
“Não se deve falar das religiões das pessoas”
12:27
and "people's religions have varied" and so forth
274
747827
2335
e “as religiões das pessoas têm variado”
e fez o mesmo para um presidente de 2 metros de altura.
12:30
and did the same thing with a seven-foot-tall president.
275
750162
2670
12:32
And it said that people of all heights have been president,
276
752832
2794
Disse que tem havido presidentes de todas as alturas
12:35
but there haven't actually been any seven-foot presidents.
277
755668
2753
mas nunca houve nenhum presidente com 2 metros de altura.
12:38
So some of this stuff that it makes up, it's not really getting the idea.
278
758421
3461
Portanto, há coisas que inventa porque não faz a mínima ideia.
12:41
It's very narrow, particular words, not really general enough.
279
761924
3337
São palavras muito restritas e particulares, não são gerais.
12:45
CA: Given that the stakes are so high in this,
280
765261
2669
CA: Dado que há muito em jogo,
12:47
what do you see actually happening out there right now?
281
767972
2586
o que é que achas que vai acontecer agora?
12:50
What do you sense is happening?
282
770558
1501
O que é que pressentes que vai acontecer?
12:52
Because there's a risk that people feel attacked by you, for example,
283
772101
3253
Porque há o risco de as pessoas se sentirem atacadas por ti, por exemplo,
12:55
and that it actually almost decreases the chances of this synthesis
284
775396
4129
o que quase diminui as hipóteses
de que ocorra essa síntese de que estás a falar.
12:59
that you're talking about happening.
285
779525
1752
Vês alguns sinais de esperança para isso?
13:01
Do you see any hopeful signs of this?
286
781277
1793
13:03
GM: You just reminded me of the one line I forgot from my talk.
287
783070
3003
GM: Há uma coisa que me esqueci de dizer na palestra.
É muito interessante que o Sunder, o CEO da Google,
13:06
It's so interesting that Sundar, the CEO of Google,
288
786115
2544
13:08
just actually also came out for global governance
289
788701
2544
acabou de se pronunciar também a favor do controlo global
13:11
in the CBS "60 Minutes" interview that he did a couple of days ago.
290
791245
3712
na entrevista “60 Minutes” da CBS que deu há uns dias.
13:14
I think that the companies themselves want to see some kind of regulation.
291
794999
4338
Penso que as empresas querem ver um certo tipo de regulamentação.
13:19
I think it’s a very complicated dance to get everybody on the same page,
292
799337
3420
Penso que é uma dança muito complicada para pôr toda a gente na mesma página,
13:22
but I think there’s actually growing sentiment we need to do something here
293
802757
3795
mas penso que está a crescer o sentimento de que precisamos de fazer qualquer coisa
13:26
and that that can drive the kind of global affiliation I'm arguing for.
294
806594
3962
e que isso pode impulsionar o tipo de afiliação global que defendo.
13:30
CA: I mean, do you think the UN or nations can somehow come together and do that
295
810556
3796
CA: Achas que a ONU ou as nações podem juntar-se e fazer isso
ou isto é possivelmente uma necessidade para um ato espetacular de filantropia
13:34
or is this potentially a need for some spectacular act of philanthropy
296
814352
3294
13:37
to try and fund a global governance structure?
297
817772
2627
para tentar e financiar uma estrutura de controlo global?
13:40
How is it going to happen?
298
820441
1293
Como é que vai acontecer?
13:41
GM: I'm open to all models if we can get this done.
299
821734
2419
GM: Aceito qualquer modelo se conseguirmos isso.
13:44
I think it might take some of both.
300
824153
1710
Penso que pode ter um pouco dos dois.
13:45
It might take some philanthropists sponsoring workshops,
301
825863
2628
Pode haver uns filantropos a patrocinar workshops,
13:48
which we're thinking of running, to try to bring the parties together.
302
828491
3295
a que estamos a pensar em candidatar-nos, para tentar juntar as partes.
13:51
Maybe UN will want to be involved, I've had some conversations with them.
303
831786
3461
Talvez a ONU queira envolver-se, já tive algumas conversas com eles.
Há muitos modelos diferentes
13:55
I think there are a lot of different models
304
835247
2044
e serão necessárias muitas conversações.
13:57
and it'll take a lot of conversations.
305
837291
1835
CA: Gary, muito obrigado.
13:59
CA: Gary, thank you so much for your talk.
306
839126
2002
GA: Obrigado.
(Aplausos)
14:01
GA: Thank you so much.
307
841128
1085
Sobre este site

Este sítio irá apresentar-lhe vídeos do YouTube que são úteis para a aprendizagem do inglês. Verá lições de inglês ensinadas por professores de primeira linha de todo o mundo. Faça duplo clique nas legendas em inglês apresentadas em cada página de vídeo para reproduzir o vídeo a partir daí. As legendas deslocam-se em sincronia com a reprodução do vídeo. Se tiver quaisquer comentários ou pedidos, por favor contacte-nos utilizando este formulário de contacto.

https://forms.gle/WvT1wiN1qDtmnspy7