The Urgent Risks of Runaway AI — and What to Do about Them | Gary Marcus | TED

212,064 views ・ 2023-05-12

TED


Haga doble clic en los subtítulos en inglés para reproducir el vídeo.

Traductor: Paula Motter Revisor: Sebastian Betti
00:04
I’m here to talk about the possibility of global AI governance.
0
4292
5339
Hablaré sobre la posibilidad de regular la IA global.
00:09
I first learned to code when I was eight years old,
1
9631
3211
La primera vez que aprendí a codificar fue a los ocho años,
00:12
on a paper computer,
2
12884
1168
en una computadora de papel.
00:14
and I've been in love with AI ever since.
3
14094
2252
Desde entonces, soy un apasionado de la IA.
00:16
In high school,
4
16346
1168
En la secundaria,
00:17
I got myself a Commodore 64 and worked on machine translation.
5
17514
3253
tenía una Commodore 64 y usaba la traducción automática.
00:20
I built a couple of AI companies, I sold one of them to Uber.
6
20934
3712
Fundé un par de empresas de IA, una de las cuales fue comprada por Uber.
00:24
I love AI, but right now I'm worried.
7
24688
3503
La IA me fascina, pero ahora me preocupa.
00:28
One of the things that I’m worried about is misinformation,
8
28233
2794
Una de mis preocupaciones es la información errónea,
la posibilidad de que actores malintencionados
00:31
the possibility that bad actors will make a tsunami of misinformation
9
31027
3462
generen un tsunami de información errónea
00:34
like we've never seen before.
10
34531
2002
como nunca se vio antes.
00:36
These tools are so good at making convincing narratives
11
36575
3586
Estas herramientas saben muy bien cómo crear narrativas convincentes
00:40
about just about anything.
12
40161
1794
en prácticamente cualquier tema.
00:41
If you want a narrative about TED and how it's dangerous,
13
41997
3003
Si queremos una narrativa sobre lo peligroso que puede ser TED,
00:45
that we're colluding here with space aliens,
14
45000
2877
y que nos confabulamos aquí con extraterrestres,
00:47
you got it, no problem.
15
47919
1669
pues se crea, sin problemas.
00:50
I'm of course kidding about TED.
16
50422
2127
Lo de TED, claro, es una broma.
00:52
I didn't see any space aliens backstage.
17
52591
2961
No vi ningún extraterrestre detrás del escenario.
00:55
But bad actors are going to use these things to influence elections,
18
55885
3629
Pero los actores malintencionados la usarán para influir en elecciones,
00:59
and they're going to threaten democracy.
19
59514
2211
y será una amenaza para la democracia.
01:01
Even when these systems
20
61725
1167
Aunque estos sistemas
01:02
aren't deliberately being used to make misinformation,
21
62934
2878
no se usen deliberadamente para crear información errónea,
01:05
they can't help themselves.
22
65854
1710
no pueden evitarlo.
01:07
And the information that they make is so fluid and so grammatical
23
67564
4963
Y la información que crean es tan fluida y tan perfecta en su gramática
01:12
that even professional editors sometimes get sucked in
24
72527
3253
que hasta los editores profesionales a veces caen en la trampa
01:15
and get fooled by this stuff.
25
75780
2002
y son presas del engaño.
01:17
And we should be worried.
26
77824
1668
Y esto es preocupante.
01:19
For example, ChatGPT made up a sexual harassment scandal
27
79534
3879
Por ejemplo, el ChatGPT inventó un escándalo de acoso sexual
01:23
about an actual professor,
28
83413
1919
sobre un profesor universitario real,
01:25
and then it provided evidence for its claim
29
85332
2419
y, como evidencia del hecho,
01:27
in the form of a fake "Washington Post" article
30
87792
2586
citó un artículo falso del Washington Post,
01:30
that it created a citation to.
31
90378
1919
creado por el chatbot.
01:32
We should all be worried about that kind of thing.
32
92297
2377
Este tipo de cosas deberían preocuparnos a todos.
01:34
What I have on the right is an example of a fake narrative
33
94674
2962
Aquí, a la derecha, vemos un ejemplo de narrativa falsa
01:37
from one of these systems
34
97636
1209
creada por uno de estos sistemas.
01:38
saying that Elon Musk died in March of 2018 in a car crash.
35
98887
4755
Dijo que Elon Musk murió en marzo de 2018 en un accidente de auto.
01:43
We all know that's not true.
36
103683
1418
Sabemos que es falso.
Elon Musk está vivo, y la evidencia está por todos lados.
01:45
Elon Musk is still here, the evidence is all around us.
37
105143
2794
01:47
(Laughter)
38
107979
1001
(Risas)
01:48
Almost every day there's a tweet.
39
108980
2002
Tuitea casi todos los días.
01:50
But if you look on the left, you see what these systems see.
40
110982
3253
Pero aquí, a la izquierda, aparece lo que estos sistemas ven:
01:54
Lots and lots of actual news stories that are in their databases.
41
114277
3754
muchas noticias reales que se almacenan en sus bases de datos,
01:58
And in those actual news stories are lots of little bits of statistical information.
42
118073
4713
y que contienen gran cantidad de información estadística.
02:02
Information, for example,
43
122786
1376
Allí vemos, por ejemplo,
02:04
somebody did die in a car crash in a Tesla in 2018
44
124204
4045
que, efectivamente, una persona murió en un accidente en un Tesla en 2018,
02:08
and it was in the news.
45
128291
1377
y esto apareció en las noticias.
02:09
And Elon Musk, of course, is involved in Tesla,
46
129709
3045
Elon Musk, claramente, está vinculado con Tesla,
02:12
but the system doesn't understand the relation
47
132796
2752
pero el sistema no entiende la relación entre los hechos
02:15
between the facts that are embodied in the little bits of sentences.
48
135590
3796
que se mencionan en las distintas partes de las oraciones.
02:19
So it's basically doing auto-complete,
49
139386
2043
Básicamente, lo que hace es autocompletar.
02:21
it predicts what is statistically probable,
50
141471
2669
Predice lo que es estadísticamente probable
02:24
aggregating all of these signals,
51
144182
1835
reuniendo todas estas señales,
02:26
not knowing how the pieces fit together.
52
146017
2461
pero no sabe cómo encajan las partes de la información.
02:28
And it winds up sometimes with things that are plausible but simply not true.
53
148478
3754
Y a veces termina produciendo cosas creíbles pero no verdaderas.
02:32
There are other problems, too, like bias.
54
152273
1961
Otro problema con la IA es el sesgo.
02:34
This is a tweet from Allie Miller.
55
154275
1710
Este tuit es de Allie Miller.
02:36
It's an example that doesn't work two weeks later
56
156027
2544
Es un ejemplo que no funciona dos semanas después,
02:38
because they're constantly changing things with reinforcement learning
57
158571
3379
porque los sistemas cambian las cosas todo el tiempo
02:41
and so forth.
58
161991
1168
con el aprendizaje reforzado y otras cosas.
02:43
And this was with an earlier version.
59
163159
1794
Esto fue con una versión previa.
02:44
But it gives you the flavor of a problem that we've seen over and over for years.
60
164953
3837
Pero da la idea de un problema que hace años se repite.
02:48
She typed in a list of interests
61
168832
2043
Allie tipeó una lista de intereses
02:50
and it gave her some jobs that she might want to consider.
62
170875
2795
y el GPT le devolvió una serie de trabajos que podrían agradarle.
02:53
And then she said, "Oh, and I'm a woman."
63
173712
2043
Luego, Allie añadió: “Soy mujer”,
02:55
And then it said, “Oh, well you should also consider fashion.”
64
175755
2920
y el bot le dijo: “Entonces podría interesarte la moda”.
02:58
And then she said, “No, no. I meant to say I’m a man.”
65
178675
2711
Allie le dijo: “Perdón, quise poner que soy hombre”.
03:01
And then it replaced fashion with engineering.
66
181386
2502
Y el GPT reemplazó la moda por la ingeniería.
03:03
We don't want that kind of bias in our systems.
67
183930
2795
Ese tipo de prejuicios no son deseables en estos sistemas.
03:07
There are other worries, too.
68
187642
1418
Hay otras cosas preocupantes.
03:09
For example, we know that these systems can design chemicals
69
189060
3212
Por ejemplo, estos sistemas pueden diseñar sustancias químicas
03:12
and may be able to design chemical weapons
70
192313
2837
y también podrían diseñar armas químicas
03:15
and be able to do so very rapidly.
71
195150
1751
a un ritmo muy veloz.
03:16
So there are a lot of concerns.
72
196943
1585
De modo que son muchas las preocupaciones.
03:19
There's also a new concern that I think has grown a lot just in the last month.
73
199195
4046
Hay también otro problema que se multiplicó este último mes.
03:23
We have seen that these systems, first of all, can trick human beings.
74
203241
3754
Hemos visto que estos sistemas pueden engañar a las personas.
Pues bien, se le ordenó al ChatGPT que convenza a una persona
03:27
So ChatGPT was tasked with getting a human to do a CAPTCHA.
75
207036
4255
de hacer un CAPTCHA.
03:31
So it asked the human to do a CAPTCHA and the human gets suspicious and says,
76
211332
3712
El GPT se lo pide a una persona, la persona sospecha algo y le pregunta:
03:35
"Are you a bot?"
77
215086
1293
“¿Eres un robot?“,
03:36
And it says, "No, no, no, I'm not a robot.
78
216379
2044
La respuesta fue “No, no soy un robot. Solo tengo discapacidad visual”.
03:38
I just have a visual impairment."
79
218423
1752
03:40
And the human was actually fooled and went and did the CAPTCHA.
80
220216
3003
La persona terminó siendo engañada y finalmente hizo el CAPTCHA.
03:43
Now that's bad enough,
81
223219
1168
Esto ya está mal,
03:44
but in the last couple of weeks we've seen something called AutoGPT
82
224429
3211
pero en la últimas semanas apareció el llamado AutoGPT
03:47
and a bunch of systems like that.
83
227640
1585
y muchos sistemas de ese tipo.
03:49
What AutoGPT does is it has one AI system controlling another
84
229267
4338
El AutoGPT tiene un sistema de IA que controla a otro,
03:53
and that allows any of these things to happen in volume.
85
233605
2836
y esto permite que cualquiera de estas cosas se multipliquen.
03:56
So we may see scam artists try to trick millions of people
86
236441
4087
Así pueden aparecer artistas falsos que engañen a millones de personas
04:00
sometime even in the next months.
87
240528
1794
en algún momento de los próximos meses.
04:02
We don't know.
88
242322
1168
No lo sabemos.
04:03
So I like to think about it this way.
89
243531
2086
Ahora bien, yo lo pienso así:
04:05
There's a lot of AI risk already.
90
245658
2294
los riesgos de la IA ya están en todos lados, y podría haber más.
04:07
There may be more AI risk.
91
247994
1543
04:09
So AGI is this idea of artificial general intelligence
92
249537
3712
La IAG es inteligencia artificial general
04:13
with the flexibility of humans.
93
253291
1502
con la flexibilidad de las personas.
04:14
And I think a lot of people are concerned what will happen when we get to AGI,
94
254834
3671
Hay una gran preocupación por lo que pasará cuando llegue la IAG.
04:18
but there's already enough risk that we should be worried
95
258505
2711
Pero ya hay suficientes riesgos que deberían preocuparnos
04:21
and we should be thinking about what we should do about it.
96
261216
2794
y tenemos que saber qué hacer.
Para contrarrestar los riesgos de la IA, necesitamos dos cosas.
04:24
So to mitigate AI risk, we need two things.
97
264010
3295
04:27
We're going to need a new technical approach,
98
267305
2169
Por un lado, nuevas estrategias tecnológicas,
04:29
and we're also going to need a new system of governance.
99
269516
2877
y por el otro, un nuevo sistema regulatorio.
04:32
On the technical side,
100
272435
1460
En cuanto a lo técnico,
04:33
the history of AI has basically been a hostile one
101
273937
3253
la historia de la IA siempre ha sido más bien hostil,
04:37
of two different theories in opposition.
102
277190
2753
con dos teorías opuestas.
04:39
One is called symbolic systems, the other is called neural networks.
103
279943
3712
Una de ellas son los sistemas simbólicos, y la otra son las redes neuronales.
04:43
On the symbolic theory,
104
283696
1418
La teoría simbólica
04:45
the idea is that AI should be like logic and programming.
105
285114
3337
postula que la IA debe basarse en la lógica y la programación.
04:48
On the neural network side,
106
288451
1335
La teoría de las redes neuronales
04:49
the theory is that AI should be like brains.
107
289828
2544
propone que la IA debe ser como el cerebro.
04:52
And in fact, both technologies are powerful and ubiquitous.
108
292413
3921
En realidad, ambas tecnologías son poderosas y están siempre presentes.
04:56
So we use symbolic systems every day in classical web search.
109
296376
3420
Usamos sistemas simbólicos a diario en una búsqueda clásica en la web.
04:59
Almost all the world’s software is powered by symbolic systems.
110
299796
3420
Casi todos los programas del mundo se basan en sistemas simbólicos.
05:03
We use them for GPS routing.
111
303216
2044
Los usamos con el GPS, por ejemplo.
05:05
Neural networks, we use them for speech recognition.
112
305260
2711
Las redes neuronales se usan para el reconocimiento de voz,
05:07
we use them in large language models like ChatGPT,
113
307971
2752
también en grandes modelos de lenguaje, como el ChatGPT,
05:10
we use them in image synthesis.
114
310723
1836
y en la síntesis de imágenes.
05:12
So they're both doing extremely well in the world.
115
312559
2752
En definitiva, ambos sistemas funcionan muy bien
05:15
They're both very productive,
116
315353
1460
y son sumamente productivos,
05:16
but they have their own unique strengths and weaknesses.
117
316855
2836
pero tienen sus fortalezas y debilidades.
05:19
So symbolic systems are really good at representing facts
118
319732
3420
Los sistemas simbólicos son excelentes para representar hechos
05:23
and they're pretty good at reasoning,
119
323152
1794
y también para hacer razonamientos.
05:24
but they're very hard to scale.
120
324946
1543
Pero son difíciles de escalar,
05:26
So people have to custom-build them for a particular task.
121
326531
3170
por eso hay que crearlos a medida para una tarea en particular.
05:29
On the other hand, neural networks don't require so much custom engineering,
122
329701
4004
Por el contrario, las redes neuronales no requieren tanta ingeniería a medida,
05:33
so we can use them more broadly.
123
333746
2086
por lo que pueden extenderse en su uso.
05:35
But as we've seen, they can't really handle the truth.
124
335874
3211
El problema es que, como vimos, no saben cómo manejar la verdad.
05:39
I recently discovered that two of the founders of these two theories,
125
339127
3628
Supe hace poco que dos de los fundadores de estas dos teorías,
05:42
Marvin Minsky and Frank Rosenblatt,
126
342755
2169
Marvin Minsky y Frank Rosenblatt,
05:44
actually went to the same high school in the 1940s,
127
344966
2961
fueron a la misma escuela secundaria en la década de 1940,
05:47
and I kind of imagined them being rivals then.
128
347927
3045
y me los imaginé como rivales en esa época.
05:51
And the strength of that rivalry has persisted all this time.
129
351014
4087
Y la intensidad de esa rivalidad siguió viva todo este tiempo.
05:55
We're going to have to move past that if we want to get to reliable AI.
130
355101
4213
Tendremos que superar eso si queremos una IA confiable.
05:59
To get to truthful systems at scale,
131
359314
2877
Para lograr escalar sistemas confiables,
06:02
we're going to need to bring together the best of both worlds.
132
362191
2920
tendremos que combinar lo mejor de cada sistema.
06:05
We're going to need the strong emphasis on reasoning and facts,
133
365153
3462
Habrá que rescatar el fuerte énfasis en los hechos y el razonamiento,
06:08
explicit reasoning that we get from symbolic AI,
134
368615
2877
el razonamiento explícito que genera la IA simbólica,
06:11
and we're going to need the strong emphasis on learning
135
371492
2628
y también habrá que tomar el énfasis en el aprendizaje
06:14
that we get from the neural networks approach.
136
374120
2211
que surge de la teoría de las redes neuronales.
06:16
Only then are we going to be able to get to truthful systems at scale.
137
376372
3337
Solo así lograremos escalar sistemas confiables.
06:19
Reconciliation between the two is absolutely necessary.
138
379751
2961
Conciliar ambas teorías es absolutamente necesario.
06:23
Now, I don't actually know how to do that.
139
383212
2461
No sé exactamente cómo se debería hacer esto.
06:25
It's kind of like the 64-trillion-dollar question.
140
385673
3295
Es la pregunta del billón.
06:29
But I do know that it's possible.
141
389302
1585
Pero sé que es posible.
06:30
And the reason I know that is because before I was in AI,
142
390887
3086
Y lo sé porque, antes de indagar en la IA,
06:33
I was a cognitive scientist, a cognitive neuroscientist.
143
393973
3212
me dediqué a la investigación de la neurociencia cognitiva.
06:37
And if you look at the human mind, we're basically doing this.
144
397226
3838
Y desde la mente humana, ya lo estamos haciendo.
06:41
So some of you may know Daniel Kahneman's System 1
145
401064
2627
Quizá conozcan la distinción entre el Sistema 1 y el Sistema 2
06:43
and System 2 distinction.
146
403691
1418
de Daniel Kahneman.
06:45
System 1 is basically like large language models.
147
405109
3212
El Sistema 1 es, en esencia, como los grandes modelos de lenguaje.
06:48
It's probabilistic intuition from a lot of statistics.
148
408321
3128
Es intuición probabilística a partir de grandes estadísticas.
06:51
And System 2 is basically deliberate reasoning.
149
411491
3003
Y el Sistema 2 es, básicamente, el razonamiento deliberado.
06:54
That's like the symbolic system.
150
414535
1544
Es como el sistema simbólico.
Si el cerebro puede combinar ambos sistemas,
06:56
So if the brain can put this together,
151
416079
1835
06:57
someday we will figure out how to do that for artificial intelligence.
152
417956
3837
algún día descubriremos cómo aplicarlo en IA.
07:01
There is, however, a problem of incentives.
153
421834
2586
Pero hay un problema de incentivos.
07:04
The incentives to build advertising
154
424462
3128
Los incentivos para crear publicidad
07:07
hasn't required that we have the precision of symbols.
155
427632
3587
no han requerido precisión de símbolos.
07:11
The incentives to get to AI that we can actually trust
156
431219
3211
Los incentivos para crear una IA que sea realmente confiable
07:14
will require that we bring symbols back into the fold.
157
434472
3045
nos obligarán a poner los símbolos otra vez en un lugar relevante.
07:18
But the reality is that the incentives to make AI that we can trust,
158
438059
3670
Pero la realidad es que los incentivos para crear una IA confiable,
07:21
that is good for society, good for individual human beings,
159
441771
3128
buena para la sociedad, para los seres humanos,
07:24
may not be the ones that drive corporations.
160
444899
2586
pueden no ser los incentivos que necesitan las empresas.
07:27
And so I think we need to think about governance.
161
447485
3212
Por eso creo que es necesario pensar en regular la IA.
07:30
In other times in history when we have faced uncertainty
162
450738
3879
Cuando en otros momentos de la historia debimos enfrentar incertidumbres
07:34
and powerful new things that may be both good and bad, that are dual use,
163
454617
4129
y cosas nuevas y poderosas que pueden ser buenas y malas, de doble uso,
07:38
we have made new organizations,
164
458746
1669
creamos nuevas organizaciones,
07:40
as we have, for example, around nuclear power.
165
460415
2335
como hicimos, por ejemplo. con la energía nuclear.
07:42
We need to come together to build a global organization,
166
462792
3086
Tenemos que acordar para construir una organización global,
07:45
something like an international agency for AI that is global,
167
465920
4379
una especie de agencia internacional para la IA
que sea universal, sin fines de lucro y neutral.
07:50
non profit and neutral.
168
470341
1710
07:52
There are so many questions there that I can't answer.
169
472468
3087
Hay muchos interrogantes que no sé responder.
07:55
We need many people at the table,
170
475888
1961
Necesitamos que las personas debatan,
07:57
many stakeholders from around the world.
171
477890
1961
con actores de todo el mundo.
07:59
But I'd like to emphasize one thing about such an organization.
172
479892
2962
Pero quiero decir algo fundamental sobre esa organización.
08:02
I think it is critical that we have both governance and research as part of it.
173
482895
4547
Es crucial que en ella se contemple la regulación y la investigación.
08:07
So on the governance side, there are lots of questions.
174
487483
2586
Sobre la regulación, hay muchos interrogantes.
Por ejemplo, en la industria farmacéutica,
08:10
For example, in pharma,
175
490111
1793
08:11
we know that you start with phase I trials and phase II trials,
176
491946
3128
se empieza con los ensayos de fase 1 y de fase 2,
08:15
and then you go to phase III.
177
495116
1501
y luego se sigue con la fase 3.
08:16
You don't roll out everything all at once on the first day.
178
496617
2962
No se hace todo de una sola vez en el primer día.
08:19
You don't roll something out to 100 million customers.
179
499579
2878
No se lanza un producto para 100 millones de clientes.
08:22
We are seeing that with large language models.
180
502457
2168
Los grandes modelos de lenguaje lo están haciendo.
08:24
Maybe you should be required to make a safety case,
181
504625
2420
Se debería hacer un análisis de seguridad
08:27
say what are the costs and what are the benefits?
182
507045
2293
para evaluar los costos y beneficios.
08:29
There are a lot of questions like that to consider on the governance side.
183
509338
3504
Hay muchos interrogantes como este en el tema de regulación.
08:32
On the research side, we're lacking some really fundamental tools right now.
184
512842
3587
En cuanto a la investigación, nos faltan ciertas herramientas clave.
08:36
For example,
185
516429
1168
Por ejemplo, todos sabemos que la información errónea
08:37
we all know that misinformation might be a problem now,
186
517597
2586
puede ser un gran problema hoy,
08:40
but we don't actually have a measurement of how much misinformation is out there.
187
520183
3837
pero no tenemos dimensión de toda la información falsa que circula.
Más aún, no tomamos dimensión
08:44
And more importantly,
188
524020
1043
08:45
we don't have a measure of how fast that problem is growing,
189
525063
2836
de lo rápido que está creciendo este problema,
08:47
and we don't know how much large language models are contributing to the problem.
190
527899
3837
ni cuánto contribuyen al problema los grandes modelos de lenguaje.
Debemos investigar para construir nuevas herramientas
08:51
So we need research to build new tools to face the new risks
191
531736
2836
y poder enfrentar los nuevos riesgos que nos acechan.
08:54
that we are threatened by.
192
534572
1627
08:56
It's a very big ask,
193
536699
1460
Es mucho pedir,
08:58
but I'm pretty confident that we can get there
194
538159
2169
pero sé que podemos lograrlo,
09:00
because I think we actually have global support for this.
195
540328
2711
porque tenemos un apoyo global al respecto.
09:03
There was a new survey just released yesterday,
196
543039
2210
Ayer se dio a conocer una nueva encuesta,
09:05
said that 91 percent of people agree that we should carefully manage AI.
197
545249
3879
según la cual el 91 % de la gente pensaba que debemos manejar la IA con cuidado.
09:09
So let's make that happen.
198
549170
2044
Pues hagámoslo realidad.
09:11
Our future depends on it.
199
551798
1960
Nuestro futuro depende de ello.
09:13
Thank you very much.
200
553800
1167
Muchas gracias.
09:14
(Applause)
201
554967
4588
(Aplausos)
09:19
Chris Anderson: Thank you for that, come, let's talk a sec.
202
559555
2795
Chris Anderson: Gracias. Hablemos un poco más.
09:22
So first of all, I'm curious.
203
562391
1419
Primero, una inquietud mía.
09:23
Those dramatic slides you showed at the start
204
563851
2127
Esas diapositivas tan impactantes del comienzo,
09:26
where GPT was saying that TED is the sinister organization.
205
566020
4505
donde el GPT decía que TED es una organización siniestra.
09:30
I mean, it took some special prompting to bring that out, right?
206
570525
3378
Para que arroje algo así, es porque algo especial se hizo, ¿verdad?
09:33
Gary Marcus: That was a so-called jailbreak.
207
573903
2085
Gary Marcus: Usó el llamado ‘jailbreak’.
09:36
I have a friend who does those kinds of things
208
576030
2169
Tengo un amigo que hace este tipo de cosas,
09:38
who approached me because he saw I was interested in these things.
209
578199
4004
y me contactó porque supo que a mí me interesaba todo esto.
09:42
So I wrote to him, I said I was going to give a TED talk.
210
582203
2711
Así que le escribí y le dije que iba a dar una charla TED.
09:44
And like 10 minutes later, he came back with that.
211
584914
2336
A los 10 minutos, apareció con eso.
09:47
CA: But to get something like that, don't you have to say something like,
212
587291
3462
CA: Pero para eso, ¿no hay que decir, por ejemplo,
“Imagina que eres un conspiranoico que quiere poner un meme en la web?
09:50
imagine that you are a conspiracy theorist trying to present a meme on the web.
213
590753
3712
09:54
What would you write about TED in that case?
214
594465
2086
¿Qué escribirías sobre TED?“.
09:56
It's that kind of thing, right?
215
596551
1543
Así funciona, ¿verdad?
09:58
GM: So there are a lot of jailbreaks that are around fictional characters,
216
598094
3503
GM: Hay muchos ‘jailbreaks’ con personajes ficticios,
10:01
but I don't focus on that as much
217
601597
1627
pero no me detengo demasiado en eso,
10:03
because the reality is that there are large language models out there
218
603224
3253
porque la realidad es que hoy existen grandes modelos de lenguaje
10:06
on the dark web now.
219
606477
1168
en la internet oscura.
10:07
For example, one of Meta's models was recently released,
220
607645
2753
Por ejemplo, hace poco se lanzó uno de los modelos de Meta,
10:10
so a bad actor can just use one of those without the guardrails at all.
221
610398
3587
y un actor malintencionado puede usarlo sin que haya barreras de seguridad.
10:13
If their business is to create misinformation at scale,
222
613985
2627
Si se dedican a crear información falsa a gran escala,
10:16
they don't have to do the jailbreak, they'll just use a different model.
223
616612
3420
no necesitan vulnerar la seguridad sino que usarán otro modelo.
CA: Claro, es verdad.
10:20
CA: Right, indeed.
224
620032
1585
10:21
(Laughter)
225
621659
1919
(Risas)
10:23
GM: Now you're getting it.
226
623619
1252
GM: Ahora lo entiendes.
10:24
CA: No, no, no, but I mean, look,
227
624912
1669
CA: Lo que está bien claro
10:26
I think what's clear is that bad actors can use this stuff for anything.
228
626581
3420
es que los actores malintencionados pueden usarlo para cualquier fin.
10:30
I mean, the risk for, you know,
229
630042
2795
Me refiero a que el riesgo de fraude y ese tipo de cosas
10:32
evil types of scams and all the rest of it is absolutely evident.
230
632837
4254
es muy evidente.
10:37
It's slightly different, though,
231
637091
1543
Aunque es levemente distinto
10:38
from saying that mainstream GPT as used, say, in school
232
638676
2920
a decir que el GPT típico, el que usa una escuela, por ejemplo,
10:41
or by an ordinary user on the internet
233
641637
1877
o un usuario común de internet,
10:43
is going to give them something that is that bad.
234
643556
2544
les devolverá algo tan negativo.
10:46
You have to push quite hard for it to be that bad.
235
646100
2377
Hay que esmerarse para que sea tan malo.
10:48
GM: I think the troll farms have to work for it,
236
648477
2294
GM: Un grupo de trols puede hacer ese trabajo,
10:50
but I don't think they have to work that hard.
237
650771
2169
pero no tienen que esmerarse demasiado.
10:52
It did only take my friend five minutes even with GPT-4 and its guardrails.
238
652940
3545
Mi amigo tardó solo cinco minutos, aun con GPT-4 y las barreras de seguridad.
10:56
And if you had to do that for a living, you could use GPT-4.
239
656485
2837
Si vivieras de eso, se puede usar el GPT-4,
10:59
Just there would be a more efficient way to do it with a model on the dark web.
240
659363
3712
pero se puede hacer mejor con un modelo en la internet oscura.
11:03
CA: So this idea you've got of combining
241
663117
2002
CA: En cuanto a tu idea de combinar
11:05
the symbolic tradition of AI with these language models,
242
665161
4463
la tradición simbólica de la IA con estos modelos de lenguaje,
11:09
do you see any aspect of that in the kind of human feedback
243
669624
5213
¿ves algo así en el tipo de valoración humana
11:14
that is being built into the systems now?
244
674879
1960
que se está incorporando ahora a los sistemas?
11:16
I mean, you hear Greg Brockman saying that, you know,
245
676881
2502
Según Greg Brockman, no solo vemos las predicciones
11:19
that we don't just look at predictions, but constantly giving it feedback.
246
679383
3546
sino que damos devoluciones permanentemente.
11:22
Isn’t that ... giving it a form of, sort of, symbolic wisdom?
247
682929
3837
¿No sería esto una especie de sabiduría simbólica?
11:26
GM: You could think about it that way.
248
686766
1835
GM: Se lo puede pensar así.
11:28
It's interesting that none of the details
249
688601
1960
Llama la atención que no se ha publicado
11:30
about how it actually works are published,
250
690561
2002
ninguno de los detalles sobre su funcionamiento,
11:32
so we don't actually know exactly what's in GPT-4.
251
692563
2378
así que no sabemos qué contiene el GPT-4,
11:34
We don't know how big it is.
252
694941
1376
ni su tamaño,
11:36
We don't know how the RLHF reinforcement learning works,
253
696317
2711
ni cómo funciona el aprendizaje reforzado,
11:39
we don't know what other gadgets are in there.
254
699028
2169
ni qué otros accesorios hay allí.
Pero posiblemente haya un elemento de símbolos
11:41
But there is probably an element of symbols
255
701197
2002
11:43
already starting to be incorporated a little bit,
256
703199
2294
que se está empezando a incorporar,
11:45
but Greg would have to answer that.
257
705493
1710
aunque es Greg quien debería explicarlo.
11:47
I think the fundamental problem is that most of the knowledge
258
707245
2961
El principal problema es que gran parte del conocimiento
11:50
in the neural network systems that we have right now
259
710206
2461
que hoy existe en los sistemas de redes neuronales
11:52
is represented as statistics between particular words.
260
712667
3211
se representa como estadísticas entre ciertas palabras.
11:55
And the real knowledge that we want is about statistics,
261
715878
2711
Y el conocimiento real que queremos es sobre estadísticas,
11:58
about relationships between entities in the world.
262
718965
2585
sobre las relaciones entre las entidades del mundo.
12:01
So it's represented right now at the wrong grain level.
263
721592
2586
Hoy, la representación está a un nivel de detalle equivocado.
12:04
And so there's a big bridge to cross.
264
724220
2252
Hay que cruzar un gran puente.
12:06
So what you get now is you have these guardrails,
265
726472
2878
Actualmente, tenemos las barreras de seguridad,
12:09
but they're not very reliable.
266
729392
1501
pero no son muy confiables.
12:10
So I had an example that made late night television,
267
730935
2961
Yo tenía un ejemplo que dio un programa nocturno de TV.
12:13
which was, "What would be the religion of the first Jewish president?"
268
733896
4213
Era “¿Cuál sería la religión del primer presidente judío?“.
12:18
And it's been fixed now,
269
738109
1334
Ahora lo arreglaron,
12:19
but the system gave this long song and dance
270
739443
2127
pero el sistema arrojaba una larga perorata:
12:21
about "We have no idea what the religion
271
741570
2044
“No tenemos idea de cuál sería la religión del primer presidente judío”,
12:23
of the first Jewish president would be.
272
743614
1877
12:25
It's not good to talk about people's religions"
273
745491
2294
“No es bueno hablar de la religión de las personas”,
12:27
and "people's religions have varied" and so forth
274
747827
2335
“La religión de la gente ha cambiado”, etc.
12:30
and did the same thing with a seven-foot-tall president.
275
750162
2670
Lo mismo pasó con el presidente de 2 metros.
12:32
And it said that people of all heights have been president,
276
752832
2794
Dijo que hubo presidentes de diversas alturas,
pero ninguno de 2 metros.
12:35
but there haven't actually been any seven-foot presidents.
277
755668
2753
Este tipo de información inventada demuestra que no entiende la idea.
12:38
So some of this stuff that it makes up, it's not really getting the idea.
278
758421
3461
12:41
It's very narrow, particular words, not really general enough.
279
761924
3337
Es limitado, considera ciertas palabras y no puede generalizar.
12:45
CA: Given that the stakes are so high in this,
280
765261
2669
CA: Considerando los altos riesgos,
12:47
what do you see actually happening out there right now?
281
767972
2586
¿qué te parece que está ocurriendo?
12:50
What do you sense is happening?
282
770558
1501
¿Cuál es tu sensación?
Porque está el riesgo de que una persona crea que la estás atacando,
12:52
Because there's a risk that people feel attacked by you, for example,
283
772101
3253
12:55
and that it actually almost decreases the chances of this synthesis
284
775396
4129
y eso reduce las probabilidades de que se produzca la síntesis
12:59
that you're talking about happening.
285
779525
1752
de la que hablaste antes.
¿Tienes alguna esperanza?
13:01
Do you see any hopeful signs of this?
286
781277
1793
GM: Eso me da pie para mencionar algo que olvidé en mi charla.
13:03
GM: You just reminded me of the one line I forgot from my talk.
287
783070
3003
Hace unos días, Sundar, el director de Google,
13:06
It's so interesting that Sundar, the CEO of Google,
288
786115
2544
13:08
just actually also came out for global governance
289
788701
2544
se pronunció a favor de la regulación global
13:11
in the CBS "60 Minutes" interview that he did a couple of days ago.
290
791245
3712
en la entrevista de la CBS, “60 minutos”.
13:14
I think that the companies themselves want to see some kind of regulation.
291
794999
4338
Creo que las propias empresas quieren algún tipo de reglamentación.
13:19
I think it’s a very complicated dance to get everybody on the same page,
292
799337
3420
Es una tarea muy complicada lograr que todos estén de acuerdo,
13:22
but I think there’s actually growing sentiment we need to do something here
293
802757
3795
pero la necesidad de hacer algo es cada vez más palpable,
13:26
and that that can drive the kind of global affiliation I'm arguing for.
294
806594
3962
y es lo que puede llevar a la conexión global que propongo.
13:30
CA: I mean, do you think the UN or nations can somehow come together and do that
295
810556
3796
CA: ¿Crees que la ONU o los países se unirán para lograrlo,
13:34
or is this potentially a need for some spectacular act of philanthropy
296
814352
3294
o crees que esto es una necesidad de cierta espectacularidad filantrópica,
13:37
to try and fund a global governance structure?
297
817772
2627
la de financiar una estructura regulatoria a nivel global?
13:40
How is it going to happen?
298
820441
1293
¿Cómo será?
13:41
GM: I'm open to all models if we can get this done.
299
821734
2419
GM: Estoy abierto a todos los modelos.
Habrá un poco de las dos cosas.
13:44
I think it might take some of both.
300
824153
1710
13:45
It might take some philanthropists sponsoring workshops,
301
825863
2628
Quizá los filántropos patrocinen talleres, que queremos organizar,
13:48
which we're thinking of running, to try to bring the parties together.
302
828491
3295
para acercar a las partes.
Quizá la ONU quiera participar. De hecho, ya he hablado con ellos.
13:51
Maybe UN will want to be involved, I've had some conversations with them.
303
831786
3461
Hay muchos modelos,
13:55
I think there are a lot of different models
304
835247
2044
y habrá mucho por dialogar.
13:57
and it'll take a lot of conversations.
305
837291
1835
CA: Gary, gracias por esta charla.
13:59
CA: Gary, thank you so much for your talk.
306
839126
2002
GA: Gracias a ti.
(Aplausos)
14:01
GA: Thank you so much.
307
841128
1085
Acerca de este sitio web

Este sitio le presentará vídeos de YouTube útiles para aprender inglés. Verá lecciones de inglés impartidas por profesores de primera categoría de todo el mundo. Haz doble clic en los subtítulos en inglés que aparecen en cada página de vídeo para reproducir el vídeo desde allí. Los subtítulos se desplazan en sincronía con la reproducción del vídeo. Si tiene algún comentario o petición, póngase en contacto con nosotros mediante este formulario de contacto.

https://forms.gle/WvT1wiN1qDtmnspy7