The Urgent Risks of Runaway AI — and What to Do about Them | Gary Marcus | TED

217,400 views

2023-05-12 ・ TED


New videos

The Urgent Risks of Runaway AI — and What to Do about Them | Gary Marcus | TED

217,400 views ・ 2023-05-12

TED


Fare doppio clic sui sottotitoli in inglese per riprodurre il video.

Traduttore: marshall8 mathers88 Revisore: Gabriella Patricola
00:04
I’m here to talk about the possibility of global AI governance.
0
4292
5339
Oggi vi parlerò della possibilità di gestione globale dell’IA.
00:09
I first learned to code when I was eight years old,
1
9631
3211
Ho imparato a programmare quando avevo otto anni,
00:12
on a paper computer,
2
12884
1168
su un computer di carta
00:14
and I've been in love with AI ever since.
3
14094
2252
e da allora sono innamorato dell’IA.
00:16
In high school,
4
16346
1168
Alle superiori
00:17
I got myself a Commodore 64 and worked on machine translation.
5
17514
3253
ho preso un Commodore 64 e ho lavorato sulla traduzione automatica.
00:20
I built a couple of AI companies, I sold one of them to Uber.
6
20934
3712
Ho fondato un paio di aziende di IA, ne ho venduta una a Uber,
00:24
I love AI, but right now I'm worried.
7
24688
3503
Amo l’IA, ma ora sono preoccupato.
00:28
One of the things that I’m worried about is misinformation,
8
28233
2794
Una cosa che mi preoccupa è la cattiva informazione,
00:31
the possibility that bad actors will make a tsunami of misinformation
9
31027
3462
la possibilità che i cattivi attori creino uno tsunami di disinformazione
00:34
like we've never seen before.
10
34531
2002
come non si è mai visto.
00:36
These tools are so good at making convincing narratives
11
36575
3586
Questi strumenti sono in grado di creare narrazioni convincenti
00:40
about just about anything.
12
40161
1794
di qualsiasi cosa.
00:41
If you want a narrative about TED and how it's dangerous,
13
41997
3003
Se vuoi una storia su TED e come esso sia pericoloso,
00:45
that we're colluding here with space aliens,
14
45000
2877
che siamo in combutta con alieni dallo spazio,
00:47
you got it, no problem.
15
47919
1669
l’avrai senza problemi.
00:50
I'm of course kidding about TED.
16
50422
2127
Ovvio che scherzo su TED.
00:52
I didn't see any space aliens backstage.
17
52591
2961
Non ho visto alieni dietro le quinte.
00:55
But bad actors are going to use these things to influence elections,
18
55885
3629
Ma i cattivi attori useranno queste cose per condizionare le elezioni,
00:59
and they're going to threaten democracy.
19
59514
2211
minacciando la democrazia.
01:01
Even when these systems
20
61725
1167
Se questi sistemi
01:02
aren't deliberately being used to make misinformation,
21
62934
2878
non sono usati deliberatamente per creare disinformazione
01:05
they can't help themselves.
22
65854
1710
non possono farci niente.
01:07
And the information that they make is so fluid and so grammatical
23
67564
4963
E le informazioni che creano sono così fluide, corrette,
01:12
that even professional editors sometimes get sucked in
24
72527
3253
che anche gli editor professionisti a volte vengono risucchiati
01:15
and get fooled by this stuff.
25
75780
2002
che si bevono questa roba.
01:17
And we should be worried.
26
77824
1668
Ci dovremmo preoccupare.
01:19
For example, ChatGPT made up a sexual harassment scandal
27
79534
3879
Per esempio, ChatGPT montò uno scandalo di molestia sessuale
01:23
about an actual professor,
28
83413
1919
su un professore reale
01:25
and then it provided evidence for its claim
29
85332
2419
e poi fornì le prove a sostegno di questa accusa
01:27
in the form of a fake "Washington Post" article
30
87792
2586
sotto forma di un falso articolo del “Washington Post”
01:30
that it created a citation to.
31
90378
1919
dal quale creò una citazione.
01:32
We should all be worried about that kind of thing.
32
92297
2377
Questo genere di cose dovrebbe turbarci tutti.
01:34
What I have on the right is an example of a fake narrative
33
94674
2962
Qui alla mia destra ho un esempio di falsa narrazione
01:37
from one of these systems
34
97636
1209
da uno di questi sistemi
01:38
saying that Elon Musk died in March of 2018 in a car crash.
35
98887
4755
secondo cui Elon Musk è morto in un incidente d’auto nel marzo 2018.
01:43
We all know that's not true.
36
103683
1418
Sappiamo che non è vero.
01:45
Elon Musk is still here, the evidence is all around us.
37
105143
2794
Elon Musk è ancora qui, ci sono prove ovunque.
01:47
(Laughter)
38
107979
1001
(Risate)
01:48
Almost every day there's a tweet.
39
108980
2002
Quasi ogni giorno c’è un tweet.
01:50
But if you look on the left, you see what these systems see.
40
110982
3253
Ma se guardate a sinistra, vedrete cosa vedono tali sistemi.
01:54
Lots and lots of actual news stories that are in their databases.
41
114277
3754
Miriadi di notizie reali presenti nelle loro banche dati.
01:58
And in those actual news stories are lots of little bits of statistical information.
42
118073
4713
E in queste notizie reali ci sono molti frammenti di dati statistici.
02:02
Information, for example,
43
122786
1376
Dati, ad esempio,
02:04
somebody did die in a car crash in a Tesla in 2018
44
124204
4045
qualcuno è morto in un incidente con una Tesla nel 2018
02:08
and it was in the news.
45
128291
1377
ed era tra le notizie.
02:09
And Elon Musk, of course, is involved in Tesla,
46
129709
3045
Elon Musk chiaramente ha a che fare con Tesla,
02:12
but the system doesn't understand the relation
47
132796
2752
ma il sistema non comprende la relazione
02:15
between the facts that are embodied in the little bits of sentences.
48
135590
3796
tra i fatti che sono insiti nei frammenti di frasi.
02:19
So it's basically doing auto-complete,
49
139386
2043
In pratica completa in automatico,
02:21
it predicts what is statistically probable,
50
141471
2669
predice ciò che è statisticamente verosimile,
02:24
aggregating all of these signals,
51
144182
1835
aggregando tutti questi segnali,
02:26
not knowing how the pieces fit together.
52
146017
2461
non sapendo come i pezzi combacino.
02:28
And it winds up sometimes with things that are plausible but simply not true.
53
148478
3754
E a volte si ritrova con roba che è plausibile ma per niente vera.
02:32
There are other problems, too, like bias.
54
152273
1961
Poi ci sono magagne come la distorsione.
02:34
This is a tweet from Allie Miller.
55
154275
1710
Questo è un tweet di Allie Miller.
02:36
It's an example that doesn't work two weeks later
56
156027
2544
Un esempio che non funziona due settimane dopo
02:38
because they're constantly changing things with reinforcement learning
57
158571
3379
perché cambiano costantemente le cose con l’apprendimento per rinforzo
02:41
and so forth.
58
161991
1168
e via dicendo.
02:43
And this was with an earlier version.
59
163159
1794
Questo con una versione precedente.
02:44
But it gives you the flavor of a problem that we've seen over and over for years.
60
164953
3837
Però ci dà l’idea di un problema che vediamo a ripetizione da anni.
02:48
She typed in a list of interests
61
168832
2043
Ha digitato una lista di interessi
02:50
and it gave her some jobs that she might want to consider.
62
170875
2795
ottenendo alcuni impieghi che potrebbe considerare.
02:53
And then she said, "Oh, and I'm a woman."
63
173712
2043
E poi ha detto: “Ah, sono una donna.”
02:55
And then it said, “Oh, well you should also consider fashion.”
64
175755
2920
E la risposta: “Bene, potresti anche occuparti di moda.”
02:58
And then she said, “No, no. I meant to say I’m a man.”
65
178675
2711
E poi lei ha detto: “No, no. Volevo dire, sono un uomo.”
03:01
And then it replaced fashion with engineering.
66
181386
2502
E ha ottenuto ingegneria al posto di moda.
03:03
We don't want that kind of bias in our systems.
67
183930
2795
Non vogliamo questo tipo di distorsione nei nostri sistemi.
03:07
There are other worries, too.
68
187642
1418
Ci sono altre preoccupazioni.
03:09
For example, we know that these systems can design chemicals
69
189060
3212
Ad esempio questi sistemi possono creare composti chimici
03:12
and may be able to design chemical weapons
70
192313
2837
e potrebbero creare armi chimiche
03:15
and be able to do so very rapidly.
71
195150
1751
potrebbero farlo rapidamente.
03:16
So there are a lot of concerns.
72
196943
1585
C’è molta preoccupazione.
03:19
There's also a new concern that I think has grown a lot just in the last month.
73
199195
4046
C’è anche un nuovo rischio che penso sia aumentato molto solo in questo mese.
03:23
We have seen that these systems, first of all, can trick human beings.
74
203241
3754
Abbiamo osservato che questi sistemi, anzitutto, possono ingannare gli umani.
03:27
So ChatGPT was tasked with getting a human to do a CAPTCHA.
75
207036
4255
A ChatGPT è stato richiesto di far fare un CAPTCHA a un umano.
03:31
So it asked the human to do a CAPTCHA and the human gets suspicious and says,
76
211332
3712
Lui chiede all’umano di fare un CAPTCHA e l’umano diventa sospettoso e dice:
03:35
"Are you a bot?"
77
215086
1293
“Sei un robot?”
03:36
And it says, "No, no, no, I'm not a robot.
78
216379
2044
E lui dice: “No, non sono un robot.
03:38
I just have a visual impairment."
79
218423
1752
Sono solo ipovedente.”
03:40
And the human was actually fooled and went and did the CAPTCHA.
80
220216
3003
E l’umano ci è cascato e ha fatto il CAPTCHA.
03:43
Now that's bad enough,
81
223219
1168
Già questo è male,
03:44
but in the last couple of weeks we've seen something called AutoGPT
82
224429
3211
ma nelle ultime settimane abbiamo visto quel che si chiama AutoGPT
03:47
and a bunch of systems like that.
83
227640
1585
e altri sistemi simili.
03:49
What AutoGPT does is it has one AI system controlling another
84
229267
4338
Cosa fa AutoGPT? Ha un sistema IA che ne controlla un altro
03:53
and that allows any of these things to happen in volume.
85
233605
2836
e che consente a eventi del genere di svolgersi in massa.
03:56
So we may see scam artists try to trick millions of people
86
236441
4087
Quindi i geni della truffa potrebbero ingannare milioni di persone
04:00
sometime even in the next months.
87
240528
1794
forse anche tra pochi mesi.
04:02
We don't know.
88
242322
1168
Non lo sappiamo.
04:03
So I like to think about it this way.
89
243531
2086
Mi piace vederla così.
04:05
There's a lot of AI risk already.
90
245658
2294
C’è già molto rischio legato all’IA.
04:07
There may be more AI risk.
91
247994
1543
Il rischio potrebbe aggravarsi.
04:09
So AGI is this idea of artificial general intelligence
92
249537
3712
Perciò AGI è un’idea di intelligenza artificiale generale
04:13
with the flexibility of humans.
93
253291
1502
dotato di flessibilità umana.
04:14
And I think a lot of people are concerned what will happen when we get to AGI,
94
254834
3671
E molte persone sono in ansia per cosa succederà quando arriva l’AGI,
04:18
but there's already enough risk that we should be worried
95
258505
2711
ma i rischi da tenere a mente sono già abbastanza
04:21
and we should be thinking about what we should do about it.
96
261216
2794
e dovremmo pensare a come affrontarli.
04:24
So to mitigate AI risk, we need two things.
97
264010
3295
Per ridurre i rischi in IA ci servono due cose.
04:27
We're going to need a new technical approach,
98
267305
2169
Ci serve un nuovo approccio tecnico,
04:29
and we're also going to need a new system of governance.
99
269516
2877
e ci servirà anche un nuovo sistema di gestione.
04:32
On the technical side,
100
272435
1460
Sul lato tecnico,
04:33
the history of AI has basically been a hostile one
101
273937
3253
la storia dell’IA è stata principalmente ostile
04:37
of two different theories in opposition.
102
277190
2753
con due teorie contrastanti.
04:39
One is called symbolic systems, the other is called neural networks.
103
279943
3712
Una è chiamata sistemi simbolici, l’altra è chiamata reti neuronali.
04:43
On the symbolic theory,
104
283696
1418
Nella teoria simbolica,
04:45
the idea is that AI should be like logic and programming.
105
285114
3337
l’idea è che l’IA sarebbe come logica e programmazione.
04:48
On the neural network side,
106
288451
1335
Nelle reti neuronali,
04:49
the theory is that AI should be like brains.
107
289828
2544
la teoria è che l’IA sarebbe come un cervello.
04:52
And in fact, both technologies are powerful and ubiquitous.
108
292413
3921
Infatti, entrambe le tecnologie sono potenti e pervasive.
04:56
So we use symbolic systems every day in classical web search.
109
296376
3420
Quindi usiamo i sistemi simbolici ogni giorno cercando nel web.
04:59
Almost all the world’s software is powered by symbolic systems.
110
299796
3420
Quasi tutti i software del mondo sono basati sui sistemi simbolici.
05:03
We use them for GPS routing.
111
303216
2044
Li usiamo per i percorsi GPS.
05:05
Neural networks, we use them for speech recognition.
112
305260
2711
Le reti neuronali sono usate per il riconoscimento vocale.
05:07
we use them in large language models like ChatGPT,
113
307971
2752
le usiamo in grandi modelli linguistici come ChatGPT,
05:10
we use them in image synthesis.
114
310723
1836
le usiamo nella sintesi di immagini.
05:12
So they're both doing extremely well in the world.
115
312559
2752
Vanno entrambe alla grande nel mondo.
05:15
They're both very productive,
116
315353
1460
Entrambe molto produttive,
05:16
but they have their own unique strengths and weaknesses.
117
316855
2836
ma entrambe hanno le loro forze e le loro debolezze.
05:19
So symbolic systems are really good at representing facts
118
319732
3420
I sistemi simbolici sono eccezionali a rappresentare i fatti
05:23
and they're pretty good at reasoning,
119
323152
1794
e nel ragionamento,
05:24
but they're very hard to scale.
120
324946
1543
ma sono difficili da adattare.
05:26
So people have to custom-build them for a particular task.
121
326531
3170
Perciò devono essere progettati su misura per operazioni particolare.
05:29
On the other hand, neural networks don't require so much custom engineering,
122
329701
4004
D’altra parte, per le reti neuronali non serve una particolare progettazione,
05:33
so we can use them more broadly.
123
333746
2086
e il loro uso è più ampio.
05:35
But as we've seen, they can't really handle the truth.
124
335874
3211
Ma, come vediamo, non riescono a gestire la verità.
05:39
I recently discovered that two of the founders of these two theories,
125
339127
3628
Recentemente, ho scoperto che due dei fondatori di queste teorie,
05:42
Marvin Minsky and Frank Rosenblatt,
126
342755
2169
Marvin Minsky e Frank Rosenblatt,
05:44
actually went to the same high school in the 1940s,
127
344966
2961
hanno frequentato lo stesso liceo negli anni 1940,
05:47
and I kind of imagined them being rivals then.
128
347927
3045
e li ho immaginati come rivali all’epoca.
05:51
And the strength of that rivalry has persisted all this time.
129
351014
4087
E la forza di quella rivalità ancora persiste.
05:55
We're going to have to move past that if we want to get to reliable AI.
130
355101
4213
Dobbiamo superarla se vogliamo avere un’IA affidabile.
05:59
To get to truthful systems at scale,
131
359314
2877
Per avere sistemi veritieri su larga scala,
06:02
we're going to need to bring together the best of both worlds.
132
362191
2920
avremo bisogno di mettere insieme il meglio delle due realtà.
06:05
We're going to need the strong emphasis on reasoning and facts,
133
365153
3462
Avremo bisogno della forte enfasi su ragionamento e fatti,
06:08
explicit reasoning that we get from symbolic AI,
134
368615
2877
il ragionamento esplicito che abbiamo dall’IA simbolica,
06:11
and we're going to need the strong emphasis on learning
135
371492
2628
e avremo bisogno della forte enfasi sull’apprendimento
06:14
that we get from the neural networks approach.
136
374120
2211
che abbiamo nelle reti neuronali.
06:16
Only then are we going to be able to get to truthful systems at scale.
137
376372
3337
Solo allora saremo capaci di avere sistemi veritieri su larga scala.
06:19
Reconciliation between the two is absolutely necessary.
138
379751
2961
Riconciliare i due approcci è assolutamente necessario.
06:23
Now, I don't actually know how to do that.
139
383212
2461
Però non so come si fa.
06:25
It's kind of like the 64-trillion-dollar question.
140
385673
3295
Questa è la risposta da 64 bilioni di dollari.
06:29
But I do know that it's possible.
141
389302
1585
Quel che so è che è possibile.
06:30
And the reason I know that is because before I was in AI,
142
390887
3086
E il motivo per cui lo so è perché prima di lavorare con l’IA,
06:33
I was a cognitive scientist, a cognitive neuroscientist.
143
393973
3212
ero uno scienziato cognitivo, un neuroscienziato cognitivo.
06:37
And if you look at the human mind, we're basically doing this.
144
397226
3838
E se osservate la mente umana stiamo facendo praticamente questo.
06:41
So some of you may know Daniel Kahneman's System 1
145
401064
2627
Forse conoscete la distinzione di Daniel Kahneman
06:43
and System 2 distinction.
146
403691
1418
tra Sistema 1 e Sistema 2.
06:45
System 1 is basically like large language models.
147
405109
3212
Il Sistema 1 è in pratica come i grandi modelli linguistici.
06:48
It's probabilistic intuition from a lot of statistics.
148
408321
3128
È intuizione probabilistica da molti dati statistici.
06:51
And System 2 is basically deliberate reasoning.
149
411491
3003
E il Sistema 2 è di base ragionamento intenzionale.
06:54
That's like the symbolic system.
150
414535
1544
È come il sistema simbolico.
06:56
So if the brain can put this together,
151
416079
1835
Perciò se il cervello può combinarli,
06:57
someday we will figure out how to do that for artificial intelligence.
152
417956
3837
un giorno riusciremo a comprendere come farlo con l’intelligenza artificiale.
07:01
There is, however, a problem of incentives.
153
421834
2586
Tuttavia, c’è un problema di incentivazione.
07:04
The incentives to build advertising
154
424462
3128
La spinta a creare pubblicità
07:07
hasn't required that we have the precision of symbols.
155
427632
3587
non ci ha richiesto la precisione dei simboli.
07:11
The incentives to get to AI that we can actually trust
156
431219
3211
La spinta a ottenere un’IA di cui possiamo fidarci
07:14
will require that we bring symbols back into the fold.
157
434472
3045
necessiterà di riportare i simboli all’ovile.
07:18
But the reality is that the incentives to make AI that we can trust,
158
438059
3670
Però la realtà è che l’incentivazione per creare un’IA di cui fidarci,
07:21
that is good for society, good for individual human beings,
159
441771
3128
che sia un bene per la società e per i singoli esseri umani,
07:24
may not be the ones that drive corporations.
160
444899
2586
potrebbe non essere quella che fa muovere le aziende.
07:27
And so I think we need to think about governance.
161
447485
3212
Perciò credo che dobbiamo pensare al sistema di gestione.
07:30
In other times in history when we have faced uncertainty
162
450738
3879
In altre epoche storiche in cui abbiamo affrontato incertezze
07:34
and powerful new things that may be both good and bad, that are dual use,
163
454617
4129
e potenti novità che possono essere sia un bene che un male, a doppio uso,
07:38
we have made new organizations,
164
458746
1669
abbiamo creato nuovi organismi,
07:40
as we have, for example, around nuclear power.
165
460415
2335
come ad esempio con l’energia nucleare.
07:42
We need to come together to build a global organization,
166
462792
3086
Dobbiamo cooperare per creare un ente globale,
07:45
something like an international agency for AI that is global,
167
465920
4379
qualcosa come un’agenzia per l’IA che sia globale,
07:50
non profit and neutral.
168
470341
1710
non-profit e neutrale.
07:52
There are so many questions there that I can't answer.
169
472468
3087
Ci sono così tante domande a cui non so rispondere.
07:55
We need many people at the table,
170
475888
1961
Ci servono molto persone,
07:57
many stakeholders from around the world.
171
477890
1961
molti operatori da tutto il mondo.
07:59
But I'd like to emphasize one thing about such an organization.
172
479892
2962
Ma vorrei enfatizzare una cosa su una tale organizzazione.
08:02
I think it is critical that we have both governance and research as part of it.
173
482895
4547
Penso che sia cruciale avere sia un sistema di gestione che ricerca.
08:07
So on the governance side, there are lots of questions.
174
487483
2586
Dal lato della gestione ci sono molte domande.
08:10
For example, in pharma,
175
490111
1793
Ad esempio, nel farmaceutico,
08:11
we know that you start with phase I trials and phase II trials,
176
491946
3128
sappiamo che si parte dai test fase I e test fase II,
08:15
and then you go to phase III.
177
495116
1501
e poi si va alla fase III.
08:16
You don't roll out everything all at once on the first day.
178
496617
2962
Non fai partire tutto quanto insieme al primo giorno.
08:19
You don't roll something out to 100 million customers.
179
499579
2878
Non fai partire qualcosa con 100 milioni di clienti.
08:22
We are seeing that with large language models.
180
502457
2168
Lo vediamo con i grandi modelli linguistici.
08:24
Maybe you should be required to make a safety case,
181
504625
2420
Bisognerebbe fare un dossier di sicurezza,
08:27
say what are the costs and what are the benefits?
182
507045
2293
quali sono i costi e quali i benefici?
08:29
There are a lot of questions like that to consider on the governance side.
183
509338
3504
Ci sono molte questioni simili da considerare dalla parte gestionale.
08:32
On the research side, we're lacking some really fundamental tools right now.
184
512842
3587
Da quella della ricerca, ci mancano alcuni strumenti fondamentali.
08:36
For example,
185
516429
1168
Per esempio,
08:37
we all know that misinformation might be a problem now,
186
517597
2586
è certo che la misinformazione oggi è un problema,
08:40
but we don't actually have a measurement of how much misinformation is out there.
187
520183
3837
ma non possediamo una misura di quanta misinformazione ci sia.
08:44
And more importantly,
188
524020
1043
E più importante,
08:45
we don't have a measure of how fast that problem is growing,
189
525063
2836
non abbiamo idea di quanto rapidamente stia crescendo,
08:47
and we don't know how much large language models are contributing to the problem.
190
527899
3837
e non sappiamo quanto i grandi modelli linguistici contribuiscano al problema.
08:51
So we need research to build new tools to face the new risks
191
531736
2836
Necessitiamo di trovare nuovi strumenti per i nuovi rischi
08:54
that we are threatened by.
192
534572
1627
che ci minacciano.
08:56
It's a very big ask,
193
536699
1460
È una grossa richiesta,
08:58
but I'm pretty confident that we can get there
194
538159
2169
ma sono fiducioso che possiamo farcela
09:00
because I think we actually have global support for this.
195
540328
2711
perché penso che abbiamo un sostegno globale.
09:03
There was a new survey just released yesterday,
196
543039
2210
Ieri è stata pubblicata una nuova inchiesta,
09:05
said that 91 percent of people agree that we should carefully manage AI.
197
545249
3879
il 91 percento delle persone crede che dobbiamo usare cautela con l’IA.
09:09
So let's make that happen.
198
549170
2044
Facciamo in modo che avvenga.
09:11
Our future depends on it.
199
551798
1960
Ne va del nostro futuro.
09:13
Thank you very much.
200
553800
1167
Grazie mille.
09:14
(Applause)
201
554967
4588
(Applausi)
09:19
Chris Anderson: Thank you for that, come, let's talk a sec.
202
559555
2795
Chris Anderson: Grazie a te, vieni, parliamo un secondo.
09:22
So first of all, I'm curious.
203
562391
1419
Intanto, sono curioso.
09:23
Those dramatic slides you showed at the start
204
563851
2127
Le tragiche slide che hai messo all’inizio
09:26
where GPT was saying that TED is the sinister organization.
205
566020
4505
in cui GPT diceva che TED è un’organizzazione losca,
09:30
I mean, it took some special prompting to bring that out, right?
206
570525
3378
dico, ci sono voluti dei prompt speciali per uscire così, giusto?
09:33
Gary Marcus: That was a so-called jailbreak.
207
573903
2085
Gary Marcus: era un cosiddetto jailbreak.
09:36
I have a friend who does those kinds of things
208
576030
2169
Ho un amico che fa questo tipo di cose
09:38
who approached me because he saw I was interested in these things.
209
578199
4004
che mi ha contattato perché sapeva che m’interesso di queste cose.
09:42
So I wrote to him, I said I was going to give a TED talk.
210
582203
2711
Gli ho scritto, ho detto che avrei fatto un TED talk.
09:44
And like 10 minutes later, he came back with that.
211
584914
2336
E dopo 10 minuti mi ha risposto con quello.
09:47
CA: But to get something like that, don't you have to say something like,
212
587291
3462
Ma per avere quel tipo di roba, non devi dire qualcosa tipo,
09:50
imagine that you are a conspiracy theorist trying to present a meme on the web.
213
590753
3712
immagina di essere un cospirazionista che prova a presentare un meme sul web.
09:54
What would you write about TED in that case?
214
594465
2086
Cosa scriveresti su TED in quel caso?
09:56
It's that kind of thing, right?
215
596551
1543
Quel tipo di cose, giusto?
09:58
GM: So there are a lot of jailbreaks that are around fictional characters,
216
598094
3503
GM: ci sono molti jailbreak basati su personaggi inventati,
10:01
but I don't focus on that as much
217
601597
1627
ma non mi concentro su quelli
10:03
because the reality is that there are large language models out there
218
603224
3253
poiché la realtà è che ci sono grandi modelli linguistici
10:06
on the dark web now.
219
606477
1168
oggi nel dark web.
10:07
For example, one of Meta's models was recently released,
220
607645
2753
Per esempio, un modello di Meta è uscito di recente,
10:10
so a bad actor can just use one of those without the guardrails at all.
221
610398
3587
e chi è in malafede può usare uno di quelli senza alcuna protezione.
10:13
If their business is to create misinformation at scale,
222
613985
2627
Se fanno affari creando misinformazione su larga scala,
10:16
they don't have to do the jailbreak, they'll just use a different model.
223
616612
3420
non devono fare un jailbreak, useranno solo un diverso modello.
10:20
CA: Right, indeed.
224
620032
1585
CA: Giusto.
10:21
(Laughter)
225
621659
1919
(Risate)
10:23
GM: Now you're getting it.
226
623619
1252
GM: Adesso lo vedi.
10:24
CA: No, no, no, but I mean, look,
227
624912
1669
CA: No, ma dico, guarda,
10:26
I think what's clear is that bad actors can use this stuff for anything.
228
626581
3420
penso che i soggetti in malafede possono usare questa roba per tutto.
10:30
I mean, the risk for, you know,
229
630042
2795
Dico, il rischio di, tipo,
10:32
evil types of scams and all the rest of it is absolutely evident.
230
632837
4254
truffe maligne e compagnia bella è del tutto evidente.
10:37
It's slightly different, though,
231
637091
1543
È un po’ diverso però
10:38
from saying that mainstream GPT as used, say, in school
232
638676
2920
da dire che il GPT comune usato, per dire, a scuola
10:41
or by an ordinary user on the internet
233
641637
1877
o da un utente ordinario in internet
10:43
is going to give them something that is that bad.
234
643556
2544
farà uscire qualcosa di così pessimo.
10:46
You have to push quite hard for it to be that bad.
235
646100
2377
Devi sforzarti per farlo così.
10:48
GM: I think the troll farms have to work for it,
236
648477
2294
GM: Penso che le troll farm ci devono lavorare,
10:50
but I don't think they have to work that hard.
237
650771
2169
ma non penso che dovranno sudare molto.
10:52
It did only take my friend five minutes even with GPT-4 and its guardrails.
238
652940
3545
Il mio amico ci ha messo cinque minuti anche con GPT-4 e la sua protezione.
10:56
And if you had to do that for a living, you could use GPT-4.
239
656485
2837
E se devi farlo per il pane, puoi usare GPT-4.
10:59
Just there would be a more efficient way to do it with a model on the dark web.
240
659363
3712
Ma ci sono modi più vantaggiosi facendolo con un modello sul dark web.
11:03
CA: So this idea you've got of combining
241
663117
2002
CA: L’idea che hai di combinare
11:05
the symbolic tradition of AI with these language models,
242
665161
4463
la tradizione simbolica dell’IA con questi modelli linguistici,
11:09
do you see any aspect of that in the kind of human feedback
243
669624
5213
vedi qualche suo aspetto nel tipo di risposta umana
11:14
that is being built into the systems now?
244
674879
1960
inserita oggi nei sistemi?
11:16
I mean, you hear Greg Brockman saying that, you know,
245
676881
2502
Dico, senti Greg Brockman dire che, tipo,
11:19
that we don't just look at predictions, but constantly giving it feedback.
246
679383
3546
non osserviamo solo previsioni, ma gli forniamo risposte costanti.
11:22
Isn’t that ... giving it a form of, sort of, symbolic wisdom?
247
682929
3837
Non è come... dargli una sorta di sapienza simbolica?
11:26
GM: You could think about it that way.
248
686766
1835
GM: Puoi vederla a quel modo.
11:28
It's interesting that none of the details
249
688601
1960
È interessante che nessuno dei dettagli
11:30
about how it actually works are published,
250
690561
2002
su come funzioni davvero viene pubblicato,
11:32
so we don't actually know exactly what's in GPT-4.
251
692563
2378
così non sappiamo esattamente cosa c’è in GPT-4.
11:34
We don't know how big it is.
252
694941
1376
Non sappiamo quanto sia grande.
11:36
We don't know how the RLHF reinforcement learning works,
253
696317
2711
Non sappiamo come funzioni l’apprendimento rinforzato,
non sappiamo che altre sorprese ci siano.
11:39
we don't know what other gadgets are in there.
254
699028
2169
11:41
But there is probably an element of symbols
255
701197
2002
Ma c’è probabilmente un fattore di simboli
11:43
already starting to be incorporated a little bit,
256
703199
2294
che già si stanno incorporando un po’,
11:45
but Greg would have to answer that.
257
705493
1710
ma a questo risponde Greg.
Penso che il problema fondamentale sia che la maggior parte della conoscenza
11:47
I think the fundamental problem is that most of the knowledge
258
707245
2961
11:50
in the neural network systems that we have right now
259
710206
2461
nei sistemi di reti neurali che abbiamo adesso
11:52
is represented as statistics between particular words.
260
712667
3211
è rappresentato come statistica tra parole particolari.
11:55
And the real knowledge that we want is about statistics,
261
715878
2711
E la vera conoscenza che vogliam o riguarda le statistiche,
11:58
about relationships between entities in the world.
262
718965
2585
sulle relazioni tra entità nel mondo.
12:01
So it's represented right now at the wrong grain level.
263
721592
2586
Quindi è rappresentato in questo momento al livello di sbagliato.
12:04
And so there's a big bridge to cross.
264
724220
2252
E quindi c’è un grande ponte da attraversare.
12:06
So what you get now is you have these guardrails,
265
726472
2878
Quindi quello che ottieni ora è che hai questi guardrail,
12:09
but they're not very reliable.
266
729392
1501
ma non sono molto affidabili.
12:10
So I had an example that made late night television,
267
730935
2961
Quindi ho avuto un esempio che ha fatto la televisione a tarda notte,
12:13
which was, "What would be the religion of the first Jewish president?"
268
733896
4213
che era: “Quale sarebbe la religione del primo presidente ebreo?”
Ed è stato risolto ora,
12:18
And it's been fixed now,
269
738109
1334
12:19
but the system gave this long song and dance
270
739443
2127
ma il sistema ha dato questa lunga canzone e danza su
12:21
about "We have no idea what the religion
271
741570
2044
“Non abbiamo idea di quale sarebbe la religione. del primo presidente ebreo
12:23
of the first Jewish president would be.
272
743614
1877
12:25
It's not good to talk about people's religions"
273
745491
2294
è male parlare delle religioni delle persone”
12:27
and "people's religions have varied" and so forth
274
747827
2335
e “le religioni delle persone sono variate” e via discorrendo
12:30
and did the same thing with a seven-foot-tall president.
275
750162
2670
e ha fatto la stessa cosa con un presidente alto due metri.
12:32
And it said that people of all heights have been president,
276
752832
2794
E diceva che persone di tutte le altezze sono state presidente,
12:35
but there haven't actually been any seven-foot presidents.
277
755668
2753
ma in realtà non ci sono stati presidenti alti sette piedi.
12:38
So some of this stuff that it makes up, it's not really getting the idea.
278
758421
3461
Quindi alcune di queste cose che inventano, non rendono davvero l’idea.
12:41
It's very narrow, particular words, not really general enough.
279
761924
3337
Sono parole molto ristrette, particolari, non abbastanza generali.
12:45
CA: Given that the stakes are so high in this,
280
765261
2669
CA: Dato che la posta in gioco è così alta,
12:47
what do you see actually happening out there right now?
281
767972
2586
dscosa vedi realmente accadere là fuori in questo momento?
12:50
What do you sense is happening?
282
770558
1501
Cosa senti che sta accadendo?
12:52
Because there's a risk that people feel attacked by you, for example,
283
772101
3253
Perché c’è un rischio che la gente sente attaccato da te, ad esempio,
12:55
and that it actually almost decreases the chances of this synthesis
284
775396
4129
e che in realtà quasi diminuisce le possibilità di questa sintesi
12:59
that you're talking about happening.
285
779525
1752
di cui stai parlando.
Vedi qualche segnale di speranza in questo?
13:01
Do you see any hopeful signs of this?
286
781277
1793
GM: Mi hai appena ricordato una battuta che ho dimenticato del mio discorso.
13:03
GM: You just reminded me of the one line I forgot from my talk.
287
783070
3003
13:06
It's so interesting that Sundar, the CEO of Google,
288
786115
2544
È così interessante che Sundar, CEO di Google,
13:08
just actually also came out for global governance
289
788701
2544
in realtà è uscito anche per la governance globale
13:11
in the CBS "60 Minutes" interview that he did a couple of days ago.
290
791245
3712
nell’intervista della CBS “60 Minutes” che ha fatto un paio di giorni fa.
13:14
I think that the companies themselves want to see some kind of regulation.
291
794999
4338
Penso che le aziende stesse vogliano vedere una sorta di regolamentazione.
13:19
I think it’s a very complicated dance to get everybody on the same page,
292
799337
3420
Penso che sia una danza molto complicata mettere tutti sulla stessa pagina,
13:22
but I think there’s actually growing sentiment we need to do something here
293
802757
3795
ma penso che in realtà ci sia
un sentimento crescente che dobbiamo fare qualcosa qui
13:26
and that that can drive the kind of global affiliation I'm arguing for.
294
806594
3962
e questo può guidare
il tipo di affiliazione globale per cui sto discutendo.
13:30
CA: I mean, do you think the UN or nations can somehow come together and do that
295
810556
3796
Voglio dire, pensi che le UN o le nazioni possano in qualche modo riunirsi e farlo?
13:34
or is this potentially a need for some spectacular act of philanthropy
296
814352
3294
o si tratta potenzialmente della necessità
di qualche spettacolare atto di filantropia
13:37
to try and fund a global governance structure?
297
817772
2627
cercare di finanziare una struttura di governance globale?
13:40
How is it going to happen?
298
820441
1293
13:41
GM: I'm open to all models if we can get this done.
299
821734
2419
Come accadrà?
Sono aperto a tutte le opzioni percorribili.
13:44
I think it might take some of both.
300
824153
1710
Potrebbe richiedere entrambi.
13:45
It might take some philanthropists sponsoring workshops,
301
825863
2628
Filantropi che sponsorizzano seminari,
13:48
which we're thinking of running, to try to bring the parties together.
302
828491
3295
che stiamo progettando per cercare di riunire le parti.
Forse le UN vorranno essere coinvolte, ho avuto alcune conversazioni con loro.
13:51
Maybe UN will want to be involved, I've had some conversations with them.
303
831786
3461
Penso che ci siano molti modelli diversi
13:55
I think there are a lot of different models
304
835247
2044
e molte conversazioni.
13:57
and it'll take a lot of conversations.
305
837291
1835
CA: Grazie mille per il tuo talk. GA: Grazie mille.
13:59
CA: Gary, thank you so much for your talk.
306
839126
2002
14:01
GA: Thank you so much.
307
841128
1085
A proposito di questo sito web

Questo sito vi presenterà i video di YouTube utili per l'apprendimento dell'inglese. Vedrete lezioni di inglese tenute da insegnanti di alto livello provenienti da tutto il mondo. Fate doppio clic sui sottotitoli in inglese visualizzati su ogni pagina video per riprodurre il video da lì. I sottotitoli scorrono in sincronia con la riproduzione del video. Se avete commenti o richieste, contattateci tramite questo modulo di contatto.

https://forms.gle/WvT1wiN1qDtmnspy7