The Inside Story of ChatGPT’s Astonishing Potential | Greg Brockman | TED

1,767,694 views ・ 2023-04-20

TED


Por favor, faça duplo clique nas legendas em inglês abaixo para reproduzir o vídeo.

Tradutor: Margarida Ferreira Revisora: Nadia Tira
00:03
We started OpenAI seven years ago
0
3875
2503
Iniciámos a OpenAI há sete anos
00:06
because we felt like something really interesting was happening in AI
1
6378
3712
porque achámos que estava a acontecer uma coisa muito interessante com a IA
00:10
and we wanted to help steer it in a positive direction.
2
10131
3170
e quisemos orientá-la numa direção positiva.
00:15
It's honestly just really amazing to see
3
15220
2085
Francamente, tem sido espantoso ver
00:17
how far this whole field has come since then.
4
17347
3086
até que ponto toda esta área tem evoluído desde então.
00:20
And it's really gratifying to hear from people like Raymond
5
20433
3629
É realmente gratificante ouvir Raymond e outras pessoas
00:24
who are using the technology we are building, and others,
6
24104
2836
que estão a usar a tecnologia que nós estamos a criar
00:26
for so many wonderful things.
7
26982
2127
dizer tantas coisas espantosas.
00:29
We hear from people who are excited,
8
29150
2503
Ouvimos pessoas que andam entusiasmadas,
00:31
we hear from people who are concerned,
9
31653
1835
ouvimos pessoas que estão preocupadas
00:33
we hear from people who feel both those emotions at once.
10
33530
2961
ouvimos pessoas que sentem essas duas emoções ao mesmo tempo.
00:36
And honestly, that's how we feel.
11
36533
2252
Sinceramente, é esse o nosso caso.
Acima de tudo, parece-nos estar a entrar num período histórico, neste momento,
00:40
Above all, it feels like we're entering an historic period right now
12
40245
4087
00:44
where we as a world are going to define a technology
13
44374
4421
em que, enquanto mundo, vamos definir uma tecnologia
00:48
that will be so important for our society going forward.
14
48795
3086
que vai ser muito importante para a nossa sociedade avançar.
00:52
And I believe that we can manage this for good.
15
52924
2628
Estou convencido que podemos gerir isto no bom sentido.
00:56
So today, I want to show you the current state of that technology
16
56845
4171
Por isso quero mostrar-vos o estado atual desta tecnologia
e alguns dos princípios conceptuais subjacentes que consideramos importantes.
01:01
and some of the underlying design principles that we hold dear.
17
61016
3086
01:09
So the first thing I'm going to show you
18
69983
1918
A primeira coisa que vos vou mostrar
01:11
is what it's like to build a tool for an AI
19
71943
2086
é como se cria uma ferramenta para a IA
01:14
rather than building it for a human.
20
74029
1876
em vez de a criar para um ser humano.
01:17
So we have a new DALL-E model, which generates images,
21
77574
3545
Temos um novo modelo DALL-E que gera imagens,
01:21
and we are exposing it as an app for ChatGPT to use on your behalf.
22
81161
4045
e estamos a apresentá-lo num aplicativo para o ChatGPT usar a nosso favor.
01:25
And you can do things like ask, you know,
23
85248
2461
Podemos fazer coisas como pedir:
01:27
suggest a nice post-TED meal and draw a picture of it.
24
87751
6631
“Sugere uma bela refeição pós-TED
“e mostra uma imagem dela”.
01:35
(Laughter)
25
95216
1419
(Risos)
01:38
Now you get all of the, sort of, ideation and creative back-and-forth
26
98303
4671
Já ficam com uma ideia da conceção e do cuidado com os pormenores
01:43
and taking care of the details for you that you get out of ChatGPT.
27
103016
4004
que o ChatGPT nos oferece.
Mas a questão é que não se trata duma ideia para a refeição
01:47
And here we go, it's not just the idea for the meal,
28
107062
2669
01:49
but a very, very detailed spread.
29
109773
3587
mas uma gama muitíssimo detalhada.
Vejamos então o que é que podemos obter.
01:54
So let's see what we're going to get.
30
114110
2044
01:56
But ChatGPT doesn't just generate images in this case --
31
116154
3795
Mas o ChatGPT neste caso não gera só texto,
01:59
sorry, it doesn't generate text, it also generates an image.
32
119991
2836
também gera uma imagem.
02:02
And that is something that really expands the power
33
122827
2419
E isso é uma coisa que aumenta o poder
02:05
of what it can do on your behalf in terms of carrying out your intent.
34
125246
3504
do que ele pode fazer por nós em termos de satisfazer o nosso pedido.
02:08
And I'll point out, this is all a live demo.
35
128750
2085
Isto é uma demonstração ao vivo.
02:10
This is all generated by the AI as we speak.
36
130835
2169
Tudo isto é gerado pela IA à medida que vou falando.
02:13
So I actually don't even know what we're going to see.
37
133046
2544
Por isso, eu não sei o que é que vamos ver.
02:16
This looks wonderful.
38
136216
2294
Isto parece maravilhoso.
02:18
(Applause)
39
138510
3712
(Aplausos)
02:22
I'm getting hungry just looking at it.
40
142514
1877
Já estou com fome só de olhar para isto.
02:24
Now we've extended ChatGPT with other tools too,
41
144724
2753
Agora, reforçámos o ChatGPT com outras ferramentas,
02:27
for example, memory.
42
147519
1168
por exemplo, a memória.
02:28
You can say "save this for later."
43
148728
2795
Podemos dizer: “Guarda isto para mais tarde”.
02:33
And the interesting thing about these tools
44
153233
2043
O interessante nestas ferramentas
02:35
is they're very inspectable.
45
155318
1377
é que podemos inspecioná-las.
02:36
So you get this little pop up here that says "use the DALL-E app."
46
156695
3128
Aparece aqui uma mensagem: “Usar o aplicativo DALL-E”.
02:39
And by the way, this is coming to you, all ChatGPT users, over upcoming months.
47
159823
3712
A propósito, isto vai aparecer a todos os utilizadores do ChatGPT,
nos próximos meses.
02:43
And you can look under the hood and see that what it actually did
48
163535
3086
Podem espreitar o que está por detrás
e verão que foi escrita uma ordem tal como faria uma pessoa.
02:46
was write a prompt just like a human could.
49
166621
2169
02:48
And so you sort of have this ability to inspect
50
168790
2628
Temos a possibilidade de verificar
02:51
how the machine is using these tools,
51
171459
2086
como é que a máquina está a usar estas ferramentas,
02:53
which allows us to provide feedback to them.
52
173586
2086
o que nos permite fornecer-lhes feedback.
02:55
Now it's saved for later,
53
175714
1209
Fica gravado para mais tarde
02:56
and let me show you what it's like to use that information
54
176965
2878
e vou mostrar-vos como usar esta informação
02:59
and to integrate with other applications too.
55
179884
2503
e integrá-la também noutras aplicações.
03:02
You can say,
56
182387
2210
Podemos dizer:
03:04
“Now make a shopping list for the tasty thing
57
184639
5506
“Faz uma lista de compras para aquela coisa saborosa
03:10
I was suggesting earlier.”
58
190186
1835
“que eu sugeri há bocado.”
03:12
And make it a little tricky for the AI.
59
192021
2128
E podemos pôr a IA numa situação delicada:
03:16
"And tweet it out for all the TED viewers out there."
60
196276
4337
“Partilha-a no Twitter para todos os espetadores da TED.”
03:20
(Laughter)
61
200655
2252
(Risos)
03:22
So if you do make this wonderful, wonderful meal,
62
202949
2461
Por isso, se vocês fizerem esta refeição maravilhosa,
03:25
I definitely want to know how it tastes.
63
205410
2044
eu quero saber a que é que ela sabe.
03:28
But you can see that ChatGPT is selecting all these different tools
64
208496
3504
Mas podem ver que o ChatGPT está a selecionar
todas estas ferramentas diferentes
03:32
without me having to tell it explicitly which ones to use in any situation.
65
212000
4379
sem eu ter de lhe dizer explicitamente qual delas usar em qualquer situação.
Penso que isto mostra uma nova forma de pensar na interface com o utilizador.
03:37
And this, I think, shows a new way of thinking about the user interface.
66
217088
3879
03:40
Like, we are so used to thinking of, well, we have these apps,
67
220967
3796
Porque nós estamos tão habituados a ter estes aplicativos,
03:44
we click between them, we copy/paste between them,
68
224763
2335
clicamos entre eles, copiamos/colamos entre eles,
03:47
and usually it's a great experience within an app
69
227098
2294
e habitualmente é uma ótima experiência num aplicativo
03:49
as long as you kind of know the menus and know all the options.
70
229434
2961
desde que saibamos os menus e saibamos todas as opções.
03:52
Yes, I would like you to.
71
232395
1293
Sim, eu também gostava de saber. Sim, por favor.
03:53
Yes, please.
72
233730
1126
03:54
Always good to be polite.
73
234898
1251
É sempre bom ser bem educado.
03:56
(Laughter)
74
236149
2628
(Risos)
04:00
And by having this unified language interface on top of tools,
75
240361
5464
Ao ter este interface de linguagem unificada abrangendo as ferramentas,
04:05
the AI is able to sort of take away all those details from you.
76
245867
4630
a IA consegue ir buscar-nos todos estes pormenores.
04:10
So you don't have to be the one
77
250538
1543
Portanto, não precisamos de ser nós
04:12
who spells out every single sort of little piece
78
252123
2294
a especificar todos os pormenores do que é suposto acontecer.
04:14
of what's supposed to happen.
79
254459
1543
04:16
And as I said, this is a live demo,
80
256419
1710
Como já disse, isto é uma demonstração ao vivo,
04:18
so sometimes the unexpected will happen to us.
81
258129
3379
por isso, por vezes, acontece-nos uma coisa inesperada.
04:21
But let's take a look at the Instacart shopping list while we're at it.
82
261549
3420
Mas vejamos na lista de compras Instacart, enquanto aqui estamos.
04:25
And you can see we sent a list of ingredients to Instacart.
83
265386
3254
Como veem, enviámos uma lista de ingredientes para a Instacart.
04:29
Here's everything you need.
84
269349
1543
Está aqui tudo aquilo de que precisamos.
04:30
And the thing that's really interesting
85
270892
1877
O que é realmente interessante
04:32
is that the traditional UI is still very valuable, right?
86
272811
2919
é que a IU — Interface do Utilizador — ainda é muito valiosa, não é?
04:35
If you look at this,
87
275772
1877
Se olharmos para isto,
04:37
you still can click through it and sort of modify the actual quantities.
88
277690
4296
ainda podemos clicar e modificar as quantidades que ali estão.
04:41
And that's something that I think shows
89
281986
1877
É uma coisa que, segundo creio,
04:43
that they're not going away, traditional UIs.
90
283863
3253
mostra que não vão desaparecer, as IU tradicionais.
04:47
It's just we have a new, augmented way to build them.
91
287158
2795
É só que temos uma forma nova e ampliada de as construir.
04:49
And now we have a tweet that's been drafted for our review,
92
289994
2920
Agora temos um tweet criado para nós revermos,
04:52
which is also a very important thing.
93
292956
1793
o que também é uma coisa muito importante.
04:54
We can click “run,” and there we are, we’re the manager, we’re able to inspect,
94
294749
3712
Podemos clicar em “run” e pronto, somos o gestor, podemos inspecionar,
04:58
we're able to change the work of the AI if we want to.
95
298461
2836
podemos alterar a tarefa da IA, se quisermos.
05:02
And so after this talk, you will be able to access this yourself.
96
302924
5964
Assim, depois desta palestra, vocês podem aceder a isto.
05:17
And there we go.
97
317647
1710
Cá vamos.
05:19
Cool.
98
319816
1126
Ótimo.
05:22
Thank you, everyone.
99
322485
1168
Obrigado a todos.
05:23
(Applause)
100
323653
3003
(Aplausos)
05:29
So we’ll cut back to the slides.
101
329367
1627
Vamos voltar aos slides.
05:32
Now, the important thing about how we build this,
102
332954
3587
Ora bem, o que é importante quanto à forma como criamos isto
05:36
it's not just about building these tools.
103
336583
2210
não é só criar estas ferramentas.
05:38
It's about teaching the AI how to use them.
104
338793
2252
Trata-se de ensinar a IA a usá-las.
Por exemplo, o que é que queremos fazer
05:41
Like, what do we even want it to do
105
341087
1710
05:42
when we ask these very high-level questions?
106
342839
2419
quando fazemos estas perguntas de alto nível?
05:45
And to do this, we use an old idea.
107
345258
2669
Para isso, usamos uma ideia antiga.
Se voltarmos ao documento de Alan Turing, de 1950, no teste Turing, ele diz:
05:48
If you go back to Alan Turing's 1950 paper on the Turing test, he says,
108
348261
3337
05:51
you'll never program an answer to this.
109
351598
2043
“Nunca programarão uma resposta para isto.
05:53
Instead, you can learn it.
110
353683
1627
“Em vez disso, podem aprendê-la.
05:55
You could build a machine, like a human child,
111
355351
2169
“Podem criar uma máquina, como se fosse uma criança,
05:57
and then teach it through feedback.
112
357520
2127
“e ensiná-la, através de feedback.
05:59
Have a human teacher who provides rewards and punishments
113
359689
2711
“Ter um professor humano que forneça recompensas e castigos
06:02
as it tries things out and does things that are either good or bad.
114
362400
3212
“à medida que ela experimenta e faz coisas boas ou más.”
É assim exatamente que treinamos o ChatGPT.
06:06
And this is exactly how we train ChatGPT.
115
366237
2002
É um processo de duas fases.
06:08
It's a two-step process.
116
368239
1168
06:09
First, we produce what Turing would have called a child machine
117
369449
3086
Primeiro, produzimos uma máquina infantil como diria Turing,
06:12
through an unsupervised learning process.
118
372535
1960
num processo de aprendizagem sem supervisão.
06:14
We just show it the whole world, the whole internet
119
374495
2461
Mostramos ao mundo inteiro, na Internet, e dizemos:
06:16
and say, “Predict what comes next in text you’ve never seen before.”
120
376956
3212
“Prevê o que vem a seguir num texto que nunca viste.”
Este procedimento dota-o de todo o tipo de competências excelentes.
06:20
And this process imbues it with all sorts of wonderful skills.
121
380168
3044
06:23
For example, if you're shown a math problem,
122
383212
2086
Se mostrarmos um problema de matemática,
a única forma de completar este problema de matemática,
06:25
the only way to actually complete that math problem,
123
385298
2544
06:27
to say what comes next,
124
387884
1334
dizer o que vem a seguir,
06:29
that green nine up there,
125
389218
1293
aquele 9 a verde, ali em cima,
06:30
is to actually solve the math problem.
126
390511
2294
é resolver o problema de matemática.
06:34
But we actually have to do a second step, too,
127
394432
2169
Mas também temos de dar um segundo passo:
06:36
which is to teach the AI what to do with those skills.
128
396601
2544
é ensinar a IA o que fazer com essas competências.
06:39
And for this, we provide feedback.
129
399187
1668
Para isso, fornecemos feedback.
06:40
We have the AI try out multiple things, give us multiple suggestions,
130
400855
3253
Fazemos com que a IA experimente múltiplas coisas, múltiplas sugestões,
06:44
and then a human rates them, says “This one’s better than that one.”
131
404150
3212
e depois uma pessoa avalia-as e diz: “Esta é melhor do que aquela.”
06:47
And this reinforces not just the specific thing that the AI said,
132
407362
3086
Isso reforça não só a coisa específica que a IA disse,
06:50
but very importantly, the whole process that the AI used to produce that answer.
133
410448
3795
mas, mais importante ainda,
todo o processo que a IA utilizou para produzir esse resultado.
06:54
And this allows it to generalize.
134
414243
1585
Isso permite-lhe generalizar.
06:55
It allows it to teach, to sort of infer your intent
135
415828
2419
Permite-lhe instruir-se. perceber a nossa inteção
06:58
and apply it in scenarios that it hasn't seen before,
136
418247
2503
e aplicá-la nos cenários que nunca viu até aí,
07:00
that it hasn't received feedback.
137
420750
1585
de que nunca recebeu feedback.
07:02
Now, sometimes the things we have to teach the AI
138
422669
2460
Por vezes, as coisas que temos de ensinar à IA
não são aquilo que vocês imaginam.
07:05
are not what you'd expect.
139
425171
1543
07:06
For example, when we first showed GPT-4 to Khan Academy,
140
426756
3086
Quando mostrámos o GPT-4 à Academia Khan, pela primeira vez,
07:09
they said, "Wow, this is so great,
141
429884
1627
eles disseram: “Uau, isto é excelente.
07:11
We're going to be able to teach students wonderful things.
142
431552
2753
“Vamos poder ensinar aos estudantes coisas maravilhosas.
07:14
Only one problem, it doesn't double-check students' math.
143
434347
3462
“Só há um problema, não verifica a matemática dos estudantes.
07:17
If there's some bad math in there,
144
437809
1626
“Se houver qualquer erro na matemática,
07:19
it will happily pretend that one plus one equals three and run with it."
145
439477
3462
“assume alegremente que um mais um é igual a três e prosseguem com isso.”
07:23
So we had to collect some feedback data.
146
443523
2294
Por isso, tivemos de reunir dados de feedback.
07:25
Sal Khan himself was very kind
147
445858
1544
O próprio Sal Khan foi muito simpático
07:27
and offered 20 hours of his own time to provide feedback to the machine
148
447443
3337
e ofereceu 20 horas do tempo dele para dar feedback à máquina
07:30
alongside our team.
149
450780
1501
juntamente com a nossa equipa.
07:32
And over the course of a couple of months we were able to teach the AI that,
150
452323
3587
Durante alguns meses, pudemos ensinar à IA:
07:35
"Hey, you really should push back on humans
151
455910
2044
“Olhem lá, vocês têm de recorrer aos seres humanos
07:37
in this specific kind of scenario."
152
457954
2044
“neste tipo específico de cenário.”
Fizemos montes e montes de melhorias aos modelos, desta maneira.
07:41
And we've actually made lots and lots of improvements to the models this way.
153
461416
4921
07:46
And when you push that thumbs down in ChatGPT,
154
466379
2544
Quando vocês clicam no polegar para baixo no ChatGPT,
07:48
that actually is kind of like sending up a bat signal to our team to say,
155
468965
3462
isso é como enviar um sinal negativo à nossa equipa, a dizer:
07:52
“Here’s an area of weakness where you should gather feedback.”
156
472427
2919
“Esta é uma área de fraqueza em que devem juntar feedback.”
07:55
And so when you do that,
157
475388
1168
Assim, quando fizerem isso,
07:56
that's one way that we really listen to our users
158
476597
2294
é uma forma de darmos ouvidos aos nosso utilizadores
07:58
and make sure we're building something that's more useful for everyone.
159
478933
3378
e garantirmos que estamos a criar uma coisa mais útil para todos.
08:02
Now, providing high-quality feedback is a hard thing.
160
482895
3754
Mas fornecer feedback de alta qualidade é uma coisa difícil.
Se pensarem em pedir a um miúdo que arrume o quarto dele,
08:07
If you think about asking a kid to clean their room,
161
487025
2460
08:09
if all you're doing is inspecting the floor,
162
489485
2711
se apenas inspecionarem o chão,
08:12
you don't know if you're just teaching them to stuff all the toys in the closet.
163
492196
3796
não sabem se lhe estão a ensinar para meter os brinquedos no armário.
08:15
This is a nice DALL-E-generated image, by the way.
164
495992
2627
A propósito, esta é uma bonita imagem gerada por DALL-E.
08:19
And the same sort of reasoning applies to AI.
165
499912
4713
O mesmo tipo de raciocínio aplica-se à IA.
08:24
As we move to harder tasks,
166
504667
1794
À medida que avançamos para tarefas mais difíceis,
08:26
we will have to scale our ability to provide high-quality feedback.
167
506502
3796
temos de reforçar a nossa capacidade de fornecer feedback de alta qualidade.
08:30
But for this, the AI itself is happy to help.
168
510882
3879
Mas, para isso, a própria IA é capaz de ajudar.
08:34
It's happy to help us provide even better feedback
169
514761
2335
Consegue ajudar-nos a fornecer feedback cada vez melhor
e reforçar a nossa capacidade de supervisionar a máquina
08:37
and to scale our ability to supervise the machine as time goes on.
170
517138
3587
ao longo do tempo.
08:40
And let me show you what I mean.
171
520767
1543
Vou mostrar-vos o que quero dizer.
08:42
For example, you can ask GPT-4 a question like this,
172
522810
4546
Por exemplo, podemos fazer ao GPT-4 uma pergunta do tipo:
08:47
of how much time passed between these two foundational blogs
173
527356
3295
“Quanto tempo se passou entre dois bloques fundamentais
08:50
on unsupervised learning
174
530693
1668
“de aprendizagem sem supervisão
08:52
and learning from human feedback.
175
532403
1794
“e aprendizagem com feedback humano?
08:54
And the model says two months passed.
176
534197
2460
O modelo diz: “Passaram-se dois meses.
Mas será verdade?
08:57
But is it true?
177
537075
1167
08:58
Like, these models are not 100-percent reliable,
178
538284
2252
Porque estes modelos não são 100% fiáveis,
09:00
although they’re getting better every time we provide some feedback.
179
540536
3921
embora vão melhorando sempre que lhes fornecemos feedback.
09:04
But we can actually use the AI to fact-check.
180
544457
3086
Mas podemos usar a IA para verificar os factos.
09:07
And it can actually check its own work.
181
547543
1877
E ela pode verificar, por si mesma.
09:09
You can say, fact-check this for me.
182
549462
1877
Podemos dizer: “Verifica-me isto”.
09:12
Now, in this case, I've actually given the AI a new tool.
183
552757
3670
Neste caso, eu dei à IA uma nova ferramenta,
uma ferramenta de navegação na Internet
09:16
This one is a browsing tool
184
556427
1710
em que o modelo pode emitir perguntas de investigação
09:18
where the model can issue search queries and click into web pages.
185
558137
3879
e clicar em páginas da Internet.
09:22
And it actually writes out its whole chain of thought as it does it.
186
562016
3253
Escreve toda uma cadeia de pensamentos, à medida que o faz.
09:25
It says, I’m just going to search for this and it actually does the search.
187
565269
3587
Diz: “Vou procurar isto”, e faz mesmo a pesquisa.
09:28
It then it finds the publication date and the search results.
188
568856
3128
Depois encontra a data de publicação e os resultados da pesquisa.
A seguir, emite outra consulta.
09:32
It then is issuing another search query.
189
572026
1919
09:33
It's going to click into the blog post.
190
573945
1877
Vai clicar na publicação.
09:35
And all of this you could do, but it’s a very tedious task.
191
575822
2877
Nós podemos fazer tudo isso mas é uma tarefa aborrecida.
09:38
It's not a thing that humans really want to do.
192
578741
2211
Não é uma coisa que as pessoas queiram fazer.
09:40
It's much more fun to be in the driver's seat,
193
580952
2169
É muito mais divertido estar no lugar do operador, ou do gestor,
09:43
to be in this manager's position where you can, if you want,
194
583162
2836
em que, se quisermos, fiscalizamos a tarefa três vezes.
09:45
triple-check the work.
195
585998
1210
E quando aparecem os resultados podemos verificar facilmente
09:47
And out come citations
196
587208
1501
09:48
so you can actually go
197
588709
1168
09:49
and very easily verify any piece of this whole chain of reasoning.
198
589919
3754
qualquer parte de toda a cadeia de raciocínio.
09:53
And it actually turns out two months was wrong.
199
593673
2210
Acontece que “dois meses” estava errado.
09:55
Two months and one week,
200
595883
2169
O correto era “dois meses e uma semana”.
09:58
that was correct.
201
598094
1251
10:00
(Applause)
202
600888
3837
(Aplausos)
10:07
And we'll cut back to the side.
203
607645
1502
Passemos para o slide.
10:09
And so thing that's so interesting to me about this whole process
204
609147
3920
Uma coisa que, para mim, é muito interessante neste processo,
é ser uma colaboração de passos múltiplos entre uma pessoa e uma IA.
10:13
is that it’s this many-step collaboration between a human and an AI.
205
613067
3962
Porque uma pessoa, ao usar esta ferramenta de verificação de factos
10:17
Because a human, using this fact-checking tool
206
617029
2461
10:19
is doing it in order to produce data
207
619532
2210
está a fazê-lo a fim de produzir dados
10:21
for another AI to become more useful to a human.
208
621742
3170
para outra IA se tornar mais útil ao ser humano.
10:25
And I think this really shows the shape of something
209
625454
2545
Penso que isto mostra bem a forma de uma coisa
10:28
that we should expect to be much more common in the future,
210
628040
3087
que devemos esperar venha a ser mais vulgar no futuro,
10:31
where we have humans and machines kind of very carefully
211
631127
2711
em que os seres humanos e as máquinas
10:33
and delicately designed in how they fit into a problem
212
633880
3503
sejam concebidas de forma mais cuidadosa
quanto à forma como se adequam a um problema
10:37
and how we want to solve that problem.
213
637425
1918
e como queremos resolver esse problema.
10:39
We make sure that the humans are providing the management, the oversight,
214
639385
3462
Temos de garantir que as pessoas fornecem a gestão, a supervisão,
10:42
the feedback,
215
642847
1168
o feedback,
e que as máquinas funcionam de forma que possam ser inspecionadas
10:44
and the machines are operating in a way that's inspectable
216
644015
2752
10:46
and trustworthy.
217
646809
1126
10:47
And together we're able to actually create even more trustworthy machines.
218
647977
3503
e sejam de confiança.
Em conjunto, podemos criar máquinas ainda mais fiáveis.
10:51
And I think that over time, if we get this process right,
219
651522
2711
Penso que, com o tempo, se conduzirmos bem o processo,
conseguiremos resolver problemas impossíveis.
10:54
we will be able to solve impossible problems.
220
654233
2127
10:56
And to give you a sense of just how impossible I'm talking,
221
656360
3963
Para vos dar uma ideia do que eu entendo por impossíveis,
11:00
I think we're going to be able to rethink almost every aspect
222
660323
2878
penso que vamos conseguir repensar quase todos os aspetos
11:03
of how we interact with computers.
223
663242
2378
de como interagimos com os computadores.
11:05
For example, think about spreadsheets.
224
665620
2502
Por exemplo, pensem nas folhas de cálculo.
11:08
They've been around in some form since, we'll say, 40 years ago with VisiCalc.
225
668122
4379
Têm andado por aí, de diversas formas, desde há 40 anos, com o VisiCalc.
11:12
I don't think they've really changed that much in that time.
226
672543
2878
Acho que não mudaram muito desde essa altura.
Esta é uma folha de cálculo específica de todos os documentos IA no arXiv
11:16
And here is a specific spreadsheet of all the AI papers on the arXiv
227
676214
5922
nos últimos 30 anos.
11:22
for the past 30 years.
228
682178
1168
11:23
There's about 167,000 of them.
229
683346
1960
São cerca de 167 000.
11:25
And you can see there the data right here.
230
685348
2878
Podem ver aqui os dados.
11:28
But let me show you the ChatGPT take on how to analyze a data set like this.
231
688267
3837
Mas vou mostrar-vos como o ChatGPT analisa um conjunto de dados como este.
11:37
So we can give ChatGPT access to yet another tool,
232
697318
3837
Também podemos dar ao ChatGPT o acesso a outra ferramenta,
11:41
this one a Python interpreter,
233
701197
1460
esta é um intérprete Python,
11:42
so it’s able to run code, just like a data scientist would.
234
702657
4004
por isso consegue usar código, tal como um cientista de dados faria.
11:46
And so you can just literally upload a file
235
706661
2335
Assim, podemos literalmente, carregar um ficheiro
11:48
and ask questions about it.
236
708996
1335
e fazer perguntas sobre ele.
11:50
And very helpfully, you know, it knows the name of the file and it's like,
237
710373
3545
Ele sabe o nome do ficheiro e diz:
“Isto é CSV,um ficheiro de arquivo de valores, separado por uma virgula.
11:53
"Oh, this is CSV," comma-separated value file,
238
713960
2419
11:56
"I'll parse it for you."
239
716420
1335
“Vou analisá-lo.”
11:57
The only information here is the name of the file,
240
717755
2794
As únicas informações aqui são o nome do ficheiro,
12:00
the column names like you saw and then the actual data.
241
720591
3671
os nomes na coluna, como viram, e depois os dados.
12:04
And from that it's able to infer what these columns actually mean.
242
724262
4504
A partir daí, é possível deduzir o que estas colunas significam.
12:08
Like, that semantic information wasn't in there.
243
728766
2294
Como, a informação semântica está ausente,
12:11
It has to sort of, put together its world knowledge of knowing that,
244
731102
3211
tem de reunir os seus conhecimentos para saber isso,
“Sim, o arXiv é um sítio em que as pessoas apesentam documentos.
12:14
“Oh yeah, arXiv is a site that people submit papers
245
734355
2502
12:16
and therefore that's what these things are and that these are integer values
246
736857
3587
“portanto, é isso que estas coisas são, são valores inteiros,
12:20
and so therefore it's a number of authors in the paper,"
247
740486
2628
“e assim é uma série de autores no documento”,
como todos eles, é trabalho para uma pessoa fazer
12:23
like all of that, that’s work for a human to do,
248
743114
2252
12:25
and the AI is happy to help with it.
249
745408
1751
e a IA gosta de ajudar nisso.
12:27
Now I don't even know what I want to ask.
250
747159
2002
Eu nem sequer sei o que quero pedir.
12:29
So fortunately, you can ask the machine,
251
749203
3003
Felizmente, podemos perguntar à máquina:
12:32
"Can you make some exploratory graphs?"
252
752248
1877
“Podes fazer uns gráficos de exploração?”
Mais uma vez, isto é uma instrução de um nível super alto
12:37
And once again, this is a super high-level instruction with lots of intent behind it.
253
757461
4004
com imensas intenções por detrás.
12:41
But I don't even know what I want.
254
761507
1668
Mas eu nem sequer sei o que quero.
12:43
And the AI kind of has to infer what I might be interested in.
255
763175
2920
E a IA tem de deduzir o que é que pode interessar-me.
12:46
And so it comes up with some good ideas, I think.
256
766137
2294
E aparece com algumas boas ideias, segundo creio.
12:48
So a histogram of the number of authors per paper,
257
768472
2336
Um histograma do número de autores por artigo,
12:50
time series of papers per year, word cloud of the paper titles.
258
770850
2961
séries cronológicas de documentos por ano, nuvem de palavras dos títulos dos artigos.
12:53
All of that, I think, will be pretty interesting to see.
259
773853
2627
Tudo isso, segundo creio, será interessante de ver.
12:56
And the great thing is, it can actually do it.
260
776522
2169
E pode fazer isso mesmo.
12:58
Here we go, a nice bell curve.
261
778691
1460
Cá está, uma bela curva sinusoidal.
13:00
You see that three is kind of the most common.
262
780151
2169
Vemos que três é o mais comum.
13:02
It's going to then make this nice plot of the papers per year.
263
782320
5797
Vai então fazer um belo enredo dos artigos, por ano.
13:08
Something crazy is happening in 2023, though.
264
788117
2294
Mas está a acontecer uma coisa estranha, em 2023.
13:10
Looks like we were on an exponential and it dropped off the cliff.
265
790411
3128
Parece que estávamos num exponencial mas caiu na vertical.
13:13
What could be going on there?
266
793539
1460
O que é pode estar a passar-se?
13:14
By the way, all this is Python code, you can inspect.
267
794999
2753
A propósito, podemos inspecionar tudo isto em código Python.
13:17
And then we'll see word cloud.
268
797752
1459
E veremos a nuvem de palavras.
13:19
So you can see all these wonderful things that appear in these titles.
269
799253
3378
Vemos todas estas coisa maravilhosas que aparecem nestes títulos.
Mas sinto-me muito aborrecido com esta coisa de 2023.
13:23
But I'm pretty unhappy about this 2023 thing.
270
803090
2127
13:25
It makes this year look really bad.
271
805634
1711
Faz com que este ano seja muito mau.
13:27
Of course, the problem is that the year is not over.
272
807345
2877
Claro, o problema é que o ano ainda não acabou.
13:30
So I'm going to push back on the machine.
273
810222
2878
Por isso, vou retificar isso na máquina.
13:33
[Waitttt that's not fair!!!
274
813142
1585
“Espera!!! Isso não está bem! 2023 ainda não acabou.
13:34
2023 isn't over.
275
814727
1293
13:38
What percentage of papers in 2022 were even posted by April 13?]
276
818481
5088
“Que percentagem de artigos de 2022 foram publicados até 13 de abril?
13:44
So April 13 was the cut-off date I believe.
277
824695
2294
— acho que 13 de abril era a data limite.
13:47
Can you use that to make a fair projection?
278
827656
4922
“Podes usar isso para fazer uma projeção correta?”
13:54
So we'll see, this is the kind of ambitious one.
279
834747
2294
Vamos ver. Isto é uma coisa ambiciosa.
13:57
(Laughter)
280
837083
1126
13:59
So you know,
281
839877
1251
Mais uma vez, sinto que havia mais que eu queria que a máquina me desse.
14:01
again, I feel like there was more I wanted out of the machine here.
282
841128
3921
14:05
I really wanted it to notice this thing,
283
845049
2502
Eu queria que ela reparasse nisto,
14:07
maybe it's a little bit of an overreach for it
284
847593
3128
talvez seja um pouco além das possibilidades dela
14:10
to have sort of, inferred magically that this is what I wanted.
285
850763
3378
ter deduzido, como por magia, que era o que eu queria.
14:14
But I inject my intent,
286
854183
1627
Mas eu introduzo a minha intenção,
14:15
I provide this additional piece of, you know, guidance.
287
855810
4754
forneço uma peça adicional de orientação.
14:20
And under the hood,
288
860564
1168
E, nos bastidores, a IA está a escrever código de novo,
14:21
the AI is just writing code again, so if you want to inspect what it's doing,
289
861774
3629
por isso, se quiserem inspecionar o que é que ela está a fazer,
14:25
it's very possible.
290
865403
1251
14:26
And now, it does the correct projection.
291
866654
3628
podem fazê-lo.
E agora, faz a projeção correta.
14:30
(Applause)
292
870282
5005
(Aplausos)
14:35
If you noticed, it even updates the title.
293
875287
2169
Se repararam, até atualizou o título.
14:37
I didn't ask for that, but it know what I want.
294
877498
2336
Eu não pedi para fazer isso, mas sei o que quero.
14:41
Now we'll cut back to the slide again.
295
881794
2544
Agora, voltemos de novo ao slide.
14:45
This slide shows a parable of how I think we ...
296
885714
4880
Este slide mostra uma parábola do que pensamos que...
14:51
A vision of how we may end up using this technology in the future.
297
891220
3212
Uma visão de como podemos acabar por usar esta tecnologia no futuro.
14:54
A person brought his very sick dog to the vet,
298
894849
3712
Uma pessoa levou o seu cão muito doente ao veterinário
14:58
and the veterinarian made a bad call to say, “Let’s just wait and see.”
299
898561
3336
e o veterinário, erradamente, disse: “Vamos esperar para ver.”
15:01
And the dog would not be here today had he listened.
300
901897
2795
O cão não estaria aqui hoje se lhe tivesse dado ouvidos.
15:05
In the meanwhile, he provided the blood test,
301
905401
2252
Entretanto, ele forneceu a análise ao sangue,
15:07
like, the full medical records, to GPT-4,
302
907653
2586
e todos os exames médicos ao GPT-4, que disse:
15:10
which said, "I am not a vet, you need to talk to a professional,
303
910281
3170
“Não sou veterinário, precisas de falar com um profissional,
15:13
here are some hypotheses."
304
913492
1710
“estas são algumas hipóteses.”
15:15
He brought that information to a second vet
305
915786
2127
Ele levou essas informações a um outro veterinário
15:17
who used it to save the dog's life.
306
917913
1835
que as usou e salvou a vida do cão.
Ora bem, estes sistemas não são perfeitos.
15:21
Now, these systems, they're not perfect.
307
921292
2252
15:23
You cannot overly rely on them.
308
923544
2336
Não podemos confiar neles cegamente.
15:25
But this story, I think, shows
309
925880
3712
Mas penso que esta história
15:29
that a human with a medical professional
310
929592
3044
mostra que uma pessoa com um profissional de medicina
15:32
and with ChatGPT as a brainstorming partner
311
932678
2461
e com o ChatGPT como parceiro na discussão de ideias
15:35
was able to achieve an outcome that would not have happened otherwise.
312
935181
3295
pôde obter um resultado que não teria ocorrido, de outro modo.
15:38
I think this is something we should all reflect on,
313
938476
2419
Penso que é uma coisa em que devemos todos refletir,
15:40
think about as we consider how to integrate these systems
314
940895
2711
considerar como integrar estes sistemas no nosso mundo.
15:43
into our world.
315
943606
1167
15:44
And one thing I believe really deeply,
316
944815
1835
Uma coisa em que acredito profundamente,
15:46
is that getting AI right is going to require participation from everyone.
317
946650
4338
é que obter uma IA correta exige a participação de todos.
15:50
And that's for deciding how we want it to slot in,
318
950988
2377
Isso para decidir como queremos que ela se encaixe,
15:53
that's for setting the rules of the road,
319
953365
1961
para estabelecer as regras de funcionamento,
15:55
for what an AI will and won't do.
320
955367
2044
para o que uma IA deve fazer ou não deve fazer.
15:57
And if there's one thing to take away from this talk,
321
957453
2502
Se há uma coisa a reter desta palestra
15:59
it's that this technology just looks different.
322
959997
2211
é que esta tecnologia apenas parece diferente.
16:02
Just different from anything people had anticipated.
323
962208
2502
É apenas diferente de tudo o que as pessoas imaginavam.
16:04
And so we all have to become literate.
324
964710
1835
Temos todos que nos tornar literatos.
16:06
And that's, honestly, one of the reasons we released ChatGPT.
325
966587
2961
Sinceramente, isso é uma das razões por que lançámos o ChatGPT.
16:09
Together, I believe that we can achieve the OpenAI mission
326
969548
3128
Em conjunto, creio que podemos conseguir a missão do OpenAI
16:12
of ensuring that artificial general intelligence
327
972718
2252
para garantir que a inteligência artificial geral
16:14
benefits all of humanity.
328
974970
1877
beneficie toda a Humanidade.
16:16
Thank you.
329
976847
1168
Obrigado.
16:18
(Applause)
330
978057
6965
(Aplausos)
16:33
(Applause ends)
331
993322
1168
16:34
Chris Anderson: Greg.
332
994532
1334
Chris Anderson: Greg.
16:36
Wow.
333
996242
1167
Uau!
16:37
I mean ...
334
997868
1126
16:39
I suspect that within every mind out here
335
999662
3753
Desconfio que, em cada cabeça aqui presente
16:43
there's a feeling of reeling.
336
1003457
2503
há uma sensação de vertigem.
16:46
Like, I suspect that a very large number of people viewing this,
337
1006001
3379
Desconfio que, em relação a muitas pessoas que estão a ver isto,
16:49
you look at that and you think, “Oh my goodness,
338
1009421
2419
tu olhas para elas e pensas:
16:51
pretty much every single thing about the way I work, I need to rethink."
339
1011882
3462
“Meu Deus, tenho de repensar em quase tudo quanto à forma como trabalho.”
16:55
Like, there's just new possibilities there.
340
1015386
2002
Há aqui imensas possibilidades novas.
16:57
Am I right?
341
1017388
1168
Tenho razão?
16:58
Who thinks that they're having to rethink the way that we do things?
342
1018597
3337
Quem pensa que eles têm de repensar a forma como fazemos as coisas?
17:01
Yeah, I mean, it's amazing,
343
1021976
1543
É espantoso!
17:03
but it's also really scary.
344
1023561
2002
Mas também é bastante assustador.
17:05
So let's talk, Greg, let's talk.
345
1025604
1585
Mas tudo bem, Greg, temos de falar.
17:08
I mean, I guess my first question actually is just
346
1028524
2377
A minha primeira pergunta é esta:
17:10
how the hell have you done this?
347
1030901
1585
Como é que conseguiste fazer isto?
17:12
(Laughter)
348
1032486
1251
(Risos)
17:13
OpenAI has a few hundred employees.
349
1033737
2962
O OpenAI tem umas centenas de funcionários.
17:16
Google has thousands of employees working on artificial intelligence.
350
1036740
4755
A Google tem milhares de funcionários a trabalhar na inteligência artificial.
17:21
Why is it you who's come up with this technology
351
1041996
3503
Porque é que foste tu que apareceste com esta tecnologia
17:25
that shocked the world?
352
1045541
1168
que abalou o mundo?
17:26
Greg Brockman: I mean, the truth is,
353
1046709
1751
Greg Brockman: Na verdade,
17:28
we're all building on shoulders of giants, right, there's no question.
354
1048502
3295
estamos a criar com base na obra de gigantes, sem dúvida.
17:31
If you look at the compute progress,
355
1051797
1752
Se olhares para a evolução da informática,
17:33
the algorithmic progress, the data progress,
356
1053549
2085
a evolução dos algoritmos, a evolução dos dados,
17:35
all of those are really industry-wide.
357
1055634
1835
tudo isso faz parte da indústria.
17:37
But I think within OpenAI,
358
1057469
1252
Mas penso que, no OpenAI,
17:38
we made a lot of very deliberate choices from the early days.
359
1058762
2878
fizemos uma série de opções deliberadas desde o primeiro dia.
17:41
And the first one was just to confront reality as it lays.
360
1061640
2711
A primeira foi apenas confrontar a realidade onde ela está.
17:44
And that we just thought really hard about like:
361
1064393
2294
Pensámos muito em coisas como:
17:46
What is it going to take to make progress here?
362
1066687
2210
O que vai ser preciso para avançar aqui?
17:48
We tried a lot of things that didn't work, so you only see the things that did.
363
1068939
3754
Tentámos muitas coisas que não resultaram, vocês só veem as coisas que funcionaram.
17:52
And I think that the most important thing has been to get teams of people
364
1072693
3462
Penso que a coisa mais importante tem sido ter equipas de pessoas
muito diferentes umas das outras, que trabalham em conjunto harmoniosamente.
17:56
who are very different from each other to work together harmoniously.
365
1076196
3254
17:59
CA: Can we have the water, by the way, just brought here?
366
1079450
2711
CA: A propósito, podem trazer-nos água?
18:02
I think we're going to need it, it's a dry-mouth topic.
367
1082202
3170
Penso que vamos precisar dela, é um tópico que nos vai pôr a boca seca.
18:06
But isn't there something also just about the fact
368
1086665
2795
Mas não haverá também qualquer coisa
18:09
that you saw something in these language models
369
1089501
4755
quanto ao facto de teres visto nesses modelos de linguagem
18:14
that meant that if you continue to invest in them and grow them,
370
1094256
3921
que, se continuares a investir neles e a melhorá-los,
18:18
that something at some point might emerge?
371
1098218
3129
a certa altura poderá aparecer qualquer coisa?
18:21
GB: Yes.
372
1101847
1126
GB: Claro que sim. Sinceramente,
18:23
And I think that, I mean, honestly,
373
1103015
2836
penso que aquela história é bastante elucidativa.
18:25
I think the story there is pretty illustrative, right?
374
1105893
2544
Penso que essa aprendizagem profunda, de alto nível,
18:28
I think that high level, deep learning,
375
1108437
2002
18:30
like we always knew that was what we wanted to be,
376
1110481
2335
como sempre soubemos que era isso o que queríamos ser,
18:32
was a deep learning lab, and exactly how to do it?
377
1112858
2419
era um laboratório de aprendizagem, e sabíamos exatamente como fazê-lo.
18:35
I think that in the early days, we didn't know.
378
1115277
2211
A princípio, não sabíamos. Tentámos uma série de coisas.
18:37
We tried a lot of things,
379
1117529
1210
18:38
and one person was working on training a model
380
1118739
2336
Uma pessoa estava a trabalhar a treinar um modelo
18:41
to predict the next character in Amazon reviews,
381
1121075
2877
a prever a figura seguinte nas análises da Amazon
18:43
and he got a result where -- this is a syntactic process,
382
1123994
4755
e obteve um resultado em que — é um processo sintético,
18:48
you expect, you know, the model will predict where the commas go,
383
1128749
3086
esperamos que o modelo nos diga onde pôr as vírgulas,
18:51
where the nouns and verbs are.
384
1131835
1627
onde ficam os nomes e os verbos.
18:53
But he actually got a state-of-the-art sentiment analysis classifier out of it.
385
1133504
4337
Mas ele obteve um classificador de análises de sentimento excecional.
18:57
This model could tell you if a review was positive or negative.
386
1137883
2961
Este modelo conseguia dizer-nos se uma análise era positiva ou negativa.
19:00
I mean, today we are just like, come on, anyone can do that.
387
1140886
3378
Hoje dizemos, ora, toda a gente pode fazer isso.
19:04
But this was the first time that you saw this emergence,
388
1144306
3087
Mas foi a primeira vez que vimos aparecer isto,
19:07
this sort of semantics that emerged from this underlying syntactic process.
389
1147434
5005
esta espécie de semântica que apareceu do processo sintático subjacente.
Foi aí que soubemos que tínhamos de desenvolver aquilo,
19:12
And there we knew, you've got to scale this thing,
390
1152481
2336
19:14
you've got to see where it goes.
391
1154858
1544
tínhamos de ver até onde iria.
19:16
CA: So I think this helps explain
392
1156402
1626
CA: Penso que isso ajuda a explicar
19:18
the riddle that baffles everyone looking at this,
393
1158028
2544
o enigma que intriga toda a gente que olha para isto,
19:20
because these things are described as prediction machines.
394
1160572
2753
porque estas coisas são descritas como máquinas de previsão.
19:23
And yet, what we're seeing out of them feels ...
395
1163367
2669
No entanto, o que vemos sair delas
19:26
it just feels impossible that that could come from a prediction machine.
396
1166036
3420
parece-nos impossível que possam sair duma máquina de previsão.
19:29
Just the stuff you showed us just now.
397
1169456
2378
Tal como o que nos mostraste há bocado,
19:31
And the key idea of emergence is that when you get more of a thing,
398
1171875
3838
a ideia chave do aparecimento é que, quando obtemos mais duma mesma coisa,
19:35
suddenly different things emerge.
399
1175754
1585
de repente aparecem coisas diferentes.
19:37
It happens all the time, ant colonies, single ants run around,
400
1177339
3045
Nas colónias de formigas há formigas isoladas em volta.
19:40
when you bring enough of them together,
401
1180384
1877
Quando juntamos bastantes dessas formigas
19:42
you get these ant colonies that show completely emergent, different behavior.
402
1182302
3629
essas colónias de formigas mostram um comportamento diferente.
19:45
Or a city where a few houses together, it's just houses together.
403
1185973
3086
Ou numa cidade com poucas casas, são apenas casas.
Mas, se aumentarmos o número de casas,
19:49
But as you grow the number of houses,
404
1189059
1794
19:50
things emerge, like suburbs and cultural centers and traffic jams.
405
1190894
4588
aparecem coisas, como subúrbios,
centros culturais e engarrafamentos de trânsito.
19:57
Give me one moment for you when you saw just something pop
406
1197276
3211
Quando é que viste aparecer uma coisa que te espantou
20:00
that just blew your mind
407
1200529
1668
e em que não tinhas reparado que estava a chegar?
20:02
that you just did not see coming.
408
1202197
1627
20:03
GB: Yeah, well,
409
1203824
1209
GB: Podes tentar isso no ChatGPT, se juntares números de 40 dígitos...
20:05
so you can try this in ChatGPT, if you add 40-digit numbers --
410
1205075
3462
20:08
CA: 40-digit?
411
1208537
1168
CA: 40 dígitos?
20:09
GB: 40-digit numbers, the model will do it,
412
1209705
2169
GB: Números de 40 dígitos, o modelo fá-lo-á,
20:11
which means it's really learned an internal circuit for how to do it.
413
1211915
3254
o que significa que ele aprendeu um circuito interno para o fazer.
20:15
And the really interesting thing is actually,
414
1215210
2127
O interessante é que,
20:17
if you have it add like a 40-digit number plus a 35-digit number,
415
1217337
3212
se juntares um número de 40 dígitos mais um número de 35 dígitos,
20:20
it'll often get it wrong.
416
1220591
1710
muitas vezes ele engana-se.
20:22
And so you can see that it's really learning the process,
417
1222676
2795
Assim, podes ver que ele está realmente a aprender o procedimento,
20:25
but it hasn't fully generalized, right?
418
1225471
1876
mas ainda não totalmente.
20:27
It's like you can't memorize the 40-digit addition table,
419
1227389
2711
É como se não pudesses decorar a tabela da adição de 40 dígitos,
20:30
that's more atoms than there are in the universe.
420
1230100
2294
são mais átomos do que há no universo.
20:32
So it had to have learned something general,
421
1232394
2086
Teve de aprender uma coisa em geral,
20:34
but that it hasn't really fully yet learned that,
422
1234480
2377
mas ainda não a aprendeu totalmente bem.
20:36
Oh, I can sort of generalize this to adding arbitrary numbers
423
1236899
2961
Eu posso generalizar isso para a adição de números arbitrários
20:39
of arbitrary lengths.
424
1239902
1167
de comprimentos arbitrários.
20:41
CA: So what's happened here
425
1241111
1335
CA: O que aconteceu aqui é que permitiste que ele se ampliasse
20:42
is that you've allowed it to scale up
426
1242488
1793
20:44
and look at an incredible number of pieces of text.
427
1244281
2419
e olhaste para um número incrível de bocados de texto.
20:46
And it is learning things
428
1246742
1209
E está a aprender coisas
20:47
that you didn't know that it was going to be capable of learning.
429
1247951
3379
que tu não sabias que ela era capaz de aprender.
20:51
GB Well, yeah, and it’s more nuanced, too.
430
1251371
2002
GB: Bom, mas isso também é mais matizado.
20:53
So one science that we’re starting to really get good at
431
1253415
2878
Uma ciência em que estamos a começar a ser muito bons
20:56
is predicting some of these emergent capabilities.
432
1256335
2586
é predizer algumas dessas capacidades emergentes.
20:58
And to do that actually,
433
1258962
1335
Para isso, uma das coisas que penso que não é muito valorizado nesta área
21:00
one of the things I think is very undersung in this field
434
1260339
2711
é uma certa qualidade de engenharia.
21:03
is sort of engineering quality.
435
1263050
1501
21:04
Like, we had to rebuild our entire stack.
436
1264551
2044
Tivemos de recriar as nossas tecnologias.
21:06
When you think about building a rocket,
437
1266637
1877
Quando pensamos em construir um foguetão,
21:08
every tolerance has to be incredibly tiny.
438
1268555
2211
a tolerância tem de ser o mínimo dos mínimos.
21:10
Same is true in machine learning.
439
1270766
1626
O mesmo acontece com a aprendizagem de máquinas.
21:12
You have to get every single piece of the stack engineered properly,
440
1272434
3212
Todas as peças da pilha têm de estar bem projetadas,
21:15
and then you can start doing these predictions.
441
1275646
2210
e só depois podemos começar a fazer previsões.
21:17
There are all these incredibly smooth scaling curves.
442
1277856
2503
Há todos fantásticos significados adicionais.
21:20
They tell you something deeply fundamental about intelligence.
443
1280359
2919
Dizem-nos uma coisa extremamente importante sobre a inteligência.
21:23
If you look at our GPT-4 blog post,
444
1283320
1710
Se forem ver o nosso blogue GPT-4
21:25
you can see all of these curves in there.
445
1285030
1960
verão ali todas essas curvas.
21:26
And now we're starting to be able to predict.
446
1286990
2127
Agora, começamos a poder prever.
21:29
So we were able to predict, for example, the performance on coding problems.
447
1289117
3713
Podemos prever, por exemplo, o desempenho em problemas de codificação.
21:32
We basically look at some models
448
1292871
1585
Observamos alguns modelos,
21:34
that are 10,000 times or 1,000 times smaller.
449
1294456
2461
que são 10 000 vezes ou 1000 vezes menores.
21:36
And so there's something about this that is actually smooth scaling,
450
1296959
3211
Há assim uma coisa nisto que é a “smooth scaling”
21:40
even though it's still early days.
451
1300170
2044
embora esteja ainda nos primeiros dias.
21:42
CA: So here is, one of the big fears then,
452
1302756
2544
CA: É esse um dos grandes receios que surge a partir disto.
21:45
that arises from this.
453
1305300
1252
21:46
If it’s fundamental to what’s happening here,
454
1306593
2127
É fundamental para o que acontece aqui
21:48
that as you scale up,
455
1308720
1210
que à medida que aumentem a escala, surgem coisas
21:49
things emerge that
456
1309930
2419
21:52
you can maybe predict in some level of confidence,
457
1312349
4171
que podemos prever com algum nível de confiança,
21:56
but it's capable of surprising you.
458
1316562
2544
mas que podem surpreender-nos.
22:00
Why isn't there just a huge risk of something truly terrible emerging?
459
1320816
4463
Não haverá um enorme risco de surgir uma coisa terrível?
22:05
GB: Well, I think all of these are questions of degree
460
1325320
2545
GB: Penso que é tudo uma questão de grau,
22:07
and scale and timing.
461
1327865
1209
de dimensão e de tempo.
22:09
And I think one thing people miss, too,
462
1329116
1877
Penso também numa coisa em que as pessoas não reparam,
22:10
is sort of the integration with the world is also this incredibly emergent,
463
1330993
3587
é uma espécie de integração com o mundo
22:14
sort of, very powerful thing too.
464
1334621
1585
uma coisa também muito poderosa.
22:16
And so that's one of the reasons that we think it's so important
465
1336248
3045
Essa é uma das razões por que pensamos
ser muito importante implementar incrementalmente.
22:19
to deploy incrementally.
466
1339293
1167
22:20
And so I think that what we kind of see right now, if you look at this talk,
467
1340502
3629
Se olhares para esta palestra, vês que, agora,
grande parte daquilo em que me foco é fornecer feedback de alta qualidade.
22:24
a lot of what I focus on is providing really high-quality feedback.
468
1344131
3170
22:27
Today, the tasks that we do, you can inspect them, right?
469
1347301
2711
Hoje, podemos inspecionar as tarefas que fazemos, não é?
22:30
It's very easy to look at that math problem and be like, no, no, no,
470
1350012
3211
É fácil olhar para aquele problema de matemática e dizer:
“Não, não, máquina. A resposta correta era sete.”
22:33
machine, seven was the correct answer.
471
1353265
1835
22:35
But even summarizing a book, like, that's a hard thing to supervise.
472
1355100
3212
Mas mesmo resumir um livro, é uma coisa difícil de supervisionar.
22:38
Like, how do you know if this book summary is any good?
473
1358312
2586
Como é que sabemos se o resumo deste livro é bom?
22:40
You have to read the whole book.
474
1360939
1543
Temos de ler o livro todo.
22:42
No one wants to do that.
475
1362482
1168
Ninguém quer fazer isso.
22:43
(Laughter)
476
1363692
1293
(Risos)
22:44
And so I think that the important thing will be that we take this step by step.
477
1364985
4296
Portanto, penso que o importante é fazer isso passo a passo.
E dizemos: OK, à medida que avançarmos para resumos de livros,
22:49
And that we say, OK, as we move on to book summaries,
478
1369323
2544
22:51
we have to supervise this task properly.
479
1371867
1960
temos de supervisionar essa tarefa como deve ser.
22:53
We have to build up a track record with these machines
480
1373827
2586
Temos de criar um historial com estas máquinas
22:56
that they're able to actually carry out our intent.
481
1376413
2586
que consigam realizar a nossa intenção.
22:59
And I think we're going to have to produce even better, more efficient,
482
1379041
3336
Penso que vamos ter de produzir formas de reforçar isto
de uma forma melhor, mais eficiente e mais fiável,
23:02
more reliable ways of scaling this,
483
1382419
1710
23:04
sort of like making the machine be aligned with you.
484
1384129
2878
como fazer com que a máquina fique alinhada connosco.
23:07
CA: So we're going to hear later in this session,
485
1387049
2294
CA: Daqui a bocado, nesta sessão,
23:09
there are critics who say that,
486
1389343
1543
vamos ouvir os críticos que dizem
23:10
you know, there's no real understanding inside,
487
1390928
4587
que não há nenhuma compreensão internamente,
23:15
the system is going to always --
488
1395557
1627
que o sistema irá sempre...
23:17
we're never going to know that it's not generating errors,
489
1397225
3212
que nunca saberemos que não está a gerar erros,
23:20
that it doesn't have common sense and so forth.
490
1400479
2210
que não tem senso comum e por aí fora.
23:22
Is it your belief, Greg, that it is true at any one moment,
491
1402689
4088
Greg, estás convencido de que será verdade, a certa altura,
23:26
but that the expansion of the scale and the human feedback
492
1406818
3629
mas que a expansão da escala e o feedback humano, de que falaste,
23:30
that you talked about is basically going to take it on that journey
493
1410489
4963
serão suficientes para conseguir coisas
23:35
of actually getting to things like truth and wisdom and so forth,
494
1415494
3837
como a verdade, a sabedoria, etc.,
23:39
with a high degree of confidence.
495
1419331
1627
com um alto grau de confiança?
23:40
Can you be sure of that?
496
1420999
1335
Podes ter a certeza disso?
23:42
GB: Yeah, well, I think that the OpenAI, I mean, the short answer is yes,
497
1422334
3462
GB: Sim, penso que quanto ao OpenAI... a resposta curta é sim.
23:45
I believe that is where we're headed.
498
1425796
1793
Acredito que estamos a avançar nesse sentido.
23:47
And I think that the OpenAI approach here has always been just like,
499
1427631
3211
E penso que a abordagem do OpenAI tem sido sempre essa,
23:50
let reality hit you in the face, right?
500
1430842
1877
deixar que a realidade nos bata na cara.
23:52
It's like this field is the field of broken promises,
501
1432719
2503
É como se esta área seja a área de promessas quebradas,
de todos os especialistas que dizem que X vai acontecer, Y é como funciona.
23:55
of all these experts saying X is going to happen, Y is how it works.
502
1435263
3212
23:58
People have been saying neural nets aren't going to work for 70 years.
503
1438475
3337
Tem-se dito que as redes neurais não vão funcionar dentro de 70 anos.
24:01
They haven't been right yet.
504
1441812
1376
Ainda não foi demonstrado.
24:03
They might be right maybe 70 years plus one
505
1443188
2044
Pode acontecer, talvez 70 anos mais um,
24:05
or something like that is what you need.
506
1445232
1918
ou qualquer coisa assim o que for preciso.
24:07
But I think that our approach has always been,
507
1447192
2169
Mas penso que a nossa abordagem tem sido sempre
24:09
you've got to push to the limits of this technology
508
1449361
2419
ampliar os limites desta tecnologia para a ver em ação,
24:11
to really see it in action,
509
1451822
1293
porque isso diz-nos que é assim que podemos passar para um novo paradigma.
24:13
because that tells you then, oh, here's how we can move on to a new paradigm.
510
1453115
3670
24:16
And we just haven't exhausted the fruit here.
511
1456785
2127
E nem sequer esgotámos os frutos.
24:18
CA: I mean, it's quite a controversial stance you've taken,
512
1458954
2794
CA: É polémica a posição que assumiste
24:21
that the right way to do this is to put it out there in public
513
1461748
2920
de que a forma correta de fazer isto é colocá-lo em público e depois controlá-lo,
24:24
and then harness all this, you know,
514
1464710
1751
em vez de ser apenas a tua equipa a fornecer feedback,
24:26
instead of just your team giving feedback,
515
1466461
2002
24:28
the world is now giving feedback.
516
1468463
2461
é o mundo que está a fornecer o feedback.
24:30
But ...
517
1470924
1168
Mas, se começarem a aparecer coisas prejudiciais,
24:33
If, you know, bad things are going to emerge,
518
1473135
3753
24:36
it is out there.
519
1476930
1168
já estão aí.
24:38
So, you know, the original story that I heard on OpenAI
520
1478140
2919
A história original que ouvi no OpenAI,
quando da sua fundação como empresa sem fins lucrativos,
24:41
when you were founded as a nonprofit,
521
1481101
1793
24:42
well you were there as the great sort of check on the big companies
522
1482894
4463
tu estavas lá como o grande fiscal das grandes empresas
24:47
doing their unknown, possibly evil thing with AI.
523
1487399
3837
que fizessem coisas maléficas e desconhecidas com a IA.
24:51
And you were going to build models that sort of, you know,
524
1491278
4755
E agora vais criar modelos que, de certo modo, as tornam responsáveis
24:56
somehow held them accountable
525
1496033
1418
24:57
and was capable of slowing the field down, if need be.
526
1497492
4380
e podem abrandar o campo, se for necessário.
Pelo menos, é mais ou menos isso que eu tenho ouvido.
25:01
Or at least that's kind of what I heard.
527
1501872
1960
25:03
And yet, what's happened, arguably, is the opposite.
528
1503832
2461
Mas, o que aconteceu, segundo parece, é o contrário.
25:06
That your release of GPT, especially ChatGPT,
529
1506334
5673
A tua publicação do GPT, e, em especial do ChatGPT,
emitiu tais ondas de choque por todo o mundo tecnológico
25:12
sent such shockwaves through the tech world
530
1512049
2002
que agora a Google, a Meta, e não só, estão num frenesi para acompanhar.
25:14
that now Google and Meta and so forth are all scrambling to catch up.
531
1514051
3795
25:17
And some of their criticisms have been,
532
1517888
2085
Algumas das críticas têm sido
25:20
you are forcing us to put this out here without proper guardrails or we die.
533
1520015
4963
que estás a forçar-nos a aceitar isto sem proteção adequada, custe o que custar.
25:25
You know, how do you, like,
534
1525020
2794
Como é que tu defendes
25:27
make the case that what you have done is responsible here and not reckless.
535
1527814
3754
que o que tens feito é responsável, não é irresponsável.
25:31
GB: Yeah, we think about these questions all the time.
536
1531568
3128
GB: Pois, estamos sempre a pensar nessas questões.
25:34
Like, seriously all the time.
537
1534738
1418
Muito a sério, permanentemente.
25:36
And I don't think we're always going to get it right.
538
1536198
2711
Penso que nem sempre vamos fazê-lo bem feito.
25:38
But one thing I think has been incredibly important,
539
1538909
2460
Mas há uma coisa que penso que tem sido muito importante,
25:41
from the very beginning, when we were thinking
540
1541411
2169
desde o princípio,
25:43
about how to build artificial general intelligence,
541
1543580
2419
quando pensávamos como criar a inteligência artificial geral,
25:45
actually have it benefit all of humanity,
542
1545999
2002
em benefício de toda a Humanidade,
25:48
like, how are you supposed to do that, right?
543
1548001
2127
tipo, como é que havemos de fazer isso?
25:50
And that default plan of being, well, you build in secret,
544
1550170
2711
Esse plano base de ser é construído em segredo,
25:52
you get this super powerful thing,
545
1552923
1626
obtemos esta coisa super poderosa
25:54
and then you figure out the safety of it and then you push “go,”
546
1554549
3003
e depois avaliamos a sua segurança e carregamos em “avançar”,
25:57
and you hope you got it right.
547
1557552
1460
e esperamos que funcione bem.
25:59
I don't know how to execute that plan.
548
1559012
1835
Não sei como executar este plano, talvez alguém saiba.
26:00
Maybe someone else does.
549
1560889
1168
Mas sempre o achei uma coisa assustadora, não me parecia certa.
26:02
But for me, that was always terrifying, it didn't feel right.
550
1562099
2877
26:04
And so I think that this alternative approach
551
1564976
2128
Penso que esta abordagem alternativa
26:07
is the only other path that I see,
552
1567104
2043
é a única outra via que vejo,
26:09
which is that you do let reality hit you in the face.
553
1569147
2503
que é deixar que ela nos bata na cara,
26:11
And I think you do give people time to give input.
554
1571691
2336
dar tempo às pessoas para nos darem o seu contributo.
26:14
You do have, before these machines are perfect,
555
1574027
2211
Antes de estas máquinas serem perfeitas, antes de serem super poderosas,
26:16
before they are super powerful, that you actually have the ability
556
1576279
3128
temos de poder vê-las em ação.
26:19
to see them in action.
557
1579407
1168
Vimos isso no GTP-3, não foi?
26:20
And we've seen it from GPT-3, right?
558
1580617
1752
Com o GPT-3, ficámos com medo
26:22
GPT-3, we really were afraid
559
1582369
1376
26:23
that the number one thing people were going to do with it
560
1583745
2711
de que a primeira coisa que as pessoas fossem fazer com ele
26:26
was generate misinformation, try to tip elections.
561
1586456
2336
fosse gerar desinformação, tentar mudar eleições.
26:28
Instead, the number one thing was generating Viagra spam.
562
1588834
2711
Em vez disso, foi gerar publicidade falsa sobre Viagra.
26:31
(Laughter)
563
1591545
3169
(Risos)
CA: Publicidade falsa sobre Viagra é mau, mas há coisas muito piores.
26:36
CA: So Viagra spam is bad, but there are things that are much worse.
564
1596007
3212
26:39
Here's a thought experiment for you.
565
1599219
1752
Vou dar-te um exercício intelectual.
26:40
Suppose you're sitting in a room,
566
1600971
1710
Imagina que estás sentado numa sala, onde há uma caixa em cima da mesa.
26:42
there's a box on the table.
567
1602681
1668
26:44
You believe that in that box is something that,
568
1604349
3003
Tu pensas que, nessa caixa, está qualquer coisa
26:47
there's a very strong chance it's something absolutely glorious
569
1607394
2961
que tem uma forte hipótese de ser uma coisa espantosa
26:50
that's going to give beautiful gifts to your family and to everyone.
570
1610397
3920
que vai dar belos presentes à tua família e a toda a gente.
26:54
But there's actually also a one percent thing in the small print there
571
1614359
3629
Mas também tem 1% dum pequeno letreiro que diz:
26:58
that says: “Pandora.”
572
1618029
1877
“Pandora”.
26:59
And there's a chance
573
1619906
1669
E há a possibilidade
27:01
that this actually could unleash unimaginable evils on the world.
574
1621616
4088
de que isso possa desencadear males inimagináveis no mundo.
27:06
Do you open that box?
575
1626538
1543
Abrias essa caixa?
GB: Não, de forma alguma.
27:08
GB: Well, so, absolutely not.
576
1628123
1460
27:09
I think you don't do it that way.
577
1629624
1919
Acho que as coisas não se fazem dessa maneira.
27:12
And honestly, like, I'll tell you a story that I haven't actually told before,
578
1632210
3796
Sinceramente, vou contar-te uma história que nunca contei,
que, em resumo, ocorreu pouco depois de iniciarmos o Open AI.
27:16
which is that shortly after we started OpenAI,
579
1636006
2586
27:18
I remember I was in Puerto Rico for an AI conference.
580
1638592
2711
Lembro-me que foi em Porto Rico numa conferência da IA.
27:21
I'm sitting in the hotel room just looking out over this wonderful water,
581
1641344
3462
Eu estava no quarto do hotel a observar aquela água maravilhosa,
27:24
all these people having a good time.
582
1644806
1752
e todas as pessoas a desfrutarem o tempo.
27:26
And you think about it for a moment,
583
1646558
1752
E pensei, por momentos
27:28
if you could choose for basically that Pandora’s box
584
1648310
4504
se pudesse escolher que a caixa de Pandora
estivesse a 5 anos de distância ou a 500 anos,
27:32
to be five years away
585
1652814
2711
27:35
or 500 years away,
586
1655567
1585
qual é que eu escolheria?
27:37
which would you pick, right?
587
1657194
1501
27:38
On the one hand you're like, well, maybe for you personally,
588
1658737
2836
Por um lado, talvez, para nós, pessoalmente.
fosse melhor que ela estivesse a cinco anos de distância.
27:41
it's better to have it be five years away.
589
1661573
2002
27:43
But if it gets to be 500 years away and people get more time to get it right,
590
1663617
3628
Mas, se estiver a 500 anos de distância,
e as pessoas tiverem mais tempo para pensarem bem,
27:47
which do you pick?
591
1667287
1168
o que é que escolherias?
27:48
And you know, I just really felt it in the moment.
592
1668496
2336
Nesse momento, senti que optaria pelos 500 anos.
27:50
I was like, of course you do the 500 years.
593
1670874
2002
O meu irmão estava no exército, nessa altura
27:53
My brother was in the military at the time
594
1673293
2002
27:55
and like, he puts his life on the line in a much more real way
595
1675295
2961
e arriscava a vida dele de modo muito mais real
27:58
than any of us typing things in computers
596
1678256
2628
do que qualquer de nós a escrever coisas nos computadores
28:00
and developing this technology at the time.
597
1680926
2585
e a desenvolver esta tecnologia, nessa altura.
28:03
And so, yeah, I'm really sold on the you've got to approach this right.
598
1683511
4547
Por isso, sim, optei pela abordagem de pensar bem.
28:08
But I don't think that's quite playing the field as it truly lies.
599
1688058
3628
Mas acho que isso não é jogar o jogo com as regras certas.
28:11
Like, if you look at the whole history of computing,
600
1691686
2670
Se olharmos para toda a história da informática,
28:14
I really mean it when I say that this is an industry-wide
601
1694397
4463
Verdadeiramente acredito que esta é uma mudança na indústria
ou até mesmo
28:18
or even just almost like
602
1698902
1543
28:20
a human-development- of-technology-wide shift.
603
1700487
3336
uma mudança no desenvolvimento humano da tecnologia.
28:23
And the more that you sort of, don't put together the pieces
604
1703865
4088
E se continuarmos a juntarmos as peças
28:27
that are there, right,
605
1707994
1293
que existem,
28:29
we're still making faster computers,
606
1709329
1752
continuamos a fazer computadores mais rápidos,
28:31
we're still improving the algorithms, all of these things, they are happening.
607
1711081
3670
continuamos a melhorar os algoritmos, tudo isso está a acontecer.
28:34
And if you don't put them together, you get an overhang,
608
1714793
2627
e se não as juntarmos, ficamos com um excesso,
28:37
which means that if someone does,
609
1717420
1627
o que significa se alguém o fizer
28:39
or the moment that someone does manage to connect to the circuit,
610
1719089
3086
ou no momento em que alguém conseguir ligá-las ao circuito,
28:42
then you suddenly have this very powerful thing,
611
1722175
2252
de repente, temos esta coisa poderosa,
28:44
no one's had any time to adjust,
612
1724427
1544
que ninguém teve tempo de ajustar.
Quem sabe que tipo de precauções de segurança temos?
28:46
who knows what kind of safety precautions you get.
613
1726012
2336
28:48
And so I think that one thing I take away
614
1728390
1918
Assim, acho que uma conclusão que posso tirar
28:50
is like, even you think about development of other sort of technologies,
615
1730308
3837
é que, mesmo que pensem na evolução de outro tipo de tecnologias,
28:54
think about nuclear weapons,
616
1734187
1376
pensem nas armas nucleares, fala-se delas como sendo um salto enorme
28:55
people talk about being like a zero to one,
617
1735563
2002
28:57
sort of, change in what humans could do.
618
1737565
2628
no que os humanos podem fazer.
29:00
But I actually think that if you look at capability,
619
1740235
2461
Mas penso que se analisarem a capacidade
29:02
it's been quite smooth over time.
620
1742696
1585
é mais fácil lidar com elas.
29:04
And so the history, I think, of every technology we've developed
621
1744281
3670
Penso que a história de todas as tecnologias que desenvolvemos
29:07
has been, you've got to do it incrementally
622
1747993
2002
demonstra que a temos feito progressivamente
29:10
and you've got to figure out how to manage it
623
1750036
2127
e temos tido de imaginar como geri-la
29:12
for each moment that you're increasing it.
624
1752163
2461
em cada momento em que a vamos desenvolvendo.
29:14
CA: So what I'm hearing is that you ...
625
1754666
2252
CA: Segundo entendo,
29:16
the model you want us to have
626
1756918
1668
o modelo que queres que tenhamos
29:18
is that we have birthed this extraordinary child
627
1758628
2795
é que demos à luz esta criança extraordinária
29:21
that may have superpowers
628
1761423
2544
que pode ter superpoderes,
29:24
that take humanity to a whole new place.
629
1764009
2544
que leva a Humanidade para um sítio totalmente novo.
29:26
It is our collective responsibility to provide the guardrails
630
1766594
5005
É da nossa responsabilidade coletiva
fornecer as proteções a essa criança
29:31
for this child
631
1771641
1210
29:32
to collectively teach it to be wise and not to tear us all down.
632
1772892
5047
ensiná-la, coletivamente, a ser sábia e a não nos destruir.
29:37
Is that basically the model?
633
1777939
1377
É este basicamente o modelo?
29:39
GB: I think it's true.
634
1779357
1168
GB: Acho que é isso mesmo.
29:40
And I think it's also important to say this may shift, right?
635
1780567
2878
Penso que também é importante dizer que isto pode mudar, certo?
29:43
We've got to take each step as we encounter it.
636
1783445
3253
Temos de aceitar cada passo à medida que o encontramos.
29:46
And I think it's incredibly important today
637
1786740
2002
Penso que hoje é extremamente importante
29:48
that we all do get literate in this technology,
638
1788783
2878
que passemos todos a ser letrados nesta tecnologia,
29:51
figure out how to provide the feedback,
639
1791661
1919
saibamos como fornecer feedback.
29:53
decide what we want from it.
640
1793621
1377
como decidir o que queremos dele.
29:54
And my hope is that that will continue to be the best path,
641
1794998
3128
A minha esperança é que isto continue a ser o melhor caminho,
29:58
but it's so good we're honestly having this debate
642
1798168
2377
mas é muito bom que tenhamos este debate franco
30:00
because we wouldn't otherwise if it weren't out there.
643
1800545
2628
porque, se assim não fosse, não estaríamos aqui.
30:03
CA: Greg Brockman, thank you so much for coming to TED and blowing our minds.
644
1803631
3629
CA: Greg Brockman, muito obrigado por teres vindo ao TED
dar-nos a volta à cabeça.
30:07
(Applause)
645
1807302
1626
(Aplausos)
Sobre este site

Este sítio irá apresentar-lhe vídeos do YouTube que são úteis para a aprendizagem do inglês. Verá lições de inglês ensinadas por professores de primeira linha de todo o mundo. Faça duplo clique nas legendas em inglês apresentadas em cada página de vídeo para reproduzir o vídeo a partir daí. As legendas deslocam-se em sincronia com a reprodução do vídeo. Se tiver quaisquer comentários ou pedidos, por favor contacte-nos utilizando este formulário de contacto.

https://forms.gle/WvT1wiN1qDtmnspy7