Daphne Koller: What we're learning from online education

Daphne Koller: O que estamos aprendemos com a educação online

669,948 views

2012-08-01 ・ TED


New videos

Daphne Koller: What we're learning from online education

Daphne Koller: O que estamos aprendemos com a educação online

669,948 views ・ 2012-08-01

TED


Por favor, clique duas vezes nas legendas em inglês abaixo para reproduzir o vídeo.

00:00
Translator: Morton Bast Reviewer: Thu-Huong Ha
0
0
7000
Tradutor: Viviane Ferraz Matos Revisor: Mariangela Andrade
00:15
Like many of you, I'm one of the lucky people.
1
15985
3111
Como muitos aqui, sou uma pessoa de sorte.
00:19
I was born to a family where education was pervasive.
2
19096
3400
Nasci em uma família onde educação era prioridade.
00:22
I'm a third-generation PhD, a daughter of two academics.
3
22496
4238
Sou de uma 3ª geração de PhDs, filha de acadêmicos.
00:26
In my childhood, I played around in my father's university lab.
4
26734
3794
Brincava no laboratório do meu pai na universidade, quando criança.
00:30
So it was taken for granted that I attend some of the best universities,
5
30528
3849
Era esperado que eu estudasse em universidades de elite,
00:34
which in turn opened the door to a world of opportunity.
6
34377
3801
o que me abriu portas de um mundo de oportunidades.
00:38
Unfortunately, most of the people in the world are not so lucky.
7
38178
4120
Infelizmente, a maioria não têm tanta sorte.
00:42
In some parts of the world, for example, South Africa,
8
42298
3135
Em alguns lugares, na África do Sul, por exemplo,
00:45
education is just not readily accessible.
9
45433
2705
a educação não é prontamente acessível.
00:48
In South Africa, the educational system was constructed
10
48138
2975
Lá, o sistema educacional foi construído
00:51
in the days of apartheid for the white minority.
11
51113
2873
para a minoria branca, na época do apartheid.
00:53
And as a consequence, today there is just not enough spots
12
53986
2700
E como consequência, hoje não há vagas suficientes
00:56
for the many more people who want and deserve a high quality education.
13
56686
3852
para os que querem e merecem uma educação de qualidade.
01:00
That scarcity led to a crisis in January of this year
14
60538
3880
Essa escassez levou a uma crise em janeiro deste ano
01:04
at the University of Johannesburg.
15
64418
1836
na Universidade de Joanesburgo.
01:06
There were a handful of positions left open
16
66254
2131
Haviam sobrado algumas vagas
01:08
from the standard admissions process, and the night before
17
68385
2969
do processo de admissão regular, e na noite anterior
01:11
they were supposed to open that for registration,
18
71354
2560
à abertura dessas matrículas,
01:13
thousands of people lined up outside the gate in a line a mile long,
19
73914
4052
milhares de pessoas ficaram ao portão em uma fila de 1,6 Km,
01:17
hoping to be first in line to get one of those positions.
20
77966
3880
na esperança de conseguir uma vaga.
01:21
When the gates opened, there was a stampede,
21
81846
2308
Quando os portões foram abertos, houve tumulto,
01:24
and 20 people were injured and one woman died.
22
84154
3652
20 pessoas ficaram feridas e uma mulher morreu.
01:27
She was a mother who gave her life
23
87806
1940
Era uma mãe que deu a vida
01:29
trying to get her son a chance at a better life.
24
89746
4063
tentando conseguir um futuro melhor para o filho.
01:33
But even in parts of the world like the United States
25
93809
3157
Mas mesmo em lugares, como os Estados Unidos,
01:36
where education is available, it might not be within reach.
26
96966
4356
onde educação é acessível, ela pode não ser atingível.
01:41
There has been much discussed in the last few years
27
101322
2672
Tem sido muito discutido nos últimos anos
01:43
about the rising cost of health care.
28
103994
1989
o aumento no custo do sistema de saúde.
01:45
What might not be quite as obvious to people
29
105983
2642
O que pode não ser tão óbvio às pessoas
01:48
is that during that same period the cost of higher education tuition
30
108625
4022
é que durante esse mesmo período, o custo da educação superior
01:52
has been increasing at almost twice the rate,
31
112647
2480
vem subindo quase o dobro,
01:55
for a total of 559 percent since 1985.
32
115127
4280
a um total de 559 por cento desde 1985.
01:59
This makes education unaffordable for many people.
33
119407
4534
Isso torna a educação inacessível a muitos.
02:03
Finally, even for those who do manage to get the higher education,
34
123941
3801
Finalmente, mesmo àqueles que almejam ter um curso superior,
02:07
the doors of opportunity might not open.
35
127742
2625
as portas da oportunidade podem não se abrir.
02:10
Only a little over half of recent college graduates
36
130367
3207
Pouco mais da metade dos universitários recém-formados
02:13
in the United States who get a higher education
37
133574
2313
nos Estados Unidos
02:15
actually are working in jobs that require that education.
38
135887
3463
estão realizando trabalhos que requerem tal formação.
02:19
This, of course, is not true for the students
39
139350
1840
Isso, claro, não é assim para estudantes
02:21
who graduate from the top institutions,
40
141190
1952
que se formam nas instituições de elite,
02:23
but for many others, they do not get the value
41
143142
2632
mas para muitos outros, não há reconhecimento
02:25
for their time and their effort.
42
145774
3536
por seu tempo e dedicação.
02:29
Tom Friedman, in his recent New York Times article,
43
149310
3030
Tom Friedman, em seu recente artigo no New York Times,
02:32
captured, in the way that no one else could, the spirit behind our effort.
44
152340
4368
captou, como ninguém, o espírito por trás do nosso empenho.
02:36
He said the big breakthroughs are what happen
45
156708
3120
Disse que as grandes descobertas ocorrem
02:39
when what is suddenly possible meets what is desperately necessary.
46
159828
3899
quando o subitamente possível encontra o desesperadamente necessário.
02:43
I've talked about what's desperately necessary.
47
163727
2621
Já falei sobre o desesperadamente necessário.
02:46
Let's talk about what's suddenly possible.
48
166348
2512
Vamos falar agora sobre o subitamente possível.
02:48
What's suddenly possible was demonstrated by
49
168860
3119
O subitamente possível foi demonstrado por
02:51
three big Stanford classes,
50
171979
1568
três grandes turmas de Stanford,
02:53
each of which had an enrollment of 100,000 people or more.
51
173547
3880
cada uma com uns 100.000 alunos inscritos.
02:57
So to understand this, let's look at one of those classes,
52
177427
3384
Para entender isso, vamos dar uma olhada em uma dessas turmas,
03:00
the Machine Learning class offered by my colleague
53
180811
1920
a de Aprendizagem de Máquinas ministrada por meu colega
03:02
and cofounder Andrew Ng.
54
182731
1729
e co-fundador Andrew Ng.
03:04
Andrew teaches one of the bigger Stanford classes.
55
184460
2319
Andrew leciona em uma das maiores turmas de Stanford.
03:06
It's a Machine Learning class,
56
186779
1209
É a disciplina Aprendizagem de Máquinas,
03:07
and it has 400 people enrolled every time it's offered.
57
187988
3518
e há 400 inscritos sempre que ela é oferecida.
03:11
When Andrew taught the Machine Learning class to the general public,
58
191506
3265
Quando Andrew lecionou essa matéria ao público em geral,
03:14
it had 100,000 people registered.
59
194771
2616
houve 100.000 inscritos.
03:17
So to put that number in perspective,
60
197387
2009
Então para dar uma perspectiva desse montante,
03:19
for Andrew to reach that same size audience
61
199396
2359
para Andrew atingir esse número de alunos
03:21
by teaching a Stanford class,
62
201755
1826
dando aulas em Stanford,
03:23
he would have to do that for 250 years.
63
203581
3926
teria que fazer isso por 250 anos.
03:27
Of course, he'd get really bored.
64
207507
3486
É claro, ficaria muito entediado.
03:30
So, having seen the impact of this,
65
210993
2737
Então, ao ver o impacto disso,
03:33
Andrew and I decided that we needed to really try and scale this up,
66
213730
3128
Andrew e eu decidimos que precisávamos fazer uma progressão,
03:36
to bring the best quality education to as many people as we could.
67
216858
4120
levar o ensino de qualidade ao máximo de pessoas possível.
03:40
So we formed Coursera,
68
220978
1495
Então criamos Coursera,
03:42
whose goal is to take the best courses
69
222473
3137
cujo objetivo é pegar os melhores cursos,
03:45
from the best instructors at the best universities
70
225610
3317
dos melhores instrutores e universidades,
03:48
and provide it to everyone around the world for free.
71
228927
4028
e fornecê-los gratuitamente a todos no mundo.
03:52
We currently have 43 courses on the platform
72
232955
2600
Temos atualmente 43 cursos na plataforma,
03:55
from four universities across a range of disciplines,
73
235555
3199
de quatro universidades através de uma série de disciplinas,
03:58
and let me show you a little bit of an overview
74
238754
1833
e darei uma visão geral
04:00
of what that looks like.
75
240587
3278
de como é.
04:03
(Video) Robert Ghrist: Welcome to Calculus.
76
243865
1213
(Vídeo) Robert Ghrist: Bem-vindos a Cálculo.
04:05
Ezekiel Emanuel: Fifty million people are uninsured.
77
245078
1880
Ezekiel Emanuel: 50 milhões de pessoas não têm seguros.
04:06
Scott Page: Models help us design more effective institutions and policies.
78
246958
3271
Scott Page: Modelos nos auxiliam a projetar instituições e políticas mais efetivas.
04:10
We get unbelievable segregation.
79
250229
2408
Existe uma segregação inacreditável.
04:12
Scott Klemmer: So Bush imagined that in the future,
80
252637
1792
Scott Klemmer: Então Bush imaginou que no futuro,
04:14
you'd wear a camera right in the center of your head.
81
254429
2378
usaríamos uma câmera bem no meio da cabeça.
04:16
Mitchell Duneier: Mills wants the student of sociology to develop the quality of mind ...
82
256807
4254
Mitchell Duneier: Mills quer que o estudante de sociologia desenvolva a capacidade de discernir ...
04:21
RG: Hanging cable takes on the form of a hyperbolic cosine.
83
261061
3665
RG: Um cabo suspenso toma forma de um cosseno hiperbólico.
04:24
Nick Parlante: For each pixel in the image, set the red to zero.
84
264726
3071
Nick Parlante: Para cada pixel na imagem, ajuste o vermelho no zero.
04:27
Paul Offit: ... Vaccine allowed us to eliminate polio virus.
85
267797
2977
Paul Offit: ... A vacina permitiu a erradicação do vírus da pólio.
04:30
Dan Jurafsky: Does Lufthansa serve breakfast and San Jose? Well, that sounds funny.
86
270774
3623
Dan Jurafsky: A Lufthansa serve café da manhã em San Jose? Bem, isso é estranho.
04:34
Daphne Koller: So this is which coin you pick, and this is the two tosses.
87
274397
3616
Daphne Koller: Assim você escolhe a moeda, e esses são os 2 lances.
04:38
Andrew Ng: So in large-scale machine learning, we'd like to come up with computational ...
88
278013
3687
Andrew Ng: Em aprendizagem de máquinas de grande escala, gostaríamos de chegar ao computacional...
04:41
(Applause)
89
281700
5609
(Aplausos)
04:47
DK: It turns out, maybe not surprisingly,
90
287309
2274
DK: Talvez não seja surpresa
04:49
that students like getting the best content
91
289583
2238
que alunos gostem de obter o melhor conteúdo
04:51
from the best universities for free.
92
291821
2887
das melhores universidades gratuitamente.
04:54
Since we opened the website in February,
93
294708
2522
Desde que inauguramos o site em fevereiro,
04:57
we now have 640,000 students from 190 countries.
94
297230
4358
tivemos 640.000 alunos de 190 países.
05:01
We have 1.5 million enrollments,
95
301588
2152
Temos 1.5 milhão de inscrições,
05:03
6 million quizzes in the 15 classes that have launched
96
303740
2850
6 milhões de testes nas 15 turmas já lançadas
05:06
so far have been submitted, and 14 million videos have been viewed.
97
306590
4916
foram aplicados, e 14 milhões de visualizações de vídeos.
05:11
But it's not just about the numbers,
98
311506
2518
Mas não se trata apenas de números,
05:14
it's also about the people.
99
314024
1641
e sim de pessoas.
05:15
Whether it's Akash, who comes from a small town in India
100
315665
2976
Quer seja Akash, de uma pequena cidade na Índia
05:18
and would never have access in this case
101
318641
2175
que jamais teria acesso
05:20
to a Stanford-quality course
102
320816
1489
a um curso da qualidade em Stanford
05:22
and would never be able to afford it.
103
322305
2515
e nunca teria condições de pagar.
05:24
Or Jenny, who is a single mother of two
104
324820
2038
Ou Jenny, uma mãe solteira com 2 filhos
05:26
and wants to hone her skills
105
326858
1967
que quer aprimorar suas habilidades
05:28
so that she can go back and complete her master's degree.
106
328825
3135
para voltar e concluir um mestrado.
05:31
Or Ryan, who can't go to school,
107
331960
3136
Ou Ryan, que não pode frequentar uma faculdade,
05:35
because his immune deficient daughter
108
335096
1865
porque sua filha imunodeficiente
05:36
can't be risked to have germs come into the house,
109
336961
3383
não pode arriscar-se a ter germes em casa,
05:40
so he couldn't leave the house.
110
340344
1840
e por isso ele não sai.
05:42
I'm really glad to say --
111
342184
1632
Fico muito contente em dizer --
05:43
recently, we've been in correspondence with Ryan --
112
343816
2252
recentemente, tivemos contato com Ryan --
05:46
that this story had a happy ending.
113
346068
1932
que sua história teve um final feliz.
05:48
Baby Shannon -- you can see her on the left --
114
348000
1903
Baby Shannon -- podem vê-la à esquerda --
05:49
is doing much better now,
115
349903
1351
está bem melhor agora,
05:51
and Ryan got a job by taking some of our courses.
116
351254
4198
e Ryan conseguiu emprego por ter feito os cursos.
05:55
So what made these courses so different?
117
355452
2244
Então o que há de diferente nesses cursos?
05:57
After all, online course content has been available for a while.
118
357696
3720
Até porque, cursos online existem a algum tempo.
06:01
What made it different was that this was real course experience.
119
361416
3712
A diferença é que são experiências de um curso real.
06:05
It started on a given day,
120
365128
1726
Começam em dia determinado,
06:06
and then the students would watch videos on a weekly basis
121
366854
3634
os alunos assistem aos vídeos semanalmente
06:10
and do homework assignments.
122
370488
1855
e fazem deveres de casa.
06:12
And these would be real homework assignments
123
372343
1791
São deveres de casa reais
06:14
for a real grade, with a real deadline.
124
374134
3304
com avaliações e prazos reais.
06:17
You can see the deadlines and the usage graph.
125
377438
2056
Podem ver os prazos e gráficos de uso.
06:19
These are the spikes showing
126
379494
2088
Esses são os picos mostrando
06:21
that procrastination is global phenomenon.
127
381582
3789
que procrastinação é um fenômeno mundial.
06:25
(Laughter)
128
385371
2576
(Risos)
06:27
At the end of the course,
129
387947
1672
Ao final do curso,
06:29
the students got a certificate.
130
389619
1856
os alunos recebem um certificado.
06:31
They could present that certificate
131
391475
2160
Podem apresentar esse certificado
06:33
to a prospective employer and get a better job,
132
393635
2153
a um provável empregador e obter um emprego melhor
06:35
and we know many students who did.
133
395788
2060
e sabemos de muitos alunos que o conseguiram.
06:37
Some students took their certificate
134
397848
1919
Alguns alunos pegaram seus certificados
06:39
and presented this to an educational institution at which they were enrolled
135
399767
3122
e os apresentaram a instituição educacional em que estudavam
06:42
for actual college credit.
136
402889
1841
para obtenção de crédito.
06:44
So these students were really getting something meaningful
137
404730
2214
Assim eles conseguiram algo significativo
06:46
for their investment of time and effort.
138
406944
2834
por seu investimento de tempo e dedicação.
06:49
Let's talk a little bit about some of the components
139
409778
2555
Vamos falar um pouco sobre alguns componentes
06:52
that go into these courses.
140
412333
1892
desses cursos.
06:54
The first component is that when you move away
141
414225
2628
O primeiro é que quando você se afasta
06:56
from the constraints of a physical classroom
142
416853
2297
das limitações do espaço físico da sala de aula
06:59
and design content explicitly for an online format,
143
419150
2840
e projeta o conteúdo explicitamente para um formato online,
07:01
you can break away from, for example,
144
421990
2528
você pode fugir, por exemplo,
07:04
the monolithic one-hour lecture.
145
424518
2415
do monolítico discurso de uma hora.
07:06
You can break up the material, for example,
146
426933
1785
Pode dividir o material, por exemplo,
07:08
into these short, modular units of eight to 12 minutes,
147
428718
3376
em curtas unidades modulares de 8 a 12 minutos,
07:12
each of which represents a coherent concept.
148
432094
2974
cada qual representando um conceito coerente.
07:15
Students can traverse this material in different ways,
149
435068
2570
Alunos podem examinar o material de diferentes modos,
07:17
depending on their background, their skills or their interests.
150
437638
3704
dependendo de sua formação, habilidades ou interesses.
07:21
So, for example, some students might benefit
151
441342
2520
Alguns alunos podem beneficiar-se
07:23
from a little bit of preparatory material
152
443862
2760
de um pouco do material preparatório
07:26
that other students might already have.
153
446622
2071
que outros alunos já tiveram.
07:28
Other students might be interested in a particular
154
448693
2440
Outros alunos podem ter interesse em estudar
07:31
enrichment topic that they want to pursue individually.
155
451133
3086
mais profundamente um tópico em particular.
07:34
So this format allows us to break away
156
454219
3235
Assim esse formato nos permite romper
07:37
from the one-size-fits-all model of education,
157
457454
2824
com o modelo único de educação para todos,
07:40
and allows students to follow a much more personalized curriculum.
158
460278
3992
e permite aos alunos um currículo mais personalizado.
07:44
Of course, we all know as educators
159
464270
2343
Claro, sabemos, como educadores,
07:46
that students don't learn by sitting and passively watching videos.
160
466613
3360
que alunos não aprendem assistindo a vídeos passivamente.
07:49
Perhaps one of the biggest components of this effort
161
469973
2945
Talvez um dos maiores componentes desse empenho
07:52
is that we need to have students
162
472918
2592
seja a necessidade de ter alunos
07:55
who practice with the material
163
475510
2409
que pratiquem o conteúdo
07:57
in order to really understand it.
164
477919
3156
para compreendê-lo bem.
08:01
There's been a range of studies that demonstrate the importance of this.
165
481075
3268
Há uma série de estudos demonstrando a importância disso.
08:04
This one that appeared in Science last year, for example,
166
484343
2532
Esse que apareceu em Ciências, ano passado,
08:06
demonstrates that even simple retrieval practice,
167
486875
2832
demonstra que mesmo uma simples prática de revisão,
08:09
where students are just supposed to repeat
168
489707
2792
quando alunos apenas repetem
08:12
what they already learned
169
492499
1400
o que já foi ensinado,
08:13
gives considerably improved results
170
493899
1920
dá resultados mais satisfatórios
08:15
on various achievement tests down the line
171
495819
2269
em vários testes de desempenho
08:18
than many other educational interventions.
172
498088
4304
do que muitas outras intervenções educacionais.
08:22
We've tried to build in retrieval practice into the platform,
173
502392
2962
Tentamos criar exercícios de revisão na plataforma,
08:25
as well as other forms of practice in many ways.
174
505354
2254
assim como outras formas de prática de modos variados.
08:27
For example, even our videos are not just videos.
175
507608
4144
Por exemplo, nossos vídeos não são apenas vídeos.
08:31
Every few minutes, the video pauses
176
511752
2043
A cada poucos minutos, o vídeo pausa
08:33
and the students get asked a question.
177
513795
2151
e os alunos recebem uma pergunta.
08:35
(Video) SP: ... These four things. Prospect theory, hyperbolic discounting,
178
515946
2221
(Vídeo) SP: ... Essas quatro coisas. Teoria do prospecto, redução hiperbólica,
08:38
status quo bias, base rate bias. They're all well documented.
179
518167
3092
tendência do status quo e taxa básica. Estão todas bem documentadas.
08:41
So they're all well documented deviations from rational behavior.
180
521259
2767
Então, todos são bem documentados desvios do comportamento racional.
08:44
DK: So here the video pauses,
181
524026
1624
DK: Aqui pausa-se o vídeo,
08:45
and the student types in the answer into the box
182
525650
2256
e o aluno digita a resposta no espaço
08:47
and submits. Obviously they weren't paying attention.
183
527906
3223
e a envia. Claro que não estão prestando atenção.
08:51
(Laughter)
184
531144
869
(Risos)
08:52
So they get to try again,
185
532013
2010
Então tentam novamente,
08:54
and this time they got it right.
186
534023
2536
e dessa vez acertam.
08:56
There's an optional explanation if they want.
187
536559
2193
Há uma explicação opcional, caso queiram.
08:58
And now the video moves on to the next part of the lecture.
188
538752
4257
E agora o vídeo avança à parte seguinte da aula.
09:03
This is a kind of simple question
189
543009
1878
Essa é uma pergunta meio simples
09:04
that I as an instructor might ask in class,
190
544887
2081
que eu como instrutora talvez faça em aula,
09:06
but when I ask that kind of a question in class,
191
546968
2500
mas quando pergunto em aula,
09:09
80 percent of the students
192
549468
1300
80 por cento dos alunos
09:10
are still scribbling the last thing I said,
193
550768
1866
ainda estão anotando o que acabei de dizer,
09:12
15 percent are zoned out on Facebook,
194
552634
3321
15 por cento está no Facebook,
09:15
and then there's the smarty pants in the front row
195
555955
2456
e também há os sabichões da primeira fila
09:18
who blurts out the answer
196
558411
1359
que se apressam a responder
09:19
before anyone else has had a chance to think about it,
197
559770
2207
antes que os outros tenham chance de pensar a respeito,
09:21
and I as the instructor am terribly gratified
198
561977
2872
e como instrutora fico muito grata
09:24
that somebody actually knew the answer.
199
564849
1648
por alguém saber a resposta.
09:26
And so the lecture moves on before, really,
200
566497
2792
E assim a aula segue antes que
09:29
most of the students have even noticed that a question had been asked.
201
569289
3529
a maioria dos alunos percebam que a pergunta foi respondida.
09:32
Here, every single student
202
572818
2607
Aqui, cada aluno
09:35
has to engage with the material.
203
575425
2784
tem que se envolver com o assunto.
09:38
And of course these simple retrieval questions
204
578209
1936
E claro essas simples questões de revisão
09:40
are not the end of the story.
205
580145
1662
não são o fim da história.
09:41
One needs to build in much more meaningful practice questions,
206
581807
2970
É preciso criar exercícios bem mais significativos,
09:44
and one also needs to provide the students with feedback
207
584777
2353
e também prover aos alunos
09:47
on those questions.
208
587130
1663
feeedback sobre as questões.
09:48
Now, how do you grade the work of 100,000 students
209
588793
2888
Bem, como avaliar o trabalho de 100.000 alunos
09:51
if you do not have 10,000 TAs?
210
591681
3082
se não temos 10.000 tutores?
09:54
The answer is, you need to use technology
211
594763
2354
A resposta é, precisamos usar tecnologia
09:57
to do it for you.
212
597117
1495
a nosso favor.
09:58
Now, fortunately, technology has come a long way,
213
598612
2648
Felizmente, a tecnologia avançou muito, e
10:01
and we can now grade a range of interesting types of homework.
214
601260
3268
podemos avaliar muitos tipos interessantes de dever de casa.
10:04
In addition to multiple choice
215
604528
1527
Além de múltipla escolha
10:06
and the kinds of short answer questions that you saw in the video,
216
606055
3153
e os tipos de perguntas curtas que viram no vídeo,
10:09
we can also grade math, mathematical expressions
217
609208
3260
podemos dar notas tanto em matemática como em expressões
10:12
as well as mathematical derivations.
218
612468
1952
e derivações matemáticas.
10:14
We can grade models, whether it's
219
614420
2874
Podemos avaliar modelos, tanto os
10:17
financial models in a business class
220
617294
2176
financeiros em uma aula de negócios
10:19
or physical models in a science or engineering class
221
619470
2984
como os de física em uma aula de Ciências ou Engenharia
10:22
and we can grade some pretty sophisticated programming assignments.
222
622454
3744
e podemos avaliar trabalhos de programação bem sofisticados.
10:26
Let me show you one that's actually pretty simple
223
626198
1919
Mostrarei um modelo até bem simples
10:28
but fairly visual.
224
628117
1480
mas um tanto visual.
10:29
This is from Stanford's Computer Science 101 class,
225
629597
2477
Este é da turma 101 de Ciências da Computação de Stanford,
10:32
and the students are supposed to color-correct
226
632074
1604
e os alunos devem corrigir as cores
10:33
that blurry red image.
227
633678
1592
dessa imagem borrada de vermelho.
10:35
They're typing their program into the browser,
228
635270
2018
Eles estão digitando o programa no navegador,
10:37
and you can see they didn't get it quite right, Lady Liberty is still seasick.
229
637288
4058
e ainda não acertaram, a Dama da Liberdade ainda está enjoada.
10:41
And so, the student tries again, and now they got it right, and they're told that,
230
641346
3756
Então, tentam novamente, acertam, isso é dito,
10:45
and they can move on to the next assignment.
231
645102
2359
e assim podem ir para o próximo trabalho.
10:47
This ability to interact actively with the material
232
647461
3148
Essa possibilidade de interagir ativamente com o conteúdo
10:50
and be told when you're right or wrong
233
650609
1684
e saber quando acertou ou errou
10:52
is really essential to student learning.
234
652293
3126
é essencial ao aprendizado do aluno.
10:55
Now, of course we cannot yet grade
235
655419
2275
Claro que não podemos ainda avaliar
10:57
the range of work that one needs for all courses.
236
657694
2834
todas as tarefas necessárias a todos os cursos.
11:00
Specifically, what's lacking is the kind of critical thinking work
237
660528
3301
Especificamente, falta o tipo de trabalho crítico
11:03
that is so essential in such disciplines
238
663829
1922
que é tão essencial em disciplinas
11:05
as the humanities, the social sciences, business and others.
239
665751
3597
de Humanas, Ciências Sociais, Negócios e outras.
11:09
So we tried to convince, for example,
240
669348
2249
Tentamos convencer,
11:11
some of our humanities faculty
241
671597
1616
algumas faculdades de Humanas
11:13
that multiple choice was not such a bad strategy.
242
673213
2696
de que múltipla escolha não era tão ruim.
11:15
That didn't go over really well.
243
675909
2191
O que não deu muito certo.
11:18
So we had to come up with a different solution.
244
678100
2433
Então tivemos que encontrar outra solução.
11:20
And the solution we ended up using is peer grading.
245
680533
3074
E chegamos a 'avaliação entre alunos'.
11:23
It turns out that previous studies show,
246
683607
2422
Estudos anteriores mostram,
11:26
like this one by Saddler and Good,
247
686029
1672
como este de Saddler e Good,
11:27
that peer grading is a surprisingly effective strategy
248
687701
2488
que esse tipo de avaliação é bem eficaz
11:30
for providing reproducible grades.
249
690189
3214
como meta à atingir avaliações justas.
11:33
It was tried only in small classes,
250
693403
1770
Só tentamos em turmas pequenas,
11:35
but there it showed, for example,
251
695173
1487
mas ficou demonstrado,
11:36
that these student-assigned grades on the y-axis
252
696660
2482
que essas notas dadas por alunos no eixo y
11:39
are actually very well correlated
253
699142
1311
estão bem correlacionadas
11:40
with the teacher-assigned grade on the x-axis.
254
700453
2296
às avaliações feitas por professores no eixo x.
11:42
What's even more surprising is that self-grades,
255
702749
3160
O mais surpreendente é que as autoavaliações,
11:45
where the students grade their own work critically --
256
705909
2311
quando alunos avaliam seus próprios trabalhos --
11:48
so long as you incentivize them properly
257
708220
1737
desde que incentivados da forma correta,
11:49
so they can't give themselves a perfect score --
258
709957
1938
para que não se autoavaliem com nota máxima --
11:51
are actually even better correlated with the teacher grades.
259
711895
3191
estão ainda melhor correlacionadas às avaliações dos professores.
11:55
And so this is an effective strategy
260
715086
1607
Então essa é uma estratégia eficaz
11:56
that can be used for grading at scale,
261
716693
2104
que pode ser usada nas avaliações em larga escala,
11:58
and is also a useful learning strategy for the students,
262
718797
2736
e também é uma estratégia de aprendizagem útil aos alunos,
12:01
because they actually learn from the experience.
263
721533
2255
porque eles realmente aprendem com a experiência.
12:03
So we now have the largest peer-grading pipeline ever devised,
264
723788
4649
Assim temos o maior canal de avaliação entre alunos já concebido,
12:08
where tens of thousands of students
265
728437
2504
onde dezenas de milhares de alunos
12:10
are grading each other's work,
266
730941
1198
avaliam uns aos outros,
12:12
and quite successfully, I have to say.
267
732139
3069
com bastante sucesso.
12:15
But this is not just about students
268
735208
2260
Mas não se trata apenas de alunos
12:17
sitting alone in their living room working through problems.
269
737468
3041
sozinhos em casa solucionando questões.
12:20
Around each one of our courses,
270
740509
1807
Em volta de cada curso,
12:22
a community of students had formed,
271
742316
2160
há uma comunidade de alunos formada,
12:24
a global community of people
272
744476
1880
uma comunidade global
12:26
around a shared intellectual endeavor.
273
746356
2532
em torno de um empenho intelectual compartilhado.
12:28
What you see here is a self-generated map
274
748888
2652
Vemos aqui um mapa feito
12:31
from students in our Princeton Sociology 101 course,
275
751540
2961
por estudantes da turma 101 de Sociologia em Princeton,
12:34
where they have put themselves on a world map,
276
754501
2759
que se colocaram em um mapa-mundi,
12:37
and you can really see the global reach of this kind of effort.
277
757260
2960
e podemos ver o alcance global desse empenho.
12:40
Students collaborated in these courses in a variety of different ways.
278
760220
4567
Estudantes colaboraram nesses cursos de várias formas.
12:44
First of all, there was a question and answer forum,
279
764787
2639
Primeiro, houve um fórum de perguntas e respostas,
12:47
where students would pose questions,
280
767426
2144
em que uns alunos postavam perguntas,
12:49
and other students would answer those questions.
281
769570
2424
e outros as respondiam.
12:51
And the really amazing thing is,
282
771994
1713
E o mais incrível é que,
12:53
because there were so many students,
283
773707
1670
por haver tantos alunos,
12:55
it means that even if a student posed a question
284
775377
2365
isso significa que se um aluno postar uma pergunta
12:57
at 3 o'clock in the morning,
285
777742
1632
as 3:00 da manhã,
12:59
somewhere around the world,
286
779374
1582
em algum lugar do mundo,
13:00
there would be somebody who was awake
287
780956
2074
haveria alguém acordado
13:03
and working on the same problem.
288
783030
2313
e trabalhando na mesma questão.
13:05
And so, in many of our courses,
289
785343
1958
Então, em muitos cursos,
13:07
the median response time for a question
290
787301
2329
a média de tempo de resposta
13:09
on the question and answer forum was 22 minutes.
291
789630
3418
a uma pergunta no fórum era de 22 minutos.
13:13
Which is not a level of service I have ever offered to my Stanford students.
292
793048
4577
O que não é o nível de serviço que ofereço a meus alunos em Stanford.
13:17
(Laughter)
293
797625
1341
(Risos)
13:18
And you can see from the student testimonials
294
798966
1942
E podemos ver pelos testemunhos dos alunos
13:20
that students actually find
295
800908
1687
que eles realmente pensam
13:22
that because of this large online community,
296
802595
2521
isso por causa dessa imensa comunidade online,
13:25
they got to interact with each other in many ways
297
805116
2599
eles interagem entre si de várias maneiras
13:27
that were deeper than they did in the context of the physical classroom.
298
807715
4193
mais profundas do que no contexto do espaço físico da sala de aula.
13:31
Students also self-assembled,
299
811908
2344
Os Alunos também se reunem,
13:34
without any kind of intervention from us,
300
814252
1863
sem nossa intervenção,
13:36
into small study groups.
301
816115
1903
em pequenos grupos de estudo.
13:38
Some of these were physical study groups
302
818018
2362
Alguns eram grupos de estudos físicos
13:40
along geographical constraints
303
820380
1826
sobre restrições geográficas
13:42
and met on a weekly basis to work through problem sets.
304
822206
2722
e encontravam-se semanalmente para resolver questões.
13:44
This is the San Francisco study group,
305
824928
1900
Este é o grupo de estudo de San Francisco,
13:46
but there were ones all over the world.
306
826828
2319
e havia outros em todo o mundo.
13:49
Others were virtual study groups,
307
829147
2032
Outros eram grupos virtuais de estudo,
13:51
sometimes along language lines or along cultural lines,
308
831179
2989
às vezes junto a linhas culturais ou de linguagem,
13:54
and on the bottom left there,
309
834168
1444
e embaixo à esquerda,
13:55
you see our multicultural universal study group
310
835612
3796
vemos nosso grupo de estudo multicultural universal
13:59
where people explicitly wanted to connect
311
839408
1763
onde pessoas queriam se conectar
14:01
with people from other cultures.
312
841171
3006
com gente de outras culturas.
14:04
There are some tremendous opportunities
313
844177
2111
Há tremendas oportunidades
14:06
to be had from this kind of framework.
314
846288
3325
a se extrair dessa estrutura.
14:09
The first is that it has the potential of giving us
315
849613
3654
A primeira é o potencial de nos dar
14:13
a completely unprecedented look
316
853267
2434
um olhar completamente novo
14:15
into understanding human learning.
317
855701
2289
sobre a compreensão do aprendizado humano.
14:17
Because the data that we can collect here is unique.
318
857990
3463
Porque os dados coletados aqui são inéditos.
14:21
You can collect every click, every homework submission,
319
861453
4009
Podemos colecionar cada clique, envio de dever de casa,
14:25
every forum post from tens of thousands of students.
320
865462
4363
comentário no fórum de dezenas de milhares de alunos.
14:29
So you can turn the study of human learning
321
869825
2343
Assim podemos tornar o estudo da aprendizagem humana,
14:32
from the hypothesis-driven mode
322
872168
1933
do modelo dirigido de hipóteses
14:34
to the data-driven mode, a transformation that,
323
874101
2858
ao dirigido por dados, uma transformação que
14:36
for example, has revolutionized biology.
324
876959
3041
tem revolucionado a biologia.
14:40
You can use these data to understand fundamental questions
325
880000
3424
Podemos usar esses dados para entender questões fundamentais
14:43
like, what are good learning strategies
326
883424
1880
como, quais são as boas estratégias de aprendizagem
14:45
that are effective versus ones that are not?
327
885304
2696
eficazes e as que não são?
14:48
And in the context of particular courses,
328
888000
2240
E em relação a cursos específicos,
14:50
you can ask questions
329
890240
1537
podemos fazer perguntas
14:51
like, what are some of the misconceptions that are more common
330
891777
3255
como, quais são os conceitos equivocados mais comuns
14:55
and how do we help students fix them?
331
895032
2177
e como podemos ajudar os alunos a resolvê-los?
14:57
So here's an example of that,
332
897209
1424
Então aqui está um exemplo,
14:58
also from Andrew's Machine Learning class.
333
898633
2016
também da turma de Andrew sobre Aprendizagem de Máquinas.
15:00
This is a distribution of wrong answers
334
900649
2208
Essa é uma distribuição de respostas erradas
15:02
to one of Andrew's assignments.
335
902857
1610
a um dos trabalhos pedidos por Andrew.
15:04
The answers happen to be pairs of numbers,
336
904467
1893
As respostas são pares de números,
15:06
so you can draw them on this two-dimensional plot.
337
906360
2271
então podemos desenhá-los nesse gráfico bidimensional.
15:08
Each of the little crosses that you see is a different wrong answer.
338
908631
3778
Cada cruzinha é uma resposta errada diferente.
15:12
The big cross at the top left
339
912409
2406
A cruz grande no alto à esquerda
15:14
is where 2,000 students
340
914815
2148
marca o lugar em que 2.000 alunos
15:16
gave the exact same wrong answer.
341
916963
3045
deram a mesma resposta errada.
15:20
Now, if two students in a class of 100
342
920008
2327
Agora, se 2 alunos de uma turma de 100
15:22
give the same wrong answer,
343
922335
1287
derem a mesma resposta errada,
15:23
you would never notice.
344
923622
1351
vocês não notariam.
15:24
But when 2,000 students give the same wrong answer,
345
924973
2560
Mas quando 2.000 dão a mesma resposta errada,
15:27
it's kind of hard to miss.
346
927533
1697
difícil não notarmos.
15:29
So Andrew and his students went in,
347
929230
2192
Então Andrew e seus alunos foram lá,
15:31
looked at some of those assignments,
348
931422
1520
olharam alguns dos trabalhos,
15:32
understood the root cause of the misconception,
349
932942
4088
entenderam a raiz do equívoco,
15:37
and then they produced a targeted error message
350
937030
2520
e produziram uma mensagem de erro direcionada
15:39
that would be provided to every student
351
939550
2249
que seria disponibilizada a cada aluno
15:41
whose answer fell into that bucket,
352
941799
2179
cuja resposta incidisse naquele erro,
15:43
which means that students who made that same mistake
353
943978
2084
significando que os que cometeram o mesmo erro
15:46
would now get personalized feedback
354
946062
2026
poderiam ter feedback personalizado
15:48
telling them how to fix their misconception much more effectively.
355
948088
4399
dizendo como corrigir o equívoco mais efetivamente.
15:52
So this personalization is something that one can then build
356
952487
3811
Então essa personalização é algo que alguém pode construir
15:56
by having the virtue of large numbers.
357
956298
3140
tendo esses números.
15:59
Personalization is perhaps
358
959438
2312
Personalização é talvez
16:01
one of the biggest opportunities here as well,
359
961750
2423
uma das grandes oportunidades aqui também,
16:04
because it provides us with the potential
360
964173
2345
porque ela nos provê com o potencial
16:06
of solving a 30-year-old problem.
361
966518
2690
de resolver um problema de 30 anos.
16:09
Educational researcher Benjamin Bloom, in 1984,
362
969208
3349
O pesquisador educacional Benjamin Bloom, em 1984,
16:12
posed what's called the 2 sigma problem,
363
972557
2251
expôs o chamado problema 2 sigma,
16:14
which he observed by studying three populations.
364
974808
3062
das observações de estudo de 3 grupos.
16:17
The first is the population that studied in a lecture-based classroom.
365
977870
3608
O primeiro é o que estudou numa turma de aulas expositivas.
16:21
The second is a population of students that studied
366
981478
2777
O segundo é o de alunos que estudaram
16:24
using a standard lecture-based classroom,
367
984255
1719
numa sala de aula padrão, de aulas expositivas,
16:25
but with a mastery-based approach,
368
985974
2080
mas com abordagem de domínio de conteúdo,
16:28
so the students couldn't move on to the next topic
369
988054
1920
assim os alunos só avançavam ao tópico seguinte
16:29
before demonstrating mastery of the previous one.
370
989974
3354
quando demonstravam ter dominado o anterior.
16:33
And finally, there was a population of students
371
993328
2294
E finalmente, havia o grupo de alunos
16:35
that were taught in a one-on-one instruction using a tutor.
372
995622
4528
que aprendeu através de instrução um a um, com tutor.
16:40
The mastery-based population was a full standard deviation,
373
1000150
3272
No grupo da abordagem de domínio de conteúdo, houve um desvio padrão total,
16:43
or sigma, in achievement scores better
374
1003422
2288
ou sigma, e ele atinge melhor desempenho
16:45
than the standard lecture-based class,
375
1005710
2394
do que o grupo de aulas expositivas regulares,
16:48
and the individual tutoring gives you 2 sigma
376
1008104
2144
e o de tutorial individual atinge 2 sigma
16:50
improvement in performance.
377
1010248
1830
em melhor aproveitamento.
16:52
To understand what that means,
378
1012078
1463
Para entender o significado disso,
16:53
let's look at the lecture-based classroom,
379
1013541
1833
vamos dar uma olhada na turma de aulas expositivas,
16:55
and let's pick the median performance as a threshold.
380
1015374
2919
e vamos escolher o desempenho médio como limiar.
16:58
So in a lecture-based class,
381
1018293
1338
Assim numa turma de aulas expositivas,
16:59
half the students are above that level and half are below.
382
1019631
3879
metade dos alunos estão acima desse nível e metade abaixo.
17:03
In the individual tutoring instruction,
383
1023510
2098
No método de instrução individual tutorial,
17:05
98 percent of the students are going to be above that threshold.
384
1025608
4801
98 por cento dos alunos estão acima desse limiar.
17:10
Imagine if we could teach so that 98 percent of our students
385
1030409
3920
Imaginem se pudéssemos ensinar de modo que 98% de nossos alunos
17:14
would be above average.
386
1034329
2198
ficassem acima da média.
17:16
Hence, the 2 sigma problem.
387
1036527
3423
Por isso, os problemas 2 sigma.
17:19
Because we cannot afford, as a society,
388
1039950
2399
Porque não podemos, como sociedade,
17:22
to provide every student with an individual human tutor.
389
1042349
3072
prover cada aluno com um tutor humano individual.
17:25
But maybe we can afford to provide each student
390
1045421
2249
Mas talvez possamos dispor a cada aluno
17:27
with a computer or a smartphone.
391
1047670
2019
um computador ou smartphone.
17:29
So the question is, how can we use technology
392
1049689
2189
Então como podemos usar tecnologia
17:31
to push from the left side of the graph, from the blue curve,
393
1051878
3375
para mover o lado esquerdo do gráfico, da curva azul
17:35
to the right side with the green curve?
394
1055253
2738
para o lado direito na curva verde?
17:37
Mastery is easy to achieve using a computer,
395
1057991
2337
É fácil alcançar excelência através de um computador,
17:40
because a computer doesn't get tired
396
1060328
1405
porque ele não se cansa
17:41
of showing you the same video five times.
397
1061733
3073
de mostrar-nos o mesmo vídeo cinco vezes.
17:44
And it doesn't even get tired of grading the same work multiple times,
398
1064806
3251
E ele não se cansa de avaliar um trabalho muitas vezes,
17:48
we've seen that in many of the examples that I've shown you.
399
1068062
3026
vimos isso em vários exemplos.
17:51
And even personalization
400
1071088
1854
E mesmo personalização
17:52
is something that we're starting to see the beginnings of,
401
1072942
2136
é algo que está apenas começando,
17:55
whether it's via the personalized trajectory through the curriculum
402
1075078
3192
seja via trajetória personalizada através do curriculum
17:58
or some of the personalized feedback that we've shown you.
403
1078270
3264
ou algum feedback personalizado que mostrei.
18:01
So the goal here is to try and push,
404
1081534
2488
Portanto, a meta aqui é tentar empurrar,
18:04
and see how far we can get towards the green curve.
405
1084022
3497
e ver até onde podemos chegar na curva verde.
18:07
So, if this is so great, are universities now obsolete?
406
1087519
5359
Então, se isso é tão incrível, as universidades agora estão obsoletas?
18:12
Well, Mark Twain certainly thought so.
407
1092878
2992
Bem, Mark Twain não pensava assim.
18:15
He said that, "College is a place where a professor's lecture notes
408
1095870
2545
Ele disse que, "A Faculdade é um lugar onde as anotações de aula do professor
18:18
go straight to the students' lecture notes,
409
1098415
1703
vão direto para as anotações de aula dos alunos,
18:20
without passing through the brains of either."
410
1100118
2376
sem passar pelos cérebros de ambos."
18:22
(Laughter)
411
1102494
4047
(Risos)
18:26
I beg to differ with Mark Twain, though.
412
1106541
2668
No entanto, peço que discordem de Mark Twain.
18:29
I think what he was complaining about is not
413
1109209
2665
Penso que ele não fazia críticas às universidades
18:31
universities but rather the lecture-based format
414
1111874
2750
e sim ao formato de aula
18:34
that so many universities spend so much time on.
415
1114624
2784
a que muitas universidades se dedicam tanto.
18:37
So let's go back even further, to Plutarch,
416
1117408
3159
Então voltemos ainda mais fundo no tempo, a Plutarco,
18:40
who said that, "The mind is not a vessel that needs filling,
417
1120567
2227
que disse, "A mente não deve ser enchida como a um vaso,
18:42
but wood that needs igniting."
418
1122794
2023
e sim acesa como lenha ao fogo."
18:44
And maybe we should spend less time at universities
419
1124817
2190
E talvez devêssemos gastar menos tempo nas universidades
18:47
filling our students' minds with content
420
1127007
2571
enchendo as mentes dos nossos alunos com discursos,
18:49
by lecturing at them, and more time igniting their creativity,
421
1129578
3800
e sim usar mais tempo estimulando criatividade,
18:53
their imagination and their problem-solving skills
422
1133378
3255
imaginação e habilidades de resolução de problemas,
18:56
by actually talking with them.
423
1136633
2498
conversando, de fato, com eles.
18:59
So how do we do that?
424
1139131
1367
Então como fazemos isso?
19:00
We do that by doing active learning in the classroom.
425
1140498
3431
Através de aprendizagem ativa em classe.
19:03
So there's been many studies, including this one,
426
1143929
2449
Assim há muitos estudos, inclusive este,
19:06
that show that if you use active learning,
427
1146378
2080
mostrando que se usamos aprendizagem ativa,
19:08
interacting with your students in the classroom,
428
1148458
2416
interagindo com os alunos em classe,
19:10
performance improves on every single metric --
429
1150874
2696
a performance avança em cada métrica --
19:13
on attendance, on engagement and on learning
430
1153570
2449
na frequência, engajamento e no aprendizado
19:16
as measured by a standardized test.
431
1156019
2055
como mensurado por um teste padrão.
19:18
You can see, for example, that the achievement score
432
1158074
1864
Podem ver que o taxa de desempenho
19:19
almost doubles in this particular experiment.
433
1159938
2870
quase dobra nesse experimento em particular.
19:22
So maybe this is how we should spend our time at universities.
434
1162808
4401
Então, talvez, seja assim que deveríamos gastar nosso tempo nas universidades.
19:27
So to summarize, if we could offer a top quality education
435
1167209
4577
Resumindo, se pudéssemos oferecer uma educação de alta qualidade
19:31
to everyone around the world for free,
436
1171786
1903
a todos no mundo gratuitamente,
19:33
what would that do? Three things.
437
1173689
2821
o que ela faria? Três coisas.
19:36
First it would establish education as a fundamental human right,
438
1176510
3421
Primeiro, ela estabeleceria a educação como direito humano fundamental,
19:39
where anyone around the world
439
1179931
1366
em que qualquer um no mundo
19:41
with the ability and the motivation
440
1181297
1921
com capacidade e motivação
19:43
could get the skills that they need
441
1183218
1951
poderia conseguir as habilidades necessárias
19:45
to make a better life for themselves,
442
1185169
1585
para melhorar sua própria vida,
19:46
their families and their communities.
443
1186754
2017
de sua família e comunidade.
19:48
Second, it would enable lifelong learning.
444
1188771
2631
Segundo, ela possibitaria o aprendizado contínuo.
19:51
It's a shame that for so many people,
445
1191402
1951
É uma pena que para tanta gente,
19:53
learning stops when we finish high school or when we finish college.
446
1193353
3312
a aprendizado termina quando eles acabam o ensino médio ou a graduação.
19:56
By having this amazing content be available,
447
1196665
2481
Mas tendo esse incrível conteúdo disponível,
19:59
we would be able to learn something new
448
1199146
2743
poderíamos aprender algo novo
20:01
every time we wanted,
449
1201889
1136
sempre que quiséssemos,
20:03
whether it's just to expand our minds
450
1203025
1329
para expandir nossas mentes
20:04
or it's to change our lives.
451
1204354
1959
ou mudar nossas vidas.
20:06
And finally, this would enable a wave of innovation,
452
1206313
3145
E finalmente, isso permitiria uma onda de inovação,
20:09
because amazing talent can be found anywhere.
453
1209458
3072
porque talentos marvilhosos podem ser encontrados em qualquer lugar.
20:12
Maybe the next Albert Einstein or the next Steve Jobs
454
1212530
3008
Talvez o próximo Albert Einstein ou Steve Jobs
20:15
is living somewhere in a remote village in Africa.
455
1215538
2615
esteja morando numa distante vila na África.
20:18
And if we could offer that person an education,
456
1218153
2656
E se pudéssemos oferecer a ele uma educação,
20:20
they would be able to come up with the next big idea
457
1220809
2356
ele poderia ter a próxima grande ideia
20:23
and make the world a better place for all of us.
458
1223165
2404
e fazer do mundo um lugar melhor para todos.
20:25
Thank you very much.
459
1225569
1160
Muito obrigada.
20:26
(Applause)
460
1226729
7583
(Aplausos)
Sobre este site

Este site apresentará a você vídeos do YouTube que são úteis para o aprendizado do inglês. Você verá aulas de inglês ministradas por professores de primeira linha de todo o mundo. Clique duas vezes nas legendas em inglês exibidas em cada página de vídeo para reproduzir o vídeo a partir daí. As legendas rolarão em sincronia com a reprodução do vídeo. Se você tiver algum comentário ou solicitação, por favor, entre em contato conosco usando este formulário de contato.

https://forms.gle/WvT1wiN1qDtmnspy7