Daphne Koller: What we're learning from online education

662,795 views ・ 2012-08-01

TED


Моля, кликнете два пъти върху английските субтитри по-долу, за да пуснете видеото.

00:00
Translator: Morton Bast Reviewer: Thu-Huong Ha
0
0
7000
Translator: Gergana Tomova Reviewer: Darina Stoyanova
00:15
Like many of you, I'm one of the lucky people.
1
15985
3111
Също като много от вас, аз съм една от хората с късмет.
00:19
I was born to a family where education was pervasive.
2
19096
3400
Родена съм в семейство, където образованието бе всеобхватно.
00:22
I'm a third-generation PhD, a daughter of two academics.
3
22496
4238
Аз съм трето поколение докторант, дъщеря на двама академици.
00:26
In my childhood, I played around in my father's university lab.
4
26734
3794
Като малка си играех в университетската лаборатория на баща ми.
00:30
So it was taken for granted that I attend some of the best universities,
5
30528
3849
Затова, от само себе си се разбираше, че трябва да посещавам някои от най-добрите университети,
00:34
which in turn opened the door to a world of opportunity.
6
34377
3801
които, от своя страна, отварят вратата към един свят, пълен с възможности.
00:38
Unfortunately, most of the people in the world are not so lucky.
7
38178
4120
За съжаление, не всички хора по света имат такъв късмет.
00:42
In some parts of the world, for example, South Africa,
8
42298
3135
В някои части на света, като, например, Южна Африка,
00:45
education is just not readily accessible.
9
45433
2705
образованието просто не е леснодостъпно.
00:48
In South Africa, the educational system was constructed
10
48138
2975
В ЮАР, образователната система е била изградена
00:51
in the days of apartheid for the white minority.
11
51113
2873
в дните на апартейда, за бялото малцинство.
00:53
And as a consequence, today there is just not enough spots
12
53986
2700
И като резултат, днес просто няма достатъчно места
00:56
for the many more people who want and deserve a high quality education.
13
56686
3852
за всички хора, които искат и заслужават висококачествено образование.
01:00
That scarcity led to a crisis in January of this year
14
60538
3880
Този недостиг бе причина за криза през Януари тази година
01:04
at the University of Johannesburg.
15
64418
1836
в Университета на Йоханесбург.
01:06
There were a handful of positions left open
16
66254
2131
Имаше няколко свободни места
01:08
from the standard admissions process, and the night before
17
68385
2969
от стандартния прием и в нощта, преди
01:11
they were supposed to open that for registration,
18
71354
2560
да ги обявят за регистрация от университета,
01:13
thousands of people lined up outside the gate in a line a mile long,
19
73914
4052
хиляди хора се наредиха пред портите, формирайки опашка, дълга една миля,
01:17
hoping to be first in line to get one of those positions.
20
77966
3880
надявайки се да бъдат първи и да получат едно от тези места.
01:21
When the gates opened, there was a stampede,
21
81846
2308
Котато вратите се отвориха, имаше меле,
01:24
and 20 people were injured and one woman died.
22
84154
3652
в което 20 човека бяха ранени, а една жена почина.
01:27
She was a mother who gave her life
23
87806
1940
Тя беше майка, която жертва живота си,
01:29
trying to get her son a chance at a better life.
24
89746
4063
опитвайки се да даде шанс на сина си за по-добър живот.
01:33
But even in parts of the world like the United States
25
93809
3157
Но дори и в части на света, като САЩ,
01:36
where education is available, it might not be within reach.
26
96966
4356
където образованието е налично, то може да не е достъпно.
01:41
There has been much discussed in the last few years
27
101322
2672
През последните няколко години имаше широка дискусия
01:43
about the rising cost of health care.
28
103994
1989
относно нарастващата цена на здравеопазването.
01:45
What might not be quite as obvious to people
29
105983
2642
Това, което може да не е толкова очевидно за хората, е, че
01:48
is that during that same period the cost of higher education tuition
30
108625
4022
в същото това време, размерът на таксата за висше образование
01:52
has been increasing at almost twice the rate,
31
112647
2480
бе нараствала почти двойно,
01:55
for a total of 559 percent since 1985.
32
115127
4280
с общо 559 процента от 1985.
01:59
This makes education unaffordable for many people.
33
119407
4534
Това прави образованието недостъпно за много хора.
02:03
Finally, even for those who do manage to get the higher education,
34
123941
3801
И на последно място, дори за тези, които успеят да получат висше образование,
02:07
the doors of opportunity might not open.
35
127742
2625
вратите на възможността могат да не се отворят.
02:10
Only a little over half of recent college graduates
36
130367
3207
Само малко повече от наскоро завършилите колежи в САЩ„
02:13
in the United States who get a higher education
37
133574
2313
които са получили висше образование,
02:15
actually are working in jobs that require that education.
38
135887
3463
имат работа, която изисква това образование.
02:19
This, of course, is not true for the students
39
139350
1840
Това, разбира се, не важи за студентите,
02:21
who graduate from the top institutions,
40
141190
1952
които завършат топ институциите,
02:23
but for many others, they do not get the value
41
143142
2632
но много други не получават качеството,
02:25
for their time and their effort.
42
145774
3536
отговарящо на техните време и усилия.
02:29
Tom Friedman, in his recent New York Times article,
43
149310
3030
Том Фрийдман, в негов скорошен материал за New York Times,
02:32
captured, in the way that no one else could, the spirit behind our effort.
44
152340
4368
улови по начин, по който друг не би могъл, вдъхновението зад нашето постижение.
02:36
He said the big breakthroughs are what happen
45
156708
3120
Той каза, че големите открития се случват тогава, когато
02:39
when what is suddenly possible meets what is desperately necessary.
46
159828
3899
това, което е възможно изведнъж, срещне това, което е абсолютно необходимо.
02:43
I've talked about what's desperately necessary.
47
163727
2621
Вече съм говорила за това, какво е абсолютно необходимото.
02:46
Let's talk about what's suddenly possible.
48
166348
2512
Нека да поговорим за това кое е изведнъж възможното.
02:48
What's suddenly possible was demonstrated by
49
168860
3119
Това, което в възможно изведнъж, беше демонстрирано от
02:51
three big Stanford classes,
50
171979
1568
три големи курса в Станфорд,
02:53
each of which had an enrollment of 100,000 people or more.
51
173547
3880
във всеки от който имаше от по 100,000 или повече приети.
02:57
So to understand this, let's look at one of those classes,
52
177427
3384
За да разберем това, трябва да разгледаме един от тези курсове,
03:00
the Machine Learning class offered by my colleague
53
180811
1920
по Машинознание, предлагано от моя колега
03:02
and cofounder Andrew Ng.
54
182731
1729
и съосновател, Андрю Енг.
03:04
Andrew teaches one of the bigger Stanford classes.
55
184460
2319
Андрю преподава един от по-посещавание предмети.
03:06
It's a Machine Learning class,
56
186779
1209
Това е клас по Машинознание и
03:07
and it has 400 people enrolled every time it's offered.
57
187988
3518
всеки път, когато се предлага, има по 400 приети.
03:11
When Andrew taught the Machine Learning class to the general public,
58
191506
3265
Когато Андрю преподаваше този предмет на общата публика,
03:14
it had 100,000 people registered.
59
194771
2616
имаше 100,000 регистрирани.
03:17
So to put that number in perspective,
60
197387
2009
И за да разберем по-добре това число,
03:19
for Andrew to reach that same size audience
61
199396
2359
за да може Андрю да преподава на аудитория със същата големина,
03:21
by teaching a Stanford class,
62
201755
1826
докато е в Станфорд,
03:23
he would have to do that for 250 years.
63
203581
3926
той ще трябва да прави това 250 години.
03:27
Of course, he'd get really bored.
64
207507
3486
Разбира се, че ще се отегчи много.
03:30
So, having seen the impact of this,
65
210993
2737
И след като видяхме ефекта от това,
03:33
Andrew and I decided that we needed to really try and scale this up,
66
213730
3128
Андрю и аз решихме да опитаме и да развием това,
03:36
to bring the best quality education to as many people as we could.
67
216858
4120
за да може да дадем висококачествено образование на колкото се може повече хора.
03:40
So we formed Coursera,
68
220978
1495
Затова, основахме Coursera,
03:42
whose goal is to take the best courses
69
222473
3137
чиято цел е да вземе най-добрите курсове,
03:45
from the best instructors at the best universities
70
225610
3317
от най-добрите инструктори, в най-добрите университети
03:48
and provide it to everyone around the world for free.
71
228927
4028
и да ги предоставим на всички по света, безплатно.
03:52
We currently have 43 courses on the platform
72
232955
2600
В момента имаме 43 курса в платформата,
03:55
from four universities across a range of disciplines,
73
235555
3199
от четири университета и разпределени сред няколко дисциплини.
03:58
and let me show you a little bit of an overview
74
238754
1833
Нека ви покажа малък преглед
04:00
of what that looks like.
75
240587
3278
върху това как изглежда.
04:03
(Video) Robert Ghrist: Welcome to Calculus.
76
243865
1213
(Видео) Робър Крист: Добре дошли в Аритметика.
04:05
Ezekiel Emanuel: Fifty million people are uninsured.
77
245078
1880
Езекийл Емануел: 50 милиона души нямат осигуровки.
04:06
Scott Page: Models help us design more effective institutions and policies.
78
246958
3271
Скот Пейдж: Моделите ни помагат да изготвим по-добри институции и политики.
04:10
We get unbelievable segregation.
79
250229
2408
Имаме изключителна сегрегация.
04:12
Scott Klemmer: So Bush imagined that in the future,
80
252637
1792
Скот Клемер: Затова, Буш си представи, че в бъдещето ще
04:14
you'd wear a camera right in the center of your head.
81
254429
2378
носите камера точно в центъра на главата си.
04:16
Mitchell Duneier: Mills wants the student of sociology to develop the quality of mind ...
82
256807
4254
Митчъл Дунейер: Милс иска студентa по социология да развие качеството на ума...
04:21
RG: Hanging cable takes on the form of a hyperbolic cosine.
83
261061
3665
РГ: Висящият кабел приема формата на хиперболичен косинус.
04:24
Nick Parlante: For each pixel in the image, set the red to zero.
84
264726
3071
Ник Парланте: За всеки пиксел в изображението, настройте червеното на нула.
04:27
Paul Offit: ... Vaccine allowed us to eliminate polio virus.
85
267797
2977
Пол Офит: ..Ваксината ни позволи да елиминираме полио вируса.
04:30
Dan Jurafsky: Does Lufthansa serve breakfast and San Jose? Well, that sounds funny.
86
270774
3623
Дан Юрафски: Луфтханса сервира ли закуска и Сан Хосе? Това звучи смешно.
04:34
Daphne Koller: So this is which coin you pick, and this is the two tosses.
87
274397
3616
Дафне Колер: Това е монетата, която взимате и това са двете хвърляния.
04:38
Andrew Ng: So in large-scale machine learning, we'd like to come up with computational ...
88
278013
3687
Андрю Нг: В машинознанието в голям мащаб, искаме да измислим компютационен...
04:41
(Applause)
89
281700
5609
(Аплодисменти)
04:47
DK: It turns out, maybe not surprisingly,
90
287309
2274
ДК: Оказва се и то може би без да е изненадващо, че
04:49
that students like getting the best content
91
289583
2238
студентите обичат да получават най-доброто съдържание
04:51
from the best universities for free.
92
291821
2887
от най-добрите университети, безплатно.
04:54
Since we opened the website in February,
93
294708
2522
Откакто отворихме сайта през февруари,
04:57
we now have 640,000 students from 190 countries.
94
297230
4358
имаме 640,000 студента, от 190 страни.
05:01
We have 1.5 million enrollments,
95
301588
2152
Имаме 1.5 милиона записвания,
05:03
6 million quizzes in the 15 classes that have launched
96
303740
2850
предадени са 6 милиона теста в 15-те курса, които
05:06
so far have been submitted, and 14 million videos have been viewed.
97
306590
4916
вече са започнали и 14 милиона видеоклипа са били видяни.
05:11
But it's not just about the numbers,
98
311506
2518
Но тук не става въпрос само за цифрите,
05:14
it's also about the people.
99
314024
1641
става дума за хората.
05:15
Whether it's Akash, who comes from a small town in India
100
315665
2976
Независимо дали това е Акаш, който е от малко градче в Индия
05:18
and would never have access in this case
101
318641
2175
и никога не би имал достъп до
05:20
to a Stanford-quality course
102
320816
1489
курс на нивото на Станфорд и освен това
05:22
and would never be able to afford it.
103
322305
2515
никога не би могъл да си го позволи.
05:24
Or Jenny, who is a single mother of two
104
324820
2038
Или Джени, която е самотна майка на две деца
05:26
and wants to hone her skills
105
326858
1967
и иска да подобри уменията си,
05:28
so that she can go back and complete her master's degree.
106
328825
3135
за да може да се върне и да завърши магистратура.
05:31
Or Ryan, who can't go to school,
107
331960
3136
Или Раян, който не може да ходи на училище,
05:35
because his immune deficient daughter
108
335096
1865
защото дъщеря му, която е с имунна недостатъчност,
05:36
can't be risked to have germs come into the house,
109
336961
3383
не може да бъде подлагана на риск да влизат микроби в къщата
05:40
so he couldn't leave the house.
110
340344
1840
и той не може да излиза от дома си.
05:42
I'm really glad to say --
111
342184
1632
Много се радвам да споделя, че наскоро
05:43
recently, we've been in correspondence with Ryan --
112
343816
2252
си говорихме с Раян и неговата история
05:46
that this story had a happy ending.
113
346068
1932
има щастлив завършек.
05:48
Baby Shannon -- you can see her on the left --
114
348000
1903
Бебето Шанън-можете да я видите вляво-
05:49
is doing much better now,
115
349903
1351
е много по-добре сега
05:51
and Ryan got a job by taking some of our courses.
116
351254
4198
и Раян получи работа с помощта на някои от нашите курсове.
05:55
So what made these courses so different?
117
355452
2244
Кое направи тези курсове различни?
05:57
After all, online course content has been available for a while.
118
357696
3720
В крайна сметка, онлайн курсовете са достъпни от известно време насам.
06:01
What made it different was that this was real course experience.
119
361416
3712
Това, което ги направи различни, е преживяването като в реална лекция.
06:05
It started on a given day,
120
365128
1726
Започва в даден ден
06:06
and then the students would watch videos on a weekly basis
121
366854
3634
и след това студентите гледат видео, в рамките на една седмица,
06:10
and do homework assignments.
122
370488
1855
като освен това имат домашни.
06:12
And these would be real homework assignments
123
372343
1791
И това са истински домашни,
06:14
for a real grade, with a real deadline.
124
374134
3304
за истинска оценка, с истински краен срок.
06:17
You can see the deadlines and the usage graph.
125
377438
2056
Може да видите крайните срокове и графиката на потребление.
06:19
These are the spikes showing
126
379494
2088
Тези конуси показват, че
06:21
that procrastination is global phenomenon.
127
381582
3789
отлагането е глобален феномен.
06:25
(Laughter)
128
385371
2576
(смях)
06:27
At the end of the course,
129
387947
1672
В края на курса,
06:29
the students got a certificate.
130
389619
1856
студентите получават сертификат.
06:31
They could present that certificate
131
391475
2160
Те могат да го покажат на
06:33
to a prospective employer and get a better job,
132
393635
2153
евентуален работодател и да получат по-добра работа
06:35
and we know many students who did.
133
395788
2060
и ние знаем за много студенти, които са го направили.
06:37
Some students took their certificate
134
397848
1919
Някои студенти взеха сертификата си и
06:39
and presented this to an educational institution at which they were enrolled
135
399767
3122
го представиха на образователна институция, в която бяха приети,
06:42
for actual college credit.
136
402889
1841
за да получат истински учебен кредит.
06:44
So these students were really getting something meaningful
137
404730
2214
Значи тези студенти са получили нещо наистина смислено
06:46
for their investment of time and effort.
138
406944
2834
за тяхното инвестиране на време и усилие.
06:49
Let's talk a little bit about some of the components
139
409778
2555
Нека поговорим малко за някои от компонентите,
06:52
that go into these courses.
140
412333
1892
които са част от тези курсове.
06:54
The first component is that when you move away
141
414225
2628
Първият компонент е, че когато се откъснете
06:56
from the constraints of a physical classroom
142
416853
2297
от ограниченията на физическа класна стая
06:59
and design content explicitly for an online format,
143
419150
2840
и създадете съдържание изключително и само за онлайн формат,
07:01
you can break away from, for example,
144
421990
2528
може да избягате, например, от
07:04
the monolithic one-hour lecture.
145
424518
2415
монолитната едночасова лекция.
07:06
You can break up the material, for example,
146
426933
1785
Можете, например, да разделите материала
07:08
into these short, modular units of eight to 12 minutes,
147
428718
3376
на кратки модули от по 8 до 12 минути,
07:12
each of which represents a coherent concept.
148
432094
2974
всеки от който представя разбираема концепция.
07:15
Students can traverse this material in different ways,
149
435068
2570
Студентите могат да разбират този материал по различни начини,
07:17
depending on their background, their skills or their interests.
150
437638
3704
в зависимост от техните минало, умения или интереси.
07:21
So, for example, some students might benefit
151
441342
2520
Затова, например, някои студенти могат да
07:23
from a little bit of preparatory material
152
443862
2760
се възползват от малко подготвителен материал,
07:26
that other students might already have.
153
446622
2071
който други студенти вече да са имали.
07:28
Other students might be interested in a particular
154
448693
2440
Други студенти могат да се интересуват от определена
07:31
enrichment topic that they want to pursue individually.
155
451133
3086
допълнителна тема, която те искат да изследват самостоятелно.
07:34
So this format allows us to break away
156
454219
3235
Затова този формат ни позволява да се откъснем от
07:37
from the one-size-fits-all model of education,
157
457454
2824
модела на образование, в който един калъп е за всички,
07:40
and allows students to follow a much more personalized curriculum.
158
460278
3992
позволявайки на студентите да следват много по-персонализиран учебен план.
07:44
Of course, we all know as educators
159
464270
2343
Разбира се, като учители ние знаем, че
07:46
that students don't learn by sitting and passively watching videos.
160
466613
3360
студентите не научават нищо, като просто седят и пасивно гледат видеоклипове.
07:49
Perhaps one of the biggest components of this effort
161
469973
2945
Може би един от основните компоненти на това усилие
07:52
is that we need to have students
162
472918
2592
е, че трябва да имаме студенти,
07:55
who practice with the material
163
475510
2409
които се упражняват с материала,
07:57
in order to really understand it.
164
477919
3156
за да могат наистина да го разберат.
08:01
There's been a range of studies that demonstrate the importance of this.
165
481075
3268
Има много проучвания, които доказват важността от това.
08:04
This one that appeared in Science last year, for example,
166
484343
2532
Това, което бе публикувано в "Наука" миналата година, например,
08:06
demonstrates that even simple retrieval practice,
167
486875
2832
показва, че дори и една елементарна практика,
08:09
where students are just supposed to repeat
168
489707
2792
по време на която студентите трябва да повторят
08:12
what they already learned
169
492499
1400
каквото са научили,
08:13
gives considerably improved results
170
493899
1920
с течение на времето дава значително по-добри резултати
08:15
on various achievement tests down the line
171
495819
2269
на различни тестове за постижения
08:18
than many other educational interventions.
172
498088
4304
в сравнение с много други образователни интервенции.
08:22
We've tried to build in retrieval practice into the platform,
173
502392
2962
Опитахме се да вградим тази практика в платформата,
08:25
as well as other forms of practice in many ways.
174
505354
2254
както и много други форми на практика.
08:27
For example, even our videos are not just videos.
175
507608
4144
Например, дори видеоклиповете ни не са просто видеоклипове.
08:31
Every few minutes, the video pauses
176
511752
2043
Видеото спира на всеки няколко минути
08:33
and the students get asked a question.
177
513795
2151
и на студента му се задава въпрос.
08:35
(Video) SP: ... These four things. Prospect theory, hyperbolic discounting,
178
515946
2221
(Видео) СП:...Тези четири неща. Теория на проспекта, хиперболичното обезценяване,
08:38
status quo bias, base rate bias. They're all well documented.
179
518167
3092
предпочитания към статуквото, неотчитане на първичната вероятност. Всички те са добре документирани.
08:41
So they're all well documented deviations from rational behavior.
180
521259
2767
Следователно, те са добре документирани отклонения от рационалното поведение.
08:44
DK: So here the video pauses,
181
524026
1624
ДК: Тук видеото спира
08:45
and the student types in the answer into the box
182
525650
2256
и студентът може да напише отговора в полето,
08:47
and submits. Obviously they weren't paying attention.
183
527906
3223
след което го предава. Очевидно е, че те не са внимавали.
08:51
(Laughter)
184
531144
869
(Смях)
08:52
So they get to try again,
185
532013
2010
Затова имат право на още един опит
08:54
and this time they got it right.
186
534023
2536
и този път е правилно.
08:56
There's an optional explanation if they want.
187
536559
2193
Има възможност за обосновка, ако искат.
08:58
And now the video moves on to the next part of the lecture.
188
538752
4257
Сега видеото продължава със следващата част от лекцията.
09:03
This is a kind of simple question
189
543009
1878
Това е един сравнително лесен въпрос,
09:04
that I as an instructor might ask in class,
190
544887
2081
който аз, като инструктор, мога да задам по време на лекция,
09:06
but when I ask that kind of a question in class,
191
546968
2500
но когато задам този въпрос в час,
09:09
80 percent of the students
192
549468
1300
80% от студентите още си записват
09:10
are still scribbling the last thing I said,
193
550768
1866
последното нещо, което казах.
09:12
15 percent are zoned out on Facebook,
194
552634
3321
15% са втренчени във Фейсбук
09:15
and then there's the smarty pants in the front row
195
555955
2456
и накрая имаме умника, който е на първия ред
09:18
who blurts out the answer
196
558411
1359
и изстрелва отговора,
09:19
before anyone else has had a chance to think about it,
197
559770
2207
преди другите да са имали възможността да помислят върху него,
09:21
and I as the instructor am terribly gratified
198
561977
2872
а аз като инструктор съм изключително благодарна,
09:24
that somebody actually knew the answer.
199
564849
1648
че някой знае отговора.
09:26
And so the lecture moves on before, really,
200
566497
2792
И лекцията продължава, преди
09:29
most of the students have even noticed that a question had been asked.
201
569289
3529
повечето от студентите дори да са забелязали, че е зададен въпрос.
09:32
Here, every single student
202
572818
2607
Тук, всеки един студент
09:35
has to engage with the material.
203
575425
2784
трябва да се занимава с материала.
09:38
And of course these simple retrieval questions
204
578209
1936
И разбира се, тези лесни въпроси
09:40
are not the end of the story.
205
580145
1662
не са края на историята.
09:41
One needs to build in much more meaningful practice questions,
206
581807
2970
Човек трябва да вгради много повече смислени, практически въпроси
09:44
and one also needs to provide the students with feedback
207
584777
2353
и освен това трябва да даде обратна връзка на студентите.
09:47
on those questions.
208
587130
1663
във връзка с тези въпроси.
09:48
Now, how do you grade the work of 100,000 students
209
588793
2888
Как оценявате работата на 100,000 студента,
09:51
if you do not have 10,000 TAs?
210
591681
3082
ако нямате 10,000 асистента?
09:54
The answer is, you need to use technology
211
594763
2354
Отговорът е, че трябва да използвате технология,
09:57
to do it for you.
212
597117
1495
която да го прави вместо вас.
09:58
Now, fortunately, technology has come a long way,
213
598612
2648
За щастие, в днешно време технологията е достатъчно развита
10:01
and we can now grade a range of interesting types of homework.
214
601260
3268
и може да оценим набор от интересни видове домашни.
10:04
In addition to multiple choice
215
604528
1527
Освен въпросите с няколко възможни отговора
10:06
and the kinds of short answer questions that you saw in the video,
216
606055
3153
и типът кратки въпроси, които видяхте във видеото,
10:09
we can also grade math, mathematical expressions
217
609208
3260
ние оценяваме още математиката, математически уравнения,
10:12
as well as mathematical derivations.
218
612468
1952
както и математически деривации.
10:14
We can grade models, whether it's
219
614420
2874
Може да оценяваме модели, независимо дали
10:17
financial models in a business class
220
617294
2176
финансови модели, за бизнес лекция, или
10:19
or physical models in a science or engineering class
221
619470
2984
физически модели в научна или инженерна лекция.
10:22
and we can grade some pretty sophisticated programming assignments.
222
622454
3744
Освен това, може да оценяваме доста сложни задачи за програмиране.
10:26
Let me show you one that's actually pretty simple
223
626198
1919
Нека ви покажа една лесна,
10:28
but fairly visual.
224
628117
1480
но много визуална.
10:29
This is from Stanford's Computer Science 101 class,
225
629597
2477
Това е от лекция Компютърни науки, в Станфорд
10:32
and the students are supposed to color-correct
226
632074
1604
и студентите трябва да поправят цветово тази
10:33
that blurry red image.
227
633678
1592
замазана червена картина,
10:35
They're typing their program into the browser,
228
635270
2018
Написват програмата си в браузъра
10:37
and you can see they didn't get it quite right, Lady Liberty is still seasick.
229
637288
4058
и виждате, че не е много правилно, Статуята на Свободата още изглежда като болна от морска болест.
10:41
And so, the student tries again, and now they got it right, and they're told that,
230
641346
3756
Студентът опитва отново и след като е успял, получава съобщение,
10:45
and they can move on to the next assignment.
231
645102
2359
че може да продължи със следващата задача.
10:47
This ability to interact actively with the material
232
647461
3148
Тази възможност да се занимаваш активно с материала
10:50
and be told when you're right or wrong
233
650609
1684
и да ти се казва кога си прав и кога - не -
10:52
is really essential to student learning.
234
652293
3126
е много важна за образователния процес на студента.
10:55
Now, of course we cannot yet grade
235
655419
2275
Разбира се, все още не можем да оценяваме
10:57
the range of work that one needs for all courses.
236
657694
2834
всичката работа, която е нужна за завършване на курсовете.
11:00
Specifically, what's lacking is the kind of critical thinking work
237
660528
3301
По-конкретно, това, което липсва, е критичното мислене,
11:03
that is so essential in such disciplines
238
663829
1922
което е толкова важно в хуманитарните,
11:05
as the humanities, the social sciences, business and others.
239
665751
3597
социалните, бизнес науките и други.
11:09
So we tried to convince, for example,
240
669348
2249
Опитахме да убедим, например,
11:11
some of our humanities faculty
241
671597
1616
някои от нашия факултет по хуманитарни науки,
11:13
that multiple choice was not such a bad strategy.
242
673213
2696
че въпроси с няколко възможни отговора не са чак толкова лош вариант.
11:15
That didn't go over really well.
243
675909
2191
Но това не отбеляза много голям успех.
11:18
So we had to come up with a different solution.
244
678100
2433
Затова, трябваше да измислим друго решение.
11:20
And the solution we ended up using is peer grading.
245
680533
3074
И решението на което се спряхме, е оценката на съкурсници.
11:23
It turns out that previous studies show,
246
683607
2422
Излиза, че предишни изследвания, като това на
11:26
like this one by Saddler and Good,
247
686029
1672
Садлър и Гууд, например, показват, че
11:27
that peer grading is a surprisingly effective strategy
248
687701
2488
оценката на съкурсник е изненадващо ефективна стратегия
11:30
for providing reproducible grades.
249
690189
3214
за даване на възпроизводими оценки.
11:33
It was tried only in small classes,
250
693403
1770
Беше приложена само в малки курсове,
11:35
but there it showed, for example,
251
695173
1487
но там показа, например, че
11:36
that these student-assigned grades on the y-axis
252
696660
2482
оценките от студенти по оста y,
11:39
are actually very well correlated
253
699142
1311
всъщност са в много добра корелация с
11:40
with the teacher-assigned grade on the x-axis.
254
700453
2296
оценката от учителя по оста x.
11:42
What's even more surprising is that self-grades,
255
702749
3160
И още по-изненадващо е, че самооценките,
11:45
where the students grade their own work critically --
256
705909
2311
при които студентите оценяват критично собствената си работа-
11:48
so long as you incentivize them properly
257
708220
1737
ако, разбира се, ги стимулираш правилно,
11:49
so they can't give themselves a perfect score --
258
709957
1938
за да не си дават най-високата оценка -
11:51
are actually even better correlated with the teacher grades.
259
711895
3191
всъщност са в добра корелация с оценката от учителя.
11:55
And so this is an effective strategy
260
715086
1607
Следователно, това е ефективна стратегия,
11:56
that can be used for grading at scale,
261
716693
2104
която може да бъде използвана за оценки по скала
11:58
and is also a useful learning strategy for the students,
262
718797
2736
и освен това е полезна обучаваща стратегия за студентите,
12:01
because they actually learn from the experience.
263
721533
2255
защото те наистина се учат от опита.
12:03
So we now have the largest peer-grading pipeline ever devised,
264
723788
4649
Сега имаме най-голямата система за оценка на съкурсници, правена някога,
12:08
where tens of thousands of students
265
728437
2504
в която десетки хиляди студенти
12:10
are grading each other's work,
266
730941
1198
оценяват работата един на друг
12:12
and quite successfully, I have to say.
267
732139
3069
и то доста успешно, мога да кажа.
12:15
But this is not just about students
268
735208
2260
Но това не е само за студенти,
12:17
sitting alone in their living room working through problems.
269
737468
3041
които си седят сами в хола и решават проблеми.
12:20
Around each one of our courses,
270
740509
1807
Около всеки един от нашите курсове
12:22
a community of students had formed,
271
742316
2160
се е формирала общност от студенти,
12:24
a global community of people
272
744476
1880
глобална общност от хора,
12:26
around a shared intellectual endeavor.
273
746356
2532
събрани около споделено интелектуално преживяване.
12:28
What you see here is a self-generated map
274
748888
2652
Това, което виждате, е самогенерираща се карта
12:31
from students in our Princeton Sociology 101 course,
275
751540
2961
на студентите от нашия курс по социология 101, в Принстън,
12:34
where they have put themselves on a world map,
276
754501
2759
където те са сложили себе си на картата на света.
12:37
and you can really see the global reach of this kind of effort.
277
757260
2960
Може наистина да видите глобалния обхват на този тип инициатива.
12:40
Students collaborated in these courses in a variety of different ways.
278
760220
4567
Студентите участват в тези курсове по много различни начини.
12:44
First of all, there was a question and answer forum,
279
764787
2639
Първо, има форум за отговори и въпроси,
12:47
where students would pose questions,
280
767426
2144
в който студентите задава въпроси
12:49
and other students would answer those questions.
281
769570
2424
и други студенти отговарят.
12:51
And the really amazing thing is,
282
771994
1713
И наистина изключителното нещо е, че
12:53
because there were so many students,
283
773707
1670
при толкова много студенти,
12:55
it means that even if a student posed a question
284
775377
2365
дори и някой студент да зададе въпрос
12:57
at 3 o'clock in the morning,
285
777742
1632
в 3 часа сутринта,
12:59
somewhere around the world,
286
779374
1582
все някъде по света
13:00
there would be somebody who was awake
287
780956
2074
ще има някой, който ще е буден
13:03
and working on the same problem.
288
783030
2313
и ще работи по същия проблем.
13:05
And so, in many of our courses,
289
785343
1958
Затова, в много от нашите курсове,
13:07
the median response time for a question
290
787301
2329
средното време за отговор на въпрос
13:09
on the question and answer forum was 22 minutes.
291
789630
3418
във форума за въпроси и отговори, е 22 минути.
13:13
Which is not a level of service I have ever offered to my Stanford students.
292
793048
4577
А това ниво на услуга не съм предлагала дори и на студентите ми във Станфорд.
13:17
(Laughter)
293
797625
1341
(Смях)
13:18
And you can see from the student testimonials
294
798966
1942
Можете да видите от изявленията на студентите,
13:20
that students actually find
295
800908
1687
че те наистина смятат, че
13:22
that because of this large online community,
296
802595
2521
благодарение на голямата онлайн общност
13:25
they got to interact with each other in many ways
297
805116
2599
могат да общуват помежду си по много начини,
13:27
that were deeper than they did in the context of the physical classroom.
298
807715
4193
които са по-дълбоки, отколкото в контекста на реалната класна стая.
13:31
Students also self-assembled,
299
811908
2344
Освен това, студентите сами сформираха,
13:34
without any kind of intervention from us,
300
814252
1863
без каквато и да било намеса от наша страна,
13:36
into small study groups.
301
816115
1903
малки учебни групи.
13:38
Some of these were physical study groups
302
818018
2362
Някои от тях бяха физически, според
13:40
along geographical constraints
303
820380
1826
географските ограничения
13:42
and met on a weekly basis to work through problem sets.
304
822206
2722
и се организираха ежеседмично, за да се работи по проблемите.
13:44
This is the San Francisco study group,
305
824928
1900
Това е учебната група в Сан Франциско,
13:46
but there were ones all over the world.
306
826828
2319
но има такива по целия свят.
13:49
Others were virtual study groups,
307
829147
2032
Други бяха виртуални учебни групи,
13:51
sometimes along language lines or along cultural lines,
308
831179
2989
формирани според езика или други културни белези,
13:54
and on the bottom left there,
309
834168
1444
а в дъното вляво,
13:55
you see our multicultural universal study group
310
835612
3796
виждате нашата мултикултурна, универсална учебна група,
13:59
where people explicitly wanted to connect
311
839408
1763
в която хората изрично искаха да се свържат с
14:01
with people from other cultures.
312
841171
3006
хора от други култури.
14:04
There are some tremendous opportunities
313
844177
2111
Има някои изключителни възможности,
14:06
to be had from this kind of framework.
314
846288
3325
които могат да възникнат от този вид рамка.
14:09
The first is that it has the potential of giving us
315
849613
3654
Първата е, че това има потенциал да ни даде
14:13
a completely unprecedented look
316
853267
2434
изцяло безпрецедентен поглед
14:15
into understanding human learning.
317
855701
2289
върху разбирането на човешкия процес на учене.
14:17
Because the data that we can collect here is unique.
318
857990
3463
Защото данните, които може да съберем тук, са уникални.
14:21
You can collect every click, every homework submission,
319
861453
4009
Може да анализирате всеки клик, всяко предадено домашно,
14:25
every forum post from tens of thousands of students.
320
865462
4363
всеки пост във форума от десетки хиляди студенти.
14:29
So you can turn the study of human learning
321
869825
2343
И може да превърнете изучаването на човешкия процес на учене
14:32
from the hypothesis-driven mode
322
872168
1933
от режим, задвижван от хипотези,
14:34
to the data-driven mode, a transformation that,
323
874101
2858
в режим, задвижван от данни. Подобна промяна,
14:36
for example, has revolutionized biology.
324
876959
3041
например, е революционизирала биологията.
14:40
You can use these data to understand fundamental questions
325
880000
3424
Може да използвате тези данни, за да разберете фундаментални въпроси,
14:43
like, what are good learning strategies
326
883424
1880
като например кои са добри стратегии за научаване,
14:45
that are effective versus ones that are not?
327
885304
2696
които са ефективни, в сравнение с тези, които не са?
14:48
And in the context of particular courses,
328
888000
2240
И в контекста на определени курсове,
14:50
you can ask questions
329
890240
1537
може да задавате въпроси,
14:51
like, what are some of the misconceptions that are more common
330
891777
3255
като например, кои са някои погрешни разбирания, срещани по-често
14:55
and how do we help students fix them?
331
895032
2177
и как може да помогнем на студентите да ги поправят?
14:57
So here's an example of that,
332
897209
1424
Ето един пример за това,
14:58
also from Andrew's Machine Learning class.
333
898633
2016
пак от класа на Андрю, по Машинознание.
15:00
This is a distribution of wrong answers
334
900649
2208
Това е разпределението на грешните отговори,
15:02
to one of Andrew's assignments.
335
902857
1610
дадени на еднa от домашните работи.
15:04
The answers happen to be pairs of numbers,
336
904467
1893
Отговорът в случая е двойка числа,
15:06
so you can draw them on this two-dimensional plot.
337
906360
2271
затова може да ги нарисуваш в този двуизмерен участък.
15:08
Each of the little crosses that you see is a different wrong answer.
338
908631
3778
Всяко от малките кръстчета, които виждате, е различен грешен отговор.
15:12
The big cross at the top left
339
912409
2406
Големият кръст, горе вляво,
15:14
is where 2,000 students
340
914815
2148
е където 2,000 студента
15:16
gave the exact same wrong answer.
341
916963
3045
са дали един и същ грешен отговор.
15:20
Now, if two students in a class of 100
342
920008
2327
Ако 2 души, при курс от 100 човека,
15:22
give the same wrong answer,
343
922335
1287
дадат един и същ грешен отговор,
15:23
you would never notice.
344
923622
1351
може никога да не разберете.
15:24
But when 2,000 students give the same wrong answer,
345
924973
2560
Но когато 2,000 студента дадат един и същ грешен отговор,
15:27
it's kind of hard to miss.
346
927533
1697
малко е трудно да го пропуснете.
15:29
So Andrew and his students went in,
347
929230
2192
Затова Андрю и неговите студенти се активизираха,
15:31
looked at some of those assignments,
348
931422
1520
прегледаха някои домашни,
15:32
understood the root cause of the misconception,
349
932942
4088
разбраха основната причина за погрешното разбиране
15:37
and then they produced a targeted error message
350
937030
2520
и създадоха целенасочено съобщение за грешка,
15:39
that would be provided to every student
351
939550
2249
което да се даде на всеки студент,
15:41
whose answer fell into that bucket,
352
941799
2179
отговорил по този начин.
15:43
which means that students who made that same mistake
353
943978
2084
Това означава, че студентите, които са направили една и съща грешка,
15:46
would now get personalized feedback
354
946062
2026
ще получат персонализирана обратна информация,
15:48
telling them how to fix their misconception much more effectively.
355
948088
4399
която им казва как да поправят погрешното разбиране по-ефективно.
15:52
So this personalization is something that one can then build
356
952487
3811
Тази персонализация е нещо, което човек може да създаде,
15:56
by having the virtue of large numbers.
357
956298
3140
ако има налице големи числа.
15:59
Personalization is perhaps
358
959438
2312
Персонализацията е може би
16:01
one of the biggest opportunities here as well,
359
961750
2423
една от най-големите възможности, дори и тук,
16:04
because it provides us with the potential
360
964173
2345
защото ни дава потенциала да
16:06
of solving a 30-year-old problem.
361
966518
2690
решим 30-годишен проблем.
16:09
Educational researcher Benjamin Bloom, in 1984,
362
969208
3349
Изследователят в сферата на образованието Бенджамин Блум, през 1984,
16:12
posed what's called the 2 sigma problem,
363
972557
2251
поставя така наречения 2 сигма проблем,
16:14
which he observed by studying three populations.
364
974808
3062
който той наблюдава при изучаването на три популации.
16:17
The first is the population that studied in a lecture-based classroom.
365
977870
3608
Първата е популация, която учи лекции в класна стая.
16:21
The second is a population of students that studied
366
981478
2777
Второто е популация от студенти, които учат
16:24
using a standard lecture-based classroom,
367
984255
1719
в стандартна класна стая на основата на лекции,
16:25
but with a mastery-based approach,
368
985974
2080
но с подход на усъвършенстването,
16:28
so the students couldn't move on to the next topic
369
988054
1920
при който студентите не могат да преминат към следващата тема.
16:29
before demonstrating mastery of the previous one.
370
989974
3354
преди да докажат пълното усвояване на предишната.
16:33
And finally, there was a population of students
371
993328
2294
И накрая е популацията от студенти,
16:35
that were taught in a one-on-one instruction using a tutor.
372
995622
4528
които са обучавани по метода на индивидуалната инструкция, с помощта на ръководител
16:40
The mastery-based population was a full standard deviation,
373
1000150
3272
Популацията с метода на усъвършенстването е по-добра с пълно стандартно отклонение,
16:43
or sigma, in achievement scores better
374
1003422
2288
или сигма, при точките за постижение,
16:45
than the standard lecture-based class,
375
1005710
2394
в сравнение на стандартния лекционен курс,
16:48
and the individual tutoring gives you 2 sigma
376
1008104
2144
а индивидуалното обучаване ти дава 2 сигма
16:50
improvement in performance.
377
1010248
1830
подобрение в представянето.
16:52
To understand what that means,
378
1012078
1463
За да разберем какво означава това,
16:53
let's look at the lecture-based classroom,
379
1013541
1833
ще видим лекционния курс
16:55
and let's pick the median performance as a threshold.
380
1015374
2919
и нека да изберем средното представяне като разделителна линия.
16:58
So in a lecture-based class,
381
1018293
1338
В този курс,
16:59
half the students are above that level and half are below.
382
1019631
3879
половината от студентите са над нивото, а другата половина са под.
17:03
In the individual tutoring instruction,
383
1023510
2098
При индивидуалното обучение,
17:05
98 percent of the students are going to be above that threshold.
384
1025608
4801
98% от студентите ще са над тази разделителна линия.
17:10
Imagine if we could teach so that 98 percent of our students
385
1030409
3920
Представете си ако можехме така да преподаваме, че 98% от студентите ни
17:14
would be above average.
386
1034329
2198
да са над средното.
17:16
Hence, the 2 sigma problem.
387
1036527
3423
Следователно, се получава проблемът 2 сигма.
17:19
Because we cannot afford, as a society,
388
1039950
2399
Защото като общество не може да си позволим
17:22
to provide every student with an individual human tutor.
389
1042349
3072
да дадем на всеки студент индивидуален ръководител.
17:25
But maybe we can afford to provide each student
390
1045421
2249
Но може би може да си позволим да предоставим на всеки студент
17:27
with a computer or a smartphone.
391
1047670
2019
компютър или смартфон.
17:29
So the question is, how can we use technology
392
1049689
2189
Затова въпросът е, как може да използваме технологията, за да
17:31
to push from the left side of the graph, from the blue curve,
393
1051878
3375
минем от лявата страна на графиката, от синята крива,
17:35
to the right side with the green curve?
394
1055253
2738
към дясната страна, със зелената крива?
17:37
Mastery is easy to achieve using a computer,
395
1057991
2337
Усъвършенстването е лесно за постигане, с помощта на компютър,
17:40
because a computer doesn't get tired
396
1060328
1405
защото компютърът не се уморява
17:41
of showing you the same video five times.
397
1061733
3073
да ви показва едно и също видео пет пъти.
17:44
And it doesn't even get tired of grading the same work multiple times,
398
1064806
3251
И не се изморява да оценява една и съща работа няколко пъти,
17:48
we've seen that in many of the examples that I've shown you.
399
1068062
3026
както видяхме в много от примерите, които ви показах.
17:51
And even personalization
400
1071088
1854
Дори може да видим
17:52
is something that we're starting to see the beginnings of,
401
1072942
2136
началото на индивидуализацията,
17:55
whether it's via the personalized trajectory through the curriculum
402
1075078
3192
независимо дали е чрез индивидуализирана траектория по време на учебния план
17:58
or some of the personalized feedback that we've shown you.
403
1078270
3264
или получаването на индивидуална обратна връзка, както ви показах.
18:01
So the goal here is to try and push,
404
1081534
2488
Затова, целта тук е да се опитва и бута
18:04
and see how far we can get towards the green curve.
405
1084022
3497
и да се види колко може да се доближим до зелената крива.
18:07
So, if this is so great, are universities now obsolete?
406
1087519
5359
Но ако това е толкова велико, означава ли, че университетите са ненужни?
18:12
Well, Mark Twain certainly thought so.
407
1092878
2992
Марк Твейн определено е мислел така.
18:15
He said that, "College is a place where a professor's lecture notes
408
1095870
2545
Той е казал, че "колежът е място, където записките на професора
18:18
go straight to the students' lecture notes,
409
1098415
1703
отиват директно в записките на студента,
18:20
without passing through the brains of either."
410
1100118
2376
без да преминават през мозъците им."
18:22
(Laughter)
411
1102494
4047
(Смях)
18:26
I beg to differ with Mark Twain, though.
412
1106541
2668
Но все пак искам да се разгранича от Марк Твейн.
18:29
I think what he was complaining about is not
413
1109209
2665
Мисля, че това, от което се оплаква той,
18:31
universities but rather the lecture-based format
414
1111874
2750
не са университетите, а лекционния формат на преподаване,
18:34
that so many universities spend so much time on.
415
1114624
2784
за който много университети отделят доста време.
18:37
So let's go back even further, to Plutarch,
416
1117408
3159
Затова, нека отидем дори по-далеч, до Плутарх,
18:40
who said that, "The mind is not a vessel that needs filling,
417
1120567
2227
който е казал, че "Умът не е съд, който се нуждае от запълване,
18:42
but wood that needs igniting."
418
1122794
2023
а е дърво, което се нуждае от запалване'.
18:44
And maybe we should spend less time at universities
419
1124817
2190
И затова може би трябва да прекарваме по-малко време в университетите,
18:47
filling our students' minds with content
420
1127007
2571
пълнейки главите на студентите си със съдържание
18:49
by lecturing at them, and more time igniting their creativity,
421
1129578
3800
под формата на лекции. Трябва да прекарваме повече време да разпалваме креативността им,
18:53
their imagination and their problem-solving skills
422
1133378
3255
въображението им и способността им да решават проблеми
18:56
by actually talking with them.
423
1136633
2498
като наистина говорим с тях.
18:59
So how do we do that?
424
1139131
1367
Как да го направим?
19:00
We do that by doing active learning in the classroom.
425
1140498
3431
Правим го чрез активно учене в класната стая.
19:03
So there's been many studies, including this one,
426
1143929
2449
Има много изследвания, включително едно
19:06
that show that if you use active learning,
427
1146378
2080
което показва, че ако използвате активното учене
19:08
interacting with your students in the classroom,
428
1148458
2416
при комуникация със студентите в залата,
19:10
performance improves on every single metric --
429
1150874
2696
резултатите им се подобряват по всеки показател --
19:13
on attendance, on engagement and on learning
430
1153570
2449
присъствие, участие, учене,
19:16
as measured by a standardized test.
431
1156019
2055
измерени от стандартизиран тест.
19:18
You can see, for example, that the achievement score
432
1158074
1864
Може да видите, например, че резултата им
19:19
almost doubles in this particular experiment.
433
1159938
2870
почти се удвоява в този конкретен експеримент.
19:22
So maybe this is how we should spend our time at universities.
434
1162808
4401
И може би именно така трябва да прекарваме времето си в университетите.
19:27
So to summarize, if we could offer a top quality education
435
1167209
4577
Затова, за да обобщя, ако може да предложим образование на високо ниво
19:31
to everyone around the world for free,
436
1171786
1903
на всеки по света, безплатно,
19:33
what would that do? Three things.
437
1173689
2821
до какво би довело това? Три неща:
19:36
First it would establish education as a fundamental human right,
438
1176510
3421
Първо, ще определени образованието като фундаментално човешко право,
19:39
where anyone around the world
439
1179931
1366
в рамките на което всеки по света,
19:41
with the ability and the motivation
440
1181297
1921
имащ възможността и мотивацията,
19:43
could get the skills that they need
441
1183218
1951
ще може да получи уменията, от които има нужда,
19:45
to make a better life for themselves,
442
1185169
1585
за да подобри своя живот.
19:46
their families and their communities.
443
1186754
2017
този на семейството и на тяхната общност.
19:48
Second, it would enable lifelong learning.
444
1188771
2631
Второ, ще позволи учене за цял живот.
19:51
It's a shame that for so many people,
445
1191402
1951
Жалко е, че за толкова много хора
19:53
learning stops when we finish high school or when we finish college.
446
1193353
3312
ученето спира, когато завършим гимназия, или колеж.
19:56
By having this amazing content be available,
447
1196665
2481
Правейки това съдържание достъпно,
19:59
we would be able to learn something new
448
1199146
2743
ще може да научим нещо ново
20:01
every time we wanted,
449
1201889
1136
всеки път, когато поискаме,
20:03
whether it's just to expand our minds
450
1203025
1329
независимо дали е просто за да обогатим знанията си,
20:04
or it's to change our lives.
451
1204354
1959
или за да променим живота си.
20:06
And finally, this would enable a wave of innovation,
452
1206313
3145
И накрая, това би ни позволило цяла вълна от иновации,
20:09
because amazing talent can be found anywhere.
453
1209458
3072
защото изключителният талант може да бъде открит навсякъде.
20:12
Maybe the next Albert Einstein or the next Steve Jobs
454
1212530
3008
Може би следващият Алберт Айнщайн, или следващият Стив Джобс
20:15
is living somewhere in a remote village in Africa.
455
1215538
2615
живее някъде в отдалечено селце в Африка.
20:18
And if we could offer that person an education,
456
1218153
2656
И ако може да предложим на този човек образование,
20:20
they would be able to come up with the next big idea
457
1220809
2356
той ще може да измисли следващата велика идея
20:23
and make the world a better place for all of us.
458
1223165
2404
и да направи света по-добро място за живеене за всички нас.
20:25
Thank you very much.
459
1225569
1160
Много ви благодаря.
20:26
(Applause)
460
1226729
7583
(Аплодисменти)
Относно този уебсайт

Този сайт ще ви запознае с видеоклипове в YouTube, които са полезни за изучаване на английски език. Ще видите уроци по английски език, преподавани от първокласни учители от цял свят. Кликнете два пъти върху английските субтитри, показани на всяка страница с видеоклипове, за да възпроизведете видеото оттам. Субтитрите се превъртат в синхрон с възпроизвеждането на видеото. Ако имате някакви коментари или искания, моля, свържете се с нас, като използвате тази форма за контакт.

https://forms.gle/WvT1wiN1qDtmnspy7