Daphne Koller: What we're learning from online education

Translator: Morton Bast Reviewer: Thu-Huong Ha

Translator: Dimitar Dimitrovski Reviewer: ALEKSANDAR MITEVSKI

Like many of you, I'm one of the lucky people.

Како и многумина од вас, јас сум една од среќните луѓе.

I was born to a family where education was pervasive.

Бев родена во семејство каде образованието беше влијателно.

I'm a third-generation PhD, a daughter of two academics.

Јас сум трета генерација докторанд, ќерка на двајца академици.

In my childhood, I played around in my father's university lab.

Во детството си играв во универзитетската лабораторија на татко ми.

So it was taken for granted that I attend some of the best universities,

Па така, се подразбираше дека ќе посетувам некои од најдобрите универзитети

which in turn opened the door to a world of opportunity.

кои за возврат ми ја отворија вратата кон свет од можности.

Unfortunately, most of the people in the world are not so lucky.

За жал, повеќето луѓе во светот не се толку среќни.

In some parts of the world, for example, South Africa,

Во некои делови од светот, на пример Јужна Африка,

education is just not readily accessible.

образованието не е лесно достапно.

In South Africa, the educational system was constructed

Во Јужна Африка, образовниот систем бил создаден за време

in the days of apartheid for the white minority.

на апартхејдот и притоа бил наменет за белото малцинство.

And as a consequence, today there is just not enough spots

И како последица, денес нема доволно места

for the many more people who want and deserve a high quality education.

за повеќето луѓе кои сакаат и заслужуваат висококвалитетно образование.

That scarcity led to a crisis in January of this year

Овој недостаток доведе до криза во јануари оваа година

at the University of Johannesburg.

на Универзитетот во Јоханесбург.

There were a handful of positions left open

Имаше останато неколку слободни места

from the standard admissions process, and the night before

после стандардниот приемен процес и ноќта пред да

they were supposed to open that for registration,

бидат отворени за аплицирање, илјадници луѓе

thousands of people lined up outside the gate in a line a mile long,

се наредија надвор пред портата во колона една милја долга, имајќи

hoping to be first in line to get one of those positions.

намера да бидат први во редот со цел како би дошле до едно од местата.

When the gates opened, there was a stampede,

Кога се отворија вратите, имаше човечко стампедо

and 20 people were injured and one woman died.

и 20 луѓе беа повредени, а една жена почина.

She was a mother who gave her life

Таа беше мајка која го даде својот живот

trying to get her son a chance at a better life.

обидувајќи се да му овозможи на својот син прилика за подобар живот.

But even in parts of the world like the United States

Но, дури и во делови од светот како САД,

where education is available, it might not be within reach.

каде образованието е достапно, можно е да не биде на дофат.

There has been much discussed in the last few years

Многу се дискутираше во последните неколку години

about the rising cost of health care.

за зголемувањето на трошоците за здравствена заштита.

What might not be quite as obvious to people

Тоа што не е толку очигледно за луѓето

is that during that same period the cost of higher education tuition

е дека во текот на истиот период, цената на високото образование

has been increasing at almost twice the rate,

се зголемуваше речиси двојно побрзо,

for a total of 559 percent since 1985.

т.е. за 559 проценти споредено со 1985 година.

This makes education unaffordable for many people.

Поради ова многу луѓе не можат да си дозволат образование.

Finally, even for those who do manage to get the higher education,

Најпосле, дури и оние кои успеваат да се стекнат со високо образование,

the doors of opportunity might not open.

сепак сите тие не добиваат еднакви можности.

Only a little over half of recent college graduates

Само малку повеќе од половина од скорешните дипломци

in the United States who get a higher education

во САД кои се стекнале со високо образование

actually are working in jobs that require that education.

всушност работат на работни места кои го бараат тоа образование.

This, of course, is not true for the students

Ова секако не е точно за студентите

who graduate from the top institutions,

кои дипломираат на врвните институции

but for many others, they do not get the value

но, многу други не ги чувствуваат благодетите

for their time and their effort.

од времето и трудот кои ги вложиле.

Tom Friedman, in his recent New York Times article,

Том Фридман, во својата неодамнешна статија во Њујорк Тајмс

captured, in the way that no one else could, the spirit behind our effort.

го опфати, на еден уникатен начин, духот во основата на нашиот труд,

He said the big breakthroughs are what happen

Тој рече дека големите откритија се она што се случува

when what is suddenly possible meets what is desperately necessary.

кога тоа што е одеднаш можно го пресретнува тоа што е очајно потребно.

I've talked about what's desperately necessary.

Зборував за тоа што е очајно потребно.

Let's talk about what's suddenly possible.

Ајде да зборуваме за тоа што е можно одеднаш.

What's suddenly possible was demonstrated by

Тоа што е можно одеднаш беше демонстрирано од

three big Stanford classes,

три големи наставни предмети на Стенфорд,

each of which had an enrollment of 100,000 people or more.

на кои се имаа запишано по 100.000 луѓе или повеќе.

So to understand this, let's look at one of those classes,

Па така, за да го разбереме ова, ајде да погледнеме еден од тие предмети,

the Machine Learning class offered by my colleague

т.е. оној по Машинско учење кој го предава мојот колега

and cofounder Andrew Ng.

и ко-основач Ендру 'Нг.

Andrew teaches one of the bigger Stanford classes.

Ендру предава еден од позначајните предмети на Стенфорд.

It's a Machine Learning class,

Тоа е предметот по Машинско учење

and it has 400 people enrolled every time it's offered.

и секој пат кога ќе се отворат уписите на него се запишуваат по 400 луѓе.

When Andrew taught the Machine Learning class to the general public,

Кога Ендру предаваше Машинско учење на пошироката јавност,

it had 100,000 people registered.

тогаш се имаа пријавено 100.000 луѓе.

So to put that number in perspective,

Па, за да се стави тој број во перспектива,

for Andrew to reach that same size audience

за Ендру да го достигне истиот број на публика

by teaching a Stanford class,

преку предавање само во рамки на Стенфорд,

he would have to do that for 250 years.

тој би требало да го прави тоа во наредните 250 години.

Of course, he'd get really bored.

Секако, би му здосадило.

So, having seen the impact of this,

Значи, согледувајќи го влијанието од ова,

Andrew and I decided that we needed to really try and scale this up,

Ендру и јас решивме дека сето ова мораме да го кренеме на повисоко ниво,

to bring the best quality education to as many people as we could.

сè со цел како би им овозможиле најквалитетно образование на што повеќе луѓе.

So we formed Coursera,

Па така, ја формиравме Курсера,

whose goal is to take the best courses

чија цел е да се земат најдобрите наставни предмети

from the best instructors at the best universities

од најдобрите предавачи на најдобрите универзитети

and provide it to everyone around the world for free.

и ова да им го понудиме на сите во светот бесплатно.

We currently have 43 courses on the platform

Моментално имаме 43 предмети на платформата

from four universities across a range of disciplines,

од 4 универзитети со различен опсег на дисциплини,

and let me show you a little bit of an overview

и дозволете ми да ви покажам еден мал преглед

of what that looks like.

за тоа како изгледа ова.

(Video) Robert Ghrist: Welcome to Calculus.

Роберт Грист: Добредојдовте на Калкулус.

Ezekiel Emanuel: Fifty million people are uninsured.

Езекиел Емануел: Педесет милиони луѓе се неосигурани.

Scott Page: Models help us design more effective institutions and policies.

Скот Пејџ: Овие модели ни помагаат да дизајнираме поефективни институции и политики.

We get unbelievable segregation.

Постои неверојатна сегрегација.

Scott Klemmer: So Bush imagined that in the future,

Скот Клемер: Значи Буш замисли дека во иднина,

you'd wear a camera right in the center of your head.

вие би носеле камера на средина од главата.

Mitchell Duneier: Mills wants the student of sociology to develop the quality of mind ...

Мичел Данејер: Милс сака студентот по социологија да го развие квалитетот на умот...

RG: Hanging cable takes on the form of a hyperbolic cosine.

Р.Г.: Висечкиот кабел добива форма на хиперболичен косинус.

Nick Parlante: For each pixel in the image, set the red to zero.

Ник Парланте: За секој пиксел на сликата, поставете ја црвената на нула.

Paul Offit: ... Vaccine allowed us to eliminate polio virus.

Пол Офит: ...вакцината ни овозможи да го елиминираме вирусот на детска парализа.

Dan Jurafsky: Does Lufthansa serve breakfast and San Jose? Well, that sounds funny.

Ден Џурафски: Дали Луфтханза служи појадок и Сан Хозе? Па, тоа звучи смешно.

Daphne Koller: So this is which coin you pick, and this is the two tosses.

Дафне Колер: Значи ова е која паричка ќе ја одберете, а ова се двете фрлања.

Andrew Ng: So in large-scale machine learning, we'd like to come up with computational ...

Ендру 'Нг: Значи кај машинското учење-на макро ниво, ние би сакале да дојдеме до компјутерски...

(Applause)

(аплауз)

DK: It turns out, maybe not surprisingly,

Се чини дека, можеби и не е изненадувачки,

that students like getting the best content

студентите сакаат да ја добијат најдобрата содржина

from the best universities for free.

од најдобрите универзитети бесплатно.

Since we opened the website in February,

Откога ја отворивме веб-страната во февруари,

we now have 640,000 students from 190 countries.

досега имаме 640.000 студенти од 190 земји.

We have 1.5 million enrollments,

Имаме 1,5 милиони уписи,

6 million quizzes in the 15 classes that have launched

6 милиони тестови се поднесени за евалуација во рамки на

so far have been submitted, and 14 million videos have been viewed.

15-те предавања кои досега започнаа и имаме 14 милиони прегледани видеа.

But it's not just about the numbers,

Но, не се работи само за броевите,

it's also about the people.

тука и за самите луѓе.

Whether it's Akash, who comes from a small town in India

Било да е тоа е Акаш, кој доаѓа од мал град во Индија

and would never have access in this case

и никогаш не би имал пристап во овој случај

to a Stanford-quality course

до квалитетен Стенфордски курс

and would never be able to afford it.

и никогаш не би можел да си го дозволи.

Or Jenny, who is a single mother of two

Или Џени, која е самохрана мајка на две деца

and wants to hone her skills

и сака да ги подобри своите вештини

so that she can go back and complete her master's degree.

за да може да ја доврши својата магистратура.

Or Ryan, who can't go to school,

Или Рајан, кој не може да оди на училиште,

because his immune deficient daughter

поради слабиот имунитет кој го има неговата

can't be risked to have germs come into the house,

ќерка, тој не смее да ризикува да внесе бактерии во куќата,

so he couldn't leave the house.

и затоа не смее да излегува надвор.

I'm really glad to say --

Навистина ми е мило да кажам дека...

recently, we've been in correspondence with Ryan --

неодамна, си пишавме со Рајан --

that this story had a happy ending.

и дека оваа приказна има среќен крај.

Baby Shannon -- you can see her on the left --

Малата Шенон, можете да ја видите од лево,

is doing much better now,

е многу подобро сега

and Ryan got a job by taking some of our courses.

и Рајан доби работа посетувајќи некои од нашите курсеви.

So what made these courses so different?

Што ги прави овие курсеви толку различни од другите?

After all, online course content has been available for a while.

Бидејќи сепак, разни онлајн предавања се присутни веќе одредено време.

What made it different was that this was real course experience.

Разликата се состои во тоа што овие курсеви се како вистинска настава.

It started on a given day,

Започнуваат на определен ден,

and then the students would watch videos on a weekly basis

а потоа студентите гледаат видеа на неделна основа

and do homework assignments.

и работат домашни задачи.

And these would be real homework assignments

И овие се вистински домашни задачи

for a real grade, with a real deadline.

за вистинска оценка, со вистински краен рок.

You can see the deadlines and the usage graph.

Можете графички да ги видите роковите и употребата на материјалот.

These are the spikes showing

Овие шилци покажуваат

that procrastination is global phenomenon.

дека одолговлекувањето е глобален феномен.

(Laughter)

(смеа)

At the end of the course,

И на крајот од овој курс,

the students got a certificate.

студентите добиваат сертификат.

They could present that certificate

Тие можат да го прикажат тој сертификат

to a prospective employer and get a better job,

на иден работодавач и да добијат подобра работа

and we know many students who did.

и ние знаеме многу студенти кои го направиле ова.

Some students took their certificate

Некои студенти го зедоа својот сертификат

and presented this to an educational institution at which they were enrolled

и го прикажаа во образовната институција во која се запишани

for actual college credit.

и добија (ЕКТС) кредити на факултетот.

So these students were really getting something meaningful

Значи, овие студенти навистина добиваа нешто значајно

for their investment of time and effort.

за нивниот вложен труд и време.

Let's talk a little bit about some of the components

Ајде да зборуваме малку за некои од компoнентите

that go into these courses.

кои се дел од овие курсеви.

The first component is that when you move away

Првата компонента е дека кога излегувате надвор

from the constraints of a physical classroom

од ограничувањата на вистинска училница

and design content explicitly for an online format,

и дизајнирате содржина експлицитно за онлајн формат,

you can break away from, for example,

тогаш можете да се ослободите, на пример

the monolithic one-hour lecture.

од сувопарното едночасовно предавање.

You can break up the material, for example,

Можете да го поделите материјалот, на пример

into these short, modular units of eight to 12 minutes,

во овие кратки, тематски единици од 8 до 12 минути,

each of which represents a coherent concept.

секоја претставувајќи разбирлив концепт.

Students can traverse this material in different ways,

Студентите можат да го поминат овој материјал на различни начини,

depending on their background, their skills or their interests.

зависно од нивното минато искуство, нивните вештини или интереси.

So, for example, some students might benefit

На пример, некои студенти можат да имаат корист

from a little bit of preparatory material

доколку го поминат подготвителниот материјал

that other students might already have.

којшто на другите студенти можеби им е веќе познат.

Other students might be interested in a particular

Други студенти можеби се заинтересирани за одредена

enrichment topic that they want to pursue individually.

дополнителна тема која тие би сакале да ја следат индивидуално.

So this format allows us to break away

Па така, овој формат ни дозволува да скршнеме

from the one-size-fits-all model of education,

од едноличните модели на образование

and allows students to follow a much more personalized curriculum.

и дозволува студентите да следат многу поиндивидуализирана настава.

Of course, we all know as educators

Секако, како едукатори сите ние знаеме

that students don't learn by sitting and passively watching videos.

дека студентите не учат преку седење и пасивно гледање на видеа.

Perhaps one of the biggest components of this effort

Можеби една од најголемите компоненти на овој напор

is that we need to have students

е дека ние мораме да имаме студенти

who practice with the material

кои го вежбаат материјалот

in order to really understand it.

сè со цел навистина да го разберат.

There's been a range of studies that demonstrate the importance of this.

Има огромен број на студии кои ја демонстрираат важноста на ова.

This one that appeared in Science last year, for example,

Оваа која се појави во списанието Science претходната година, на пример,

demonstrates that even simple retrieval practice,

покажува дека дури и едноставното вежбање на меморијата,

where students are just supposed to repeat

каде студентите треба само да го повторат

what they already learned

она што веќе го научиле

gives considerably improved results

дава значајно подобрени резултати

on various achievement tests down the line

на различни тестови за постигнување, попатно

than many other educational interventions.

отколку многу други образовни интервенции.

We've tried to build in retrieval practice into the platform,

Се обидовме да го вметнеме меморискиот тренинг во платформата,

as well as other forms of practice in many ways.

а овде секако вклучивме и други видови на вежби.

For example, even our videos are not just videos.

На пример, дури и нашите видеа не се само видеа.

Every few minutes, the video pauses

На секои неколку минути, видеото паузира

and the students get asked a question.

и ги прашува студентите некое прашање.

(Video) SP: ... These four things. Prospect theory, hyperbolic discounting,

(видео) С.П.: ...овие 4 работи. Теорија на можни исходи, хиперболични отстапки,

status quo bias, base rate bias. They're all well documented.

склоност кон избегнување промена, занемарување на основната стапка. Сите тие се добро документирани.

So they're all well documented deviations from rational behavior.

Значи сите тие се добро документирани отстапувања од рационалното однесување.

DK: So here the video pauses,

ДК: Значи тука видеото паузира,

and the student types in the answer into the box

и студентот го внесува одговорот во полето

and submits. Obviously they weren't paying attention.

и го испраќа. Очигледно е дека не обрнал внимание.

(Laughter)

(смеа)

So they get to try again,

Има право пак да проба

and this time they got it right.

и овој пат дава точен одговор.

There's an optional explanation if they want.

Има и опционо објаснување доколку сака.

And now the video moves on to the next part of the lecture.

И сега видеото продолжува на следниот дел од предавањето.

This is a kind of simple question

Ова е вид на едноставно прашање

that I as an instructor might ask in class,

кое јас како предавач можам да го поставам на час

but when I ask that kind of a question in class,

но, кога ќе го поставам ваквото прашање на час,

80 percent of the students

80 проценти од студентите

are still scribbling the last thing I said,

сè уште го запишуваат последното нешто кое сум го кажала,

15 percent are zoned out on Facebook,

15 проценти зјапаат во Фејсбук,

and then there's the smarty pants in the front row

и тогаш некој од умните глави во првиот ред

who blurts out the answer

ќе го каже одговорот

before anyone else has had a chance to think about it,

пред било кој друг да има шанса да размисли за тоа

and I as the instructor am terribly gratified

и јас како предавач сум ужасно благодарна

that somebody actually knew the answer.

дека некој всушност и го знаел одговорот.

And so the lecture moves on before, really,

И така предавањето продолжува, пред

most of the students have even noticed that a question had been asked.

повеќето од студентите и да забележат дека било поставено прашање.

Here, every single student

Тука, секој студент

has to engage with the material.

мора да се внесе во материјалот.

And of course these simple retrieval questions

И секако овие едноставни мемориски прашања

are not the end of the story.

не се крајот на приказната.

One needs to build in much more meaningful practice questions,

Мораме да вградиме многу пологични прашања за вежбање,

and one also needs to provide the students with feedback

и исто така, на студентите треба да им се дадат повратни информации

on those questions.

за тие прашања.

Now, how do you grade the work of 100,000 students

Сега, како би ја оцениле работата на 100.000 студенти

if you do not have 10,000 TAs?

ако немате 10.000 асистенти?

The answer is, you need to use technology

Одговорот е дека треба да користите технологија

to do it for you.

која ќе го направи тоа за вас.

Now, fortunately, technology has come a long way,

Денес, за среќа, технологијата е напредната

and we can now grade a range of interesting types of homework.

и сега можеме да оцениме цел опсег на интересни видови на домашни задачи.

In addition to multiple choice

Во склоп на прашањата на заокружување

and the kinds of short answer questions that you saw in the video,

и видовите на кратки прашања кои ги видовте во видеото,

we can also grade math, mathematical expressions

можеме исто така да оценуваме математика, математички изрази

as well as mathematical derivations.

како и математички изводи.

We can grade models, whether it's

Можеме да оценуваме модели, без разлика дали се тоа

financial models in a business class

финансиски модели од наставата по Бизнис

or physical models in a science or engineering class

или физички модели од предметите Наука и Инженерство,

and we can grade some pretty sophisticated programming assignments.

и можеме да оценуваме некои доста софистицирани задачи по програмирање.

Let me show you one that's actually pretty simple

Дозволете ми да ви покажам еден кој е навистина едноставен

but fairly visual.

но, доста сликовит.

This is from Stanford's Computer Science 101 class,

Ова е од часот на Стенфорд по Компјутерско инженерство 101

and the students are supposed to color-correct

и студентите треба да ја корегираат бојата

that blurry red image.

на матната црвена слика.

They're typing their program into the browser,

Го пишува програмскиот код во пребарувачот

and you can see they didn't get it quite right, Lady Liberty is still seasick.

и гледате дека нешто не е во ред, "Lady Liberty" сеуште има морска болест.

And so, the student tries again, and now they got it right, and they're told that,

И така студентот се обидува повторно и овој пат е во право, го известуваме за тоа,

and they can move on to the next assignment.

и сега може да продолжи на следната задача.

This ability to interact actively with the material

Оваа способност да комуницирате активно со материјалот

and be told when you're right or wrong

и да ви кажат кога сте погодиле или погрешиле

is really essential to student learning.

е од суштинско значење за напредокот на студентите.

Now, of course we cannot yet grade

Сега, се разбира сè уште не можеме да ги оценуваме

the range of work that one needs for all courses.

сите задачи кои се потребни за сите предмети.

Specifically, what's lacking is the kind of critical thinking work

Поточно, недостасува вежбање во областа на критичкото размислување

that is so essential in such disciplines

кое е суштинско во такви дисциплини

as the humanities, the social sciences, business and others.

како што се општествените науки, бизнисот и други.

So we tried to convince, for example,

Па така, се обидовме да убедиме

some of our humanities faculty

дел од наставниот кадар за општествени науки

that multiple choice was not such a bad strategy.

дека прашањата на заокружување не се толку лоша стратегија.

That didn't go over really well.

Тоа не помина многу добро.

So we had to come up with a different solution.

Па, затоа моравме да смислиме ново решение.

And the solution we ended up using is peer grading.

И решението до кое стигнавме е користење на меѓусебно (врсничко) оценување.

It turns out that previous studies show,

Излегува дека претходните истражувања покажуваат,

like this one by Saddler and Good,

како ова од Седлер и Гуд,

that peer grading is a surprisingly effective strategy

дека меѓусебното (врсничко) оценување е изненадувачки ефективна стратегија

for providing reproducible grades.

за обезбедување на релијабилни оценки.

It was tried only in small classes,

Беше испробано само во мали класови

but there it showed, for example,

но, се покажа дека

that these student-assigned grades on the y-axis

оценките на y-оската кои се доделени од самите студенти

are actually very well correlated

всушност многу добро корелираат (се поклопуваат)

with the teacher-assigned grade on the x-axis.

со оценките на x-оската кои се доделени од професорите.

What's even more surprising is that self-grades,

Уште позачудувачки е тоа дека само-оценките,

where the students grade their own work critically --

каде студентите критички ја оценуваат својата работа --

so long as you incentivize them properly

се додека соодветно ги поттикнувате и наградувате,

so they can't give themselves a perfect score --

бидејќи во спротивно тие би си дале совршена оцена - -

are actually even better correlated with the teacher grades.

уште подобро корелираат со оценките дадени од страна на професорите.

And so this is an effective strategy

Значи ова е ефективна стратегија

that can be used for grading at scale,

за оценување доколку имате голем број на луѓе,

and is also a useful learning strategy for the students,

и исто така е корисна стратегија за учење за самите студентите,

because they actually learn from the experience.

бидејќи тие всушност учат од самото искуство.

So we now have the largest peer-grading pipeline ever devised,

Значи сега го имаме најголемиот врснички систем за меѓусебно оценување некогаш создаден,

where tens of thousands of students

каде десетици илјади студенти

are grading each other's work,

се оценуваат едни со други

and quite successfully, I have to say.

и притоа сосем успешно, морам да кажам.

But this is not just about students

Но, ова не е само за студенти

sitting alone in their living room working through problems.

кои седат во својата дневна соба и работат на задачите.

Around each one of our courses,

Околку секој од нашите курсеви,

a community of students had formed,

се оформија заедници од студенти,

a global community of people

глобална заедница на луѓе

around a shared intellectual endeavor.

собрана околу заеднички интелектуален поход.

What you see here is a self-generated map

Тоа што гледате овде е само-генерирана мапа

from students in our Princeton Sociology 101 course,

од студенти на нашиот курс по Социологија 101 од Принстон,

where they have put themselves on a world map,

при што тие самите себе се поставија на светската мапа,

and you can really see the global reach of this kind of effort.

на која вистински може да се види глобалниот опсег од ваквиот труд.

Students collaborated in these courses in a variety of different ways.

Студентите соработуваат на овие курсеви на најразлични начини.

First of all, there was a question and answer forum,

Пред сè, има форум за прашања и одговори,

where students would pose questions,

каде едни студенти поставуваат прашања,

and other students would answer those questions.

а други студенти одговараат на тие прашања.

And the really amazing thing is,

И она што е навистина неверојатно е

because there were so many students,

тоа што, поради големиот број студенти,

it means that even if a student posed a question

дури и кога некој студент ќе поставеше прашање

at 3 o'clock in the morning,

во 3 часот наутро,

somewhere around the world,

некаде во светот,

there would be somebody who was awake

ќе се најдеше некој којшто е буден и којшто

and working on the same problem.

работи на истиот проблем.

And so, in many of our courses,

И така, на многу од нашите курсеви

the median response time for a question

просечното време за одговарање на некое прашање во

on the question and answer forum was 22 minutes.

рамките на форумот за прашања и одговори е 22 минути.

Which is not a level of service I have ever offered to my Stanford students.

Што не е ниво на услуга што некогаш сум ја понудила на моите студенти од Стенфорд.

(Laughter)

(смеа)

And you can see from the student testimonials

Од препораките на студентите можете да видите

that students actually find

оти нивното гледиште всушност е

that because of this large online community,

дека поради оваа голема онлајн заедница,

they got to interact with each other in many ways

тие можат да комуницираат меѓусебно на многу начини

that were deeper than they did in the context of the physical classroom.

кои се позначајни отколку оние кои ги имале во контекст на вистинска училница.

Students also self-assembled,

Студентите исто така самостојно се собираа,

without any kind of intervention from us,

без никаква помош од наша страна,

into small study groups.

во мали групи за учење.

Some of these were physical study groups

Некои од овие беа вистински групи за учење

along geographical constraints

формирани во рамки на географската ограниченост

and met on a weekly basis to work through problem sets.

и се среќаваа неделно за да работат на задачите.

This is the San Francisco study group,

Ова е групата за учење од Сан Франциско

but there were ones all over the world.

но, вакви групи има насекаде во светот.

Others were virtual study groups,

Други беа виртуелни групи за учење,

sometimes along language lines or along cultural lines,

понекогаш според јазични или културолошки линии,

and on the bottom left there,

и таму долу лево,

you see our multicultural universal study group

се гледа нашата мултикултурна универзална група за учење

where people explicitly wanted to connect

во која луѓето отворено пројавија интерес да се

with people from other cultures.

поврзат со луѓе од други култури.

There are some tremendous opportunities

Постојат огромни можности

to be had from this kind of framework.

од ваквиот начин на учење.

The first is that it has the potential of giving us

Првата е дека има потенцијал да ни даде

a completely unprecedented look

еден целосно уникатен поглед

into understanding human learning.

во начинот на кој го усвојуваме знаењето.

Because the data that we can collect here is unique.

Бидејќи податоците кои ги добиваме од овде се уникатни.

You can collect every click, every homework submission,

Во предвид може да го земете секој клик, секоја домашна задача,

every forum post from tens of thousands of students.

секој пост во форумот од десетици илјади студенти.

So you can turn the study of human learning

Оттука, изучувањето на човечкото учење, може да

from the hypothesis-driven mode

премине од модалитет базиран на хипотези

to the data-driven mode, a transformation that,

во модалитет базиран на податоци, трансформација која

for example, has revolutionized biology.

на пример, ја има преобразено биологијата.

You can use these data to understand fundamental questions

Овие податоци можат да се користат за да се разберат основни прашања

like, what are good learning strategies

како, кои се добрите стратегии за учење

that are effective versus ones that are not?

кои се ефективните наспроти оние кои не се?

And in the context of particular courses,

И во контекстот на одредени курсеви,

you can ask questions

можете да поставите прашања

like, what are some of the misconceptions that are more common

како, кои се некои од почестите погрешни сфаќања

and how do we help students fix them?

и како да им помогнеме на студентите да ги поправат?

So here's an example of that,

Еве еден таков пример,

also from Andrew's Machine Learning class.

исто така од часот по Машинско учење на Ендру.

This is a distribution of wrong answers

Ова е распределба на погрешни одговори

to one of Andrew's assignments.

за една од домашните зададени од Ендру.

The answers happen to be pairs of numbers,

Одговорите се разни парови на броеви,

so you can draw them on this two-dimensional plot.

кои можете да ги внесете на овој дводимензионален нацрт.

Each of the little crosses that you see is a different wrong answer.

Секој од овие мали иксови кои ги гледате претставува погрешен одговор.

The big cross at the top left

Големиот икс горе лево

is where 2,000 students

е каде 2.000 студенти

gave the exact same wrong answer.

дале ист погрешен одговор.

Now, if two students in a class of 100

Сега, ако двајца студенти во клас од 100

give the same wrong answer,

дадат ист погрешен одговор,

you would never notice.

никогаш не би забележале.

But when 2,000 students give the same wrong answer,

Но, кога 2.000 студенти ќе дадат ист погрешен одговор

it's kind of hard to miss.

некако е тешко, а да не забележите.

So Andrew and his students went in,

Така Ендру и неговите студенти,

looked at some of those assignments,

погледнаа некои од тие домашни

understood the root cause of the misconception,

ја увидоа главната причина за недоразбирањето

and then they produced a targeted error message

и тогаш напишаа порака која се однесуваше на оваа грешка,

that would be provided to every student

порака која ќе му биде испратена на секој студент

whose answer fell into that bucket,

чијшто одговор влегол во таа категорија,

which means that students who made that same mistake

што значи дека студентите кои ја направиле истата грешка

would now get personalized feedback

сега би добиле персонализирана повратна информација

telling them how to fix their misconception much more effectively.

кажувајќи им како да ја исправат грешката поефективно.

So this personalization is something that one can then build

Значи оваа персонализација е нешто што може да се направи

by having the virtue of large numbers.

благодарение на големите броеви.

Personalization is perhaps

Персонализацијата е можеби

one of the biggest opportunities here as well,

една од најголемите можности тука,

because it provides us with the potential

бидејќи ни дава потенцијал за

of solving a 30-year-old problem.

решавање на еден 30 годишен проблем.

Educational researcher Benjamin Bloom, in 1984,

Истражувачот на образованието Бенџамин Блум, во 1984 година,

posed what's called the 2 sigma problem,

го постави таканаречениот 2 сигма проблем,

which he observed by studying three populations.

кој го забележал преку проучување на три популации.

The first is the population that studied in a lecture-based classroom.

Првата популација учела на начин базиран на класично предавање.

The second is a population of students that studied

Втората популација на студенти учеле

using a standard lecture-based classroom,

на начин базиран на класично предавање

but with a mastery-based approach,

но, со пристап за усовршување, на тој

so the students couldn't move on to the next topic

начин што студентите ќе преминат на следната тема

before demonstrating mastery of the previous one.

под услов доколку покажат разбирање на претходната.

And finally, there was a population of students

И на крај, имало трета популација на студенти

that were taught in a one-on-one instruction using a tutor.

кои биле подучувани еден на еден од страна на тутор.

The mastery-based population was a full standard deviation,

Резултатите на студентите сугерираат дека групата базирана на усовршување

or sigma, in achievement scores better

била подобра за цела стандардна девијација т.е. сигма

than the standard lecture-based class,

во споредба со групата базирана на класично предавање

and the individual tutoring gives you 2 sigma

а, индивидуалното туторство ви дава подобрување

improvement in performance.

на резултатите од 2 сигма.

To understand what that means,

За да разбереме што значи тоа

let's look at the lecture-based classroom,

да се осврнеме кон класичното предавање,

and let's pick the median performance as a threshold.

и ајде да го земеме просечниот резултат како норма.

So in a lecture-based class,

Па така, во групата базирана на класично предавање,

half the students are above that level and half are below.

половина од студентите се над нормата и половина се под нормата.

In the individual tutoring instruction,

Кај индивидуалното туторство,

98 percent of the students are going to be above that threshold.

98 проценти од студентите се над оваа норма.

Imagine if we could teach so that 98 percent of our students

Замислете ако би можеле да предаваме на начин што 98 проценти од нашите студенти

would be above average.

би биле натпросечни.

Hence, the 2 sigma problem.

И затоа ни се јавува 2 сигма проблемот.

Because we cannot afford, as a society,

Бидејќи, како општество, не можеме да си дозволиме

to provide every student with an individual human tutor.

на секој студент да му назначиме посебен тутор.

But maybe we can afford to provide each student

Но, можеби ќе можеме на секој студент да му дадеме

with a computer or a smartphone.

компјутер или смартфон.

So the question is, how can we use technology

Значи прашањето е, како можеме да ја искористиме технологијата

to push from the left side of the graph, from the blue curve,

да се поместиме од левата страна на графиконот, од сината крива

to the right side with the green curve?

кон десната страна со зелената крива?

Mastery is easy to achieve using a computer,

Усовршувањето е лесно да се постигне користејќи компјутер,

because a computer doesn't get tired

затоа што компјутерот не се заморува

of showing you the same video five times.

прикажувајќи го истото видео пет пати.

And it doesn't even get tired of grading the same work multiple times,

И не се заморува од оценување на истата работа повеќе пати,

we've seen that in many of the examples that I've shown you.

го видовме тоа во многу од примерите кои ви ги покажав.

And even personalization

Дури и персонализацијата

is something that we're starting to see the beginnings of,

е нешто на кое почнуваме да му го гледаме почетокот

whether it's via the personalized trajectory through the curriculum

без разлика дали персонализацијата ќе се изведе преку наставниот план

or some of the personalized feedback that we've shown you.

или во вид на персонализирана повратна информација како што ви прикажавме.

So the goal here is to try and push,

Нашата цел е да туркаме најсилно што можеме,

and see how far we can get towards the green curve.

и да видиме колку далеку можеме да стигнеме на патот кон зелената крива.

So, if this is so great, are universities now obsolete?

Па ако ова е толку супер, дали универзитетите се сега застарени?

Well, Mark Twain certainly thought so.

Марк Твен секако мислел така.

He said that, "College is a place where a professor's lecture notes

Тој кажал дека „Колеџот сега е место каде професорските белешки

go straight to the students' lecture notes,

одат право во белешките на студентите,

without passing through the brains of either."

без да поминат низ умот на едните или на другите.“

(Laughter)

(смеа)

I beg to differ with Mark Twain, though.

Јас сепак не се сложувам со Марк Твен..

I think what he was complaining about is not

Мислам дека тој не се жалел за

universities but rather the lecture-based format

универзитетите туку за форматот на кој се базирани предавањата,

that so many universities spend so much time on.

на што многу универзитети трошат премногу време.

So let's go back even further, to Plutarch,

Ајде да одиме уште подалеку, до Плутарх

who said that, "The mind is not a vessel that needs filling,

кој кажал дека „Умот не е сад на кој му треба полнење,

but wood that needs igniting."

туку дрво кое треба да се запали.“

And maybe we should spend less time at universities

На универзитетите можеби треба да поминуваме помалку време

filling our students' minds with content

полнејќи им ги мозоците на нашите студенти со содржина

by lecturing at them, and more time igniting their creativity,

преку предавање, а повеќе време разгорувајќи ја нивната креативност,

their imagination and their problem-solving skills

нивната имагинација и нивните вештини за решавање проблеми

by actually talking with them.

преку вистински разговор со нив.

So how do we do that?

Како да го направиме тоа?

We do that by doing active learning in the classroom.

Тоа го правиме преку активна настава во училницата.

So there's been many studies, including this one,

Има многу студии, вклучувајќи ја и оваа

that show that if you use active learning,

кои покажуваат дека ако користите активна настава,

interacting with your students in the classroom,

комуницирање со вашите студенти во училницата,

performance improves on every single metric --

резултатите се зголемуваат на секоја поединечна мерка -

on attendance, on engagement and on learning

на присутност, активност и на учење, притоа

as measured by a standardized test.

сето ова е измерено преку стандардизиран тест.

You can see, for example, that the achievement score

Можете да видите дека резултатот кој говори за постигнувањата

almost doubles in this particular experiment.

речиси се дуплира во овој конкретен експеримент.

So maybe this is how we should spend our time at universities.

Можеби на овој начин треба да го поминуваме нашето време на универзитетите.

So to summarize, if we could offer a top quality education

Да резимирам, ако можеме да понудиме висококвалитетно образование

to everyone around the world for free,

за секого во светот бесплатно,

what would that do? Three things.

до што ќе доведе тоа? До три нешта.

First it would establish education as a fundamental human right,

Прво ќе се воспостави образованието како основно човечко право,

where anyone around the world

каде секој во светот

with the ability and the motivation

со својата способност и мотивација

could get the skills that they need

ќе може да ги добие потребните вештини

to make a better life for themselves,

за да создаде подобар живот за себе,

their families and their communities.

неговото семејство и неговата заедница.

Second, it would enable lifelong learning.

Второ, тоа би овозможило доживотно учење.

It's a shame that for so many people,

Штета е што за толку многу луѓе

learning stops when we finish high school or when we finish college.

учењето престанува кога ќе завршиме средно училиште или ќе завршиме факултет.

By having this amazing content be available,

Достапноста на оваа неверојатна содржина,

we would be able to learn something new

ни дава можност да научиме нешто ново

every time we wanted,

секој пат кога ќе посакаме,

whether it's just to expand our minds

било само за да го прошириме нашиот светоглед

or it's to change our lives.

или за да ги смениме нашите животи.

And finally, this would enable a wave of innovation,

И најпосле, ова би овозможило бран на иновации,

because amazing talent can be found anywhere.

бидејќи неверојатен талент може да се најде насекаде.

Maybe the next Albert Einstein or the next Steve Jobs

Можеби следниот Алберт Ајнштајн или следниот Стив Џобс

is living somewhere in a remote village in Africa.

живее некаде во некое далечно село во Африка.

And if we could offer that person an education,

И доколку би можеле на таа личност да ѝ понудиме образование,

they would be able to come up with the next big idea

таа би можела да ја смисли следната голема идеја

and make the world a better place for all of us.

и да го направи светот подобро место за сите нас.

Thank you very much.

Ви благодарам многу.

(Applause)

(аплауз)