Daphne Koller: What we're learning from online education

Translator: Morton Bast Reviewer: Thu-Huong Ha

Vertaald door: Els De Keyser Nagekeken door: Christel Foncke

Like many of you, I'm one of the lucky people.

Zoals velen van jullie ben ik een gelukzak.

I was born to a family where education was pervasive.

In mijn familie was onderwijs overal.

I'm a third-generation PhD, a daughter of two academics.

Ik ben de derde generatie met een doctoraat, dochter van 2 academici.

In my childhood, I played around in my father's university lab.

Als kind speelde ik in het lab van mijn vader.

So it was taken for granted that I attend some of the best universities,

Het lag voor de hand dat ik een uitstekende universiteit bezocht.

which in turn opened the door to a world of opportunity.

Dat gaf me geweldige kansen.

Unfortunately, most of the people in the world are not so lucky.

Helaas hebben de meeste mensen minder geluk.

In some parts of the world, for example, South Africa,

In sommige delen van de wereld, zoals Zuid-Afrika

education is just not readily accessible.

is onderwijs gewoon niet toegankelijk.

In South Africa, the educational system was constructed

Het onderwijssysteem van Zuid-Afrika is opgezet

in the days of apartheid for the white minority.

ten tijde van de apartheid, voor de blanke minderheid.

And as a consequence, today there is just not enough spots

Het gevolg is dat er vandaag niet genoeg plaatsen zijn

for the many more people who want and deserve a high quality education.

voor het veel grotere aantal mensen dat een betere opleiding wil en verdient.

That scarcity led to a crisis in January of this year

Die schaarste leidde in januari van dit jaar tot een crisis

at the University of Johannesburg.

in de universiteit van Johannesburg.

There were a handful of positions left open

Er waren een handvol open plaatsen over

from the standard admissions process, and the night before

in het gewone toelatingssysteem.

they were supposed to open that for registration,

De avond voor de start van de registratie,

thousands of people lined up outside the gate in a line a mile long,

stonden er duizenden te wachten aan het hek in een rij van 1,5 km,

hoping to be first in line to get one of those positions.

in de hoop dat zij eerst zouden zijn om een plek te bemachtigen.

When the gates opened, there was a stampede,

Toen het hek openging, liepen ze elkaar onder de voet.

and 20 people were injured and one woman died.

Er waren 20 gewonden. Een vrouw stierf.

She was a mother who gave her life

Het was een moeder die haar leven gaf

trying to get her son a chance at a better life.

om haar zoon een kans op een beter leven te geven.

But even in parts of the world like the United States

Maar zelfs in de VS,

where education is available, it might not be within reach.

waar onderwijs voorhanden is, is het soms onbereikbaar.

There has been much discussed in the last few years

De jongste jaren was er veel discussie

about the rising cost of health care.

over de stijgende kosten van de zorg.

What might not be quite as obvious to people

Wat niet zo evident is,

is that during that same period the cost of higher education tuition

is dat in dezelfde periode de kosten voor hoger onderwijs

has been increasing at almost twice the rate,

bijna twee keer zo snel stegen,

for a total of 559 percent since 1985.

in totaal 559% sinds 1985.

This makes education unaffordable for many people.

Daardoor is onderwijs voor velen onbetaalbaar.

Finally, even for those who do manage to get the higher education,

Zelfs voor diegenen die het hoger onderwijs bereiken,

the doors of opportunity might not open.

gaan de deuren van de kans niet open.

Only a little over half of recent college graduates

Maar iets meer dan de helft van recent

in the United States who get a higher education

universitair afgestudeerden in de VS

actually are working in jobs that require that education.

heeft een job waarvoor die opleiding nodig is.

This, of course, is not true for the students

Dat geldt niet voor de studenten

who graduate from the top institutions,

die aan topinstellingen afstuderen,

but for many others, they do not get the value

maar vele anderen krijgen geen waar

for their time and their effort.

voor hun tijd en moeite.

Tom Friedman, in his recent New York Times article,

In een recent artikel in de New York Times vatte Tom Friedman,

captured, in the way that no one else could, the spirit behind our effort.

zoals alleen hij dat kan, de geest van onze onderneming.

He said the big breakthroughs are what happen

Hij zei dat grote doorbraken gebeuren

when what is suddenly possible meets what is desperately necessary.

als wat plots mogelijk is, ook is wat heel erg nodig is.

I've talked about what's desperately necessary.

Ik heb het gehad over wat heel erg nodig is.

Let's talk about what's suddenly possible.

Laten we het hebben over wat plots mogelijk is.

What's suddenly possible was demonstrated by

Dat werd gedemonstreerd

three big Stanford classes,

door drie grote Stanford-cursussen,

each of which had an enrollment of 100,000 people or more.

waarvoor telkens meer dan 100.000 mensen inschreven.

So to understand this, let's look at one of those classes,

Laten we één van die cursussen bekijken,

the Machine Learning class offered by my colleague

de cursus Machinaal leren van mijn collega

and cofounder Andrew Ng.

en mede-oprichter, Andrew Ng.

Andrew teaches one of the bigger Stanford classes.

Andrew doceert één van de grotere Stanford-cursussen:

It's a Machine Learning class,

Machinaal leren,

and it has 400 people enrolled every time it's offered.

met 400 cursisten telkens als het vak wordt aangeboden.

When Andrew taught the Machine Learning class to the general public,

Toen hij het vak gaf aan het algemene publiek,

it had 100,000 people registered.

waren er 100.000 inschrijvingen.

So to put that number in perspective,

Om dat in perspectief te zetten:

for Andrew to reach that same size audience

om evenveel mensen te bereiken

by teaching a Stanford class,

door een Stanford-cursus te geven,

he would have to do that for 250 years.

moest hij dat 250 jaar volhouden.

Of course, he'd get really bored.

Hij zou zich erg gaan vervelen.

So, having seen the impact of this,

Toen we de impact hiervan zagen,

Andrew and I decided that we needed to really try and scale this up,

beslisten Andrew en ik dat we een schaalvergroting moesten proberen,

to bring the best quality education to as many people as we could.

om het beste onderwijs te brengen voor zoveel mogelijk mensen.

So we formed Coursera,

We stichtten Coursera.

whose goal is to take the best courses

Doel is om de beste cursussen

from the best instructors at the best universities

van de beste lesgevers aan de beste universiteiten

and provide it to everyone around the world for free.

aan iedereen in de wereld gratis aan te bieden.

We currently have 43 courses on the platform

Momenteel hebben we 43 vakken op het platform

from four universities across a range of disciplines,

van 4 universiteiten, in een reeks domeinen.

and let me show you a little bit of an overview

Ik geef jullie een overzicht

of what that looks like.

van hoe dat eruit ziet.

(Video) Robert Ghrist: Welcome to Calculus.

(Video) Robert Ghrist: Welkom bij het vak Analyse.

Ezekiel Emanuel: Fifty million people are uninsured.

Ezekiel Emanuel: 50 miljoen mensen hebben geen verzekering.

Scott Page: Models help us design more effective institutions and policies.

Scott Page: Modellen helpen ons om instellingen en beleid te verbeteren.

We get unbelievable segregation.

We krijgen ongelooflijke segregatie.

Scott Klemmer: So Bush imagined that in the future,

Scott Klemmer: Bush dacht dat je in de toekomst

you'd wear a camera right in the center of your head.

een camera op je voorhoofd zou dragen.

Mitchell Duneier: Mills wants the student of sociology to develop the quality of mind ...

Mitchell Duneier: Mills wilde dat de sociologiestudent de kwaliteit zou ontwikkelen …

RG: Hanging cable takes on the form of a hyperbolic cosine.

RG: Hangende kabel neemt de vorm aan van een hyperbolische cosinus.

Nick Parlante: For each pixel in the image, set the red to zero.

Nick Parlante: Voor elke pixel in het beeld zet je het rood op nul.

Paul Offit: ... Vaccine allowed us to eliminate polio virus.

Paul Offit: … vaccin elimineerde het poliovirus.

Dan Jurafsky: Does Lufthansa serve breakfast and San Jose? Well, that sounds funny.

Dan Jurafsky: Serveert Lufthansa ontbijt en San Jose? Dat klinkt gek.

Daphne Koller: So this is which coin you pick, and this is the two tosses.

Daphne Koller: Dit is welk munstuk je kiest, dit is twee keer opgooien.

Andrew Ng: So in large-scale machine learning, we'd like to come up with computational ...

Andrew Ng: Bij machinaal leren op grote schaal, bedenken we graag berekeningen …

(Applause)

(Applaus)

DK: It turns out, maybe not surprisingly,

DK: Blijkt, niet verrassend,

that students like getting the best content

dat studenten graag de beste inhoud

from the best universities for free.

van de beste universiteiten gratis krijgen.

Since we opened the website in February,

Sinds de lancering van de website in februari

we now have 640,000 students from 190 countries.

hebben we al 640.000 studenten uit 190 landen.

We have 1.5 million enrollments,

We hebben 1,5 miljoen inschrijvingen,

6 million quizzes in the 15 classes that have launched

6 miljoen afgelegde proeven

so far have been submitted, and 14 million videos have been viewed.

in de 15 vakken die gestart zijn, en 14 miljoen bekeken video’s.

But it's not just about the numbers,

Maar het gaat niet alleen om cijfers.

it's also about the people.

Het gaat ook om mensen.

Whether it's Akash, who comes from a small town in India

Of het nu Akash is, uit een kleine stad in India,

and would never have access in this case

die nooit toegang zou hebben

to a Stanford-quality course

tot een cursus van Stanford-kwaliteit

and would never be able to afford it.

en het nooit zou kunnen betalen.

Or Jenny, who is a single mother of two

Of Jenny, alleenstaande moeder van twee,

and wants to hone her skills

die haar kennis wil opfrissen

so that she can go back and complete her master's degree.

om haar universitaire opleiding te kunnen afwerken.

Or Ryan, who can't go to school,

Of Ryan, die niet naar school kan

because his immune deficient daughter

omdat de immuniteitsziekte van zijn dochter

can't be risked to have germs come into the house,

geen risico op bacteriën in huis toelaat,

so he couldn't leave the house.

zodat hij het huis niet kan verlaten.

I'm really glad to say --

Ik ben erg blij om mee te delen --

recently, we've been in correspondence with Ryan --

we hebben recent met Ryan gecorrespondeerd --

that this story had a happy ending.

dat dit verhaal goed afloopt.

Baby Shannon -- you can see her on the left --

Baby Shannon, die je links ziet,

is doing much better now,

doet het veel beter.

and Ryan got a job by taking some of our courses.

Ryan vond werk dankzij één van onze cursussen.

So what made these courses so different?

Wat maakte deze cursussen zo anders?

After all, online course content has been available for a while.

Er waren al eerder online cursussen voorhanden.

What made it different was that this was real course experience.

Maar dit was een echte cursuservaring.

It started on a given day,

Het begon op een bepaalde dag,

and then the students would watch videos on a weekly basis

studenten moesten video’s bekijken op weekbasis

and do homework assignments.

en huiswerk maken.

And these would be real homework assignments

Dat was echt huiswerk,

for a real grade, with a real deadline.

met echte punten en een echte deadline.

You can see the deadlines and the usage graph.

Daar zijn de deadlines en de gebruiksgrafiek.

These are the spikes showing

De pieken tonen

that procrastination is global phenomenon.

dat uitstelgedrag universeel is.

(Laughter)

(Gelach)

At the end of the course,

Op het einde van de cursus

the students got a certificate.

kregen de studenten een getuigschrift.

They could present that certificate

Dat konden ze voorleggen

to a prospective employer and get a better job,

aan een werkgever om beter werk te vinden.

and we know many students who did.

We weten dat vele studenten dat deden.

Some students took their certificate

Sommigen legden hun getuigschrift voor

and presented this to an educational institution at which they were enrolled

aan hun onderwijsinstelling

for actual college credit.

om echte universitaire credits te krijgen.

So these students were really getting something meaningful

Ze kregen iets betekenisvols terug

for their investment of time and effort.

in ruil voor hun tijd en moeite.

Let's talk a little bit about some of the components

Laten we het even hebben over de onderdelen

that go into these courses.

van deze cursussen.

The first component is that when you move away

Eén: als je bevrijd bent

from the constraints of a physical classroom

van de beperkingen van een fysiek klaslokaal

and design content explicitly for an online format,

en cursussen specifiek voor online-gebruik ontwerpt,

you can break away from, for example,

kan je afwijken

the monolithic one-hour lecture.

van het monolithische lesblok van één uur.

You can break up the material, for example,

Je kan materiaal opdelen

into these short, modular units of eight to 12 minutes,

in kleine modules van 8 tot 12 minuten,

each of which represents a coherent concept.

die elk een coherent concept voorstellen.

Students can traverse this material in different ways,

Studenten kunnen het materiaal op verschillende manieren doorploegen,

depending on their background, their skills or their interests.

afhankelijk van hun achtergrond, vaardigheden en belangstelling.

So, for example, some students might benefit

Sommige studenten kunnen baat hebben

from a little bit of preparatory material

bij voorbereidend materiaal

that other students might already have.

dat anderen misschien al kennen.

Other students might be interested in a particular

Anderen hebben interesse voor bepaalde

enrichment topic that they want to pursue individually.

verrijkingsstof die ze individueel willen studeren.

So this format allows us to break away

In dit formaat kunnen we afwijken

from the one-size-fits-all model of education,

van het ‘one-size-fits-all’-onderwijsmodel.

and allows students to follow a much more personalized curriculum.

Studenten kunnen een veel meer gepersonaliseerd curriculum volgen.

Of course, we all know as educators

Als lesgevers weten we allemaal

that students don't learn by sitting and passively watching videos.

dat studenten niet leren door te zitten en passief te kijken.

Perhaps one of the biggest components of this effort

Eén van de grootste onderdelen van ons project

is that we need to have students

is dat studenten

who practice with the material

moeten oefenen met het materiaal

in order to really understand it.

om het echt te begrijpen.

There's been a range of studies that demonstrate the importance of this.

Een reeks studies tonen het belang daarvan aan.

This one that appeared in Science last year, for example,

Deze bijvoorbeeld, vorig jaar in Science,

demonstrates that even simple retrieval practice,

toont dat zelfs gewoon kennis herhalen,

where students are just supposed to repeat

waarbij studenten moeten herhalen

what they already learned

wat ze al kennen,

gives considerably improved results

veel betere resultaten geeft

on various achievement tests down the line

op toetsen achteraf

than many other educational interventions.

dan andere educatieve interventies.

We've tried to build in retrieval practice into the platform,

We hebben herhalingsoefeningen in het platform ingebouwd,

as well as other forms of practice in many ways.

en ook andere soorten oefeningen.

For example, even our videos are not just videos.

Zelfs onze video’s zijn niet gewoon video’s.

Every few minutes, the video pauses

Om de paar minuten stopt de video

and the students get asked a question.

en krijgen de studenten een vraag.

(Video) SP: ... These four things. Prospect theory, hyperbolic discounting,

(Video) SP: … deze vier dingen. Prospect-theorie, hyperbolisch verdisconteren,

status quo bias, base rate bias. They're all well documented.

neiging tot status quo, neiging tot de basisratio.

So they're all well documented deviations from rational behavior.

Dit zijn goed gedocumenteerde afwijkingen van het rationele gedrag.

DK: So here the video pauses,

DK: Hier stopt de video.

and the student types in the answer into the box

De student tikt het antwoord in het vakje

and submits. Obviously they weren't paying attention.

en stuurt het door. Ze letten niet zo goed op.

(Laughter)

(Gelach)

So they get to try again,

Dus mogen ze opnieuw proberen,

and this time they got it right.

en nu hebben ze het goed.

There's an optional explanation if they want.

Er is een facultatieve uitleg, als ze willen.

And now the video moves on to the next part of the lecture.

Nu gaat de video naar het volgende deel over.

This is a kind of simple question

Dit is een simpele vraag

that I as an instructor might ask in class,

die ik als lesgever misschien in de les stel,

but when I ask that kind of a question in class,

maar als ik dat doe in de les,

80 percent of the students

dan zijn 80 procent van de studenten

are still scribbling the last thing I said,

mijn laatste woorden nog aan het noteren,

15 percent are zoned out on Facebook,

15 procent is verdwenen naar Facebook

and then there's the smarty pants in the front row

en dan is er de slimmerik op de eerste rij

who blurts out the answer

die het antwoord roept

before anyone else has had a chance to think about it,

nog voor een ander erover heeft kunnen nadenken.

and I as the instructor am terribly gratified

Als lesgever ben ik intens dankbaar

that somebody actually knew the answer.

dat iemand het antwoord wist.

And so the lecture moves on before, really,

De les gaat dus verder

most of the students have even noticed that a question had been asked.

voor de meeste studenten door hebben dat er een vraag werd gesteld.

Here, every single student

Hier moet elke student

has to engage with the material.

aan de slag met het materiaal.

And of course these simple retrieval questions

Deze simpele herhalingsvraagjes

are not the end of the story.

zijn niet het einde van het verhaal.

One needs to build in much more meaningful practice questions,

We moeten slimmere oefenvragen inbouwen,

and one also needs to provide the students with feedback

en studenten feedback geven

on those questions.

over die vragen.

Now, how do you grade the work of 100,000 students

Hoe evalueer je het werk van 100.000 studenten

if you do not have 10,000 TAs?

als je geen 10.000 assistenten hebt?

The answer is, you need to use technology

Je moet technologie gebruiken

to do it for you.

om het voor jou te doen.

Now, fortunately, technology has come a long way,

Gelukkig staat de technologie al ver.

and we can now grade a range of interesting types of homework.

We kunnen nu interessante types huiswerk evalueren.

In addition to multiple choice

Behalve meerkeuzevragen

and the kinds of short answer questions that you saw in the video,

en de korte antwoorden die je in de video zag,

we can also grade math, mathematical expressions

evalueren we ook wiskundige uitdrukkingen

as well as mathematical derivations.

en wiskundige afleidingen.

We can grade models, whether it's

We evalueren modellen,

financial models in a business class

financiële modellen in een economiecursus

or physical models in a science or engineering class

of fysica-modellen in een wetenschapscursus.

and we can grade some pretty sophisticated programming assignments.

We evalueren ook gesofisticeerde programmeeropdrachten.

Let me show you one that's actually pretty simple

Deze hier is eenvoudig,

but fairly visual.

maar erg visueel.

This is from Stanford's Computer Science 101 class,

Uit de Cursus Computerwetenschappen van Stanford.

and the students are supposed to color-correct

De studenten moeten kleurcorrectie doen

that blurry red image.

in dat wazige rode beeld.

They're typing their program into the browser,

Ze tikken hun programma in de browser in.

and you can see they didn't get it quite right, Lady Liberty is still seasick.

Dit ging niet zo goed. Het vrijheidsbeeld is nog zeeziek.

And so, the student tries again, and now they got it right, and they're told that,

De studenten proberen opnieuw. Dit is goed, ze krijgen feedback

and they can move on to the next assignment.

en kunnen aan de volgende taak beginnen.

This ability to interact actively with the material

Het vermogen om actief met het materiaal aan de slag te gaan

and be told when you're right or wrong

en te horen of het goed of fout is,

is really essential to student learning.

is essentieel voor het leren.

Now, of course we cannot yet grade

We kunnen nog niet alle types evalueren

the range of work that one needs for all courses.

die je nodig hebt voor alle cursussen.

Specifically, what's lacking is the kind of critical thinking work

Wat ontbreekt, zijn taken van kritisch denken

that is so essential in such disciplines

die essentieel zijn in bijvoorbeeld

as the humanities, the social sciences, business and others.

humane en politieke wetenschappen, economie enzovoort.

So we tried to convince, for example,

We praatten in op

some of our humanities faculty

professoren humane wetenschappen:

that multiple choice was not such a bad strategy.

meerkeuzevragen waren toch niet zo’n slechte strategie?

That didn't go over really well.

Dat schoot in het verkeerde keelgat.

So we had to come up with a different solution.

We moesten een andere oplossing vinden.

And the solution we ended up using is peer grading.

Die kreeg de vorm van evaluatie door medestudenten.

It turns out that previous studies show,

Het blijkt uit eerdere studies,

like this one by Saddler and Good,

zoals deze van Saddler en Good,

that peer grading is a surprisingly effective strategy

dat evaluatie door medestudenten verrassend goed werkt

for providing reproducible grades.

en herhaalbare scores oplevert.

It was tried only in small classes,

Het werd enkel getest in kleine klassen.

but there it showed, for example,

Het resultaat was

that these student-assigned grades on the y-axis

dat de scores die de studenten gaven, op de Y-as,

are actually very well correlated

goed gecorreleerd zijn

with the teacher-assigned grade on the x-axis.

met de scores die de lesgevers gaven, op de X-as.

What's even more surprising is that self-grades,

Nog verrassender is dat de zelf-scores,

where the students grade their own work critically --

waar ze hun eigen werk kritisch beoordelen --

so long as you incentivize them properly

voor zover de incentives correct zijn

so they can't give themselves a perfect score --

en ze zichzelf geen perfecte score kunnen geven --

are actually even better correlated with the teacher grades.

nog beter gecorreleerd zijn met die van de lesgevers.

And so this is an effective strategy

Dit is een effectieve strategie

that can be used for grading at scale,

die kan dienen voor evaluatie op grote schaal

and is also a useful learning strategy for the students,

en die ook een nuttige leerstrategie is voor de studenten,

because they actually learn from the experience.

die uit de ervaring leren.

So we now have the largest peer-grading pipeline ever devised,

Wij hebben nu de grootste ‘peer grading’-pijplijn ooit,

where tens of thousands of students

waarin tienduizenden studenten

are grading each other's work,

elkaars werk evalueren,

and quite successfully, I have to say.

met veel succes, moet ik zeggen.

But this is not just about students

Dit gaat niet alleen over studenten

sitting alone in their living room working through problems.

die in hun huiskamer vraagstukken zitten oplossen.

Around each one of our courses,

Rond elk van onze cursussen

a community of students had formed,

vormde zich een studentengemeenschap,

a global community of people

een wereldwijde gemeenschap

around a shared intellectual endeavor.

rondom een gedeelde intellectuele inspanning.

What you see here is a self-generated map

Hier zie je een zelf-gegenereerde kaart

from students in our Princeton Sociology 101 course,

van studenten in onze Princeton-sociologiecursus 101,

where they have put themselves on a world map,

waar ze zich op een wereldkaart moesten zetten.

and you can really see the global reach of this kind of effort.

Je ziet dat het bereik wereldwijd is.

Students collaborated in these courses in a variety of different ways.

Studenten werkten samen op veel verschillende manieren.

First of all, there was a question and answer forum,

Er was een vraag-en-antwoord-forum,

where students would pose questions,

waar studenten vragen achterlieten

and other students would answer those questions.

die andere studenten beantwoordden.

And the really amazing thing is,

Het verbazende is dat,

because there were so many students,

omdat er zoveel studenten waren,

it means that even if a student posed a question

zelfs voor een vraag die werd gesteld

at 3 o'clock in the morning,

om 3 uur ’s ochtends,

somewhere around the world,

er ergens ter wereld

there would be somebody who was awake

iemand wakker was

and working on the same problem.

die met hetzelfde bezig was.

And so, in many of our courses,

In vele cursussen

the median response time for a question

was de mediaan van de antwoordtijden

on the question and answer forum was 22 minutes.

op het forum 22 minuten.

Which is not a level of service I have ever offered to my Stanford students.

Dat niveau van dienstverlening heb ik mijn Stanfordstudenten nooit geboden.

(Laughter)

(Gelach)

And you can see from the student testimonials

Je merkt aan de getuigenissen van studenten

that students actually find

dat ze vinden

that because of this large online community,

dat deze grote onlinegemeenschap

they got to interact with each other in many ways

leidde tot andere soorten interactie

that were deeper than they did in the context of the physical classroom.

die soms dieper was dan in het fysieke leslokaal.

Students also self-assembled,

De studenten organiseerden zich ook,

without any kind of intervention from us,

zonder dat wij tussenkwamen,

into small study groups.

in kleine studiegroepen.

Some of these were physical study groups

Soms was dat fysiek,

along geographical constraints

volgens geografische lijnen,

and met on a weekly basis to work through problem sets.

en spraken ze wekelijks af om taken op te lossen.

This is the San Francisco study group,

Dit is de studiegroep uit San Francisco.

but there were ones all over the world.

Er waren er over de hele wereld.

Others were virtual study groups,

Soms waren ze virtueel,

sometimes along language lines or along cultural lines,

soms per taal, per cultuur,

and on the bottom left there,

en daar linksonder

you see our multicultural universal study group

zie je onze multiculturele universele studiegroep,

where people explicitly wanted to connect

waarin mensen expliciet contact zochten

with people from other cultures.

met mensen uit andere culturen.

There are some tremendous opportunities

Geweldige kansen bieden zich aan

to be had from this kind of framework.

in dit soort raamwerk.

The first is that it has the potential of giving us

Ten eerste krijgen we potentieel

a completely unprecedented look

een inzicht zonder voorgaande

into understanding human learning.

in het menselijke leren.

Because the data that we can collect here is unique.

De gegevens die we hier verzamelen, zijn uniek.

You can collect every click, every homework submission,

Je kan elke klik, elke inzending van een taak,

every forum post from tens of thousands of students.

elke forumpost verzamelen van tienduizenden studenten.

So you can turn the study of human learning

Je kan de studie van het menselijke leren

from the hypothesis-driven mode

van de hypothese-gedreven modus

to the data-driven mode, a transformation that,

naar de data-gedreven modus omschakelen,

for example, has revolutionized biology.

wat bijvoorbeeld in de biologie een revolutie was.

You can use these data to understand fundamental questions

Je kan de gegevens gebruiken om fundamentele vragen te begrijpen, zoals:

like, what are good learning strategies

wat zijn goede leerstrategieën

that are effective versus ones that are not?

en welke zijn niet effectief?

And in the context of particular courses,

In de context van bepaalde cursussen

you can ask questions

kan je vragen stellen zoals:

like, what are some of the misconceptions that are more common

wat zijn de meest gangbare misverstanden

and how do we help students fix them?

en hoe helpen we de studenten ervan af?

So here's an example of that,

Hier is een voorbeeld,

also from Andrew's Machine Learning class.

ook uit de cursus van Andrew over Machinaal leren.

This is a distribution of wrong answers

Dit is de verdeling van de foute antwoorden

to one of Andrew's assignments.

op één van Andrews opdrachten.

The answers happen to be pairs of numbers,

De antwoorden zijn getallenparen,

so you can draw them on this two-dimensional plot.

zodat je dit in twee dimensies kan weergeven.

Each of the little crosses that you see is a different wrong answer.

Elk kruisje is een verschillend fout antwoord.

The big cross at the top left

Het grote kruis linksboven

is where 2,000 students

is waar 2.000 studenten

gave the exact same wrong answer.

exact hetzelfde foute antwoord gaven.

Now, if two students in a class of 100

Als in een groep van 100 studenten

give the same wrong answer,

er 2 hetzelfde antwoord geven,

you would never notice.

valt dat niet op.

But when 2,000 students give the same wrong answer,

Als 2.000 studenten dat doen,

it's kind of hard to miss.

kan je er niet naast kijken.

So Andrew and his students went in,

Andrew en zijn studenten doken erin,

looked at some of those assignments,

keken naar de taken,

understood the root cause of the misconception,

begrepen de oorzaak van de misvatting

and then they produced a targeted error message

en maakten een gerichte foutboodschap

that would be provided to every student

voor elke student

whose answer fell into that bucket,

die in dat mandje terechtkwam.

which means that students who made that same mistake

Studenten die dezelfde fout maakten,

would now get personalized feedback

kregen zo gepersonaliseerde feedback

telling them how to fix their misconception much more effectively.

om hun misvatting efficiënter te kunnen bijsturen.

So this personalization is something that one can then build

Deze personalisatie kan je uitbouwen

by having the virtue of large numbers.

doordat je grote getallen hebt.

Personalization is perhaps

Personalisatie is wellicht

one of the biggest opportunities here as well,

één van de grootste kansen,

because it provides us with the potential

omdat we de mogelijkheid krijgen

of solving a 30-year-old problem.

om een 30 jaar oud probleem op te lossen.

Educational researcher Benjamin Bloom, in 1984,

Onderwijsvorser Benjamin Bloom stelde in 1984

posed what's called the 2 sigma problem,

het zogenaamde 2-sigma-vraagstuk voor.

which he observed by studying three populations.

Hij kwam ertoe door 3 populaties te bestuderen.

The first is the population that studied in a lecture-based classroom.

Ten eerste: de populatie die studeert via lessen in een klas.

The second is a population of students that studied

Ten tweede: de populatie die studeert

using a standard lecture-based classroom,

via lessen in een klas, op basis van

but with a mastery-based approach,

een ‘meesterschaps’-aanpak

so the students couldn't move on to the next topic

waarbij ze pas naar het volgende onderwerp mogen

before demonstrating mastery of the previous one.

als ze tonen dat ze het vorige beheersen.

And finally, there was a population of students

Tenslotte was er een groep studenten

that were taught in a one-on-one instruction using a tutor.

die één-op-één les kregen van een lesgever.

The mastery-based population was a full standard deviation,

De meesterschapsgroep was een volle standaarddeviatie,

or sigma, in achievement scores better

of sigma, beter qua prestatiescore

than the standard lecture-based class,

dan de groep die les kreeg in de klas,

and the individual tutoring gives you 2 sigma

en één-op-één-lessen gaven 2 sigma

improvement in performance.

verbetering qua prestaties.

To understand what that means,

Om te begrijpen wat dat betekent,

let's look at the lecture-based classroom,

kijken we even naar de les in de klas.

and let's pick the median performance as a threshold.

De mediaanprestatie beschouwen we als een drempel.

So in a lecture-based class,

Bij een les in de klas

half the students are above that level and half are below.

zit de helft van de studenten erboven en de helft eronder.

In the individual tutoring instruction,

In de individuele les

98 percent of the students are going to be above that threshold.

zit 98 procent erboven.

Imagine if we could teach so that 98 percent of our students

Stel je voor dat we zo zouden lesgeven dat 98 procent van de studenten

would be above average.

bovengemiddeld was.

Hence, the 2 sigma problem.

Dat is het 2-sigmaprobleem.

Because we cannot afford, as a society,

Als maatschappij kunnen we het ons niet veroorloven

to provide every student with an individual human tutor.

om elke student een individuele lesgever te geven.

But maybe we can afford to provide each student

Maar misschien lukt dat wel voor

with a computer or a smartphone.

een computer of een smartphone.

So the question is, how can we use technology

De vraag is hoe we technologie kunnen gebruiken

to push from the left side of the graph, from the blue curve,

om van de linkerkant, van de blauwe lijn,

to the right side with the green curve?

naar de rechterkant, de groene lijn, op te schuiven.

Mastery is easy to achieve using a computer,

Meesterschap kan je met een computer snel verwerven,

because a computer doesn't get tired

want een computer wordt het niet beu

of showing you the same video five times.

om je dezelfde video 5 keer te tonen.

And it doesn't even get tired of grading the same work multiple times,

Hij wordt het zelfs niet beu om hetzelfde werk meermaals te verbeteren.

we've seen that in many of the examples that I've shown you.

Dat zagen we in vele voorbeelden die ik toonde.

And even personalization

Ook personalisatie

is something that we're starting to see the beginnings of,

staat in zijn kinderschoenen,

whether it's via the personalized trajectory through the curriculum

hetzij via een persoonlijk leertraject en curriculum,

or some of the personalized feedback that we've shown you.

hetzij via gepersonaliseerde feedback.

So the goal here is to try and push,

Ons doel is om door te zetten

and see how far we can get towards the green curve.

en zo ver mogelijk richting groene curve op te schuiven.

So, if this is so great, are universities now obsolete?

Als dit zo goed is, waarom zijn universiteiten dan zo ouderwets?

Well, Mark Twain certainly thought so.

Mark Twain vond dat alleszins:

He said that, "College is a place where a professor's lecture notes

“De universiteit is een plek waar de lesnotities van de professor

go straight to the students' lecture notes,

recht naar de lesnotities van de studenten gaan,

without passing through the brains of either."

zonder omweg langs het brein van de ene of de andere.”

(Laughter)

(Gelach)

I beg to differ with Mark Twain, though.

Ik ben het beleefd oneens met Mark Twain.

I think what he was complaining about is not

Hij klaagt niet zozeer

universities but rather the lecture-based format

over universiteiten als over de les in de klas

that so many universities spend so much time on.

waar zovele universiteiten zoveel tijd insteken.

So let's go back even further, to Plutarch,

Laten we verder teruggaan, naar Plutarchus:

who said that, "The mind is not a vessel that needs filling,

“De geest is geen vat dat moet gevuld worden,

but wood that needs igniting."

maar hout dat moet ontstoken worden.”

And maybe we should spend less time at universities

Misschien moeten we minder tijd besteden

filling our students' minds with content

om de geesten van onze studenten met inhoud te vullen

by lecturing at them, and more time igniting their creativity,

door les te geven, en meer aan het ontsteken van hun creativiteit,

their imagination and their problem-solving skills

hun verbeelding en probleemoplossend vermogen

by actually talking with them.

door met hen te praten.

So how do we do that?

Hoe doen we dat?

We do that by doing active learning in the classroom.

Door actief te leren in de klas.

So there's been many studies, including this one,

Er zijn veel studies, waaronder deze,

that show that if you use active learning,

die aantonen dat bij actief leren,

interacting with your students in the classroom,

interactie met studenten in de klas,

performance improves on every single metric --

de prestaties bij alle metingen verbeteren:

on attendance, on engagement and on learning

aanwezigheid, engagement en leren,

as measured by a standardized test.

gemeten in een gestandaardiseerde test.

You can see, for example, that the achievement score

Je ziet bijvoorbeeld dat de prestatiescore

almost doubles in this particular experiment.

hier bijna verdubbelt.

So maybe this is how we should spend our time at universities.

Misschien is dat hoe we onze tijd moeten doorbrengen aan de unversiteit.

So to summarize, if we could offer a top quality education

Kortom, als we onderwijs van topkwaliteit kunnen geven

to everyone around the world for free,

aan iedereen in de wereld, gratis,

what would that do? Three things.

waar leidt dat dan toe? Drie dingen.

First it would establish education as a fundamental human right,

Eén: onderwijs zou een fundamenteel mensenrecht zijn,

where anyone around the world

waarbij iedereen in de wereld

with the ability and the motivation

die het kan en wil,

could get the skills that they need

de nodige vaardigheden kan ontwikkelen

to make a better life for themselves,

om een beter leven op te bouwen voor zichzelf,

their families and their communities.

zijn familie en gemeenschap.

Second, it would enable lifelong learning.

Twee: levenslang leren zou mogelijk worden.

It's a shame that for so many people,

Het is jammer dat voor zovele mensen

learning stops when we finish high school or when we finish college.

het leren stopt aan het einde van het middelbaar of de universiteit.

By having this amazing content be available,

Doordat we dit geweldige materiaal hebben,

we would be able to learn something new

kunnen we iets nieuws leren

every time we wanted,

wanneer we maar willen,

whether it's just to expand our minds

om onze geest te verruimen

or it's to change our lives.

of om ons leven te veranderen.

And finally, this would enable a wave of innovation,

Tenslotte zou er een innovatiegolf mogelijk worden,

because amazing talent can be found anywhere.

want geweldig talent vind je overal.

Maybe the next Albert Einstein or the next Steve Jobs

Misschien woont de volgende Albert Einstein of Steve Jobs

is living somewhere in a remote village in Africa.

in een afgelegen dorp in Afrika.

And if we could offer that person an education,

Als we hem onderwijs kunnen bieden,

they would be able to come up with the next big idea

kunnen zij het volgende grote idee ontwikkelen

and make the world a better place for all of us.

waardoor de wereld voor ons allen beter wordt.

Thank you very much.

Hartelijk dank.

(Applause)

(Applaus)