Daphne Koller: What we're learning from online education

Translator: Morton Bast Reviewer: Thu-Huong Ha

번역: Hee Lim Han 검토: K Bang

Like many of you, I'm one of the lucky people.

여러분 중 대부분처럼 저도 운이 좋은 사람입니다.

I was born to a family where education was pervasive.

저는 학구열이 높은 가정에서 태어났어요.

I'm a third-generation PhD, a daughter of two academics.

저는 두 학자의 딸로 태어났고, 집안 삼대째 박사입니다.

In my childhood, I played around in my father's university lab.

어렸을 적엔 아버지의 대학교 연구실에서 놀곤 했죠.

So it was taken for granted that I attend some of the best universities,

그래서 최고 대학에 다니는 게 무척 당연하게 생각되었어요.

which in turn opened the door to a world of opportunity.

그곳에선 기회의 문이 열렸지요.

Unfortunately, most of the people in the world are not so lucky.

불행한 일이지만 세계 대부분의 사람들이 그렇게 운이 좋진 못합니다.

In some parts of the world, for example, South Africa,

지구상 어떤 곳에서는, 예를 들어 남아프리카에서는

education is just not readily accessible.

교육을 받는 것은 쉽지 않습니다.

In South Africa, the educational system was constructed

남아프리카의 교육 시스템은 소수의 백인들이 통치하던

in the days of apartheid for the white minority.

아파트르헤이드 (남아프리카공화국의 인종차별정책) 시절에 만들어졌습니다.

And as a consequence, today there is just not enough spots

결과적으로 오늘날에는 고등교육을 받는 것을 원하고,

for the many more people who want and deserve a high quality education.

또, 받을 자격이 있는 많은 사람들을 위한 자리가 없습니다.

That scarcity led to a crisis in January of this year

이러한 부족함은 결국 금년 1월

at the University of Johannesburg.

요하네스버그대학에 위기를 초래했습니다.

There were a handful of positions left open

정규 입학절차 이후에도

from the standard admissions process, and the night before

몇몇 신입생 자리가 남았고

they were supposed to open that for registration,

신입생 등록 바로 전날 밤

thousands of people lined up outside the gate in a line a mile long,

수천명의 사람들이 등록하길 바라면서

hoping to be first in line to get one of those positions.

정문 밖으로 1마일이나 줄을 섰습니다.

When the gates opened, there was a stampede,

정문이 열리자, 사람들이 한꺼번에 우르르 몰렸고

and 20 people were injured and one woman died.

결국 스무명이 다쳤고 한 여성이 죽고 말았습니다.

She was a mother who gave her life

그녀는 당신의 아들이 좀 더 나은 삶을 살 수 있는 기회와

trying to get her son a chance at a better life.

자신의 목슴을 맞바꾼 한 어머니였던 거죠.

But even in parts of the world like the United States

그러나 미국같이 교육을 받을 수 있는 나라에서 조차도

where education is available, it might not be within reach.

교육은 쉽게 접할 수 없는 것일 수도 있습니다.

There has been much discussed in the last few years

지난 몇 년 간 의료혜택 비용 상승에 대한

about the rising cost of health care.

논쟁이 있어 왔는데요.

What might not be quite as obvious to people

아마 사람들은 고등 교육 비용이

is that during that same period the cost of higher education tuition

같은 기간 동안 거의 두 배 가까운 속도로 올랐다는 것을

has been increasing at almost twice the rate,

그만큼 잘 알고 있지 못한 것 같습니다.

for a total of 559 percent since 1985.

1985년 이래로 총 559%나 올랐는데 말이죠.

This makes education unaffordable for many people.

이로인해 많은 사람들이 금전적인 이유로 교육을 받기 어려워졌습니다.

Finally, even for those who do manage to get the higher education,

결국 고등 교육에 어렵사리 발을 들여놓은 사람들에게조차도

the doors of opportunity might not open.

그러한 기회의 문은 열리지 않을 수 있죠.

Only a little over half of recent college graduates

최근 미국에서 고등교육을 받고 대학을 졸업한 사람들 중

in the United States who get a higher education

절반을 조금 넘는 정도의 사람들만이

actually are working in jobs that require that education.

그런 교육을 필요로 하는 곳에서 일하고 있습니다.

This, of course, is not true for the students

이것은 물론 명문 대학을 졸업한

who graduate from the top institutions,

학생들의 경우는 아니지만

but for many others, they do not get the value

많은 학생들은 그들의 시간과 노력에 대한

for their time and their effort.

대가를 받지 못합니다.

Tom Friedman, in his recent New York Times article,

톰 프리드맨은 그의 최근 뉴욕 타임즈 기사에서

captured, in the way that no one else could, the spirit behind our effort.

어느 누구도 하지 못했을 방식으로, 우리의 노력 뒤에 숨어있는 생각을 포착했습니다.

He said the big breakthroughs are what happen

그는 큰 돌파구란 갑자기 가능한 것들이

when what is suddenly possible meets what is desperately necessary.

몹시 필요한 것을 만나는 것이라고 하였습니다.

I've talked about what's desperately necessary.

저는 몹시 필요한 것에 대해 이야기를 해왔습니다.

Let's talk about what's suddenly possible.

이제 갑자기 가능한 것들에 대해 이야기해 보도록 하죠.

What's suddenly possible was demonstrated by

갑자기 가능한 것들은 십만 명 이상 수강 신청한

three big Stanford classes,

스탠포드의 3개의 대형 강의에 의해

each of which had an enrollment of 100,000 people or more.

입증될 수 있습니다.

So to understand this, let's look at one of those classes,

이것을 이해하기 위해 그 수업들 중 하나를 보도록 하지요.

the Machine Learning class offered by my colleague

제 동료이자 공동 창설자인 Andrew Ng가 강의하는

and cofounder Andrew Ng.

기계 학습 강의입니다.

Andrew teaches one of the bigger Stanford classes.

앤드류는 대형 강의 중 하나인

It's a Machine Learning class,

기계 학습 강의를 진행하는데

and it has 400 people enrolled every time it's offered.

그 강의는 매번 400명의 학생들이 신청을 합니다.

When Andrew taught the Machine Learning class to the general public,

앤드류가 이 강의를 일반 대중에게 가르쳤을 때

it had 100,000 people registered.

십만 명이 수강신청을 했습니다.

So to put that number in perspective,

그러니까 앤드류가 스탠포드에서

for Andrew to reach that same size audience

강의하는 학생 수만큼 가르친다면

by teaching a Stanford class,

그는 250년 간 강의해야 할 것이라고

he would have to do that for 250 years.

볼 수 있겠군요.

Of course, he'd get really bored.

물론, 그는 무척 지루해 하겠지요.

So, having seen the impact of this,

이런 결과를 보면서

Andrew and I decided that we needed to really try and scale this up,

앤드류와 저는 최대한 많은 사람들에게 최상의 교육을 제공하기 위해

to bring the best quality education to as many people as we could.

수강생의 수를 늘리도록 노력해야겠다고 생각했죠.

So we formed Coursera,

그래서 우리는 Coursera를 만들었습니다.

whose goal is to take the best courses

Coursera의 목표는 최고의 대학에서

from the best instructors at the best universities

최고의 교수들에 의한 최고의 강의들을 모아

and provide it to everyone around the world for free.

세계 모든 사람들에게 무료로 보급하는 것입니다.

We currently have 43 courses on the platform

우리는 지금 4개 대학에서 온

from four universities across a range of disciplines,

다양한 분야의 43개 강의가 있습니다.

and let me show you a little bit of an overview

그 강의들이 어떤 식인지

of what that looks like.

여러분께 조금 보여드리겠습니다.

(Video) Robert Ghrist: Welcome to Calculus.

Robert Ghrist : 미적분에 오신 걸 환영합니다.

Ezekiel Emanuel: Fifty million people are uninsured.

Ezekiel Emanuel : 5천만 명의 사람들이 보험에 들지 않았습니다.

Scott Page: Models help us design more effective institutions and policies.

Scott Page : 여러 사례들은 우리가 더 효과적인 제도와 정책들을 만들도록 도와줍니다.

We get unbelievable segregation.

우리는 상상할 수 없는 인종차별을 받습니다.

Scott Klemmer: So Bush imagined that in the future,

Scott Klemmer : 그러니까 부시는 미래에 우리가

you'd wear a camera right in the center of your head.

카메라를 머리 한 가운데 달고 다닐 것이라고 생각했습니다.

Mitchell Duneier: Mills wants the student of sociology to develop the quality of mind ...

Mitchell Duneier : 밀즈는 사회학과 학생들이 마음의 질을 발전시키길 원했습니다.

RG: Hanging cable takes on the form of a hyperbolic cosine.

RG: 늘어져있는 케이블선은 쌍곡 코사인 함수의 모양을 띱니다.

Nick Parlante: For each pixel in the image, set the red to zero.

Nick Parlante : 그림의 모든 픽셀에 대해 빨강을 0으로 지정하세요.

Paul Offit: ... Vaccine allowed us to eliminate polio virus.

Paul Offit : 백신 덕분에 우리는 소아마비 바이러스를 없앨 수 있게 되었습니다.

Dan Jurafsky: Does Lufthansa serve breakfast and San Jose? Well, that sounds funny.

Dan Jurafsky : 루프트한자(독일 항공회사)가 아침식사와 산 호세를 공급한다고요? 이상하게 들리네요.

Daphne Koller: So this is which coin you pick, and this is the two tosses.

Daphne Koller : 그러니까 이건 여러분이 고른 동전이고, 이것이 두 번 던진 것입니다.

Andrew Ng: So in large-scale machine learning, we'd like to come up with computational ...

Andrew Ng : 그러므로 대규모의 기계학습에서 우리는 컴퓨터의...

(Applause)

(박수)

DK: It turns out, maybe not surprisingly,

별로 놀랍지 않게도, 많은 학생들이

that students like getting the best content

최고 대학들의 최고의 수업들을

from the best universities for free.

공짜로 듣는 것을 좋아했습니다.

Since we opened the website in February,

2월에 웹사이트를 개설하고부터

we now have 640,000 students from 190 countries.

현재 우리는 190개국에서 온 64만 명의 학생들이 있습니다.

We have 1.5 million enrollments,

우린 150만 개의 수강신청을 받고 있고

6 million quizzes in the 15 classes that have launched

15개의 수업에서 만들어진 퀴즈 중 6백만 개가 제출됐고

so far have been submitted, and 14 million videos have been viewed.

1400만 개의 영상이 시청되었습니다.

But it's not just about the numbers,

그러나 이것은 단지 숫자에 대한 것이 아니라

it's also about the people.

사람들에 대한 것입니다.

Whether it's Akash, who comes from a small town in India

인도의 작은 마을에서 와 스탠포드 수준의 강의를

and would never have access in this case

접촉할 기회가 전혀 없고

to a Stanford-quality course

또 그것을 들을 금전적 여유도 없는

and would never be able to afford it.

Akash 여도 괜찮습니다.

Or Jenny, who is a single mother of two

기술을 연마하고 학교로 돌아가

and wants to hone her skills

자신의 석사 학위를 마치고 싶어하는

so that she can go back and complete her master's degree.

두 아이의 편모인 Jenny여도 괜찮습니다.

Or Ryan, who can't go to school,

혹은 면역력이 부족한 딸 때문에

because his immune deficient daughter

집 안에 병균이 들어올까봐

can't be risked to have germs come into the house,

학교에 가지 못하는

so he couldn't leave the house.

Ryan이어도 괜찮습니다.

I'm really glad to say --

저는 우리가 최근 Ryan과 연락한 결과

recently, we've been in correspondence with Ryan --

이 이야기가 행복한 결실을 맺었다고

that this story had a happy ending.

전할 수 있어서 매우 기분이 좋습니다.

Baby Shannon -- you can see her on the left --

그의 아기 Shannon은--여기 왼쪽이 그녀입니다--

is doing much better now,

훨씬 더 나아졌고

and Ryan got a job by taking some of our courses.

Ryan은 우리의 강의 일부를 들음으로써 취직하였습니다.

So what made these courses so different?

이 강의들이 뭐가 그렇게 다르냐고요?

After all, online course content has been available for a while.

온라인 강의는 꽤 오랫동안 가능했잖아요.

What made it different was that this was real course experience.

이 강의들이 다른 점은 이것들이 실제 강의 체험이었다는 점입니다.

It started on a given day,

강의들은 특정한 날에 시작하고

and then the students would watch videos on a weekly basis

학생들은 매주 영상을보고

and do homework assignments.

숙제를 했습니다.

And these would be real homework assignments

그리고 이 숙제들은 실제 점수와

for a real grade, with a real deadline.

실제 기한이 있는 진짜 숙제들이었습니다.

You can see the deadlines and the usage graph.

이 그래프에서 제출 기한과 제출 시간을 볼 수 있습니다.

These are the spikes showing

이 뾰족한 부분들은

that procrastination is global phenomenon.

미루는 버릇이 세계적 현상이라는 것을 보여주죠.

(Laughter)

(웃음)

At the end of the course,

강의가 끝나고 나면

the students got a certificate.

학생들은 수료증을 받았습니다.

They could present that certificate

그들은 그 수료증들을 장래의 고용주들에게 제출하여

to a prospective employer and get a better job,

더 나은 직업을 얻을 수 있었고

and we know many students who did.

우리는 그렇게 한 많은 학생들을 알고 있습니다.

Some students took their certificate

어떤 학생들은 그들의 수료증을

and presented this to an educational institution at which they were enrolled

교육기관들에 제출하여

for actual college credit.

실제 학점으로 기제하였습니다.

So these students were really getting something meaningful

그렇게 이 학생들은 그들의 시간과 노력의 투자에 대해서

for their investment of time and effort.

의미있는 무언가를 실제로 얻어내고 있는 것이지요.

Let's talk a little bit about some of the components

이 강의들에 들어가는 몇 가지 요소들에 대해

that go into these courses.

조금 이야기해 보도록 하지요.

The first component is that when you move away

첫 번째 요소는 실제 교실의 제약성을

from the constraints of a physical classroom

없애고 온라인 형식으로 내용을

and design content explicitly for an online format,

구성하게 된다면

you can break away from, for example,

예를 들어 획일적인 1시간 수업으로부터

the monolithic one-hour lecture.

벗어나게 된다는 점입니다.

You can break up the material, for example,

예를 들면, 그 내용을

into these short, modular units of eight to 12 minutes,

일관성 있는 내용의 이런 작은 모듈식의

each of which represents a coherent concept.

8~12분짜리로 만들 수 있습니다.

Students can traverse this material in different ways,

학생들은 그들의 배경, 실력이나 흥미에 따라

depending on their background, their skills or their interests.

이 내용을 각자의 방식으로 왔다갔다할 수 있습니다.

So, for example, some students might benefit

그렇게 되면 어떤 학생들은

from a little bit of preparatory material

다른 학생들이 이미 갖고 있는

that other students might already have.

준비 자료를 통해 이익을 볼 수 있지요.

Other students might be interested in a particular

다른 학생들은 개인적으로 추구하는

enrichment topic that they want to pursue individually.

어떤 주제에 대해 관심이 있을지도 모르고요.

So this format allows us to break away

그렇게 이 형식은 한 가지 형태로 모든 것을 해결하는

from the one-size-fits-all model of education,

획일적 교육 방식에서 벗어나

and allows students to follow a much more personalized curriculum.

학생들에게 훨씬 잘 맞는 맞춤형 교육을 할 수 있게 합니다.

Of course, we all know as educators

물론 우리는 교육자들로써 학생들이 그저 앉아서

that students don't learn by sitting and passively watching videos.

수동적으로 영상을 봐서는 배우지 못한다는 것을 알고 있습니다.

Perhaps one of the biggest components of this effort

어쩌면 이런 노력의 가장 큰 요소는

is that we need to have students

우리의 수업을 듣는 학생들이

who practice with the material

정말 그것을 이해하도록 하기 위해서는

in order to really understand it.

학생들이 연습하도록 해야 한다는 점입니다.

There's been a range of studies that demonstrate the importance of this.

이것의 중요성을 입증하는 여러 연구들도 있었고요.

This one that appeared in Science last year, for example,

작년 Science지에 발표된 이 그래프를 보시면

demonstrates that even simple retrieval practice,

학생들은 자신이 이미 배운 것을

where students are just supposed to repeat

그저 복습하면 되는

what they already learned

간단한 인출연습만 하더라도

gives considerably improved results

여러 형태의 학력평가에서

on various achievement tests down the line

다른 많은 교육적 도구를 사용한 것보다도

than many other educational interventions.

더 향상된 결과를 보여주었습니다.

We've tried to build in retrieval practice into the platform,

저희는 인출 연습을 다른 방식들과 마찬가지로

as well as other forms of practice in many ways.

저희의 시스템에 도입하고자 하였습니다.

For example, even our videos are not just videos.

예를들어 저희의 영상조차 그저 평범한 영상이 아닙니다.

Every few minutes, the video pauses

몇 분마다 영상이 멈추고

and the students get asked a question.

학생들은 질문을 받게 되지요.

(Video) SP: ... These four things. Prospect theory, hyperbolic discounting,

SP : ...이 네 가지입니다. 전망 이론, 과도한 가치 폄하,

status quo bias, base rate bias. They're all well documented.

현상유지편향, 기저율의 편향. 이것들은 모두 잘 입증되었습니다.

So they're all well documented deviations from rational behavior.

그러니까 이것들은 이성적인 행동에서 벗어난, 충분히 입증된 행동이라고 할 수 있지요.

DK: So here the video pauses,

여기서 영상이 멈추고

and the student types in the answer into the box

학생들은 박스에 답을 칩니다.

and submits. Obviously they weren't paying attention.

그리고 제출하지요. 확실히 집중을 안하고 있었네요.

(Laughter)

(웃음)

So they get to try again,

다시 시도하게 됩니다.

and this time they got it right.

그리고 이번엔 맞히네요.

There's an optional explanation if they want.

원하면 설명을 볼 수도 있습니다.

And now the video moves on to the next part of the lecture.

이제 영상은 강의의 다음 부분으로 넘어갑니다.

This is a kind of simple question

이것들은 강사로써 저도 수업에서

that I as an instructor might ask in class,

물어볼만한 간단한 질문들입니다.

but when I ask that kind of a question in class,

그렇지만 이런 질문을 수업에서 한다면

80 percent of the students

80퍼센트의 학생들은

are still scribbling the last thing I said,

제가 말한 마지막 말을 아직 필기하고 있을 것이고

15 percent are zoned out on Facebook,

15퍼센트의 학생들은 페이스북에 빠져 있을 것이고

and then there's the smarty pants in the front row

첫 번째 줄에 앉아있는 범생이들이

who blurts out the answer

다른 학생들이 생각해보기도 전에

before anyone else has had a chance to think about it,

답을 말하겠죠.

and I as the instructor am terribly gratified

그리고 저는 강사로써 어떤 사람이

that somebody actually knew the answer.

실제로 답을 알고 있다는 사실에 무척 행복해 할겁니다.

And so the lecture moves on before, really,

그렇게 강의는 대부분의 학생들이 질문을

most of the students have even noticed that a question had been asked.

받았다는 것조차 모른 채 계속 진행되겠지요.

Here, every single student

여기서는 모든 학생들이

has to engage with the material.

수업에 참여해야 합니다.

And of course these simple retrieval questions

물론 이런 간단한 질문들이

are not the end of the story.

이야기의 끝은 아니지요.

One needs to build in much more meaningful practice questions,

강사들은 더 중요한 연습 문제들을 만들어야 하고

and one also needs to provide the students with feedback

또 학생들에게 그 질문들에 대해

on those questions.

피드백을 주어야 합니다.

Now, how do you grade the work of 100,000 students

그렇다면 만 명의 조교도 없이 어떻게

if you do not have 10,000 TAs?

십만 명의 학생들의 숙제를 평가하죠?

The answer is, you need to use technology

정답은 강사대신 바로 채점해주는

to do it for you.

기술을 사용하는 것입니다.

Now, fortunately, technology has come a long way,

다행히도 기술은 크게 발전했고

and we can now grade a range of interesting types of homework.

우린 이제 다양하고 흥미로운 숙제들을 평가할 수 있습니다.

In addition to multiple choice

객관식 문제들과

and the kinds of short answer questions that you saw in the video,

여러분이 영상에서 보신 단답형 질문들과 더불어

we can also grade math, mathematical expressions

우리는 수학, 수학적 표현,

as well as mathematical derivations.

그리고 수학적 근원에 대해서도 평가가 가능합니다.

We can grade models, whether it's

우리는 경영 강의의 재정적 모형이든

financial models in a business class

과학이나 공학 강의의 물리적 모형이든

or physical models in a science or engineering class

다양한 모형도 평가할 수 있고

and we can grade some pretty sophisticated programming assignments.

꽤 복잡한 프로그래밍 숙제도 평가할 수 있습니다.

Let me show you one that's actually pretty simple

여러분께 사실 간단하지만 꽤 시각적인

but fairly visual.

예를 보여드리도록 하겠습니다.

This is from Stanford's Computer Science 101 class,

이것은 스탠포드의 컴퓨터 공학개론 수업 숙제입니다.

and the students are supposed to color-correct

학생들은 이 흐린 붉은색 그림을

that blurry red image.

색보정해야 합니다.

They're typing their program into the browser,

인터넷에 프로그램을 입력하고 있네요.

and you can see they didn't get it quite right, Lady Liberty is still seasick.

완벽하게 하진 못했네요, 자유의 여신상이 아직도 배멀미 중이군요.

And so, the student tries again, and now they got it right, and they're told that,

그래서 이 학생은 다시 시도해서 이번엔 성공하고, 성공했다고 알림을 받습니다.

and they can move on to the next assignment.

그렇게 다음 과제로 넘어가게 되는 것이지요.

This ability to interact actively with the material

강의에 적극적으로 참여하고

and be told when you're right or wrong

맞았는지 틀렸는지를 알게 되는 것은

is really essential to student learning.

학생의 공부에서 매우 중요합니다.

Now, of course we cannot yet grade

물론, 저희는 아직 모든 강의의

the range of work that one needs for all courses.

다양한 과제들을 평가할 수는 없습니다.

Specifically, what's lacking is the kind of critical thinking work

특히 부족한 점은 인문학, 사회과학, 경영 등에서는

that is so essential in such disciplines

매우 중요한 학습법인

as the humanities, the social sciences, business and others.

비판적 사고에 대한 평가입니다.

So we tried to convince, for example,

그래서 저희는

some of our humanities faculty

우리의 인문학 교수들에게

that multiple choice was not such a bad strategy.

객관식이 그렇게 나쁜 전략은 아니라고 설득했습니다.

That didn't go over really well.

잘 되진 않았지요.

So we had to come up with a different solution.

그래서 우리는 다른 해결책을 생각해내야 했습니다.

And the solution we ended up using is peer grading.

결국 우리는 동료에 의한 평가를 사용하게 되었습니다.

It turns out that previous studies show,

Saddler와 Good에 의한 이 자료처럼

like this one by Saddler and Good,

많은 이전 연구들에 의하면

that peer grading is a surprisingly effective strategy

동료에 의한 평가는 재생 가능한 성적을 내는 데

for providing reproducible grades.

놀라운 효과를 가진 전략이더군요.

It was tried only in small classes,

작은 강의들에서만 사용되었는데

but there it showed, for example,

그 결과, 예를 들어

that these student-assigned grades on the y-axis

y축에 있는 학생들의 평가가

are actually very well correlated

x축에 있는 교사들의 평가와

with the teacher-assigned grade on the x-axis.

높은 상관관계를 가지고 나왔습니다.

What's even more surprising is that self-grades,

더 놀라운 것은

where the students grade their own work critically --

자신들에게 만점을 주지 못하도록

so long as you incentivize them properly

비판적으로 자신의 과제를

so they can't give themselves a perfect score --

평가하도록 하였더니

are actually even better correlated with the teacher grades.

교사들의 평가와 더욱 일치했습니다.

And so this is an effective strategy

즉 이것은 평가하는 데에

that can be used for grading at scale,

효과적인 방법이고

and is also a useful learning strategy for the students,

학생들이 실제로 경험에서 배우기 때문에

because they actually learn from the experience.

유용한 학습 방법이기도 하지요.

So we now have the largest peer-grading pipeline ever devised,

우리는 이제 수십 만명의 학생들이

where tens of thousands of students

서로의 과제를 채점하는 역대 최대의

are grading each other's work,

동료 채점 방식을 도입하였습니다.

and quite successfully, I have to say.

그리고 꽤 성공적으로 나타났고요.

But this is not just about students

그렇지만 이것은 단지 거실에 앉아

sitting alone in their living room working through problems.

문제들을 해결하는 학생들의 이야기가 아닙니다.

Around each one of our courses,

우리의 모든 강좌들에는

a community of students had formed,

같은 지적 탐구를 하는

a global community of people

세계적인 학생들의 커뮤니티가

around a shared intellectual endeavor.

만들어졌습니다.

What you see here is a self-generated map

여기 보시는 것은 프린스턴의 사회학개론 수업을

from students in our Princeton Sociology 101 course,

듣는 학생들이 자신들을 세계 지도에 스스로 표시해

where they have put themselves on a world map,

만든 지도입니다.

and you can really see the global reach of this kind of effort.

이러한 노력의 세계적 범위를 잘 볼 수 있지요.

Students collaborated in these courses in a variety of different ways.

학생들은 수업들에 다양한 방식으로 협력했습니다.

First of all, there was a question and answer forum,

첫 번째로, 학생들이 문제을 내면

where students would pose questions,

다른 학생이 답하는

and other students would answer those questions.

문답 포럼이 있었습니다.

And the really amazing thing is,

정말 놀라운 것은

because there were so many students,

학생들이 수없이 많았기 때문에

it means that even if a student posed a question

한 학생이 질문을 오전 3시에

at 3 o'clock in the morning,

등록하더라도

somewhere around the world,

세계 어딘가에서

there would be somebody who was awake

어떤 사람인가 깨어있어

and working on the same problem.

같이 문제를 풀고 있었다는 것입니다.

And so, in many of our courses,

그래서 많은 강의에서

the median response time for a question

문답 포럼의 평균 반응 시간은

on the question and answer forum was 22 minutes.

22분이었습니다.

Which is not a level of service I have ever offered to my Stanford students.

제가 스탠포드 학생들에게 제공할 수 있는 서비스는 절대 아니지요.

(Laughter)

(웃음)

And you can see from the student testimonials

그리고 학생들의 말에 의하면

that students actually find

그들은 이 커다란 온라인 커뮤니티 덕에

that because of this large online community,

실제 교실에서보다

they got to interact with each other in many ways

더 다양하고 깊은 방법으로

that were deeper than they did in the context of the physical classroom.

다른 학생들과 교류할 수 있었습니다.

Students also self-assembled,

또 학생들은 스스로

without any kind of intervention from us,

저희의 개입 하나 없이

into small study groups.

작은 스터디 모임들을 만들었습니다.

Some of these were physical study groups

이들의 일부는 지리적 제약을 넘어

along geographical constraints

매주 만나 함께 문제를 해결하는

and met on a weekly basis to work through problem sets.

실제 스터디 그룹이었습니다.

This is the San Francisco study group,

이것은 샌 프란시스코 스터디 그룹인데

but there were ones all over the world.

이 외에도 세계 곳곳에 많이 존재합니다.

Others were virtual study groups,

다른 스터디 그룹들은 온라인 상의 그룹이었는데

sometimes along language lines or along cultural lines,

일부는 같은 언어나 문화를 공유하였습니다.

and on the bottom left there,

여기 왼쪽 아래에는

you see our multicultural universal study group

학생들이 다른 문화에서 온 사람들과

where people explicitly wanted to connect

교류하고 싶어한다는 것을 명백히 보여주는

with people from other cultures.

세계적 다문화 스터디 그룹이 있습니다.

There are some tremendous opportunities

이런 체계에서 얻을 수 있는

to be had from this kind of framework.

어마어마한 기회들이 몇 있습니다.

The first is that it has the potential of giving us

첫 번째는 이것이 우리에게

a completely unprecedented look

인간의 학습에 대한

into understanding human learning.

유래없는 모습을 보여준다는 것입니다.

Because the data that we can collect here is unique.

우리가 여기서 모을 수 있는 자료가 독특하기 때문이지요.

You can collect every click, every homework submission,

여기서는 모든 클릭, 모든 숙제 제출,

every forum post from tens of thousands of students.

수십 만명의 학생들이 올린 포럼들을 모두 볼 수 있어요.

So you can turn the study of human learning

그것을 통해 우리는 인간의 학습에 대한 연구를

from the hypothesis-driven mode

가설에서 시작하는 방식에서

to the data-driven mode, a transformation that,

생물학에서 혁명을 일으킨

for example, has revolutionized biology.

데이터에서 시작하는 방식으로 바꿀 수 있습니다.

You can use these data to understand fundamental questions

이러한 자료들을 통해 우리는

like, what are good learning strategies

효과적인 학습 전략과 아닌 것을 구분해내는

that are effective versus ones that are not?

기본적인 질문들을 이해할 수 있습니다.

And in the context of particular courses,

그리고 특정 강의들의 내용에선

you can ask questions

잘못된 통념들이 무엇인지

like, what are some of the misconceptions that are more common

그리고 학생들이 어떻게 그것을 고칠 수 있는지를

and how do we help students fix them?

물을 수 있습니다.

So here's an example of that,

여기 그 예가 있습니다.

also from Andrew's Machine Learning class.

앤드류의 기계 학습 강의에서 나온 부분입니다.

This is a distribution of wrong answers

이것은 앤드류의 과제들 중 하나에

to one of Andrew's assignments.

잘못된 정답의 분포입니다.

The answers happen to be pairs of numbers,

답이 숫자의 쌍이기 때문에

so you can draw them on this two-dimensional plot.

이렇게 좌표평면에 표시할 수 있습니다.

Each of the little crosses that you see is a different wrong answer.

각각의 X표는 각기 다른 오답입니다.

The big cross at the top left

왼쪽 위에 있는 큰 X표는

is where 2,000 students

2000명의 학생들이

gave the exact same wrong answer.

똑같이 고른 오답입니다.

Now, if two students in a class of 100

만약 100명의 학생이 있는 수업에서

give the same wrong answer,

2명의 학생이 같은 오답을 썼다면

you would never notice.

알아채기 힘들 것입니다.

But when 2,000 students give the same wrong answer,

하지만 2000명의 학생들이 같은 오답을 썼다면

it's kind of hard to miss.

그걸 놓치긴 힘들겠죠.

So Andrew and his students went in,

그래서 앤드류와 그의 학생들은

looked at some of those assignments,

그 숙제들을 다시 본 뒤

understood the root cause of the misconception,

오해의 근본적 이유를 알게 되었고

and then they produced a targeted error message

그들은 같은 오류를 범한

that would be provided to every student

모든 학생들에게 보내는

whose answer fell into that bucket,

해설 메시지를 만들었습니다.

which means that students who made that same mistake

이것은 같은 실수를 한 학생들이

would now get personalized feedback

이제 어떻게 하면 자신들의 오해를

telling them how to fix their misconception much more effectively.

효과적으로 고칠 수 있는지에 대한 맞춤형 피드백을 받을 수 있다는 것입니다.

So this personalization is something that one can then build

이 맞춤화는 많은 학생들이 있음으로써만

by having the virtue of large numbers.

가질 수 있는 장점입니다.

Personalization is perhaps

맞춤화는 30년 묵은 문제를

one of the biggest opportunities here as well,

풀 수 있게 할 수 있는 가능성을

because it provides us with the potential

제시해 주기 때문에 어쩌면 여기의

of solving a 30-year-old problem.

가장 큰 장점 중 하나입니다.

Educational researcher Benjamin Bloom, in 1984,

교육학자 Benjamin Bloom은 1984년에

posed what's called the 2 sigma problem,

2-시그마라는 이론을 제시했는데

which he observed by studying three populations.

여기서 그는 3가지 집단을 분석했습니다.

The first is the population that studied in a lecture-based classroom.

첫 번째는 강의기반 교실에서 공부한 사람들이었습니다.

The second is a population of students that studied

두 번째는 강의에 의한,

using a standard lecture-based classroom,

그렇지만 완벽한 이해를 기반으로 하는

but with a mastery-based approach,

강의 방식을 기반으로 공부한 사람들이에요.

so the students couldn't move on to the next topic

그래서 전체 주제에 대해 완벽히 이해하지 못하면

before demonstrating mastery of the previous one.

다음 주제로 넘어가지 못했습니다.

And finally, there was a population of students

그리고 마지막으로 개인 강사를 통해

that were taught in a one-on-one instruction using a tutor.

1:1 수업을 받은 학생들이 있었습니다.

The mastery-based population was a full standard deviation,

완벽 학습을 한 집단은 강의에 의한 수업을 들은

or sigma, in achievement scores better

학생들의 성적보다

than the standard lecture-based class,

표준편차, 즉, 시그마만큼 높고

and the individual tutoring gives you 2 sigma

개인 강사를 통해 학습한 학생들은 2-시그마만큼

improvement in performance.

성적이 향상되였습니다.

To understand what that means,

그것의 의미를 알기 위해서

let's look at the lecture-based classroom,

강의기반 수업에서

and let's pick the median performance as a threshold.

평균 성적을 기준점으로 골라보도록 하지요.

So in a lecture-based class,

그러니까 강의기반 수업에서는

half the students are above that level and half are below.

절반의 학생들이 위에, 다른 절반이 그 아래 있군요.

In the individual tutoring instruction,

개인 지도를 받은 학생들 가운데는

98 percent of the students are going to be above that threshold.

98퍼센트가 그 기준점 위에 있습니다.

Imagine if we could teach so that 98 percent of our students

우리가 98퍼센트의 학생들이 평균 이상으로 하도록

would be above average.

가르칠 수 있다고 상상해 보세요.

Hence, the 2 sigma problem.

그러므로 2-시그마 이론은

Because we cannot afford, as a society,

사회에서 모든 학생들에게 개인 교사를 공급할 수

to provide every student with an individual human tutor.

없기 때문에 불가능합니다.

But maybe we can afford to provide each student

그러나 어쩌면 우리는 모든 학생들에게 컴퓨터나

with a computer or a smartphone.

스마트폰을 공급해줄 수 있습니다.

So the question is, how can we use technology

그러니까 요지는 우리가 어떻게 기술을 사용해

to push from the left side of the graph, from the blue curve,

왼쪽의 파란 곡선을 오른쪽의 초록색 곡선으로

to the right side with the green curve?

옮겨 가도록 할 수 있느냐는 것입니다.

Mastery is easy to achieve using a computer,

컴퓨터는 같은 영상을

because a computer doesn't get tired

다섯 번 보여주는 데에 지치지 않기 때문에

of showing you the same video five times.

완전 이해 방식 학습은 컴퓨터를 통해 쉽게 해낼 수 있습니다.

And it doesn't even get tired of grading the same work multiple times,

그리고 제가 여러분께 보여드린 많은 예에서 볼 수 있다시피

we've seen that in many of the examples that I've shown you.

컴퓨터는 심지어 같은 문제를 여러 번 채점해도 지치지 않습니다.

And even personalization

그리고 심지어 맞춤화도

is something that we're starting to see the beginnings of,

교과과정의 성취를 개별적으로 추적한다든지,

whether it's via the personalized trajectory through the curriculum

제가 보여드린 맞춤형 피드백을 통해서든지

or some of the personalized feedback that we've shown you.

이제 우리가 서서히 시작하고 있는 것입니다.

So the goal here is to try and push,

그러니까 우리의 목표는 이 초록색 곡선을 향해

and see how far we can get towards the green curve.

최대한 옮겨보고, 얼마나 갈 수 있는지 보는 것이지요.

So, if this is so great, are universities now obsolete?

이게 그렇게 위대한 일이면 대학교들이 이제 구식이냐고요?

Well, Mark Twain certainly thought so.

글쎄요, 마크 트웨인은 확실히 그렇게 생각했죠.

He said that, "College is a place where a professor's lecture notes

그는 "대학이란 교수의 강의 노트가

go straight to the students' lecture notes,

교수나 학생의 뇌를 거치지 않고 곧장

without passing through the brains of either."

학생의 필기장으로 옮겨 가는 곳"이라고 했죠.

(Laughter)

(웃음)

I beg to differ with Mark Twain, though.

하지만 저는 그와 다르게 생각해 주시기를 바랍니다.

I think what he was complaining about is not

저는 그가 불평하고 있던 것은 대학이 아니라

universities but rather the lecture-based format

많은 대학들이 많은 시간을 투입하고 있는

that so many universities spend so much time on.

강의에 의한 수업방식이라고 생각합니다.

So let's go back even further, to Plutarch,

더 옛날로 가 "마음은 채워야 하는 그릇이 아니라

who said that, "The mind is not a vessel that needs filling,

불붙여져야 하는 장작이다"라고 한

but wood that needs igniting."

플루타르크 시대로 가보죠.

And maybe we should spend less time at universities

어쩌면 우리는 대학에서 학생들의 마음에

filling our students' minds with content

강의를 통해 내용을 집어넣는 시간을 줄이고

by lecturing at them, and more time igniting their creativity,

그들과 직접 대화함으로써 그들의 창의력,

their imagination and their problem-solving skills

상상력과 문제풀이능력에

by actually talking with them.

불을 붙이는 시간을 늘려야 할 것입니다.

So how do we do that?

그걸 어떻게 하냐고요?

We do that by doing active learning in the classroom.

교실에서 활발중심 학습을 하면 됩니다.

So there's been many studies, including this one,

여기 이 자료를 포함해 많은 연구들이 보이는 바로는

that show that if you use active learning,

학생들과 교실에서 교류하는 활발중심 학습을 사용하면

interacting with your students in the classroom,

학생들의 출석률, 참여율,

performance improves on every single metric --

그리고 시험을 통해 측정되는 학생들의

on attendance, on engagement and on learning

실력을 포함한 모든 면에서 성취도가 개선된다고

as measured by a standardized test.

알려져 있습니다.

You can see, for example, that the achievement score

예를 들어 이 특정한 실험에서 시험 성적이

almost doubles in this particular experiment.

거의 2배로 증가했다는 것을 볼 수 있습니다.

So maybe this is how we should spend our time at universities.

어쩌면 바로 이것이 우리가 대학에서 해야하는 방법일 지 모릅니다.

So to summarize, if we could offer a top quality education

요약하면, 우리가 세상의 모든 사람들에게

to everyone around the world for free,

최상의 교육을 제시할 수 있다면

what would that do? Three things.

그것이 무엇이 무엇을 할까요? 세 가지입니다.

First it would establish education as a fundamental human right,

첫 번째로 교육을 기본적인 인권의 하나로 만드는 것입니다.

where anyone around the world

그래서 능력과 동기를 가진

with the ability and the motivation

세상 모든 사람들이

could get the skills that they need

자신과 가족, 사회를 위해

to make a better life for themselves,

더 나은 삶을 얻을 수 있도록

their families and their communities.

하는 것입니다.

Second, it would enable lifelong learning.

두번째로, 평생교육을 가능하게 할 것입니다.

It's a shame that for so many people,

고등학교나 대학을 마치면서

learning stops when we finish high school or when we finish college.

공부는 멈추것은 많은 사람들에게 수치스러운 일입니다.

By having this amazing content be available,

이런 대단한 강의에 접근 가능하게 함으로써

we would be able to learn something new

우리는 원할 때마다, 뭔가 새로운 것을

every time we wanted,

배울 수 있을 것입니다.

whether it's just to expand our minds

그것이 그저 마음의 지평을 넓히는 것이든

or it's to change our lives.

아니면 우리의 삶을 바꾸는 것이든 말이죠.

And finally, this would enable a wave of innovation,

그리고 마지막으로, 대단한 재능이 어디서든

because amazing talent can be found anywhere.

발견될 수 있기에 새로운 혁신의 물결이 일어나게 할 것입니다.

Maybe the next Albert Einstein or the next Steve Jobs

어쩌면 다음 아인슈타인이나 다음 스티브 잡스는

is living somewhere in a remote village in Africa.

아프리카의 되딴 동네에 살고 있을 수 있어요.

And if we could offer that person an education,

그리고 만약 우리가 그런 사람에게 교육을 제공할 수 있다면,

they would be able to come up with the next big idea

그들은 기발한 생각을 떠올릴 수 있을 것이고

and make the world a better place for all of us.

우리 모두를 위해 더 나은 세상을 만들 수 있을 것입니다.

Thank you very much.

감사합니다.

(Applause)

(박수)