Daphne Koller: What we're learning from online education

Translator: Morton Bast Reviewer: Thu-Huong Ha

מתרגם: Orr Schlesinger מבקר: Sigal Tifferet

Like many of you, I'm one of the lucky people.

כמו רבים מכם, אני ברת מזל.

I was born to a family where education was pervasive.

נולדתי למשפחה בעלת חינוך נרחב.

I'm a third-generation PhD, a daughter of two academics.

אני דור שלישי של PhD (תואר שלישי), בתם של שני אנשי אקדמיה.

In my childhood, I played around in my father's university lab.

בילדותי, שיחקתי במעבדת האוניברסיטה של אבא שלי.

So it was taken for granted that I attend some of the best universities,

כך שהיה מובן מאליו שאלך לאוניברסיטאות הטובות ביותר,

which in turn opened the door to a world of opportunity.

אשר פתחו לי את הדלת אל עולם של הזדמנויות.

Unfortunately, most of the people in the world are not so lucky.

למרבה הצער, רוב האנשים בעולם אינם כל כך ברי מזל.

In some parts of the world, for example, South Africa,

בחלקים מסוימים של העולם, לדוגמה, דרום אפריקה,

education is just not readily accessible.

חינוך הוא פשוט לא נגיש.

In South Africa, the educational system was constructed

בדרום אפריקה, נבנתה מערכת החינוך

in the days of apartheid for the white minority.

בימי האפרטהייד עבור המיעוט הלבן

And as a consequence, today there is just not enough spots

כתוצאה מכך, כיום פשוט אין מספיק מקומות

for the many more people who want and deserve a high quality education.

עבור אנשים רבים אשר רוצים חינוך איכותי וזכאים לו.

That scarcity led to a crisis in January of this year

מחסור זה הוביל למשבר בינואר של השנה (2012)

at the University of Johannesburg.

באוניברסיטת יוהנסבורג.

There were a handful of positions left open

נותר קומץ של מקומות

from the standard admissions process, and the night before

בתהליך הקבלה הרגיל, ובלילה לפני

they were supposed to open that for registration,

שהם היו אמורים לפתוח אותם לרישום,

thousands of people lined up outside the gate in a line a mile long,

אלפי אנשים הסתדרו בתור של קילומטר מחוץ לשער,

hoping to be first in line to get one of those positions.

בתקווה להיות הראשונים לקבל את אחד המקומות האלו.

When the gates opened, there was a stampede,

בעת פתיחת השערים, הייתה הסתערות.

and 20 people were injured and one woman died.

20 אנשים נפצעו ואישה אחת מתה.

She was a mother who gave her life

היא הייתה אמא שהקריבה את חייה

trying to get her son a chance at a better life.

כדי להשיג לבנה הזדמנות לחיים טובים יותר.

But even in parts of the world like the United States

אבל גם בחלקים של העולם כמו ארצות הברית

where education is available, it might not be within reach.

היכן שהחינוך הוא זמין, ייתכן שהוא לא יהיה בהישג יד.

There has been much discussed in the last few years

בשנים האחרונות דובר רבות

about the rising cost of health care.

על העלייה במחירי שירותי הבריאות.

What might not be quite as obvious to people

אך מה שפחות ידוע לציבור הוא

is that during that same period the cost of higher education tuition

שבאותה התקופה עלות שכר לימוד אוניברסיטאי

has been increasing at almost twice the rate,

גדל בקצב של כמעט פי שניים,

for a total of 559 percent since 1985.

בסך של 559 אחוזים מאז 1985.

This makes education unaffordable for many people.

לכן חינוך אינו בהישג יד עבור אנשים רבים.

Finally, even for those who do manage to get the higher education,

לבסוף, גם עבור אלה המצליחים להגיע להשכלה גבוהה,

the doors of opportunity might not open.

ייתכן שדלתות ההזדמנות לא יפתחו.

Only a little over half of recent college graduates

בארה"ב, רק מעט מעל מחצית הבוגרים

in the United States who get a higher education

אשר קיבלו השכלה גבוהה

actually are working in jobs that require that education.

עובדים בעבודה הדורשת את השכלתם.

This, of course, is not true for the students

זה, כמובן, אינו נכון עבור סטודנטים

who graduate from the top institutions,

הלומדים באוניברסיטאות המובילות,

but for many others, they do not get the value

אבל רבים אחרים לא מקבלים את התמורה

for their time and their effort.

עבור הזמן ומאמץ שלהם.

Tom Friedman, in his recent New York Times article,

טום פרידמן, במאמר שכתב לאחרונה בניו יורק טיימס,

captured, in the way that no one else could, the spirit behind our effort.

לכד, באופן שאף אחד אחר לא יכול, את הרוח מאחורי המאמצים שלנו.

He said the big breakthroughs are what happen

הוא אמר שפריצות דרך גדולות הן מה שקורה

when what is suddenly possible meets what is desperately necessary.

כאשר מה שלפתע אפשרי פוגש את מה שנדרש נואשות.

I've talked about what's desperately necessary.

כבר דיברתי על מה נדרש נואשות.

Let's talk about what's suddenly possible.

בוא נדבר על מה לפתע אפשרי.

What's suddenly possible was demonstrated by

מה שלפתע אפשרי הומחש

three big Stanford classes,

בשלושה קורסים גדולים בסטנפורד,

each of which had an enrollment of 100,000 people or more.

שלכל אחד מהם נרשמו 100,000 אנשים או יותר.

So to understand this, let's look at one of those classes,

אז כדי להבין זאת, הבה נבחן את אחד הקורסים האלה,

the Machine Learning class offered by my colleague

הקורס "למידת מכונה" שהועבר על-ידי עמית שלי

and cofounder Andrew Ng.

ומייסד שותף - אנדרו נג.

Andrew teaches one of the bigger Stanford classes.

אנדרו מלמד את אחד הקורסים הגדולים יותר בסטנפורד.

It's a Machine Learning class,

זהו קורס בנושא "למידת מכונה",

and it has 400 people enrolled every time it's offered.

ויש 400 אנשים הנרשמים בכל פעם שהוא מוצע.

When Andrew taught the Machine Learning class to the general public,

כאשר אנדרו לימד את הקורס "למידת מכונה" לציבור הרחב,

it had 100,000 people registered.

היו רשומים בו 100,000 איש.

So to put that number in perspective,

כדי לשים מספר זה בפרספקטיבה,

for Andrew to reach that same size audience

כדי שאנדרו יגיע לאותו גודל קהל

by teaching a Stanford class,

על-ידי הוראת קורס בסטנפורד,

he would have to do that for 250 years.

הוא יצטרך לעשות זאת במשך 250 שנה.

Of course, he'd get really bored.

כמובן, הוא היה משתעמם מאוד.

So, having seen the impact of this,

אז אחרי שראינו את ההשפעה של זה

Andrew and I decided that we needed to really try and scale this up,

אנדרו ואני החלטנו שאנחנו צריכים לנסות להגדיל את זה עוד,

to bring the best quality education to as many people as we could.

בכדי להביא את החינוך הכי איכותי לאנשים רבים ככל שנוכל.

So we formed Coursera,

כך יצרנו את Coursera,

whose goal is to take the best courses

שמטרתה לקחת את הקורסים הטובים ביותר

from the best instructors at the best universities

מהמרצים הטובים ביותר באוניברסיטאות הטובות ביותר

and provide it to everyone around the world for free.

ולספק אותם לכולם ברחבי העולם ללא תשלום.

We currently have 43 courses on the platform

כעת יש לנו 43 קורסים באתר

from four universities across a range of disciplines,

מארבע אוניברסיטאות במגוון תחומים,

and let me show you a little bit of an overview

והרשו לי להראות לכם

of what that looks like.

איך כל הדבר הזה נראה.

(Video) Robert Ghrist: Welcome to Calculus.

(וידאו) רוברט גירסט: ברוכים הבאים לחדו"א.

Ezekiel Emanuel: Fifty million people are uninsured.

יחזקאל עמנואל: חמישים מיליון אנשים אינם מבוטחים.

Scott Page: Models help us design more effective institutions and policies.

סקוט פייג': מודלים עוזרים לנו לעצב ביעילות רבה יותר מדיניות ומוסדות.

We get unbelievable segregation.

אנחנו מקבלים בידול בלתי ייאמן.

Scott Klemmer: So Bush imagined that in the future,

סקוט קלמר: בוש דמיין שבעתיד

you'd wear a camera right in the center of your head.

תחבשו מצלמה במרכז הראש שלכם.

Mitchell Duneier: Mills wants the student of sociology to develop the quality of mind ...

מיטשל דונייר: מילס רוצה שסטודנט לסוציולוגיה יפתח את יכולות הנפש...

RG: Hanging cable takes on the form of a hyperbolic cosine.

ר.ג.: כבל תלוי מקבל צורה של קוסינוס היפרבולי.

Nick Parlante: For each pixel in the image, set the red to zero.

ניק פרלנטה: לכל פיקסל בתמונה, קבע את האדום לאפס.

Paul Offit: ... Vaccine allowed us to eliminate polio virus.

פול אופיט: החיסון איפשר לנו לחסל את וירוס הפוליו.

Dan Jurafsky: Does Lufthansa serve breakfast and San Jose? Well, that sounds funny.

דן ג'ורפסקי: האם לופטהנזה מגישים ארוחת בוקר וסן חוזה? טוב, זה נשמע מוזר.

Daphne Koller: So this is which coin you pick, and this is the two tosses.

דפנה קולר: אז זהו המטבע שאתה בוחר, ואלו שתי ההטלות.

Andrew Ng: So in large-scale machine learning, we'd like to come up with computational ...

אנדרו נג.: כך בלמידת מכונה בקנה מידה גדול, אנחנו רוצים להגיע ליכולת חישובית...

(Applause)

(מחיאות כפיים)

DK: It turns out, maybe not surprisingly,

ד.ק.: מתברר, אולי לא במפתיע,

that students like getting the best content

שסטודנטים אוהבים לקבל את התוכן הטוב ביותר

from the best universities for free.

מהאוניברסיטאות הטובות ביותר בחינם.

Since we opened the website in February,

מאז שפתחנו את האתר בפברואר,

we now have 640,000 students from 190 countries.

יש לנו כעת 640,000 תלמידים מ- 190 מדינות.

We have 1.5 million enrollments,

יש לנו 1.5 מיליון הרשמות,

6 million quizzes in the 15 classes that have launched

עד כה נשלחו 6 מיליון בחינות ב15

so far have been submitted, and 14 million videos have been viewed.

הקורסים שנפתחו, ו14 מיליון קטעי וידאו נצפו.

But it's not just about the numbers,

אבל זה לא רק המספרים,

it's also about the people.

זה גם האנשים.

Whether it's Akash, who comes from a small town in India

בין אם מדובר באקאש, שמגיע מעיירה קטנה בהודו

and would never have access in this case

שלעולם לא היה מצליח להתקבל

to a Stanford-quality course

לקורס באיכות של סטנפורד

and would never be able to afford it.

ולעולם לא היה מסוגל להרשות זאת לעצמו.

Or Jenny, who is a single mother of two

או ג'ני, שהיא אם חד-הורית לשני ילדים

and wants to hone her skills

שרוצה לחדד את המיומנויות שלה

so that she can go back and complete her master's degree.

ולחזור ולהשלים את התואר השני שלה.

Or Ryan, who can't go to school,

או ראיין, שלא יכול ללכת לבית הספר,

because his immune deficient daughter

בגלל שלבתו יש כשל חיסוני

can't be risked to have germs come into the house,

והוא לא יכול להסתכן בהכנסת חיידקים אל תוך הבית,

so he couldn't leave the house.

ולכן הוא לא יכול לעזוב את הבית.

I'm really glad to say --

אני באמת שמחה לומר -

recently, we've been in correspondence with Ryan --

התכתבנו לאחרונה עם ראיין -

that this story had a happy ending.

כי לסיפור הזה היה סוף שמח.

Baby Shannon -- you can see her on the left --

שאנון התינוקת - אתם יכולים לראות אותה בצד שמאל –

is doing much better now,

במצב הרבה יותר טוב עכשיו,

and Ryan got a job by taking some of our courses.

וראיין התקבל לעבודה בזכות הקורסים שלנו.

So what made these courses so different?

אז מה גרם לקורסים האלו להיות שונים כל-כך?

After all, online course content has been available for a while.

אחרי הכל, קורסים מקוונים זמינים כבר במשך זמן מה.

What made it different was that this was real course experience.

מה שעושה את ההבדל הוא החוויה של קורס אמיתי.

It started on a given day,

הקורס מתחיל ביום נתון,

and then the students would watch videos on a weekly basis

ולאחר מכן התלמידים צופים בקטעי וידאו על בסיס שבועי

and do homework assignments.

ועושים שיעורי בית.

And these would be real homework assignments

אלה שיעורי בית אמיתיים

for a real grade, with a real deadline.

עם ציון אמיתי, עם תאריך יעד אמיתי.

You can see the deadlines and the usage graph.

אפשר לראות את תאריכי היעד וגרף השימוש.

These are the spikes showing

השיאים כאן מראים

that procrastination is global phenomenon.

שדחיינות היא תופעה גלובלית.

(Laughter)

(צחוק)

At the end of the course,

בסוף הקורס,

the students got a certificate.

הסטודנטים קיבלו תעודה.

They could present that certificate

הם יכלו להציג תעודה זו

to a prospective employer and get a better job,

למעביד, ולקבל עבודה יותר טובה,

and we know many students who did.

וידוע לנו על סטודנטים רבים אשר עשו כן.

Some students took their certificate

חלק מהסטודנטים לקחו את התעודה שלהם

and presented this to an educational institution at which they were enrolled

למוסד חינוכי שאליו רצו להירשם

for actual college credit.

וקיבלו נקודות זכות.

So these students were really getting something meaningful

אז התלמידים האלה באמת מקבלים משהו משמעותי

for their investment of time and effort.

עבור הזמן והמאמץ שלהם.

Let's talk a little bit about some of the components

בואו נדבר קצת על חלק מהרכיבים

that go into these courses.

אשר נכנסים לקורסים האלה.

The first component is that when you move away

הרכיב הראשון הוא שכאשר מתרחקים

from the constraints of a physical classroom

מהאילוצים של לימוד בכיתות פיזיות

and design content explicitly for an online format,

ומעצבים תוכן שמיועד במכוון ללימוד מקוון,

you can break away from, for example,

אפשר להתנתק, לדוגמה,

the monolithic one-hour lecture.

מהפורמט הקבוע של הרצאות באורך שעה.

You can break up the material, for example,

ניתן לפרק את החומר, לדוגמה,

into these short, modular units of eight to 12 minutes,

ליחידות מודולריות קצרות של 8 עד 12 דקות,

each of which represents a coherent concept.

שכל אחת מהן מייצגת רעיון קוהרנטי.

Students can traverse this material in different ways,

הסטודנטים יכולים לעבור על החומר הזה בדרכים שונות,

depending on their background, their skills or their interests.

בהתאם לרקע, לכישורים או לעניין שלהם.

So, for example, some students might benefit

כך, לדוגמה, חלק מהתלמידים יפיקו הרבה

from a little bit of preparatory material

מקצת חומר הכנה

that other students might already have.

שסטודנטים אחרים אולי כבר רכשו.

Other students might be interested in a particular

סטודנטים אחרים עשויים להתעניין

enrichment topic that they want to pursue individually.

בנושא העשרה מסויים שהם רוצים להעמיק בו באופן אישי.

So this format allows us to break away

לכן תבנית זו מאפשרת לנו לפרוץ

from the one-size-fits-all model of education,

מן המודל החד-מידתי של החינוך,

and allows students to follow a much more personalized curriculum.

בכך שאנו מאפשרים לסטודנטים לבחור תוכנית לימודים הרבה יותר אישית.

Of course, we all know as educators

כמחנכים, כמובן, כולנו יודעים

that students don't learn by sitting and passively watching videos.

שהתלמידים לא לומדים על-ידי ישיבה וצפייה פאסיבית בסרטונים.

Perhaps one of the biggest components of this effort

אולי אחד המרכיבים הגדולים ביותר של נסיון זה

is that we need to have students

הוא הצורך שהסטודנטים

who practice with the material

יתרגלו את החומר

in order to really understand it.

כדי באמת להבין אותו.

There's been a range of studies that demonstrate the importance of this.

קיים מגוון מחקרים המדגימים את החשיבות של זה.

This one that appeared in Science last year, for example,

זה מחקר שהופיע במגזין Science בשנה שעברה, לדוגמה,

demonstrates that even simple retrieval practice,

והוא מדגים כי אפילו תרגול של שליפה פשוטה,

where students are just supposed to repeat

בו סטודנטים אמורים רק לחזור

what they already learned

על מה שהם כבר למדו,

gives considerably improved results

נותן תוצאות משופרות במידה ניכרת

on various achievement tests down the line

במבחני הישגים שונים בהמשך הדרך,

than many other educational interventions.

הרבה יותר מהתערבויות חינוכיות אחרות.

We've tried to build in retrieval practice into the platform,

ניסינו לבנות תרגול שליפה בתוך הפלטפורמה שלנו,

as well as other forms of practice in many ways.

כמו גם צורות אחרות של תרגול בדרכים רבות.

For example, even our videos are not just videos.

לדוגמה, אפילו סרטי הוידאו שלנו אינם רק סרטי וידאו.

Every few minutes, the video pauses

כל מספר דקות, הוידאו מושהה

and the students get asked a question.

והתלמידים נשאלים שאלה.

(Video) SP: ... These four things. Prospect theory, hyperbolic discounting,

(וידאו) SP:... ארבעה דברים אלה. תורת הערך, היוון היפרבולי,

status quo bias, base rate bias. They're all well documented.

הטיית הסטטוס קוו, הטיית השיעור הבסיסי. הם כולם מתועדים היטב.

So they're all well documented deviations from rational behavior.

כל אלה הן סטיות מהתנהגות רציונלית המתועדות היטב.

DK: So here the video pauses,

DK: אז כאן הווידאו מושהה,

and the student types in the answer into the box

והסטודנט מקליד את התשובה בתיבה

and submits. Obviously they weren't paying attention.

ושולח אותה. כמובן שהם לא שמו לב.

(Laughter)

(צחוק)

So they get to try again,

אז הם יכולים לנסות שוב,

and this time they got it right.

הפעם הם עונים כמו שצריך.

There's an optional explanation if they want.

יש הסבר אופציונלי, אם הם רוצים.

And now the video moves on to the next part of the lecture.

כעת הווידאו עובר לחלק הבא של ההרצאה.

This is a kind of simple question

זהו סוג של שאלה פשוטה

that I as an instructor might ask in class,

שאני בתור מרצה עשויה לשאול בכיתה,

but when I ask that kind of a question in class,

אבל כשאני שואלת שאלה כזו בכיתה,

80 percent of the students

80 אחוז מהסטודנטים

are still scribbling the last thing I said,

עסוקים עדיין בשרבוט הדבר האחרון שאמרתי,

15 percent are zoned out on Facebook,

15 אחוזים בכלל עסוקים בפייסבוק,

and then there's the smarty pants in the front row

ויש גם את החכמולוגים בשורה הראשונה

who blurts out the answer

שיורים את התשובה

before anyone else has had a chance to think about it,

לפני שלאחרים היתה הזדמנות לחשוב על זה,

and I as the instructor am terribly gratified

ואני, כמרצה, ממש שמחה

that somebody actually knew the answer.

שמישהו באמת ידע את התשובה.

And so the lecture moves on before, really,

ואז ההרצאה ממשיכה עוד לפני

most of the students have even noticed that a question had been asked.

שרוב התלמידים אפילו הבחינו ששאלתי שאלה.

Here, every single student

כאן, כל סטודנט

has to engage with the material.

צריך להתעסק עם החומר.

And of course these simple retrieval questions

וכמובן ששאלות שליפה פשוטות כאלה

are not the end of the story.

אינן סוף הסיפור.

One needs to build in much more meaningful practice questions,

צריך לבנות שאלות תרגול משמעותיות הרבה יותר,

and one also needs to provide the students with feedback

וצריך גם לספק לסטודנטים משוב

on those questions.

על שאלות אלה.

Now, how do you grade the work of 100,000 students

עכשיו, איך אפשר לתת ציונים ל 100,000 סטודנטים

if you do not have 10,000 TAs?

אם אין לכם 10,000 עוזרי הוראה?

The answer is, you need to use technology

התשובה היא, צריך להשתמש בטכנולוגיה

to do it for you.

כדי לעשות את זה בשבילכם.

Now, fortunately, technology has come a long way,

למרבה המזל, הטכנולוגיה התקדמה מאוד,

and we can now grade a range of interesting types of homework.

וכעת אנו יכולים לתת ציונים למגוון מעניין של מטלות בית.

In addition to multiple choice

בנוסף לשאלות רב-ברירה

and the kinds of short answer questions that you saw in the video,

ושאלות בעלות תשובה קצרה שראיתם במהלך הוידאו,

we can also grade math, mathematical expressions

אנו גם יכולים לתת ציונים לשאלות במתמטיקה, ביטויים מתמטיים

as well as mathematical derivations.

וכן גזירה מתמטית.

We can grade models, whether it's

אנחנו יכולים לתת ציונים למודלים, בין אם מדובר

financial models in a business class

במודלים פיננסיים בקורסים במנהל עסקים

or physical models in a science or engineering class

או מודלים פיזיים בקורסים במדע או הנדסה

and we can grade some pretty sophisticated programming assignments.

ואנחנו יכולים להעריך משימות תיכנות מתוחכמות למדי.

Let me show you one that's actually pretty simple

תנו לי להראות לכם משימה די פשוטה

but fairly visual.

אבל ויזואלית.

This is from Stanford's Computer Science 101 class,

זו דוגמא מקורס מבוא למדעי המחשב של אוניברסיטת סטנפורד,

and the students are supposed to color-correct

התלמידים אמורים לבצע תיקון צבע

that blurry red image.

של תמונה זו שמטושטשת באדום.

They're typing their program into the browser,

הם מקלידים את התוכנית שלהם לתוך הדפדפן,

and you can see they didn't get it quite right, Lady Liberty is still seasick.

אפשר לראות שהם לא עשו זאת כמו שצריך, ולכן גברת החירות עדיין נראית חולה.

And so, the student tries again, and now they got it right, and they're told that,

אז הסטודנט מנסה שוב, ועכשיו זה עובד כמו שצריך, ואומרים להם,

and they can move on to the next assignment.

והם יכולים להמשיך למשימה הבאה.

This ability to interact actively with the material

היכולת הזו לתקשר באופן פעיל עם החומר

and be told when you're right or wrong

ולדעת אם אתם צודקים או טועים

is really essential to student learning.

היא חיונית מאוד לסטודנט.

Now, of course we cannot yet grade

עכשיו, כמובן שאנחנו לא יכולים עדיין לתת ציונים

the range of work that one needs for all courses.

לטווח המטלות שקיים עבור כל הקורסים.

Specifically, what's lacking is the kind of critical thinking work

באופן ספציפי, מה שחסר הוא מעין עבודת חשיבה ביקורתית

that is so essential in such disciplines

שחיונית בדיסציפלינות כגון

as the humanities, the social sciences, business and others.

מדעי הרוח, מדעי החברה, מנהל עסקים ועוד.

So we tried to convince, for example,

אז ניסינו לשכנע, לדוגמא,

some of our humanities faculty

חלק מהסגל שלנו למדעי הרוח

that multiple choice was not such a bad strategy.

ששאלות אמריקאיות הן לאו דווקא אסטרטגיה רעה.

That didn't go over really well.

זה לא כל-כך הצליח.

So we had to come up with a different solution.

אז היינו צריכים למצוא פתרון אחר.

And the solution we ended up using is peer grading.

הפתרון שאנו משתמשים בו כעת הוא ציוני עמיתים.

It turns out that previous studies show,

מסתבר שמחקרים קודמים

like this one by Saddler and Good,

כמו זה של סאדלר וגוד,

that peer grading is a surprisingly effective strategy

שציוני עמיתים הם אסטרטגיה מפתיעה ביעילותה

for providing reproducible grades.

למתן ציונים מהימנים.

It was tried only in small classes,

זה נוסה רק בכיתות קטנות,

but there it showed, for example,

אך שם זה הראה, לדוגמה,

that these student-assigned grades on the y-axis

שהציונים הללו שהוענקו על ידי הסטודנטים על ציר ה-y

are actually very well correlated

הם במתאם טוב מאוד

with the teacher-assigned grade on the x-axis.

עם הציון שניתן על ידי המרצה בציר ה-x.

What's even more surprising is that self-grades,

מה שמפתיע עוד יותר הוא שציינון עצמי,

where the students grade their own work critically --

שבו הסטודנטים נותנים לעצמם ציונים באופן ביקורתי -

so long as you incentivize them properly

כל עוד נותנים להם תמריצים כראוי

so they can't give themselves a perfect score --

כך שהם לא נותנים לעצמם ציון מושלם -

are actually even better correlated with the teacher grades.

הם למעשה במתאם טוב יותר עם הציונים של המרצה.

And so this is an effective strategy

אז זאת אסטרטגיה יעילה

that can be used for grading at scale,

בה ניתן להשתמש לציינון בקנה מידה רחב,

and is also a useful learning strategy for the students,

וזו גם אסטרטגית למידה שימושית עבור הסטודנטים

because they actually learn from the experience.

מכיוון שהם למעשה יכולים ללמוד מהניסיון.

So we now have the largest peer-grading pipeline ever devised,

אז עכשיו יש לנו את מיזם דירוג עמיתים הגדול ביותר שפיתחו אי פעם,

where tens of thousands of students

בו עשרות אלפי תלמידים

are grading each other's work,

נותנים ציון זה לזה,

and quite successfully, I have to say.

די בהצלחה, אני חייבת לומר.

But this is not just about students

אבל לא מדובר כאן רק על סטודנטים

sitting alone in their living room working through problems.

שיושבים לבד בסלון ועובדים על הבעיות.

Around each one of our courses,

סביב כל אחד מהקורסים שלנו,

a community of students had formed,

התגבשה קהילה של סטודנטים,

a global community of people

קהילה גלובלית של אנשים

around a shared intellectual endeavor.

סביב משימה אינטלקטואלית משותפת.

What you see here is a self-generated map

מה שאתם רואים כאן זו מפה שיצרו

from students in our Princeton Sociology 101 course,

סטודנטים בקורס שלנו מבוא לסוציולוגיה של פרינסטון,

where they have put themselves on a world map,

שבה הסטודנטים מיקמו עצמם על מפת העולם,

and you can really see the global reach of this kind of effort.

ואתם באמת יכולים לראות שהפרוייקט הזה הוא בסדר גודל עולמי.

Students collaborated in these courses in a variety of different ways.

סטודנטים שיתפו פעולה בקורסים האלה במגוון דרכים שונות.

First of all, there was a question and answer forum,

קודם כל, היה פורום שאלות ותשובות,

where students would pose questions,

שבו הסטודנטים העלו שאלות,

and other students would answer those questions.

וסטודנטים אחרים ענו על שאלות אלה.

And the really amazing thing is,

והדבר המדהים באמת הוא

because there were so many students,

שבגלל שהיו שם כל כך הרבה תלמידים,

it means that even if a student posed a question

משמעות הדבר היתה שגם אם תלמיד העלה שאלה

at 3 o'clock in the morning,

בשעה 3 בבוקר,

somewhere around the world,

איפשהו ברחבי העולם,

there would be somebody who was awake

היה מישהו ער

and working on the same problem.

שעבד על אותה בעיה.

And so, in many of our courses,

וכך, ברבים מהקורסים שלנו,

the median response time for a question

זמן התגובה החציוני לשאלה

on the question and answer forum was 22 minutes.

בפורום היה 22 דקות.

Which is not a level of service I have ever offered to my Stanford students.

זאת רמת שירות שמעולם לא יכולתי להציע לסטודנטים שלי בסטנפורד.

(Laughter)

(צחוק)

And you can see from the student testimonials

ואפשר לראות מעדויות הסטודנטים

that students actually find

שסטודנטים למעשה מגלים

that because of this large online community,

שבגלל הקהילה המקוונת הגדולה הזו,

they got to interact with each other in many ways

הם תיקשרו זה עם זה בדרכים רבות

that were deeper than they did in the context of the physical classroom.

שהיו עמוקות יותר ממה שהם עשו בישיבה פיזית בכיתה.

Students also self-assembled,

התלמידים גם התארגנו בעצמם,

without any kind of intervention from us,

ללא כל התערבות מצידנו,

into small study groups.

בקבוצות לימוד קטנות.

Some of these were physical study groups

חלקן היו קבוצות למידה פיזיות

along geographical constraints

תחת אילוצים גיאוגרפיים

and met on a weekly basis to work through problem sets.

שנפגשו על בסיס שבועי לעבודה על בעיות שהוצבו להם בקורס.

This is the San Francisco study group,

זוהי קבוצת לימוד מסן פרנסיסקו,

but there were ones all over the world.

אבל היו כאלה בכל רחבי העולם.

Others were virtual study groups,

קבוצות אחרות היו קבוצות למידה וירטואליות,

sometimes along language lines or along cultural lines,

לעיתים היו קבוצות סביב שפה או סביב תרבות משותפת,

and on the bottom left there,

ובתחתית בצד שמאל,

you see our multicultural universal study group

אתם יכולים לראות את קבוצת הלימוד הרב-תרבותית האוניברסלית שלנו

where people explicitly wanted to connect

שבה אנשים במפורש רצו להתחבר

with people from other cultures.

עם אנשים מתרבויות אחרות.

There are some tremendous opportunities

יש מגוון אפשרויות אדיר

to be had from this kind of framework.

בתשתית מסוג זה.

The first is that it has the potential of giving us

ראשית, יש לזה פוטנציאל להעניק לנו

a completely unprecedented look

מבט חסר תקדים

into understanding human learning.

על הבנה של למידה אנושית.

Because the data that we can collect here is unique.

מכיוון שהנתונים שניתן לאסוף כאן הם ייחודיים.

You can collect every click, every homework submission,

אפשר לאסוף כל לחיצת עכבר, כל הגשת עבודה,

every forum post from tens of thousands of students.

כל הודעה בפורום, של עשרות אלפי סטודנטים.

So you can turn the study of human learning

כך ניתן להפוך את חקר הלמידה האנושית

from the hypothesis-driven mode

ממחקר המונע מהשערות

to the data-driven mode, a transformation that,

למחקר המונע מנתונים, שינוי

for example, has revolutionized biology.

שגרם למהפכה בביולוגיה, לדוגמה.

You can use these data to understand fundamental questions

אפשר להשתמש בנתונים האלה כדי להבין שאלות יסוד

like, what are good learning strategies

למשל, מהן אסטרטגיות למידה

that are effective versus ones that are not?

יעילות לעומת אחרות שאינן?

And in the context of particular courses,

ובהקשר של קורסים מסוימים,

you can ask questions

אפשר לשאול שאלות

like, what are some of the misconceptions that are more common

כמו, מהן התפיסות השגויות הנפוצות ביותר

and how do we help students fix them?

וכיצד אנו יכולים לסייע לתלמידים לתקן אותן?

So here's an example of that,

אז הנה דוגמה

also from Andrew's Machine Learning class.

גם היא מהקורס של אנדרו ללמידת מכונה.

This is a distribution of wrong answers

זוהי התפלגות של תשובות שגויות

to one of Andrew's assignments.

של אחת המטלות של אנדרו.

The answers happen to be pairs of numbers,

התשובות צריכות להיות זוגות של מספרים,

so you can draw them on this two-dimensional plot.

כך שאפשר לצייר אותם על גרף דו מימדי.

Each of the little crosses that you see is a different wrong answer.

כל אחד מהצלבים הקטנים שאתם רואים הוא תשובה שגויה שונה.

The big cross at the top left

הצלב הגדול בקצה הימני העליון

is where 2,000 students

מייצג 2,000 סטודנטים

gave the exact same wrong answer.

שנתנו את אותה תשובה שגויה בדיוק.

Now, if two students in a class of 100

כעת, אם שני תלמידים בכיתה של 100

give the same wrong answer,

נותנים תשובה שגויה זהה,

you would never notice.

לא תבחינו בכך.

But when 2,000 students give the same wrong answer,

אך כאשר 2,000 תלמידים נותנים את אותה תשובה שגויה,

it's kind of hard to miss.

קשה לפספס את זה.

So Andrew and his students went in,

אז אנדרו ותלמידיו

looked at some of those assignments,

הסתכלו לעומק על חלק מהמטלות הללו,

understood the root cause of the misconception,

והבינו את הסיבה לתפיסה השגויה,

and then they produced a targeted error message

ולאחר מכן הם ייצרו הודעת שגיאה מיוחדת

that would be provided to every student

שניתנה לכל תלמיד

whose answer fell into that bucket,

שהתשובה שלו גם נפלה לקטגוריה הזו,

which means that students who made that same mistake

כלומר, סטודנטים שעשו את אותה הטעות

would now get personalized feedback

יקבלו כעת משוב אישי

telling them how to fix their misconception much more effectively.

שאומר להם איך לתקן את התפיסה השגויה שלהם בצורה יעילה הרבה יותר.

So this personalization is something that one can then build

התאמה אישית כזאת ניתנת לבנייה

by having the virtue of large numbers.

בשל היתרון שיש לנו במספרים הגדולים.

Personalization is perhaps

התאמה אישית היא אולי

one of the biggest opportunities here as well,

אחת ההזדמנויות הגדולות ביותר פה,

because it provides us with the potential

מכיוון שהיא מספקת לנו את האפשרות

of solving a 30-year-old problem.

לפתור בעיה בת 30 שנה.

Educational researcher Benjamin Bloom, in 1984,

חוקר החינוך בנג'מין בלום, בשנת 1984,

posed what's called the 2 sigma problem,

הציג את בעיית שתי הסיגמות,

which he observed by studying three populations.

אותה זיהה כשבחן שלוש אוכלוסיות.

The first is the population that studied in a lecture-based classroom.

הראשונה היא האוכלוסייה שלמדה בשיעור מבוסס-הרצאה.

The second is a population of students that studied

השניה היא אוכלוסיית סטודנטים שלמדה

using a standard lecture-based classroom,

בשיעור מבוסס-הרצאה רגיל,

but with a mastery-based approach,

אך עם גישה המבוססת על בקיאות,

so the students couldn't move on to the next topic

כך שהתלמידים לא יכלו לעבור לנושא הבא

before demonstrating mastery of the previous one.

לפני שהפגינו ידע רחב של הנושא הקודם.

And finally, there was a population of students

לבסוף, הייתה אוכלוסייה של תלמידים

that were taught in a one-on-one instruction using a tutor.

שלמדו עם מורה פרטי בשיטת אחד-על-אחד.

The mastery-based population was a full standard deviation,

האוכלוסייה שלמדה על סמך בקיאות היתה גבוהה בסטיית תקן אחת

or sigma, in achievement scores better

או סיגמה, בהישגיה

than the standard lecture-based class,

מהקבוצה המבוססת על הרצאה רגילה,

and the individual tutoring gives you 2 sigma

ושיעורים פרטיים נתנו שיפור של 2 סיגמות

improvement in performance.

להישגים.

To understand what that means,

כדי להבין מה משמעות הדבר,

let's look at the lecture-based classroom,

הבה נבחן את הכיתה המבוססת על הרצאה,

and let's pick the median performance as a threshold.

בואו נבחן את החציון בביצועים בתור סף מעבר.

So in a lecture-based class,

כך שבכיתה מבוססת הרצאה,

half the students are above that level and half are below.

מחצית התלמידים מעל לרמה זו, ומחצית תחתיה.

In the individual tutoring instruction,

בשיטת ההוראה אחד-על-אחד,

98 percent of the students are going to be above that threshold.

98 אחוזים מהסטודנטים עומדים מעל סף זה.

Imagine if we could teach so that 98 percent of our students

דמיינו אילו יכולנו ללמד כך ש98 אחוז מהתלמידים שלנו

would be above average.

יהיו מעל הממוצע.

Hence, the 2 sigma problem.

לכן, הבעיה נקראת 2 סיגמות.

Because we cannot afford, as a society,

מכיוון שאיננו יכולים להרשות לעצמנו, כחברה,

to provide every student with an individual human tutor.

לספק לכל סטודנט מורה פרטי אנושי.

But maybe we can afford to provide each student

אך אולי נוכל להרשות לעצמנו לספק לכל תלמיד

with a computer or a smartphone.

מחשב או טלפון חכם.

So the question is, how can we use technology

אם כן, השאלה היא איך אנחנו משתמשים בטכנולוגיה

to push from the left side of the graph, from the blue curve,

על מנת לדחוף מהצד השמאלי של הגרף, מהעקומה הכחולה,

to the right side with the green curve?

לצד הימני עם העקומה הירוקה?

Mastery is easy to achieve using a computer,

קל להשיג בקיאות באמצעות מחשב,

because a computer doesn't get tired

כי המחשב איננו מתעייף

of showing you the same video five times.

מהצגת אותו הווידאו חמש פעמים.

And it doesn't even get tired of grading the same work multiple times,

הוא אפילו לא מתעייף מלתת ציון מספר פעמים על אותה עבודה,

we've seen that in many of the examples that I've shown you.

ראינו את זה כבר בהרבה מהדוגמאות שהבאתי היום.

And even personalization

ואפילו התאמה אישית

is something that we're starting to see the beginnings of,

היא משהו שמתחילים לראות,

whether it's via the personalized trajectory through the curriculum

אם זה דרך מסלול מותאם אישית בתוכנית הלימודים

or some of the personalized feedback that we've shown you.

או משוב אישי שמוצג לך.

So the goal here is to try and push,

אז כאן המטרה היא לנסות לדחוף,

and see how far we can get towards the green curve.

ולראות עד כמה אנחנו יכולים להגיע לכיוון העקומה הירוקה.

So, if this is so great, are universities now obsolete?

אז אם זה כל כך טוב, האם אוניברסיטאות הופכות כעת למיותרות?

Well, Mark Twain certainly thought so.

ובכן, מארק טוויין בהחלט חשב כך.

He said that, "College is a place where a professor's lecture notes

הוא אמר, "האוניברסיטה היא מקום שבו רשימות הפרופסור

go straight to the students' lecture notes,

עוברות ישר לסיכומים של הסטודנטים,

without passing through the brains of either."

מבלי שעברו דרך מוחו של אף אחד מהם."

(Laughter)

(צחוק)

I beg to differ with Mark Twain, though.

אני רוצה להסתייג מדבריו של מארק טוויין.

I think what he was complaining about is not

אני חושבת שמה שהוא מתלונן עליו הוא לא

universities but rather the lecture-based format

אוניברסיטאות, אלא הפורמט הקיים של לימודים מבוססי-הרצאה

that so many universities spend so much time on.

שכל כך הרבה אוניברסיטאות מקדישות לו זמן רב כל כך.

So let's go back even further, to Plutarch,

אז נחזור בזמן עוד אחורה, לפלוטארכוס,

who said that, "The mind is not a vessel that needs filling,

שאמר ש"המוח אינו כלי קיבול שיש למלאו,

but wood that needs igniting."

אלא עץ שיש להציתו."

And maybe we should spend less time at universities

אולי אנו צריכים להקדיש פחות זמן באוניברסיטאות

filling our students' minds with content

למילוי מוחם של הסטודנטים בתוכן

by lecturing at them, and more time igniting their creativity,

המועבר על-ידי מרצה, ויותר זמן בלהצית את היצירתיות שלהם,

their imagination and their problem-solving skills

את הדמיון שלהם ואת כישוריהם לפתרון בעיות

by actually talking with them.

על-ידי כך שנדבר איתם.

So how do we do that?

אז איך עושים את זה?

We do that by doing active learning in the classroom.

אנו עושים זאת בעזרת למידה פעילה בכיתה.

So there's been many studies, including this one,

היו מחקרים רבים, כולל זה

that show that if you use active learning,

אשר הראו כי אם תשתמשו בלמידה פעילה,

interacting with your students in the classroom,

באינטראקציה עם התלמידים בכיתה,

performance improves on every single metric --

יהיה שיפור בביצועים בכל מדד -

on attendance, on engagement and on learning

בנוכחות, במעורבות ובלמידה

as measured by a standardized test.

כפי שנמדד על-ידי בדיקה מתוקננת.

You can see, for example, that the achievement score

ניתן לראות, לדוגמה, שהציון על הישגים

almost doubles in this particular experiment.

כמעט מכפיל את עצמו בניסוי זה.

So maybe this is how we should spend our time at universities.

אולי זאת הדרך שבה אנו צריכים להקדיש את זמננו באוניברסיטאות.

So to summarize, if we could offer a top quality education

אז לסיכום, אם נוכל להציע חינוך באיכות גבוהה

to everyone around the world for free,

לכל אחד בעולם ובחינם,

what would that do? Three things.

מה זה יעשה? שלושה דברים.

First it would establish education as a fundamental human right,

ראשית, זה יבסס את החינוך כזכות יסוד אנושית,

where anyone around the world

שכל אדם ברחבי העולם

with the ability and the motivation

עם היכולת והמוטיבציה

could get the skills that they need

יוכל לקבל את המיומנויות הנחוצות

to make a better life for themselves,

כדי ליצור חיים טובים יותר,

their families and their communities.

המשפחות שלהם והקהילות שלהם.

Second, it would enable lifelong learning.

שנית, היא תאפשר למידה לאורך כל החיים.

It's a shame that for so many people,

זה חבל שעבור כל כך הרבה אנשים,

learning stops when we finish high school or when we finish college.

הלמידה מפסיקה כאשר אנו מסיימים תיכון או כאשר מסיימים את המכללה.

By having this amazing content be available,

בכך שהתוכן המדהים הזה יהיה זמין,

we would be able to learn something new

נוכל ללמוד משהו חדש

every time we wanted,

מתי שנרצה,

whether it's just to expand our minds

גם אם זה רק כדי להרחיב את אופקינו

or it's to change our lives.

או כדי לשנות את חיינו.

And finally, this would enable a wave of innovation,

ולבסוף, זה יאפשר גם גל של חדשנות,

because amazing talent can be found anywhere.

מכיוון שניתן למצוא כשרון מדהים בכל מקום.

Maybe the next Albert Einstein or the next Steve Jobs

אולי אלברט איינשטיין הבא או סטיב ג'ובס הבא

is living somewhere in a remote village in Africa.

גרים במקום כלשהו בכפר מרוחק באפריקה.

And if we could offer that person an education,

ואם נוכל להציע להם השכלה,

they would be able to come up with the next big idea

הם יוכלו לבוא עם הרעיון הגדול הבא

and make the world a better place for all of us.

ולהפוך את העולם למקום טוב יותר לכולנו.

Thank you very much.

תודה רבה.

(Applause)

(מחיאות כפיים)