The era of blind faith in big data must end | Cathy O'Neil

תרגום: Nurit Noy עריכה: Shlomo Adam

Algorithms are everywhere.

האלגוריתמים נמצאים בכל מקום.

They sort and separate the winners from the losers.

הם ממיינים אנשים ומפרידים בין מנצחים למפסידים.

The winners get the job

המנצחים זוכים במשרה הנחשקת

or a good credit card offer.

או בהצעה לכרטיס אשראי טוב.

The losers don't even get an interview

המפסידים לא זוכים אפילו בראיון

or they pay more for insurance.

או משלמים יותר על הביטוח.

We're being scored with secret formulas that we don't understand

נוסחאות סודיות שאיננו מבינים מדרגות אותנו,

that often don't have systems of appeal.

ובדרך כלל אין אפשרות לערער על החלטותיהן.

That begs the question:

מתבקשת השאלה:

What if the algorithms are wrong?

מה אם האלגוריתמים טועים?

To build an algorithm you need two things:

כדי לבנות אלגוריתם נחוצים שני דברים:

you need data, what happened in the past,

נתונים: מה קרה בעבר,

and a definition of success,

והגדרה של הצלחה,

the thing you're looking for and often hoping for.

מה שאתם רוצים או מקווים לו.

You train an algorithm by looking, figuring out.

האלגוריתם לומד ע"י...

The algorithm figures out what is associated with success.

האלגוריתם מזהה מה מתקשר להצלחה.

What situation leads to success?

אילו מצבים מובילים להצלחה?

Actually, everyone uses algorithms.

בעצם, כולנו משתמשים באלגוריתמים,

They just don't formalize them in written code.

אבל לא מנסחים אותם בצורת קוד כתוב.

Let me give you an example.

אתן לכם דוגמה.

I use an algorithm every day to make a meal for my family.

אני משתמשת בכל יום באלגוריתם כדי להכין למשפחתי ארוחה.

The data I use

הנתונים בהם אני משתמשת

is the ingredients in my kitchen,

הם המוצרים במטבח שלי,

the time I have,

הזמן שעומד לרשותי,

the ambition I have,

השאיפות שלי,

and I curate that data.

ואני מארגנת את הנתונים.

I don't count those little packages of ramen noodles as food.

אני לא מחשיבה "מנה חמה" כמזון.

(Laughter)

(צחוק)

My definition of success is:

ההגדרה שלי להצלחה:

a meal is successful if my kids eat vegetables.

ארוחה נחשבת למוצלחת אם הילדים שלי אוכלים ירקות.

It's very different from if my youngest son were in charge.

אם בני הצעיר יהיה אחראי לכך זה יהיה אחרת לגמרי.

He'd say success is if he gets to eat lots of Nutella.

הוא יגיד שהצלחה פירושה שהוא אכל הרבה חמאת-בוטנים.

But I get to choose success.

אבל אני היא זו שבוחרת מהי הצלחה.

I am in charge. My opinion matters.

אני האחראית. הדעה שלי קובעת.

That's the first rule of algorithms.

זהו החוק הראשון של האלגוריתמים.

Algorithms are opinions embedded in code.

אלגוריתמים הם דעות שמוטמעות בקוד.

It's really different from what you think most people think of algorithms.

זה שונה מאד ממה שרוב האנשים חושבים על אלגוריתמים.

They think algorithms are objective and true and scientific.

הם חושבים שהאלגוריתמים הם אובייקטיביים, נכונים ומדעיים.

That's a marketing trick.

זו תחבולה שיווקית.

It's also a marketing trick

תחבולה שיווקית נוספת

to intimidate you with algorithms,

היא להפחיד אתכם באלגוריתמים,

to make you trust and fear algorithms

כדי שתבטחו בהם ותחששו מהם

because you trust and fear mathematics.

כי אתם בוטחים במתמטיקה וחוששים ממנה.

A lot can go wrong when we put blind faith in big data.

הרבה יכול להשתבש כשאנחנו נותנים אמון עיוור בנתוני-עתק.

This is Kiri Soares. She's a high school principal in Brooklyn.

זו קירי סוארז, מנהלת בי"ס תיכון בברוקלין.

In 2011, she told me her teachers were being scored

ב-2011 היא אמרה לי שהמורים שלה מדורגים

with a complex, secret algorithm

בעזרת אלגוריתם סודי ומורכב,

called the "value-added model."

שנקרא "מודל הערך המוסף".

I told her, "Well, figure out what the formula is, show it to me.

אמרתי לה, "תבררי מהי הנוסחה ותראי לי אותה.

"אני אסביר לך אותה"

I'm going to explain it to you."

היא אמרה, "ניסיתי לקבל את הנוסחה.

She said, "Well, I tried to get the formula,

"אך במשרד החינוך אמרו לי שזאת מתמטיקה,

but my Department of Education contact told me it was math

and I wouldn't understand it."

"ושאני לא אבין אותה."

It gets worse.

זה נהיה יותר גרוע.

The New York Post filed a Freedom of Information Act request,

ה"ניו-יורק פוסט" הגיש בקשה לפי חוק חופש המידע.

got all the teachers' names and all their scores

קיבל את כל שמות המורים והדירוג שלהם,

and they published them as an act of teacher-shaming.

ופירסם אותן כצעד של ביוש מורים.

When I tried to get the formulas, the source code, through the same means,

כשניסיתי להשיג את הנוסחאות, את הקוד המקורי, באותם האמצעים,

I was told I couldn't.

אמרו לי, "אי-אפשר".

I was denied.

דחו אותי.

I later found out

מאוחר יותר גיליתי

that nobody in New York City had access to that formula.

שלאף אחד בעיר ניו-יורק אין גישה לנוסחה ההיא.

No one understood it.

שאיש לא מבין אותה.

Then someone really smart got involved, Gary Rubinstein.

ואז נכנס לתמונה מישהו ממש חכם. גרי רובינשטיין.

He found 665 teachers from that New York Post data

הוא זיהה בנתוני ה"ניו-יורק פוסט" 665 מורים עם שני דירוגים.

that actually had two scores.

That could happen if they were teaching

זה יכול היה לקרות אם הם לימדו מתמטיקה בכיתות ז' וגם בכיתות ח'.

seventh grade math and eighth grade math.

He decided to plot them.

הוא החליט להציג זאת בגרף.

Each dot represents a teacher.

כל נקודה מסמלת מורה.

(Laughter)

(צחוק)

What is that?

מה זה?

(Laughter)

(צחוק)

That should never have been used for individual assessment.

זה לא משהו שאמור לשמש לצורך הערכות אישיות.

It's almost a random number generator.

זהו כמעט מחולל מספרים אקראי.

(Applause)

(מחיאות כפיים)

But it was.

אך זה שימש לכך.

This is Sarah Wysocki.

זוהי שרה וויסוקי. היא פוטרה יחד עם עוד 205 מורים

She got fired, along with 205 other teachers,

from the Washington, DC school district,

מהמחוז הבית-סיפרי של וושינגטון הבירה,

even though she had great recommendations from her principal

למרות שהיו לה המלצות מעולות מהנהלת ביה"ס

and the parents of her kids.

וגם מההורים של הילדים שלימדה.

I know what a lot of you guys are thinking,

אני יודעת שרבים מכם חושבים,

במיוחד חוקרי הנתונים ומומחי הבינה המלאכותית שכאן,

especially the data scientists, the AI experts here.

You're thinking, "Well, I would never make an algorithm that inconsistent."

"אני אף פעם לא אכתוב אלגוריתם כל-כך לא עיקבי."

But algorithms can go wrong,

אבל אלגוריתמים יכולים לטעות,

even have deeply destructive effects with good intentions.

ואפילו לגרום לתוצאות הרסניות ביותר מתוך כוונות טובות.

And whereas an airplane that's designed badly

ובעוד שמטוס שתוכנן גרוע מתרסק וכולם רואים זאת,

crashes to the earth and everyone sees it,

an algorithm designed badly

הרי כשאלגוריתם מעוצב גרוע,

can go on for a long time, silently wreaking havoc.

הוא יכול לעבוד הרבה זמן ולזרוע בשקט תוהו.

This is Roger Ailes.

זהו רוג'ר איילס.

(Laughter)

(צחוק)

He founded Fox News in 1996.

הוא ייסד את "חדשות פוקס" ב-1996.

More than 20 women complained about sexual harassment.

יותר מ-20 נשים התלוננו על הטרדה מינית

They said they weren't allowed to succeed at Fox News.

ואמרו שהן לא הירשו להן להצליח ב"חדשות פוקס".

He was ousted last year, but we've seen recently

הוא הודח בשנה שעברה, אך לאחרונה נודע לנו

that the problems have persisted.

שהבעיה נמשכת.

That begs the question:

נשאלת השאלה:

What should Fox News do to turn over another leaf?

מה צריכה רשת "חדשות פוקס" לעשות כדי לפתוח דף חדש?

Well, what if they replaced their hiring process

מה אם הם יחליפו את תהליך ההעסקה שלהם

באלגוריתם של למידת-מכונה?

with a machine-learning algorithm?

That sounds good, right?

נשמע טוב, נכון?

Think about it.

חישבו על זה.

The data, what would the data be?

הנתונים, מה הם יהיו?

A reasonable choice would be the last 21 years of applications to Fox News.

הגיוני שאלה יהיו נתוני 21 השנים האחרונות של בקשות עבודה ב"חדשות פוקס".

Reasonable.

הגיוני.

What about the definition of success?

מה לגבי ההגדרה להצלחה?

Reasonable choice would be,

בחירה הגיונית תהיה,

well, who is successful at Fox News?

מי מצליח ב"חדשות פוקס"?

I guess someone who, say, stayed there for four years

אולי מישהו שעובד שם כבר 4 שנים,

and was promoted at least once.

וקיבל קידום לפחות פעם אחת.

Sounds reasonable.

נשמע הגיוני.

And then the algorithm would be trained.

ואז האלגוריתם יעבור לימוד.

It would be trained to look for people to learn what led to success,

הוא ילמד לחפש אנשים כדי ללמוד מה הוביל להצלחה,

what kind of applications historically led to success

אילו מועמדים הפכו לעובדים מוצלחים,

by that definition.

לפי ההגדרה הזו.

עכשיו חישבו מה יקרה אם ניישם זאת למאגר מועמדים בהווה:

Now think about what would happen

if we applied that to a current pool of applicants.

It would filter out women

האלגוריתם יסנן החוצה נשים,

because they do not look like people who were successful in the past.

כי הן אינן דומות לאנשים שהצליחו בעבר.

Algorithms don't make things fair

האלגוריתמים אינם מתקנים את העולם

if you just blithely, blindly apply algorithms.

אם מיישמים אותם בשמחה ובעיוורון

They don't make things fair.

הם לא מתקנים את העולם

They repeat our past practices,

אלא רק חוזרים על מה שעשינו בעבר,

our patterns.

על הדפוסים שלנו.

They automate the status quo.

הם הופכים את המצב הקיים לאוטומטי.

That would be great if we had a perfect world,

היה נהדר אם היה לנו עולם מושלם,

but we don't.

אבל אין לנו.

And I'll add that most companies don't have embarrassing lawsuits,

ואני אוסיף שרוב החברות לא מתמודדות עם תביעות מביכות,

but the data scientists in those companies

אבל מומחי הנתונים בחברות אלה מחוייבים לציית לנתונים,

are told to follow the data,

to focus on accuracy.

להתמקד בדיוק.

Think about what that means.

חישבו מה זה אומר,

Because we all have bias, it means they could be codifying sexism

הרי לכולנו יש הטיות.

אולי הם מתכנתים לאפליה על רקע מין,

or any other kind of bigotry.

או כל סוג אחר של גזענות.

Thought experiment,

ניסוי מחשבתי,

because I like them:

כי אני אוהבת כאלה:

an entirely segregated society --

דמיינו חברה שלמה שמופרדת לפי גזעים:

racially segregated, all towns, all neighborhoods

כל העיירות, כל השכונות,

and where we send the police only to the minority neighborhoods

ואת המשטרה שולחים לחפש פשיעה רק בשכונות של מיעוטים.

to look for crime.

The arrest data would be very biased.

נתוני המעצרים יהיו מוטים בצורה מובהקת.

What if, on top of that, we found the data scientists

מה אם בנוסף, מצאנו מומחה לנתונים

and paid the data scientists to predict where the next crime would occur?

ושילמנו לו כדי שינבא איפה יקרה הפשע הבא?

Minority neighborhood.

שכונת מיעוטים.

Or to predict who the next criminal would be?

או כדי שינבא מי יהיה הפושע הבא?

A minority.

בן מיעוטים.

The data scientists would brag about how great and how accurate

מומחי הנתונים יתפארו כמה נהדר ומדוייק המודל שלהם.

their model would be,

and they'd be right.

והם יצדקו.

Now, reality isn't that drastic, but we do have severe segregations

המציאות לא כל כך דרסטית, אבל יש לנו באמת הפרדה חמורה

in many cities and towns,

בערים ועיירות רבות,

and we have plenty of evidence

ויש לנו שפע ראיות

of biased policing and justice system data.

להטיות בנתונים המשטרתיים מוטים ובמערכת המשפט.

And we actually do predict hotspots,

ואנחנו אכן חוזים נקודות סיכון,

places where crimes will occur.

מקומות בהם יקרו פשעים.

And we do predict, in fact, the individual criminality,

ואנחנו גם מנבאים את מידת הנטיה האישית לפשוע.

the criminality of individuals.

את נטייתם של אנשים מסויימים לפשוע.

The news organization ProPublica recently looked into

סוכנות החדשות "פרופבליקה" בחנה לאחרונה

one of those "recidivism risk" algorithms,

אחד אותם אלגוריתמים ל"ניבוי הישנות פשיעה"

as they're called,

כמו שקוראים להם.

being used in Florida during sentencing by judges.

בפלורידה משתמשים בהם שופטים בזמן חריצת גזר הדין.

Bernard, on the left, the black man, was scored a 10 out of 10.

ברנרד, משמאל, הגבר השחור קיבל 10 נקודות מתך 10.

Dylan, on the right, 3 out of 10.

דילן, מימין - 3 מתוך 10.

10 out of 10, high risk. 3 out of 10, low risk.

10 מתוך 10 - סיכון גבוה. 3 מתוך 10 - סיכון נמוך.

They were both brought in for drug possession.

שניהם נעצרו על החזקת סמים.

They both had records,

לשניהם היה כבר תיק.

but Dylan had a felony

אבל דילן עבר עבירה

but Bernard didn't.

וברנרד - לא.

This matters, because the higher score you are,

זה משנה, כי ככל שתקבל ניקוד יותר גבוה,

the more likely you're being given a longer sentence.

גובר הסיכוי שתקבל עונש מאסר ארוך יותר.

What's going on?

מה קורה פה?

Data laundering.

הלבנת נתונים.

It's a process by which technologists hide ugly truths

זהו תהליך שבו אנשי הטכנולוגיה מסתירים אמיתות מכוערות

inside black box algorithms

בתוך אלגוריתמים חתומים

ואומרים שהם "אובייקטיביים",

and call them objective;

call them meritocratic.

שזאת מריטוקרטיה.

When they're secret, important and destructive,

טבעתי כינוי לאלגוריתמים סודיים, חשובים והרסניים אלו:

I've coined a term for these algorithms:

"weapons of math destruction."

"נשק להשמדה מתמטית".

(Laughter)

(צחוק)

(Applause)

(מחיאות כפיים)

They're everywhere, and it's not a mistake.

הם בכל מקום וזו לא טעות:

These are private companies building private algorithms

מדובר בחברות פרטיות שכותבות אלגוריתמים פרטיים

for private ends.

לצרכיהן הפרטיים.

Even the ones I talked about for teachers and the public police,

אפילו אלו שהזכרתי, שמשמשים להערכה של מורים ולשיטור

those were built by private companies

נכתבו בידי חברות פרטיות ונמכרו למוסדות ממשלתיים.

and sold to the government institutions.

They call it their "secret sauce" --

הם אומרים שזה "הרוטב הסודי" שלהם

that's why they can't tell us about it.

ולכן אינם יכולים לחשוף אותו.

It's also private power.

זהו גם כוח פרטי.

They are profiting for wielding the authority of the inscrutable.

הם מרוויחים מהפעלת כוח העמימות.

Now you might think, since all this stuff is private

אתם יכולים לחשוב, "בגלל שכל זה פרטי

and there's competition,

"וישנה תחרות,

"השוק החופשי אולי יפתור את הבעיה."

maybe the free market will solve this problem.

It won't.

לא נכון.

There's a lot of money to be made in unfairness.

אפשר להרוויח הרבה כסף מחוסר הוגנות.

Also, we're not economic rational agents.

אנחנו גם לא יצורים רציונליים מבחינה כלכלית

We all are biased.

לכולנו דעות קדומות.

We're all racist and bigoted in ways that we wish we weren't,

כולנו גזענים ומוטים למרות שהיינו מעדיפים לא להיות כאלה,

in ways that we don't even know.

ובדרכים שאיננו אפילו יודעים.

We know this, though, in aggregate,

אבל אנחנו יודעים שבמצטבר,

because sociologists have consistently demonstrated this

בגלל שסוציולוגים מראים באופן עקבי

with these experiments they build,

בניסויים שהם עורכים,

where they send a bunch of applications to jobs out,

שבהם הם שולחים למעסיקים הרבה קורות חיים

equally qualified but some have white-sounding names

עם כישורים זהים, כשחלק מהשמות נשמעים "לבנים",

ושמות אחרים נשמעים "שחורים",

and some have black-sounding names,

and it's always disappointing, the results -- always.

והתוצאות של הניסויים תמיד מאכזבות, תמיד.

So we are the ones that are biased,

אז אנחנו בעלי הדעות הקדומות,

and we are injecting those biases into the algorithms

ואנחנו מחדירים את ההטיות האלו לתוך האלגוריתמים

by choosing what data to collect,

בכך שאנו בוחרים אילו נתונים יש לאסוף,

like I chose not to think about ramen noodles --

כמו שאני החלטתי לא להתייחס ל"מנה חמה"-

I decided it was irrelevant.

החלטתי שהיא איננה רלוונטית.

But by trusting the data that's actually picking up on past practices

אבל אם אנחנו בוטחים בנתונים ובהגדרת ההצלחה על יסוד גישות קודמות,

and by choosing the definition of success,

how can we expect the algorithms to emerge unscathed?

איך אנחנו יכולים לצפות שהאלגוריתמים ייצאו ללא פגע?

We can't. We have to check them.

ממש לא. אנחנו מוכרחים לבדוק אותם.

We have to check them for fairness.

אנחנו מוכרחים לוודא שהם הוגנים.

The good news is, we can check them for fairness.

החדשות הטובות הן: זה אפשרי.

Algorithms can be interrogated,

אפשר לחקור אלגוריתמים

and they will tell us the truth every time.

והם יגידו לנו תמיד את האמת.

And we can fix them. We can make them better.

ואנחנו יכולים לתקן ולשפר אותם.

I call this an algorithmic audit,

אני קוראת לזה "בדיקת אלגוריתם"

and I'll walk you through it.

אסביר לכם איך זה נעשה.

First, data integrity check.

ראשית מוודאים את שלמות הנתונים.

For the recidivism risk algorithm I talked about,

באלגוריתם "הישנות הפשיעה" שהזכרתי,

a data integrity check would mean we'd have to come to terms with the fact

בדיקת שלמות הנתונים פירושה שמוכרחים להשלים עם העובדה

that in the US, whites and blacks smoke pot at the same rate

שבארה"ב, הלבנים והשחורים מעשנים מריחואנה באותה מידה

but blacks are far more likely to be arrested --

אבל לשחורים יש סיכוי גבוה יותר להיעצר -

four or five times more likely, depending on the area.

סיכוי גבוה פי ארבעה או חמישה, תלוי באיזור.

What is that bias looking like in other crime categories,

איך נראית ההטיה בתחומי פשע אחרים,

and how do we account for it?

ואיך אנחנו מסבירים אותה?

Second, we should think about the definition of success,

שנית, אנחנו צריכים להגדיר מחדש מהי הצלחה.

audit that.

לבדוק את הנושא.

Remember -- with the hiring algorithm? We talked about it.

זוכרים את האלגוריתם לשכירת עובדים? דיברנו על זה.

Someone who stays for four years and is promoted once?

עובד המועסק כבר ארבע שנים וקודם פעם אחת?

Well, that is a successful employee,

זה באמת עובד מצליח,

but it's also an employee that is supported by their culture.

אבל זה גם עובד שהסביבה התרבותית תומכת בו.

That said, also it can be quite biased.

אבל גם כאן יכולות להיות דעות קדומות.

We need to separate those two things.

צריך להפריד בין שני הדברים.

We should look to the blind orchestra audition

למשל בבחינות קבלה עיוורות,

as an example.

That's where the people auditioning are behind a sheet.

כשהבוחנים נמצאים מאחורי מסך.

What I want to think about there

אני רוצה לחשוב שכאן,

is the people who are listening have decided what's important

האנשים המקשיבים הם שהחליטו מה חשוב ומה לא,

and they've decided what's not important,

ודעתם לא מוסחת ע"י זה.

and they're not getting distracted by that.

When the blind orchestra auditions started,

כשהתחילו המבחנים העיוורים,

the number of women in orchestras went up by a factor of five.

מספר הנשים המנגנות בתזמורת גדל פי חמש.

Next, we have to consider accuracy.

הבא בתור הוא הדיוק.

This is where the value-added model for teachers would fail immediately.

כאן אלגוריתם הערך המוסף לדירוג מורים ייכשל מיד.

No algorithm is perfect, of course,

אין אלגוריתם מושלם, כמובן,

so we have to consider the errors of every algorithm.

אז צריך לקחת בחשבון את השגיאות של כל אלגוריתם:

How often are there errors, and for whom does this model fail?

כמה ומתי הן קורות ועם מי המודל הזה נכשל?

What is the cost of that failure?

מהו המחיר של הכשלון הזה?

And finally, we have to consider

ולסיום, אנחנו מוכרחים לקחת בחשבון

the long-term effects of algorithms,

את ההשפעות ארוכות הטווח של האלגוריתמים,

the feedback loops that are engendering.

של לולאות המשוב שנוצרות.

That sounds abstract,

זה נשמע מופשט,

but imagine if Facebook engineers had considered that

אבל מה אם מהנדסי "פייסבוק" היו לוקחים זאת בחשבון

before they decided to show us only things that our friends had posted.

בטרם החליטו להראות לנו רק מה ששיתפו החברים שלנו.

I have two more messages, one for the data scientists out there.

יש לי עוד שני מסרים, אחד למתכנתים באשר הם:

Data scientists: we should not be the arbiters of truth.

מתכנתים: אסור לנו לתווך את האמת.

We should be translators of ethical discussions that happen

אנחנו צריכים לתת ביטוי לדיוני מוסר שמתקיימים

in larger society.

בחברה כולה.

(Applause)

(מחיאות כפיים)

And the rest of you,

ולשאר האנשים,

the non-data scientists:

אלו שאינם עוסקים במידע:

this is not a math test.

לא מדובר במבחן במתמטיקה,

This is a political fight.

אלא במאבק פוליטי.

We need to demand accountability for our algorithmic overlords.

אנחנו צריכים לדרוש משליטי האלגוריתמים לקחת אחריות.

(Applause)

(מחיאות כפיים)

The era of blind faith in big data must end.

עידן האמון העיוור בנתונים חייב להסתיים.

Thank you very much.

תודה רבה.

(Applause)

(מחיאות כפיים)