Machine intelligence makes human morals more important | Zeynep Tufekci

מתרגם: Gili Baltsan מבקר: Ido Dekkers

So, I started my first job as a computer programmer

התחלתי את עבודתי הראשונה כמתכנתת מחשבים

in my very first year of college --

בשנתי הראשונה בקולג' -

basically, as a teenager.

כשהייתי נערה מתבגרת.

Soon after I started working,

זמן קצר לאחר שהתחלתי לעבוד,

writing software in a company,

לכתוב תוכנות בחברה,

a manager who worked at the company came down to where I was,

מנהל שעבד בחברה נכנס לחדר בו הייתי,

and he whispered to me,

ולחש אליי,

"Can he tell if I'm lying?"

"האם הוא יכול לדעת אם אני משקר?"

There was nobody else in the room.

לא היה אף אחד נוסף בחדר.

"Can who tell if you're lying? And why are we whispering?"

"מי יכול לדעת אם אתה משקר? ולמה אנחנו לוחשים?"

The manager pointed at the computer in the room.

המנהל הצביע על המחשב בחדר.

"Can he tell if I'm lying?"

"האם הוא יכול לדעת אם אני משקר?"

Well, that manager was having an affair with the receptionist.

טוב, המנהל הזה ניהל רומן עם פקידת הקבלה.

(Laughter)

(צחוק)

And I was still a teenager.

ואני הייתי עדיין נערה מתבגרת.

So I whisper-shouted back to him,

אז לחשתי-צעקתי אליו בחזרה,

"Yes, the computer can tell if you're lying."

"כן, המחשב יכול לדעת אם אתה משקר."

(Laughter)

(צחוק)

Well, I laughed, but actually, the laugh's on me.

טוב, צחקתי, אבל בעצם, הבדיחה היא על חשבוני.

Nowadays, there are computational systems

בימינו, קיימות מערכות ממוחשבות

that can suss out emotional states and even lying

שיכולות לקלוט מצבים רגשיים ואפילו שקר

from processing human faces.

באמצעות עיבוד פרצופים אנושיים.

Advertisers and even governments are very interested.

מפרסמים ואפילו ממשלות מאד מתעניינות בזה.

I had become a computer programmer

אני נהייתי מתכנתת מחשבים

because I was one of those kids crazy about math and science.

כי הייתי מהילדים האלה שמשוגעים על מתמטיקה ומדעים.

But somewhere along the line I'd learned about nuclear weapons,

אבל איפשהו במהלך הדרך למדתי על נשק גרעיני,

and I'd gotten really concerned with the ethics of science.

והתחלתי להיות מאוד מודאגת בעניין האתיקה של המדע.

I was troubled.

הייתי מוטרדת.

However, because of family circumstances,

עם זאת, בגלל נסיבות משפחתיות,

I also needed to start working as soon as possible.

נאלצתי להתחיל לעבוד מוקדם ככל האפשר.

So I thought to myself, hey, let me pick a technical field

אז חשבתי לעצמי, אני אבחר בתחום טכני

where I can get a job easily

בו אמצא עבודה בקלות

and where I don't have to deal with any troublesome questions of ethics.

ולא אצטרך להתעסק בשאלות אתיות מטרידות.

So I picked computers.

אז בחרתי במחשבים.

(Laughter)

(צחוק)

Well, ha, ha, ha! All the laughs are on me.

טוב, חה, חה, חה! כל הצחוק הוא על חשבוני.

Nowadays, computer scientists are building platforms

בימינו, מדעני מחשבים בונים פלטפורמות

that control what a billion people see every day.

אשר שולטות במה שמיליארד אנשים יצפו בכל יום.

They're developing cars that could decide who to run over.

הם מפתחים מכוניות שיכולות להחליט את מי לדרוס.

They're even building machines, weapons,

הם אפילו בונים מכונות, כלי נשק,

that might kill human beings in war.

שיכולים להרוג בני אדם במלחמה.

It's ethics all the way down.

מדובר באתיקה לאורך כל הדרך.

Machine intelligence is here.

הבינה המלאכותית כבר כאן.

We're now using computation to make all sort of decisions,

אנו משתמשים כעת במחשוב כדי לקבל כל מיני החלטות.

but also new kinds of decisions.

אבל גם החלטות מסוגים חדשים.

We're asking questions to computation that have no single right answers,

אנחנו שואלים את המחשוב שאלות שיש להן יותר מתשובה נכונה אחת,

that are subjective

שהן סוביקטיביות

and open-ended and value-laden.

שאלות פתוחות ובעלות מטען ערכי.

We're asking questions like,

אנו שואלים שאלות כמו,

"Who should the company hire?"

"את מי צריכה החברה להעסיק?"

"Which update from which friend should you be shown?"

"איזה עדכון מאיזה חבר אנחנו צריכים להראות?"

"Which convict is more likely to reoffend?"

"מיהו האסיר שסביר יותר שיפשע שוב?"

"Which news item or movie should be recommended to people?"

"על איזה אייטם חדשותי או סרט כדאי להמליץ לאנשים?"

Look, yes, we've been using computers for a while,

תראו, כן, אנחנו משתמשים במחשבים כבר זמן רב,

but this is different.

אבל זה שונה.

This is a historical twist,

זהו טוויסט היסטורי,

because we cannot anchor computation for such subjective decisions

כיוון שאנחנו לא יכולים להיעזר במחשוב בשאלות סובייקטיביות כאלו

the way we can anchor computation for flying airplanes, building bridges,

כפי שאנו נעזרים במחשוב להטסת מטוסים, לבניית גשרים,

going to the moon.

להגיע לירח.

Are airplanes safer? Did the bridge sway and fall?

האם מטוסים בטוחים יותר? האם הגשר התנדנד ונפל?

There, we have agreed-upon, fairly clear benchmarks,

בדברים האלו הסכמנו על אמות מידה ברורות למדי,

and we have laws of nature to guide us.

ויש לנו את חוקי הטבע שמדריכים אותנו.

We have no such anchors and benchmarks

אין לנו עוגנים ואמות מידה כאלו

for decisions in messy human affairs.

עבור החלטות בעניינים אנושיים מסובכים.

To make things more complicated, our software is getting more powerful,

כדי לסבך את העניין עוד יותר, התוכנה שלנו הולכת ונעשית חזקה יותר,

but it's also getting less transparent and more complex.

אבל היא גם נעשית פחות שקופה ויותר מורכבת.

Recently, in the past decade,

לאחרונה, בעשור החולף,

complex algorithms have made great strides.

אלגוריתמים מורכבים התקדמו מאד.

They can recognize human faces.

הם יכולים לזהות פרצופים אנושיים.

They can decipher handwriting.

הם יכולים לפענח כתב יד.

They can detect credit card fraud

הם יכולים לזהות הונאת כרטיסי אשראי

and block spam

ולחסום דואר זבל

and they can translate between languages.

והם יכולים לתרגם משפה לשפה.

They can detect tumors in medical imaging.

הם יכולים לזהות גידולים בהדמיה רפואית.

They can beat humans in chess and Go.

הם יכולים לנצח בני אדם במשחקי שח-מט וגו.

Much of this progress comes from a method called "machine learning."

הרבה מההתקדמות הזו היא הודות לשיטה שנקראת "לימוד מכונה".

Machine learning is different than traditional programming,

לימוד מכונה הוא שונה מתכנות מסורתי,

where you give the computer detailed, exact, painstaking instructions.

בו נותנים למחשב הוראות מפורטות, מדויקות, מדוקדקות.

It's more like you take the system and you feed it lots of data,

זה יותר כמו שמכניסים למערכת הרבה נתונים,

including unstructured data,

כולל נתונים לא מובנים,

like the kind we generate in our digital lives.

כמו אלה שאנו מייצרים בחיינו הדיגיטליים.

And the system learns by churning through this data.

והמערכת לומדת, על-ידי ערבול כל הנתונים הללו.

And also, crucially,

כמו כן, באופן מכריע,

these systems don't operate under a single-answer logic.

המערכות הללו לא פועלות על פי ההיגיון של תשובה-אחת.

They don't produce a simple answer; it's more probabilistic:

הן לא מייצרות תשובה פשוטה; זה יותר הסתברותי:

"This one is probably more like what you're looking for."

"זו כנראה יותר מתאימה למה שאתה מחפש."

Now, the upside is: this method is really powerful.

היתרון הוא: השיטה הזו ממש חזקה.

The head of Google's AI systems called it,

המנהל של מערכת AI של גוגל קרא לזה,

"the unreasonable effectiveness of data."

"היעילות חסרת ההיגיון של נתונים."

The downside is,

החיסרון הוא,

we don't really understand what the system learned.

שאנחנו לא באמת מבינים מה המערכת למדה.

In fact, that's its power.

בעצם, זה הכוח שלה.

This is less like giving instructions to a computer;

זה פחות כמו לתת הוראות למחשב;

it's more like training a puppy-machine-creature

זה יותר כמו לאמן יצור שהוא גור-מכונה

we don't really understand or control.

שאנחנו לא באמת מבינים ושולטים בו.

So this is our problem.

אז זו הבעיה שלנו.

It's a problem when this artificial intelligence system gets things wrong.

זו בעיה כאשר הבינה המלאכותית הזו טועה.

It's also a problem when it gets things right,

זו גם בעיה כאשר היא אינה טועה,

because we don't even know which is which when it's a subjective problem.

מכיוון שאנו לא יודעים מהו מה כאשר הבעיה היא סוביקטיבית.

We don't know what this thing is thinking.

איננו יודעים מה הדבר הזה חושב.

So, consider a hiring algorithm --

אז, חישבו על אלגוריתם של העסקת עובדים -

a system used to hire people, using machine-learning systems.

מערכת שרגילה להעסיק אנשים, משתמשת במערכות לימוד-מכונה.

Such a system would have been trained on previous employees' data

מערכת כזו הייתה מאומנת על נתוני העסקה קודמים

and instructed to find and hire

וניתנת לה הנחייה למצוא ולהעסיק

people like the existing high performers in the company.

אנשים בעלי ביצועים טובים כמו אלה שכבר נמצאים בחברה.

Sounds good.

נשמע טוב.

I once attended a conference

פעם השתתפתי בכנס

that brought together human resources managers and executives,

אשר חיבר יחד מנהלי משאבי אנוש,

high-level people,

אנשים ברמה גבוהה,

using such systems in hiring.

המשתמשים במערכות כאלה להעסקת עובדים.

They were super excited.

הם מאד התלהבו.

They thought that this would make hiring more objective, less biased,

הם חשבו שזה יהפוך את תהליך ההעסקה לאובייקטיבי יותר, פחות מוטה,

and give women and minorities a better shot

ויעניק לנשים ומיעוטים סיכוי גבוה יותר

against biased human managers.

כנגד מנהלים אנושיים משוחדים.

And look -- human hiring is biased.

ותראו - העסקה על-ידי בני-אדם היא משוחדת.

I know.

אני יודעת.

I mean, in one of my early jobs as a programmer,

באחד ממקומות העבודה המוקדמים שלי כמתכנתת,

my immediate manager would sometimes come down to where I was

המנהלת הישירה שלי הייתה באה לפעמים למקום בו הייתי

really early in the morning or really late in the afternoon,

ממש מוקדם בבוקר או ממש מאוחר אחר הצהריים,

and she'd say, "Zeynep, let's go to lunch!"

ואמרה לי, "זיינב, בואי נלך לאכול ארוחת צהרים!"

I'd be puzzled by the weird timing.

הייתי מבולבלת מהתזמון המוזר.

It's 4pm. Lunch?

עכשיו 4 אחר הצהריים. ארוחת צהריים?

I was broke, so free lunch. I always went.

הייתי מרוששת, אז ארוחת חינם. תמיד הלכתי.

I later realized what was happening.

מאוחר יותר הבנתי מה קרה.

My immediate managers had not confessed to their higher-ups

מנהליי הישירים לא הודו בפני הממונים עליהם

that the programmer they hired for a serious job was a teen girl

שהמתכנתת שהם העסיקו בתפקיד רציני היא נערה מתבגרת

who wore jeans and sneakers to work.

שבאה לעבודה בג'ינס וסניקרס.

I was doing a good job, I just looked wrong

עשיתי עבודה טובה, רק לא נראיתי נכון

and was the wrong age and gender.

והייתי בגיל ובמגדר הלא נכונים.

So hiring in a gender- and race-blind way

אז העסקת עובדים באופן עיוור למגדר וגזע

certainly sounds good to me.

בהחלט נשמע לי טוב.

But with these systems, it is more complicated, and here's why:

אבל עם המערכות האלו, זה יותר מורכב, וזו הסיבה:

Currently, computational systems can infer all sorts of things about you

כעת, מערכות ממוחשבות יכולות להסיק כל מיני דברים עליכם

from your digital crumbs,

מהפירורים הדיגיטליים שלכם,

even if you have not disclosed those things.

אפילו אם לא גילית את הדברים האלה.

They can infer your sexual orientation,

הם יכולות להסיק לגבי האוריינטציה המינית שלכם,

your personality traits,

תכונות האופי שלכם,

your political leanings.

הנטייה הפוליטית שלכם.

They have predictive power with high levels of accuracy.

יש להן יכולת ניבוי עם רמות דיוק גבוהות.

Remember -- for things you haven't even disclosed.

זכרו - אפילו לגבי דברים שלא גיליתם.

This is inference.

זוהי הסקה.

I have a friend who developed such computational systems

יש לי חברה שפיתחה מערכות ממוחשבות שיכולות

to predict the likelihood of clinical or postpartum depression

לנבא את הסיכון לדיכאון קליני או דיכאון אחרי לידה

from social media data.

מנתונים של מדיה חברתית.

The results are impressive.

התוצאות הן מרשימות.

Her system can predict the likelihood of depression

המערכת שלה יכולה לנבא את הסיכון ללקות בדיכאון

months before the onset of any symptoms --

חודשים לפני הופעת סימפטומים כלשהם -

months before.

חודשים לפני.

No symptoms, there's prediction.

אין סימפטומים, יש ניבוי.

She hopes it will be used for early intervention. Great!

היא מקווה שישתמשו בזה להתערבות מוקדמת. נהדר!

But now put this in the context of hiring.

אבל עכשיו שימו את זה בהקשר של העסקה.

So at this human resources managers conference,

אז בכנס הזה של מנהלי משאבי אנוש,

I approached a high-level manager in a very large company,

פניתי אל מנהלת בכירה בחברה גדולה מאד,

and I said to her, "Look, what if, unbeknownst to you,

ואמרתי לה, "תראי, מה אם, ללא ידיעתך,

your system is weeding out people with high future likelihood of depression?

"המערכת שלך מנפה החוצה אנשים עם סיכון עתידי גבוה ללקות בדיכאון?

They're not depressed now, just maybe in the future, more likely.

"הם לא מדוכאים כעת, רק אולי בעתיד, בסיכון גבוה יותר.

What if it's weeding out women more likely to be pregnant

"מה אם היא מנפה החוצה נשים שסיכוייהן גדולים יותר להרות

in the next year or two but aren't pregnant now?

"בשנה או שנתיים הקרובות אך אינן בהריון כעת?

What if it's hiring aggressive people because that's your workplace culture?"

"מה אם המערכת מעסיקה אנשים אגרסיביים מכיוון שזו התרבות בסביבת העבודה שלך?"

You can't tell this by looking at gender breakdowns.

אתם לא יכולים לדעת את זה על-ידי חלוקה למגדרים.

Those may be balanced.

אלו יכולים להיות מאוזנים.

And since this is machine learning, not traditional coding,

ומאחר וזאת למידת מכונה, לא שיטת קידוד מסורתית,

there is no variable there labeled "higher risk of depression,"

אין שם משתנה שמוגדר "סיכון מוגבר לדיכאון",

"higher risk of pregnancy,"

"סיכון מוגבר להריון,"

"aggressive guy scale."

"סולם של אגרסיביות".

Not only do you not know what your system is selecting on,

לא רק שאינכם יודעים לפי מה המערכת שלכם בוחרת,

you don't even know where to begin to look.

אתם אפילו לא יודעים איפה להתחיל לחפש.

It's a black box.

זוהי קופסה שחורה.

It has predictive power, but you don't understand it.

יש לה יכולת ניבוי, אבל אתם לא מבינים אותה.

"What safeguards," I asked, "do you have

"אילו אמצעי ביטחון," שאלתי, "יש לך

to make sure that your black box isn't doing something shady?"

"להבטיח שהקופסה השחורה שלך לא עושה משהו מפוקפק?"

She looked at me as if I had just stepped on 10 puppy tails.

היא הסתכלה עלי כאילו שדרכתי על 10 זנבות של כלבלבים.

(Laughter)

(צחוק)

She stared at me and she said,

היא נעצה בי מבט ואמרה,

"I don't want to hear another word about this."

"אני לא רוצה לשמוע מילה נוספת על זה."

And she turned around and walked away.

והיא הסתובבה והלכה משם.

Mind you -- she wasn't rude.

שימו לב - היא לא הייתה גסת רוח.

It was clearly: what I don't know isn't my problem, go away, death stare.

זה היה בבירור: מה שאני לא יודעת הוא לא הבעיה שלי, לכי מכאן, מבט מקפיא.

(Laughter)

(צחוק)

Look, such a system may even be less biased

תראו, מערכת כזו יכולה אפילו להיות פחות מוטה

than human managers in some ways.

מאשר מנהלים אנושיים באופנים מסוימים.

And it could make monetary sense.

והיא יכולה להיות הגיונית מבחינה כלכלית.

But it could also lead

אבל היא גם יכולה להוביל

to a steady but stealthy shutting out of the job market

לסגירה מתמשכת וחמקנית של שוק העבודה

of people with higher risk of depression.

בפני אנשים עם סיכון גבוה ללקות בדיכאון.

Is this the kind of society we want to build,

האם זו החברה שאנחנו רוצים לבנות,

without even knowing we've done this,

מבלי שנדע אפילו שאנחנו עושים זאת,

because we turned decision-making to machines we don't totally understand?

בגלל שהשארנו את קבלת ההחלטות בידי מכונות שאנחנו לא מבינים עד הסוף?

Another problem is this:

בעיה נוספת היא זו:

these systems are often trained on data generated by our actions,

המערכות האלו לעיתים קרובות מכוונות לנתונים המיוצרים על ידי הפעולות שלנו,

human imprints.

חותם אנושי.

Well, they could just be reflecting our biases,

אם כך, הן יכולות פשוט לשקף את ההעדפות שלנו.

and these systems could be picking up on our biases

והמערכות האלו יכולות להיטפל להעדפות שלנו

and amplifying them

ולהגביר אותן

and showing them back to us,

ולשקף לנו אותן בחזרה,

while we're telling ourselves,

בזמן שאנחנו אומרים לעצמנו,

"We're just doing objective, neutral computation."

"אנחנו עוסקים במחשוב אובייקטיבי וניטרלי."

Researchers found that on Google,

חוקרים מצאו שבגוגל,

women are less likely than men to be shown job ads for high-paying jobs.

לנשים יש סיכוי נמוך יותר מאשר לגברים לקבל מודעות דרושים לתפקידים עם שכר גבוה.

And searching for African-American names

וחיפוש של שמות אפריקנים-אמריקנים

is more likely to bring up ads suggesting criminal history,

יעלה בסיכוי גבוה יותר פרסומות המרמזות על עבר פלילי,

even when there is none.

אפילו כאשר אין כזה.

Such hidden biases and black-box algorithms

להטיות חבויות כאלה ואלגוריתמים של קופסא שחורה

that researchers uncover sometimes but sometimes we don't know,

שחוקרים מגלים לפעמים אבל לפעמים איננו יודעים עליהם,

can have life-altering consequences.

יכולות להיות השלכות משנות חיים.

In Wisconsin, a defendant was sentenced to six years in prison

בוויסקונסין, נאשם נשפט לשש שנים בכלא

for evading the police.

על התחמקות מהמשטרה.

You may not know this,

יכול להיות שאתם לא יודעים זאת,

but algorithms are increasingly used in parole and sentencing decisions.

אך השימוש באלגוריתמים הולך וגובר בהחלטות על ענישה וחנינה.

He wanted to know: How is this score calculated?

הוא רצה לדעת: איך המספר הזה חושב?

It's a commercial black box.

זו היא קופסה שחורה מסחרית.

The company refused to have its algorithm be challenged in open court.

החברה סירבה לאפשר לאתגר את האלגוריתם שלה באולם בית המשפט

But ProPublica, an investigative nonprofit, audited that very algorithm

אבל פרו-פבליקה, חברת חקירות ללא מטרות רווח, בדקה את האלגוריתם הזה

with what public data they could find,

עם כל הנתונים הציבוריים שיכלו למצוא,

and found that its outcomes were biased

וגילו שהתוצאות היו מוטות

and its predictive power was dismal, barely better than chance,

וכוח הניבוי שלו היה מפחיד, בקושי יותר טוב ממזל,

and it was wrongly labeling black defendants as future criminals

והוא הגדיר באופן מוטעה נאשם שחור כפושע עתידי

at twice the rate of white defendants.

בשיעור כפול מאשר נאשם לבן.

So, consider this case:

אז, בחנו את המקרה הבא:

This woman was late picking up her godsister

האישה הזו איחרה לאסוף את אחותה החורגת

from a school in Broward County, Florida,

מבית ספר במחוז ברווארד, בפלורידה,

running down the street with a friend of hers.

והיא רצה ברחוב עם חברתה.

They spotted an unlocked kid's bike and a scooter on a porch

הן הבחינו באופני ילדים ובקורקינט שהיו לא קשורים במרפסת

and foolishly jumped on it.

ובטיפשות קפצו עליהם.

As they were speeding off, a woman came out and said,

בעוד הן דוהרות, אישה הגיחה ואמרה,

"Hey! That's my kid's bike!"

" הי, אלו האופניים של הילד שלי!"

They dropped it, they walked away, but they were arrested.

הן זרקו אותם, הן הלכו משם, אבל הן נעצרו.

She was wrong, she was foolish, but she was also just 18.

היא טעתה, היא עשתה שטות, אבל היא גם הייתה רק בת 18.

She had a couple of juvenile misdemeanors.

היו לה שתי עברות נעורים קודמות.

Meanwhile, that man had been arrested for shoplifting in Home Depot --

בינתיים, האיש הזה נעצר על גניבה מחנות בהום דיפו -

85 dollars' worth of stuff, a similar petty crime.

דברים בשווי של 85 דולר, פשע חסר חשיבות דומה.

But he had two prior armed robbery convictions.

אבל היו לו שתי הרשעות קודמות על שוד מזויין.

But the algorithm scored her as high risk, and not him.

אבל האלגוריתם חישב אותה בסיכון גבוה, ולא אותו.

Two years later, ProPublica found that she had not reoffended.

שנתיים לאחר מכן, פרו-פבליקה מצאה שהיא לא פשעה שוב.

It was just hard to get a job for her with her record.

רק היה לה קשה למצוא עבודה עם העבר שלה.

He, on the other hand, did reoffend

הוא, לעומת זאת, כן פשע שוב

and is now serving an eight-year prison term for a later crime.

וכעת הוא מרצה עונש של שמונה שנות מאסר בגלל פשע מאוחר יותר.

Clearly, we need to audit our black boxes

בברור, עלינו לבקר את הקופסאות השחורות שלנו

and not have them have this kind of unchecked power.

ולא לאפשר להן סוג כזה של כוח בלתי בדוק.

(Applause)

(מחיאות כפיים)

Audits are great and important, but they don't solve all our problems.

ביקורות הן נהדרות וחשובות אך הן לא פותרות את כל בעיותינו.

Take Facebook's powerful news feed algorithm --

קחו למשל את האלגוריתם החזק של הפיד החדשותי של פייסבוק -

you know, the one that ranks everything and decides what to show you

אתם יודעים, זה שמדרג כל דבר ומחליט מה להראות לכם

from all the friends and pages you follow.

מכל החברים והדפים שאחריהם אתם עוקבים.

Should you be shown another baby picture?

האם צריך להראות לכם תמונה אחרת של תינוק?

(Laughter)

(צחוק)

A sullen note from an acquaintance?

הערה זועפת מאיזה מכר?

An important but difficult news item?

פריט חדשותי חשוב אך קשה לצפייה?

There's no right answer.

אין כאן תשובה נכונה.

Facebook optimizes for engagement on the site:

פייסבוק מְיַטֶב לצורך מעורבות באתר:

likes, shares, comments.

לייקים, שיתופים, תגובות.

In August of 2014,

באוגוסט 2014,

protests broke out in Ferguson, Missouri,

פרצה מחאה בפרגוסון, מיזורי

after the killing of an African-American teenager by a white police officer,

לאחר הריגתו של נער אפריקני-אמריקני על-ידי שוטר לבן,

under murky circumstances.

בנסיבות חשודות.

The news of the protests was all over

החדשות בנוגע למחאה הופיעו בגדול

my algorithmically unfiltered Twitter feed,

בדף הטוויטר שלי שהוא ללא סינון אלגוריתמי,

but nowhere on my Facebook.

אך לא הופיעו כלל בדף הפייסבוק שלי.

Was it my Facebook friends?

האם היו אלה חבריי בפייסבוק?

I disabled Facebook's algorithm,

ניטרלתי את האלגוריתם של הפייסבוק,

which is hard because Facebook keeps wanting to make you

דבר שקשה לעשות כי פייסבוק רוצה שתהיו

come under the algorithm's control,

כל הזמן תחת שליטת האלגוריתם,

and saw that my friends were talking about it.

וראיתי שחבריי דיברו על זה.

It's just that the algorithm wasn't showing it to me.

רק שהאלגוריתם לא הראה לי את זה.

I researched this and found this was a widespread problem.

בדקתי את זה ומצאתי שזו הייתה בעיה נרחבת.

The story of Ferguson wasn't algorithm-friendly.

הסיפור מפרגוסון לא היה ידידותי לאלגוריתם.

It's not "likable."

הוא לא "אהוב".

Who's going to click on "like?"

מי יסמן לזה "לייק"?

It's not even easy to comment on.

אפילו לא קל להגיב עליו.

Without likes and comments,

ללא לייקים ותגובות,

the algorithm was likely showing it to even fewer people,

סביר שהאלגוריתם הראה אותו אפילו לפחות אנשים,

so we didn't get to see this.

אז לא זכינו לראות את זה.

Instead, that week,

במקומו, באותו שבוע,

Facebook's algorithm highlighted this,

האלגוריתם של פייסבוק הדגיש את זה,

which is the ALS Ice Bucket Challenge.

זהו אתגר דלי הקרח של ALS.

Worthy cause; dump ice water, donate to charity, fine.

מטרה טובה; שפוך דלי קרח, תרום כסף, יופי.

But it was super algorithm-friendly.

אבל הוא היה ידידותי ביותר לאלגוריתם.

The machine made this decision for us.

המכונה קיבלה את ההחלטה הזו עבורנו.

A very important but difficult conversation

שיחה חשובה מאד אך קשה

might have been smothered,

אולי הייתה מושתקת,

had Facebook been the only channel.

אם פייסבוק היה הערוץ היחיד.

Now, finally, these systems can also be wrong

כעת, לבסוף, המערכות האלה גם יכולות לטעות

in ways that don't resemble human systems.

בצורות שאינן דומות למערכות אנושיות.

Do you guys remember Watson, IBM's machine-intelligence system

האם אתם זוכרים את ווטסון, מערכת הבינה המלאכותית של IBM

that wiped the floor with human contestants on Jeopardy?

שטאטאה את הרצפה עם מתחרה אנושי במשחק "סכנה"?

It was a great player.

הוא היה שחקן נהדר.

But then, for Final Jeopardy, Watson was asked this question:

אבל אז, במשימה האחרונה, ווטסון נשאל את השאלה הבאה:

"Its largest airport is named for a World War II hero,

"שמו של שדה התעופה הכי גדול שלו נקרא ע"ש גיבור מלחמת העולם ה-2,

its second-largest for a World War II battle."

השני הכי גדול על שם קרב במלחמת העולם ה-II."

(Hums Final Jeopardy music)

(מזמזת את הנעימה של השלב הסופי במשחק)

Chicago.

שיקגו.

The two humans got it right.

שני האנשים ענו נכון.

Watson, on the other hand, answered "Toronto" --

ווטסון, לעומת זאת, ענה "טורונטו" -

for a US city category!

בקטגוריה של ערים בארצות הברית!

The impressive system also made an error

המערכת המרשימה גם עשתה טעות

that a human would never make, a second-grader wouldn't make.

שבן אנוש לעולם לא היה עושה, שתלמיד כיתה ב' לא היה עושה.

Our machine intelligence can fail

הבינה המלאכותית שלנו יכולה להכשל

in ways that don't fit error patterns of humans,

בדרכים שאינן תואמות לדפוסי טעויות אנושיות,

in ways we won't expect and be prepared for.

בדרכים שאנו לא מצפים להן ולא מוכנים להן.

It'd be lousy not to get a job one is qualified for,

זה יהיה מחורבן לא לקבל עבודה שאתה מוכשר אליה,

but it would triple suck if it was because of stack overflow

אבל זה יעצבן פי שלוש אם זה יהיה בגלל גלישת מחסנית

in some subroutine.

באיזו פונקציה תכנותית.

(Laughter)

(צחוק)

In May of 2010,

במאי 2010,

a flash crash on Wall Street fueled by a feedback loop

התרסקות בזק בוול סטריט שהתגברה עקב תגובה חוזרת ונשנית

in Wall Street's "sell" algorithm

של אלגוריתם ה"מכירה" של וול סטריט

wiped a trillion dollars of value in 36 minutes.

מחקה ערך של טריליון דולר ב- 36 דקות.

I don't even want to think what "error" means

אני אפילו לא רוצה לחשוב מה המשמעות של "טעות"

in the context of lethal autonomous weapons.

בהקשר של נשק קטלני אוטונומי.

So yes, humans have always made biases.

אז כן, אנשים מאז ומתמיד עשו הטיות.

Decision makers and gatekeepers,

מקבלי החלטות ושומרי הסף,

in courts, in news, in war ...

בבתי משפט, בחדשות, במלחמה...

they make mistakes; but that's exactly my point.

הם עושים טעויות: אבל זו בדיוק הטענה שלי.

We cannot escape these difficult questions.

אנחנו לא יכולים לברוח מהשאלות הקשות הללו.

We cannot outsource our responsibilities to machines.

איננו יכולים להעביר את האחריות שלנו למכונות.

(Applause)

(מחיאות כפים)

Artificial intelligence does not give us a "Get out of ethics free" card.

הבינה המלאכותית לא נותנת לנו אישור להשתחרר מהאתיקה.

Data scientist Fred Benenson calls this math-washing.

מדען הנתונים פרד בנסון מכנה זאת "שטיפה-מתמטית".

We need the opposite.

אנחנו זקוקים לדבר ההפוך.

We need to cultivate algorithm suspicion, scrutiny and investigation.

עלינו לפתח אלגוריתם לחשדנות, בחינה מדוקדקת וחקירה.

We need to make sure we have algorithmic accountability,

עלינו להבטיח שיש לנו נטילת אחריות אלגוריתמית,

auditing and meaningful transparency.

ביקורות ושקיפות משמעותית.

We need to accept that bringing math and computation

עלינו לקבל שהכנסת מתמטיקה ומחשוב

to messy, value-laden human affairs

אל עניינים אנושיים מסובכים, עמוסי ערך

does not bring objectivity;

לא מביאה אוביקטיביות;

rather, the complexity of human affairs invades the algorithms.

אלא, המורכבות של עניינים אנושיים חודרת אל האלגוריתמים.

Yes, we can and we should use computation

כן, אנו יכולים וצריכים להשתמש במחשוב

to help us make better decisions.

כדי לעזור לנו לקבל החלטות טובות יותר.

But we have to own up to our moral responsibility to judgment,

אך עלינו לקחת בעלות על האחריות המוסרית והשיפוטיות שלנו,

and use algorithms within that framework,

ולהשתמש באלגוריתמים במסגרת הזו,

not as a means to abdicate and outsource our responsibilities

לא כאמצעי להתפטר או להעביר את האחריות שלנו

to one another as human to human.

מאחד לשני כמו מאדם לאדם.

Machine intelligence is here.

הבינה המלאכותית כבר כאן.

That means we must hold on ever tighter

זה אומר שעלינו לשמור יותר מאי פעם

to human values and human ethics.

על ערכים אנושיים ואתיקה אנושית.

Thank you.

תודה רבה.

(Applause)

(מחיאות כפיים)