How I'm fighting bias in algorithms | Joy Buolamwini

מתרגם: Ilan Caner מבקר: Ido Dekkers

Hello, I'm Joy, a poet of code,

שלום, שמי ג׳וי, ואני משוררת של קוד,

on a mission to stop an unseen force that's rising,

במשימה לעצור כח בלתי נראה שנמצא בעליה,

a force that I called "the coded gaze,"

כח שקראתי לו ״בהייה קודית״,

my term for algorithmic bias.

ההגדרה שלי להטייה אלגוריתמית.

Algorithmic bias, like human bias, results in unfairness.

הטייה אלגוריתמית, בדומה להטייה אנושית, גורמת לחוסר הוגנות.

However, algorithms, like viruses, can spread bias on a massive scale

אבל אלגוריתמים, כמו וירוסים, יכולים להפיץ את ההטייה בצורה נרחבת

at a rapid pace.

ובקצב גבוה.

Algorithmic bias can also lead to exclusionary experiences

הטייה אלגוריתמית יכולה להוביל לחוויות פסילה

and discriminatory practices.

ולפרקטיקות מפלות.

Let me show you what I mean.

בואו ואראה לכם למה אני מתכוונת.

(Video) Joy Buolamwini: Hi, camera. I've got a face.

שלום מצלמה, יש לי פנים.

Can you see my face?

את מזהה את הפנים שלי?

No-glasses face?

אולי בלי משקפיים?

You can see her face.

את רואה את הפנים שלה.

What about my face?

מה לגבי הפנים שלי?

I've got a mask. Can you see my mask?

יש לי מסכה. את רואה אותה?

Joy Buolamwini: So how did this happen?

אז איך זה קרה?

Why am I sitting in front of a computer

למה אני יושבת לפני המחשב

in a white mask,

במסכה לבנה,

trying to be detected by a cheap webcam?

מנסה להיות מזוהה על ידי מצלמת רשת זולה?

Well, when I'm not fighting the coded gaze

ובכן, כשאני לא נלחמת בבהייה הקודית

as a poet of code,

כמשוררת של קוד,

I'm a graduate student at the MIT Media Lab,

אני סטודנטית לתואר שני במעבדת המדיה של MIT,

and there I have the opportunity to work on all sorts of whimsical projects,

ושם יש לי הזדמנות לעבוד על כל מיני פרוייקטים גחמניים,

including the Aspire Mirror,

כולל ״המראה המעצימה״,

a project I did so I could project digital masks onto my reflection.

פרוייקט שעשיתי כדי לשים מסכה דיגיטלית על ההשתקפות שלי.

So in the morning, if I wanted to feel powerful,

כך שבבוקר, אם רציתי להרגיש עוצמתית,

I could put on a lion.

יכולתי לשים מסיכה של אריה.

If I wanted to be uplifted, I might have a quote.

אם רציתי להיות מעודדת, יכולתי לשים ציטוט.

So I used generic facial recognition software

ובכן, השתמשתי בתוכנת זיהוי פנים כללית

to build the system,

כדי לבנות את המערכת,

but found it was really hard to test it unless I wore a white mask.

אבל גיליתי שקשה לבדוק את המערכת בלי שאלבש מסיכה לבנה.

Unfortunately, I've run into this issue before.

לרוע המזל, נתקלתי בבעיה זו גם בעבר.

When I was an undergraduate at Georgia Tech studying computer science,

כשלמדתי לתואר ראשון במדעי המחשב במכון הטכנולוגי בג׳ורג׳יה,

I used to work on social robots,

עבדתי על ״רובוטים חברתיים״,

and one of my tasks was to get a robot to play peek-a-boo,

ואחת מהמשימות היתה ללמד רובוט לשחק מחבואים (Peek-a-boo),

a simple turn-taking game

משחק פשוט מבוסס תורות

where partners cover their face and then uncover it saying, "Peek-a-boo!"

שבו השחקנים מכסים את פניהם, וכשהם מגלים אותם הם אומרים ״Peek-a-boo״!

The problem is, peek-a-boo doesn't really work if I can't see you,

הבעייה היא שהמשחק לא עובד אם אי אפשר לראות אותך.

and my robot couldn't see me.

והרובוט שלי לא יכל לראות אותי.

But I borrowed my roommate's face to get the project done,

אבל השאלתי את פניה של השותפה לדירה שלי כדי להשלים את הפרוייקט,

submitted the assignment,

הגשתי את המשימה,

and figured, you know what, somebody else will solve this problem.

והנחתי שמישהו אחר כבר יפתור את הבעייה הזאת.

Not too long after,

כעבור זמן לא רב,

I was in Hong Kong for an entrepreneurship competition.

הייתי בהונג קונג כמשתתפת בתחרות יזמות.

The organizers decided to take participants

המארגנים החליטו לקחת את המשתתפים

on a tour of local start-ups.

לסיור בין סטארטאפים מקומיים.

One of the start-ups had a social robot,

באחד הסטארטאפים היה ״רובוט חברתי״,

and they decided to do a demo.

והם החליטו לערוך הדגמה.

The demo worked on everybody until it got to me,

ההדגמה עבדה על כולם עד שהגיעו אלי,

and you can probably guess it.

ואתם בטח כבר מנחשים,

It couldn't detect my face.

הרובוט לא הצליח לזהות את פניי.

I asked the developers what was going on,

שאלתי את המפתחים למה זה קורה,

and it turned out we had used the same generic facial recognition software.

ומסתבר שהם השתמשו באותה תוכנה כללית לזיהוי פנים.

Halfway around the world,

בצד השני של העולם,

I learned that algorithmic bias can travel as quickly

למדתי שהטייה אלגוריתמית יכולה לנוע באותה מהירות

as it takes to download some files off of the internet.

שלוקח להוריד כמה קבצים מהאינטרנט.

So what's going on? Why isn't my face being detected?

אז מה קורה פה? למה הפנים שלי לא מזוהות?

Well, we have to look at how we give machines sight.

ובכן, עלינו להבין כיצד אנו נותנים למכונות את היכולת לראות.

Computer vision uses machine learning techniques

ראייה ממוחשבת משתמשת בטכניקות של למידת מכונה

to do facial recognition.

כדי לבצע זיהוי פנים.

So how this works is, you create a training set with examples of faces.

הדרך בה זה עובד היא שאתה מכין קבוצת אימון של דוגמאות של פנים.

This is a face. This is a face. This is not a face.

אלו פנים. אלו פנים. אלו לא פנים.

And over time, you can teach a computer how to recognize other faces.

ואז, לאחר זמן מה, אתה יכול ללמד את המחשב לזהות פנים אחרות.

However, if the training sets aren't really that diverse,

אבל, אם קבוצות האימון אינן באמת מגוונות מספיק

any face that deviates too much from the established norm

אז כל צורת פנים שסוטה יותר מדי מהנורמה

will be harder to detect,

תהיה קשה לזיהוי,

which is what was happening to me.

וזה מה שקרה לי.

But don't worry -- there's some good news.

אבל אל דאגה - יש לי חדשות טובות.

Training sets don't just materialize out of nowhere.

קבוצות אימון אינן נוצרות משום מקום.

We actually can create them.

אנחנו למעשה יכולים ליצור אותן.

So there's an opportunity to create full-spectrum training sets

כלומר יש לנו הזדמנות ליצור קבוצות אימון שמכסות את כל הספקטרום

that reflect a richer portrait of humanity.

ומייצגות דיוקן עשיר יותר של האנושות.

Now you've seen in my examples

כעת ראיתם בדוגמאות שהבאתי

how social robots

כיצד בעזרת רובוטים חברתיים

was how I found out about exclusion with algorithmic bias.

גיליתי על הטייה אלגוריתמית שגורמת לפסילה.

But algorithmic bias can also lead to discriminatory practices.

אבל הטייה אלגוריתמית יכולה להוביל גם לאפלייה.

Across the US,

לאורך כל ארצות הברית

police departments are starting to use facial recognition software

מחלקות משטרה מתחילות להשתמש בתוכנה לזיהוי פנים

in their crime-fighting arsenal.

כחלק מהאמצעים ללחימה פשע.

Georgetown Law published a report

האוניברסיטה ג'ורג'טאון לאו פרסמה דו״ח

showing that one in two adults in the US -- that's 117 million people --

שהפנים של אחד מכל שני בוגרים בארה״ב - כלומר 117 מליון אנשים

have their faces in facial recognition networks.

נמצאות ברשתות של זיהוי פנים.

Police departments can currently look at these networks unregulated,

מחלקות משטרה משתמשות כיום ברשתות אלו בצורה לא מוסדרת,

using algorithms that have not been audited for accuracy.

ומשתמשות באלגוריתמים שדיוקם לא מוודא.

Yet we know facial recognition is not fail proof,

ועדיין, אנו יודעים שזיהוי פנים אינו חף מטעויות,

and labeling faces consistently remains a challenge.

ותיוג פנים בעקביות נשאר אתגר.

You might have seen this on Facebook.

אולי ראיתם זאת בפייסבוק.

My friends and I laugh all the time when we see other people

חבריי ואני צוחקים כל הזמן כשאנו רואים אנשים אחרים

mislabeled in our photos.

מתוייגים בטעות בתמונות שלנו.

But misidentifying a suspected criminal is no laughing matter,

אבל זיהוי מוטעה של חשוד בפשע אינו נושא לצחוק,

nor is breaching civil liberties.

כמו גם פריצת זכויות אזרח.

Machine learning is being used for facial recognition,

לימוד מכונה נמצא בשימוש של זיהוי פנים,

but it's also extending beyond the realm of computer vision.

אך זה גם מתרחב מעבר לתחום של ראייה ממוחשבת.

In her book, "Weapons of Math Destruction,"

בספרה ״נשקים של השמדה מתמטית״,

data scientist Cathy O'Neil talks about the rising new WMDs --

מדענית הנתונים קאת׳י אוניל מדברת על העלייה של אלגוריתמים מסוג WMDs -

widespread, mysterious and destructive algorithms

אלגוריתמים נפוצים, מסתוריים והרסניים

that are increasingly being used to make decisions

שנמצאים בשימוש גובר למטרת קבלת החלטות

that impact more aspects of our lives.

שמשפיעות על עוד ועוד היבטים של חיינו.

So who gets hired or fired?

מי מתקבל לעבודה ומי מפוטר?

Do you get that loan? Do you get insurance?

האם תקבל את ההלוואה? האם תקבל את הביטוח?

Are you admitted into the college you wanted to get into?

האם אתה מתקבל לקולג׳ שרצית?

Do you and I pay the same price for the same product

האם אתה ואני משלמים אותו מחיר עבור אותו מוצר

purchased on the same platform?

שנקנה באותה פלטפורמה?

Law enforcement is also starting to use machine learning

יחידות לאכיפת החוק גם מתחילות להשתמש בלימוד מכונה

for predictive policing.

עבור שיטור תחזיתי.

Some judges use machine-generated risk scores to determine

יש שופטים שמשתמשים בציוני סיכון שהופקו ע״י מכונה כדי להחליט

how long an individual is going to spend in prison.

כמה זמן אדם יבלה בכלא.

So we really have to think about these decisions.

לכן עלינו לחשוב באמת על החלטות אלו.

Are they fair?

האם הן הוגנות?

And we've seen that algorithmic bias

וכבר ראינו שהטייה אלגורימית

doesn't necessarily always lead to fair outcomes.

לא בהכרח מביאה לתוצאות הוגנות.

So what can we do about it?

אז מה ניתן לעשות בקשר לזה?

Well, we can start thinking about how we create more inclusive code

ובכן, אנחנו יכולים להתחיל לחשוב איך ניצור קוד יותר מכליל

and employ inclusive coding practices.

ולממש שיטות קידוד מכלילות.

It really starts with people.

זה באמת מתחיל באנשים.

So who codes matters.

כך שזה משנה מי מקודד.

Are we creating full-spectrum teams with diverse individuals

האם אנחנו בונים צוותים מכל הספקטרום עם אנשים שונים?

who can check each other's blind spots?

שיכולים לבדוק את האזורים המתים של האחרים?

On the technical side, how we code matters.

בצד הטכני, איך אנחנו מקודדים משנה גם.

Are we factoring in fairness as we're developing systems?

האם אנחנו משקללים גם הוגנות כשאנו מפתחים מערכות?

And finally, why we code matters.

ולבסוף, למה אנחנו מקודדים גם משנה.

We've used tools of computational creation to unlock immense wealth.

השתמשנו בכלים ממוחשבים לפתוח עושר עצום.

We now have the opportunity to unlock even greater equality

יש לנו הזדמנות כעת לפתוח אפילו יותר שוויון

if we make social change a priority

אם ניתן עדיפות לשינוי חברתי

and not an afterthought.

ולא רק לאחר מעשה.

And so these are the three tenets that will make up the "incoding" movement.

וכך אלו שלושת העיקרים של תנועת ״הקוד המכליל״.

Who codes matters,

מי שמקודד משנה,

how we code matters

איך מקודדים משנה

and why we code matters.

ולמה אנחנו מקודדים משנה.

So to go towards incoding, we can start thinking about

כדי להתקדם לעבר הקוד המכליל אנחנו יכולים להתחיל לחשוב

building platforms that can identify bias

על בניית פלטפורמות שיכולות לזהות הטייה

by collecting people's experiences like the ones I shared,

על ידי איסוף חוויות מאנשים, כפי שאני שיתפתי,

but also auditing existing software.

אך גם על ידי ביקורת של תוכנה קיימת.

We can also start to create more inclusive training sets.

אנו יכולים גם ליצור קבוצות אימון שלמות יותר.

Imagine a "Selfies for Inclusion" campaign

דמיינו קמפיין ״סלפי לשלמות״

where you and I can help developers test and create

שבו אתם ואני יכולים לעזור למפתחים לבדוק וליצור

more inclusive training sets.

קבוצות אימון שלמות יותר.

And we can also start thinking more conscientiously

אנו יכולים גם להתחיל לחשוב בצורה מודעת יותר

about the social impact of the technology that we're developing.

על ההשפעה החברתית של הטכנולוגיה אותה אנו מפתחים.

To get the incoding movement started,

כדי להתחיל את תנועת ״הקוד המכליל״,

I've launched the Algorithmic Justice League,

השקתי את הליגה לצדק אלגוריתמי,

where anyone who cares about fairness can help fight the coded gaze.

שבה כל אחד שאכפת לו מצדק יכול להילחם בבהייה קודית.

On codedgaze.com, you can report bias,

באתר codedgaze.com אתם יכולים לדווח על הטייה,

request audits, become a tester

לבקש ביקורת, להיות בודק

and join the ongoing conversation,

ולהצטרף לשיחה על הנושא,

#codedgaze.

#codegaze.

So I invite you to join me

אז אני מזמינה אתכם להצטרף אלי

in creating a world where technology works for all of us,

ביצירת עולם שבו הטכנולוגיה עובדת עבור כולנו,

not just some of us,

לא רק עבור חלקינו,

a world where we value inclusion and center social change.

עולם שבו אנו מעריכים שלמות ומתרכזים בשינוי חברתי.

Thank you.

תודה לכם.

(Applause)

(מחיאות כפיים)

But I have one question:

יש לי רק שאלה אחת:

Will you join me in the fight?

תצטרפו אלי למאבק?

(Laughter)

(צחוק)

(Applause)

(מחיאות כפיים)