How I'm fighting bias in algorithms | Joy Buolamwini

Переводчик: Marina Moshnogorskaya Редактор: Yulia Kallistratova

Hello, I'm Joy, a poet of code,

Привет, я Джой, поэт кода.

on a mission to stop an unseen force that's rising,

Моя миссия — остановить невидимую, набирающую обороты силу,

a force that I called "the coded gaze,"

силу, которую я называю «закодированный взгляд»,

my term for algorithmic bias.

моё определение для алгоритмического сбоя.

Algorithmic bias, like human bias, results in unfairness.

Необъективность алгоритма, как и человека, ведёт к несправедливости.

However, algorithms, like viruses, can spread bias on a massive scale

Алгоритмы, как вирусы, способны распространять ошибки в больших масштабах

at a rapid pace.

и очень быстро.

Algorithmic bias can also lead to exclusionary experiences

Алгоритмические отклонения могут приводить к отчуждению

and discriminatory practices.

и дискриминации.

Let me show you what I mean.

Давайте я покажу, что я имею в виду.

(Video) Joy Buolamwini: Hi, camera. I've got a face.

(Видео) Джой: Привет, камера. Вот моё лицо.

Can you see my face?

Ты видишь моё лицо?

No-glasses face?

Лицо без очков?

You can see her face.

Ты видишь её лицо.

What about my face?

А моё?

I've got a mask. Can you see my mask?

Теперь с маской. Видишь маску?

Joy Buolamwini: So how did this happen?

Джой Буоламвини: Как так получилось?

Why am I sitting in front of a computer

Почему я сижу за компьютером

in a white mask,

в белой маске,

trying to be detected by a cheap webcam?

пытаясь быть распознанной дешёвой камерой?

Well, when I'm not fighting the coded gaze

Когда я не воюю с закодированным взглядом,

as a poet of code,

будучи поэтом кода,

I'm a graduate student at the MIT Media Lab,

я аспирант Медиа-лаборатории в МИТ,

and there I have the opportunity to work on all sorts of whimsical projects,

где у меня есть возможность работать над всяческими фантастическими проектами,

including the Aspire Mirror,

включая Зеркало стремлений,

a project I did so I could project digital masks onto my reflection.

которое позволяет проецировать цифровые маски на своё отражение.

So in the morning, if I wanted to feel powerful,

Например, если утром я хочу чувствовать себя сильной,

I could put on a lion.

я могу наложить маску льва.

If I wanted to be uplifted, I might have a quote.

Если я хочу приободриться, то можно обойтись цитатой.

So I used generic facial recognition software

Я использовала обычную программу распознавания лиц,

to build the system,

чтобы создать эту систему,

but found it was really hard to test it unless I wore a white mask.

но оказалось, что её очень трудно тестировать, если на мне нет белой маски.

Unfortunately, I've run into this issue before.

К сожалению, я и раньше сталкивалась с этой проблемой.

When I was an undergraduate at Georgia Tech studying computer science,

Когда я изучала информатику в Технологическом институте Джорджии,

I used to work on social robots,

я работала над социальными роботами,

and one of my tasks was to get a robot to play peek-a-boo,

и одной из моих задач было научить робота играть в «ку-ку».

a simple turn-taking game

Это простая игра со сменой ролей,

where partners cover their face and then uncover it saying, "Peek-a-boo!"

когда участники закрывают лицо ладонями, и, открывая, говорят: «Ку-ку!»

The problem is, peek-a-boo doesn't really work if I can't see you,

Проблема заключается в том, что если вас не видно, то игра теряет смысл,

and my robot couldn't see me.

а мой робот меня не видел.

But I borrowed my roommate's face to get the project done,

Моя соседка одолжила мне своё лицо, чтобы я смогла закончить проект,

submitted the assignment,

я сдала задание

and figured, you know what, somebody else will solve this problem.

и подумала, что кто-нибудь другой решит эту проблему.

Not too long after,

Через некоторое время

I was in Hong Kong for an entrepreneurship competition.

я участвовала в конкурсе предринимателей в Гонконге.

The organizers decided to take participants

Организаторы решили показать участникам

on a tour of local start-ups.

местные стартапы.

One of the start-ups had a social robot,

В одном стартапе был социальный робот,

and they decided to do a demo.

и они решили его продемонстрировать.

The demo worked on everybody until it got to me,

Демонстрация сработала на всех, пока дело не дошло до меня,

and you can probably guess it.

и вы, наверное, уже догадались.

It couldn't detect my face.

Он не смог распознать моё лицо.

I asked the developers what was going on,

Я спросила у разработчиков, в чём дело,

and it turned out we had used the same generic facial recognition software.

и оказалось, что мы использовали одну и ту же программу для распознавания лиц.

Halfway around the world,

На другой половине земного шара

I learned that algorithmic bias can travel as quickly

до меня дошло, что алгоритмическая ошибка может распространяться так же быстро,

as it takes to download some files off of the internet.

как быстро можно скачивать файлы из интернета.

So what's going on? Why isn't my face being detected?

Так что же происходит? Почему моё лицо не распознаётся?

Well, we have to look at how we give machines sight.

Для начала рассмотрим, как мы создаём машинное зрение.

Computer vision uses machine learning techniques

Компьютерное зрение использует техники машинного обучения,

to do facial recognition.

чтобы распознавать лица.

So how this works is, you create a training set with examples of faces.

Это работает таким образом: вы создаёте тренировочный набор с примерами лиц.

This is a face. This is a face. This is not a face.

Это лицо. Это лицо. Это не лицо.

And over time, you can teach a computer how to recognize other faces.

И постепенно вы можете научить компьютер распознавать другие лица.

However, if the training sets aren't really that diverse,

Однако, если тренировочные наборы не очень разнообразны,

any face that deviates too much from the established norm

любое лицо, которое сильно отличается от установленной нормы,

will be harder to detect,

будет сложно распознать,

which is what was happening to me.

что и происходило со мной.

But don't worry -- there's some good news.

Но не переживайте — есть и хорошие новости.

Training sets don't just materialize out of nowhere.

Тренировочные наборы не появляются из ниоткуда.

We actually can create them.

Мы вообще-то можем их создавать.

So there's an opportunity to create full-spectrum training sets

Есть возможность создавать полный спектр тренировочных наборов,

that reflect a richer portrait of humanity.

которые отражают более насыщенный портрет человечества.

Now you've seen in my examples

Вы увидели в моих примерах,

how social robots

как социальные роботы

was how I found out about exclusion with algorithmic bias.

позволили мне обнаружить исключения из-за алгоритмической погрешности.

But algorithmic bias can also lead to discriminatory practices.

Но алгоритмическая ошибка может также приводить к дискриминации.

Across the US,

В США

police departments are starting to use facial recognition software

отделения полиции начинают использовать программы распознавания лиц

in their crime-fighting arsenal.

в их арсенале борьбы с преступностью.

Georgetown Law published a report

Школа права университета Джорджтаун

showing that one in two adults in the US -- that's 117 million people --

опубликовала отчёт, согласно которому в США один из двух взрослых —

have their faces in facial recognition networks.

это 117 миллионов человек — имеют свои лица в сетях распознавания лиц.

Police departments can currently look at these networks unregulated,

Отделения полиции сейчас могут неограниченно пользоваться этими сетями,

using algorithms that have not been audited for accuracy.

используя алгоритмы, точность которых не была проверена.

Yet we know facial recognition is not fail proof,

Но мы знаем, что распознавание лиц несовершенно

and labeling faces consistently remains a challenge.

и что последовательное определение лиц остаётся сложной задачей.

You might have seen this on Facebook.

Можно столкнуться с этим на Фейсбуке.

My friends and I laugh all the time when we see other people

Мы с друзьями всё время смеёмся, когда видим других людей,

mislabeled in our photos.

отмеченных на наших фото.

But misidentifying a suspected criminal is no laughing matter,

Но ошибочное определение уголовно подозреваемого — это не шутка

nor is breaching civil liberties.

и не просто нарушение гражданских свобод.

Machine learning is being used for facial recognition,

Машинное обучение используется для распознавания лиц,

but it's also extending beyond the realm of computer vision.

но не ограничивается компьютерным зрением.

In her book, "Weapons of Math Destruction,"

В своей книге «Оружие математического поражения»

data scientist Cathy O'Neil talks about the rising new WMDs --

учёный в области данных Кэти О'нейл рассказывает о новом ОМП —

widespread, mysterious and destructive algorithms

охватывающих, малоизвестных и поражающих алгоритмах,

that are increasingly being used to make decisions

которые всё чаще используются для принятия решений,

that impact more aspects of our lives.

которые влияют на всё большее количество аспектов нашей жизни.

So who gets hired or fired?

Кто будет принят на работу или уволен?

Do you get that loan? Do you get insurance?

Дадут ли вам этот кредит? Страховку?

Are you admitted into the college you wanted to get into?

Попадёте ли вы в тот колледж, в который собирались?

Do you and I pay the same price for the same product

Одинаковы ли цены для вас и для меня на один и тот же товар,

purchased on the same platform?

купленный на той же платформе?

Law enforcement is also starting to use machine learning

Правоохранительные органы также начинают применять машинное обучение

for predictive policing.

для прогнозирования.

Some judges use machine-generated risk scores to determine

Судьи используют рейтинги риска, сгенерированные машиной, для определения

how long an individual is going to spend in prison.

срока, который человек должен будет провести в тюрьме.

So we really have to think about these decisions.

Мы должны крепко задуматься над этими решениями.

Are they fair?

Справедливы ли они?

And we've seen that algorithmic bias

Мы видели, что алгоритмический сбой

doesn't necessarily always lead to fair outcomes.

ведёт к не совсем правильным результатам.

So what can we do about it?

Что же мы можем с этим сделать?

Well, we can start thinking about how we create more inclusive code

Для начала, мы можем задуматься о том, как создавать более всестороний код

and employ inclusive coding practices.

и применять инклюзивные практики в программировании.

It really starts with people.

Это всё начинается с людей.

So who codes matters.

Важно, кто пишет код.

Are we creating full-spectrum teams with diverse individuals

Создаём ли мы группы из разнообразных личностей,

who can check each other's blind spots?

способных видеть слепые зоны друг друга?

On the technical side, how we code matters.

С технической стороны, имеет значение то, как мы пишем код.

Are we factoring in fairness as we're developing systems?

Движет ли нами справедливость во время разработки систем?

And finally, why we code matters.

И наконец, важно, для чего мы пишем код.

We've used tools of computational creation to unlock immense wealth.

Использование компьютерного творчества открыло нам невероятное богатство.

We now have the opportunity to unlock even greater equality

Сейчас у нас есть возможность добиться ещё большего равенства,

if we make social change a priority

если мы сделаем социальное изменение приоритетной,

and not an afterthought.

а не запоздалой идеей.

And so these are the three tenets that will make up the "incoding" movement.

Итак, есть три принципа, которые составляют основу движения «инкодинг».

Who codes matters,

Важно, кто пишет код,

how we code matters

важно, как мы пишем код,

and why we code matters.

и важно, для чего мы пишем код.

So to go towards incoding, we can start thinking about

Двигаясь в сторону инкодинга, мы можем начать задумываться

building platforms that can identify bias

о создании платформ, которые могут находить ошибку,

by collecting people's experiences like the ones I shared,

собирая опыт людей, таких как я,

but also auditing existing software.

а также проверяющих существующее программное обеспечение.

We can also start to create more inclusive training sets.

Также мы можем приступить к созданию более полных тренировочных наборов.

Imagine a "Selfies for Inclusion" campaign

Представьте себе кампанию «Селфи для присоединения»,

where you and I can help developers test and create

где вы и я можем помочь разработчикам тестировать и создавать

more inclusive training sets.

более полные тренировочные наборы.

And we can also start thinking more conscientiously

Также мы можем начать думать более добросовестно

about the social impact of the technology that we're developing.

о социальном влиянии технологии, над которой мы работаем.

To get the incoding movement started,

Чтобы запустить движение инкодинга,

I've launched the Algorithmic Justice League,

я создала Лигу алгоритмической справедливости,

where anyone who cares about fairness can help fight the coded gaze.

где каждый, кто заботится о равенстве, может помочь бороться со сбоями.

On codedgaze.com, you can report bias,

На codedgaze.com вы можете сообщить об ошибке,

request audits, become a tester

запросить проверку, стать тестировщиком

and join the ongoing conversation,

и присоединиться к обсуждению.

#codedgaze.

#codedgaze.

So I invite you to join me

Я приглашаю вас присоединиться ко мне,

in creating a world where technology works for all of us,

чтобы создать мир, в котором технология работает на всех нас,

not just some of us,

а не только на некоторых,

a world where we value inclusion and center social change.

мир, в котором мы ценим инклюзию и сосредотачиваемся на социальных переменах.

Thank you.

Спасибо.

(Applause)

(Аплодисменты)

But I have one question:

И у меня один вопрос:

Will you join me in the fight?

«А вы присоединитесь ко мне в этой борьбе?»

(Laughter)

(Смех)

(Applause)

(Аплодисменты)