How to keep human bias out of AI | Kriti Sharma

Translator: Ivana Korom Reviewer: Joanna Pietrulewicz

Переводчик: Anastasia Shmeleva Редактор: Maxim Averin

How many decisions have been made about you today,

Сколько решений в отношении вас было принято сегодня,

or this week or this year,

на этой неделе или в этом году

by artificial intelligence?

искусственным интеллектом?

I build AI for a living

Я зарабатываю, создавая ИИ,

so, full disclosure, I'm kind of a nerd.

так что, говоря откровенно, я ботан.

And because I'm kind of a nerd,

И поскольку я ботан,

wherever some new news story comes out

когда появляется очередной новостной сюжет

about artificial intelligence stealing all our jobs,

об искусственном интеллекте, ворующем наши рабочие места,

or robots getting citizenship of an actual country,

или о роботах, получающих гражданство настоящей страны,

I'm the person my friends and followers message

мои друзья и подписчики именно меня засыпают сообщениями,

freaking out about the future.

полными переживаний о будущем.

We see this everywhere.

Мы наблюдаем это повсеместно.

This media panic that our robot overlords are taking over.

СМИ раздувают панику о восстании роботов.

We could blame Hollywood for that.

В этом можно обвинить Голливуд.

But in reality, that's not the problem we should be focusing on.

Но на самом деле это не та проблема, на которой нам следует фокусироваться.

There is a more pressing danger, a bigger risk with AI,

Существует более серьёзный риск, на который нам следует обратить внимание

that we need to fix first.

при работе с ИИ.

So we are back to this question:

Итак, вернёмся к изначальному вопросу:

How many decisions have been made about you today by AI?

сколько решений принял сегодня в отношении вас ИИ?

And how many of these

И сколько из них

were based on your gender, your race or your background?

были продиктованы вашим полом, расой или происхождением?

Algorithms are being used all the time

Алгоритмы используются повсеместно,

to make decisions about who we are and what we want.

для того чтобы определять, кто мы такие и чего мы хотим.

Some of the women in this room will know what I'm talking about

Некоторые женщины в этом зале поймут, о чём я,

if you've been made to sit through those pregnancy test adverts on YouTube

если вам приходилось смотреть рекламу тестов на беременность на YouTube

like 1,000 times.

по 1000 раз на дню.

Or you've scrolled past adverts of fertility clinics

Или когда вы натыкаетесь на рекламу клиник планирования семьи

on your Facebook feed.

в ленте Facebook.

Or in my case, Indian marriage bureaus.

Или в моём случае — индийские брачные бюро.

(Laughter)

(Смех)

But AI isn't just being used to make decisions

Однако ИИ используется не просто для того, чтобы определить,

about what products we want to buy

какие товары мы хотим приобрести

or which show we want to binge watch next.

или за каким сериалом проведём бессонные ночи.

I wonder how you'd feel about someone who thought things like this:

Интересно, что бы вы подумали о человеке, который размышляет примерно так:

"A black or Latino person

«Афро- или латиноамериканец

is less likely than a white person to pay off their loan on time."

куда реже, чем белый, вовремя вносит платежи по кредиту».

"A person called John makes a better programmer

«Человек по имени Джон — более способный программист,

than a person called Mary."

чем та, кого зовут Мэри».

"A black man is more likely to be a repeat offender than a white man."

«Афроамериканец чаще, чем белый оказывается рецидивистом».

You're probably thinking,

Вы наверняка сейчас думаете:

"Wow, that sounds like a pretty sexist, racist person," right?

«Ого, да это наверняка сексисты и расисты», верно?

These are some real decisions that AI has made very recently,

Всё это реальные заключения, сделанные о нас искусственным интеллектом

based on the biases it has learned from us,

и основанные на тех предрассудках, которым ИИ научился у нас,

from the humans.

у людей.

AI is being used to help decide whether or not you get that job interview;

ИИ упрощает процесс принятия решений: пригласят ли вас на собеседование,

how much you pay for your car insurance;

сколько вам платить за страховку машины,

how good your credit score is;

как выглядит ваша кредитная история

and even what rating you get in your annual performance review.

и даже то, как вы будете оценены на работе по итогам года.

But these decisions are all being filtered through

Но все эти решения проходят через фильтры

its assumptions about our identity, our race, our gender, our age.

предположений ИИ о том, кто мы, о наших расе, поле и возрасте.

How is that happening?

Как же всё это происходит?

Now, imagine an AI is helping a hiring manager

Представьте, что ИИ помогает HR-менеджеру

find the next tech leader in the company.

в поиске следующего технического лидера в компании.

So far, the manager has been hiring mostly men.

В прошлом этот менеджер чаще выбирал на должность мужчин.

So the AI learns men are more likely to be programmers than women.

В итоге ИИ запоминает, что программистами чаще становятся мужчины, а не женщины.

And it's a very short leap from there to:

А отсюда рукой подать до вывода:

men make better programmers than women.

мужчины более способные программисты, чем женщины.

We have reinforced our own bias into the AI.

Таким образом, наши предрассудки укрепляются в ИИ.

And now, it's screening out female candidates.

Как результат, ИИ отсеивает кандидатов-женщин.

Hang on, if a human hiring manager did that,

Но стойте, если бы так поступал человек,

we'd be outraged, we wouldn't allow it.

мы бы были возмущены и выступили против.

This kind of gender discrimination is not OK.

Дискриминация по половому признаку — это предосудительно.

And yet somehow, AI has become above the law,

И всё же каким-то образом решения ИИ находятся вне закона,

because a machine made the decision.

так как они приняты машиной.

That's not it.

Но это не так.

We are also reinforcing our bias in how we interact with AI.

Мы также подкрепляем наши предрассудки тем, как именно мы взаимодействуем с ИИ.

How often do you use a voice assistant like Siri, Alexa or even Cortana?

Как часто вы пользуетесь голосовыми помощниками Сири, Алексой или Кортаной?

They all have two things in common:

Все они имеют две общие черты:

one, they can never get my name right,

первая заключается в том, что они всегда неверно произносят моё имя,

and second, they are all female.

а вторая — все они женского пола.

They are designed to be our obedient servants,

Они разработаны, чтобы послушно выполнять наши поручения,

turning your lights on and off, ordering your shopping.

включать и выключать свет, делать онлайн-покупки.

Существуют также системы ИИ мужского пола, но они обычно более авторитетны,

You get male AIs too, but they tend to be more high-powered,

like IBM Watson, making business decisions,

к примеру, IBM Watson, принимающий решения в бизнес-сфере,

Salesforce Einstein or ROSS, the robot lawyer.

или платформа Salesforce Einstein, или робот-адвокат ROSS.

So poor robots, even they suffer from sexism in the workplace.

Таким образом, даже несчастные роботы страдают от сексизма на рабочем месте.

(Laughter)

(Смех)

Think about how these two things combine

Задумайтесь, как оба этих факта вкупе

and affect a kid growing up in today's world around AI.

оказывают влияние на детей, растущих в сегодняшнем мире в окружении ИИ.

So they're doing some research for a school project

Например, они собирают данные для школьного проекта

and they Google images of CEO.

и гуглят фото генеральных директоров.

The algorithm shows them results of mostly men.

Алгоритм выдаёт им в основном директоров-мужчин.

And now, they Google personal assistant.

А потом они гуглят личных помощников.

As you can guess, it shows them mostly females.

Как вы можете догадаться, в этом поиске отображаются в основном женщины.

And then they want to put on some music, and maybe order some food,

А позже они захотят включить музыку или заказать поесть,

and now, they are barking orders at an obedient female voice assistant.

и вот они уже раздают свои поручения помощнику с покорным женским голосом.

Some of our brightest minds are creating this technology today.

Умнейшие люди планеты разрабатывают сейчас эти технологии.

Technology that they could have created in any way they wanted.

Технологии, которые они могли бы создать любыми, какими бы ни захотели.

And yet, they have chosen to create it in the style of 1950s "Mad Man" secretary.

И всё же они решили сделать помощников

в стиле секретарши 1950-х годов из фильма «Безумцы».

Yay!

Ура!

But OK, don't worry,

Ладно, не волнуйтесь,

this is not going to end with me telling you

я не собираюсь заканчивать выступление словами о том,

that we are all heading towards sexist, racist machines running the world.

что миром будут править сексистские, расистские машины.

The good news about AI is that it is entirely within our control.

Хорошие новости об ИИ заключаются в том, что он находится под нашим контролем.

We get to teach the right values, the right ethics to AI.

Мы можем заложить в ИИ правильные моральные нормы и ценности.

So there are three things we can do.

Мы можем сделать три вещи.

One, we can be aware of our own biases

Во-первых, мы можем начать отдавать себе отчёт о своих предрассудках

and the bias in machines around us.

и предрассудках машин вокруг нас.

Two, we can make sure that diverse teams are building this technology.

Во-вторых, мы должны создавать ИИ, привлекая непохожих друг на друга людей.

And three, we have to give it diverse experiences to learn from.

И, в-третьих, мы должны предоставить ИИ обширную выборку данных для обучения.

I can talk about the first two from personal experience.

Я говорю о первых двух пунктах, основываясь на собственном опыте.

When you work in technology

Если вы работаете в сфере ИТ

and you don't look like a Mark Zuckerberg or Elon Musk,

и не выглядите как какой-нибудь Марк Цукерберг или Илон Маск,

your life is a little bit difficult, your ability gets questioned.

вам немного сложнее, ваша компетенция постоянно подвергается сомнению.

Here's just one example.

Приведу всего один пример.

Like most developers, I often join online tech forums

Как и большинство разработчиков, я часто бываю на техно-форумах

and share my knowledge to help others.

и делюсь своими знаниями, чтобы помочь другим.

And I've found,

И я заметила,

when I log on as myself, with my own photo, my own name,

что когда я размещаю настоящее фото и подписываюсь собственным именем,

I tend to get questions or comments like this:

мне часто задают вопросы или пишут такие комментарии как:

"What makes you think you're qualified to talk about AI?"

«Что заставляет вас думать, что вы можете рассуждать об ИИ?»

"What makes you think you know about machine learning?"

«Почему вы так уверены, что знаете что-то о машинном обучении?»

So, as you do, I made a new profile,

Поэтому, только не удивляйтесь, — я создала новый профиль

and this time, instead of my own picture, I chose a cat with a jet pack on it.

и на этот раз вместо собственного фото я поставила кота с реактивным ранцем.

And I chose a name that did not reveal my gender.

А ещё я выбрала ник, по которому невозможно понять пол.

You can probably guess where this is going, right?

Вы можете с лёгкостью догадаться, к чему я клоню, правда?

So, this time, I didn't get any of those patronizing comments about my ability

В этот раз никто не оставлял комментариев, ставящих мою квалификацию под сомнение,

and I was able to actually get some work done.

и мне наконец удалось донести свои мысли.

And it sucks, guys.

И это отстой, ребята.

I've been building robots since I was 15,

Я занимаюсь созданием роботов с 15 лет,

I have a few degrees in computer science,

получила несколько степеней в информатике,

and yet, I had to hide my gender

и мне всё равно приходится скрывать свой пол,

in order for my work to be taken seriously.

чтобы к моей работе относились серьёзно.

So, what's going on here?

Так что же происходит?

Are men just better at technology than women?

Неужели мужчины просто лучше разбираются в технологиях, чем женщины?

Another study found

Одно исследование выявило,

that when women coders on one platform hid their gender, like myself,

что когда на одной из платформ женщины-кодеры, как я, скрывали свой пол,

their code was accepted four percent more than men.

их работа признавалась успешной на 4% чаще, чем у их коллег мужчин.

So this is not about the talent.

Так что дело не в таланте.

This is about an elitism in AI

Дело в неравноправии в сфере ИИ,

that says a programmer needs to look like a certain person.

где программист должен выглядеть определённым образом.

What we really need to do to make AI better

На самом деле для усовершенствования сферы ИИ

is bring people from all kinds of backgrounds.

нужно вовлекать людей разного происхождения.

We need people who can write and tell stories

Нам нужны люди, умеющие писать и рассказывать истории

to help us create personalities of AI.

для помощи в создании личностей ИИ.

We need people who can solve problems.

Нам нужны те, кто способен решать задачи.

We need people who face different challenges

Нам нужны люди, сталкивающиеся с различными трудностями,

and we need people who can tell us what are the real issues that need fixing

а так же люди, которые могут рассказать о реальных проблемах, требующих решений,

and help us find ways that technology can actually fix it.

и помочь нам создать технологии для поиска качественных решений.

Because, when people from diverse backgrounds come together,

Ведь когда люди с разным жизненным опытом собираются вместе,

when we build things in the right way,

когда мы двигаемся в верном направлении,

the possibilities are limitless.

наши возможности безграничны.

And that's what I want to end by talking to you about.

Я хочу исправить сложившуюся ситуацию и поэтому говорю меньше о том,

Less racist robots, less machines that are going to take our jobs --

что роботы-расисты и машины отнимут у нас рабочие места,

and more about what technology can actually achieve.

и больше о том, чего мы действительно можем достичь.

So, yes, some of the energy in the world of AI,

Конечно, часть энергии в мире ИИ,

in the world of technology

в мире технологий

is going to be about what ads you see on your stream.

будет уходить на определение того, какие рекламные объявления вы увидите.

But a lot of it is going towards making the world so much better.

Но существенная доля энергии направлена на то, чтобы сделать мир намного лучше.

Think about a pregnant woman in the Democratic Republic of Congo,

Представьте беременную женщину в Демократической Республике Конго,

who has to walk 17 hours to her nearest rural prenatal clinic

которой приходится идти 17 часов пешком до ближайшей сельской женской консультации

to get a checkup.

для прохождения медосмотра.

What if she could get diagnosis on her phone, instead?

Что было бы, если бы она могла вместо этого получить диагноз по телефону?

Or think about what AI could do

Или представьте, что мог бы сделать ИИ

for those one in three women in South Africa

для женщин из Южной Африки, каждая третья из которых

who face domestic violence.

сталкивается с домашним насилием.

If it wasn't safe to talk out loud,

Если им страшно сообщить об этом,

they could get an AI service to raise alarm,

они могли бы использовать ИИ для привлечения внимания,

get financial and legal advice.

получить финансовую и юридическую помощь.

These are all real examples of projects that people, including myself,

Это примеры реальных проектов, над которыми мы сейчас работаем,

are working on right now, using AI.

используя технологии ИИ.

So, I'm sure in the next couple of days there will be yet another news story

Я уверена, в ближайшие пару дней появится очередной новостной вброс

about the existential risk,

об экзистенциальном риске, восстании машин

robots taking over and coming for your jobs.

и о том, что мы все скоро лишимся рабочих мест.

(Laughter)

(Смех)

And when something like that happens,

Когда что-то подобное происходит, я знаю наперёд,

I know I'll get the same messages worrying about the future.

что получу множество сообщений, полных переживаний о нашем будущем.

But I feel incredibly positive about this technology.

Но я полностью поддерживаю использование технологий ИИ.

This is our chance to remake the world into a much more equal place.

Это наш шанс сделать мир местом, где равенство не будет пустым словом.

But to do that, we need to build it the right way from the get go.

Но для этого нам нужно делать всё правильно с самого начала.

We need people of different genders, races, sexualities and backgrounds.

Нам нужны люди разного пола, рас, сексуальных ориентаций, происхождений.

We need women to be the makers

Нужно, чтобы женщины выступали творцами,

and not just the machines who do the makers' bidding.

а не просто машинами, которые выполняют поручения творцов.

We need to think very carefully what we teach machines,

Нам нужно осторожно подходить к тому, какой логике мы обучаем системы,

what data we give them,

какими данными снабжаем их,

so they don't just repeat our own past mistakes.

чтобы они не повторяли наши былые ошибки.

So I hope I leave you thinking about two things.

Я надеюсь, что оставлю вас с мыслями о двух вещах.

First, I hope you leave thinking about bias today.

Во-первых, я надеюсь, вы задумаетесь о бытующих в обществе предрассудках.

And that the next time you scroll past an advert

И в следующий раз, когда вы увидите в ленте объявление,

that assumes you are interested in fertility clinics

предполагающее, что вам интересны клиники планирования семьи

or online betting websites,

или букмекер-сервисы онлайн,

that you think and remember

вы вспомните о том,

that the same technology is assuming that a black man will reoffend.

что тот же алгоритм предполагает, что афроамериканец станет рецидивистом.

Or that a woman is more likely to be a personal assistant than a CEO.

Или что женщина скорее станет личным ассистентом, чем генеральным директором.

And I hope that reminds you that we need to do something about it.

И я надеюсь, вы вспомните, что со всем этим нам нужно что-то делать.

And second,

А во-вторых,

I hope you think about the fact

надеюсь, вы задумаетесь о том,

that you don't need to look a certain way

что вам не нужно выглядеть определённым образом

or have a certain background in engineering or technology

или иметь специальную подготовку в области технологий,

to create AI,

чтобы участвовать в создании ИИ,

which is going to be a phenomenal force for our future.

который станет движущей силой нашего будущего.

You don't need to look like a Mark Zuckerberg,

Вам не нужно выглядеть, как Марк Цукерберг,

you can look like me.

вы можете выглядеть, как я.

And it is up to all of us in this room

И от всех нас в этой комнате зависит,

to convince the governments and the corporations

сможем ли мы убедить правительство и корпорации

to build AI technology for everyone,

создавать ИИ для всех,

including the edge cases.

включая редкие случаи.

And for us all to get education

В наших интересах познать в будущем

about this phenomenal technology in the future.

эту удивительную технологию,

Because if we do that,

потому что, сделав это,

then we've only just scratched the surface of what we can achieve with AI.

мы откроем лишь малую толику того, чего можно достичь с помощью ИИ.

Thank you.

Спасибо.

(Applause)

(Аплодисменты)