Machine intelligence makes human morals more important | Zeynep Tufekci

Переводчик: Olenka Rasskazova Редактор: Marina Lee

So, I started my first job as a computer programmer

Я начала работать программистом

in my very first year of college --

в первый год учёбы в колледже,

basically, as a teenager.

практически подростком.

Soon after I started working,

Вскоре после того, как я начала работать —

writing software in a company,

писать программное обеспечение,

a manager who worked at the company came down to where I was,

один из работающих в компании менеджеров подошёл ко мне

and he whispered to me,

и прошептал:

"Can he tell if I'm lying?"

«Он понимает, когда я вру?»

There was nobody else in the room.

В комнате никого больше не было.

«Кто он? И почему ты шепчешь?»

"Can who tell if you're lying? And why are we whispering?"

The manager pointed at the computer in the room.

Менеджер указал на компьютер.

"Can he tell if I'm lying?"

«Он может понять, когда я вру?»

Well, that manager was having an affair with the receptionist.

Кстати, у этого менеджера был роман с секретаршей.

(Laughter)

(Смех)

А а была ещё подростком.

And I was still a teenager.

So I whisper-shouted back to him,

Поэтому я шёпотом крикнула ему:

"Yes, the computer can tell if you're lying."

«Да, компьютер может понять, когда вы лжёте».

(Смех)

(Laughter)

Well, I laughed, but actually, the laugh's on me.

Я пошутила, но оказалось, что это была не шутка.

Nowadays, there are computational systems

Теперь существуют вычислительные системы,

that can suss out emotional states and even lying

которые могут определить ваше эмоциональное состояние и даже ложь,

from processing human faces.

обрабатывая выражения человеческих лиц.

Advertisers and even governments are very interested.

Рекламодатели и правительства очень заинтересованы.

I had become a computer programmer

Я стала программистом,

because I was one of those kids crazy about math and science.

потому что я была одержимым математикой и наукой ребёнком.

But somewhere along the line I'd learned about nuclear weapons,

Но в какой-то момент я узнала о существовании ядерного оружия

и всерьёз задумалась о научной этике.

and I'd gotten really concerned with the ethics of science.

Меня это беспокоило.

I was troubled.

However, because of family circumstances,

Однако из-за семейных обстоятельств

I also needed to start working as soon as possible.

мне пришлось начать работать как можно скорее.

So I thought to myself, hey, let me pick a technical field

Так что я подумала: «Эй, мне просто надо выбрать техническую область,

where I can get a job easily

где я смогу легко получить работу,

and where I don't have to deal with any troublesome questions of ethics.

и где мне не придётся иметь дело со сложными этическими вопросами».

Так что я выбрала компьютеры.

So I picked computers.

(Laughter)

(Смех)

Well, ha, ha, ha! All the laughs are on me.

Ха, ха, ха! Все смеются надо мной.

В наши дни компьютерные учёные создают платформы,

Nowadays, computer scientists are building platforms

that control what a billion people see every day.

которые контролируют то, что миллиард человек видит каждый день.

Они разрабатывают автомобили, которые могли бы решить, кого задавить.

They're developing cars that could decide who to run over.

They're even building machines, weapons,

Они даже разрабатывают машины и оружие,

that might kill human beings in war.

которые могут убивать людей на войне.

It's ethics all the way down.

Здесь вопросы этики повсюду.

Machine intelligence is here.

Искусственный интеллект уже здесь.

We're now using computation to make all sort of decisions,

Мы уже используем вычислительную технику для принятия каких угодно решений,

but also new kinds of decisions.

и даже для создания новых решений.

We're asking questions to computation that have no single right answers,

Мы задаём компьютерам вопросы, на которые нет единого правильного ответа:

that are subjective

субъективные вопросы,

and open-ended and value-laden.

открытые и вопросы оценочного характера.

Мы задавали такие вопросы, как:

We're asking questions like,

"Who should the company hire?"

«Кого стоит нанять в компанию?»

«Какое обновление и от какого друга мы должны видеть?»

"Which update from which friend should you be shown?"

"Which convict is more likely to reoffend?"

«Кто из осуждённых скорее всего станет рецидивистом?»

"Which news item or movie should be recommended to people?"

«Какие новости или фильмы рекомендовать людям?»

Look, yes, we've been using computers for a while,

Да, мы используем компьютеры уже продолжительное время,

but this is different.

но это совсем другое.

This is a historical twist,

Это исторический поворот,

because we cannot anchor computation for such subjective decisions

потому что базис для вычисления принятия субъективных решений,

the way we can anchor computation for flying airplanes, building bridges,

отличается от того, что используется для сборки самолётов, строительства мостов

going to the moon.

или полётов на Луну.

Are airplanes safer? Did the bridge sway and fall?

Самолёты стали безопаснее? Мосты больше не падают?

There, we have agreed-upon, fairly clear benchmarks,

Здесь у нас есть достаточно чёткие критерии

и законы природы, на которые мы можем положиться.

and we have laws of nature to guide us.

We have no such anchors and benchmarks

Но нет чётких критериев

for decisions in messy human affairs.

для принятия решений в запутанных людских делах.

To make things more complicated, our software is getting more powerful,

Ещё больше усложняет задачу программное обеспечение,

but it's also getting less transparent and more complex.

становящееся менее прозрачным и более сложным и мощным.

Recently, in the past decade,

За последнее десятилетие

complex algorithms have made great strides.

развитие сложных алгоритмов достигло больших успехов.

They can recognize human faces.

Они могут распознавать человеческие лица.

They can decipher handwriting.

Они могут расшифровывать почерк.

They can detect credit card fraud

Выявить мошенничество с кредитными картами

and block spam

или блокировать спам,

and they can translate between languages.

они могут переводить с других языков.

They can detect tumors in medical imaging.

Они могут выявлять опухоли в рентгенографии.

They can beat humans in chess and Go.

Они могут обыгрывать нас в шахматы и в Го.

Much of this progress comes from a method called "machine learning."

Большáя часть этого прогресса достигнута с помощью «машинного обучения».

Машинное обучение отличается от традиционного программирования,

Machine learning is different than traditional programming,

where you give the computer detailed, exact, painstaking instructions.

где вы даёте компьютеру подробные, точные, чёткие инструкции.

It's more like you take the system and you feed it lots of data,

Это больше похоже, как будто мы скармливаем компьютеру много данных,

including unstructured data,

в том числе бессистемных данных,

like the kind we generate in our digital lives.

как те, что мы создаём в нашей цифровой жизни.

And the system learns by churning through this data.

И система сама учится систематизировать эти данные.

And also, crucially,

Особенно важно то,

these systems don't operate under a single-answer logic.

что эти системы не работают по логике поиска единого ответа.

They don't produce a simple answer; it's more probabilistic:

Они не дают однозначного ответа, они основаны на вероятности:

"This one is probably more like what you're looking for."

«Этот ответ, вероятно, похож на то, что вы ищете».

Плюс этого метода в том, что он очень перспективный.

Now, the upside is: this method is really powerful.

Глава систем ИИ Google назвал его

The head of Google's AI systems called it,

"the unreasonable effectiveness of data."

«нерационально высокая эффективность данных».

The downside is,

Минус в том,

we don't really understand what the system learned.

что мы не знаем, что именно система выучила.

In fact, that's its power.

В этом мощь системы.

This is less like giving instructions to a computer;

Это не похоже на то, как давать указания компьютеру;

it's more like training a puppy-machine-creature

это больше похоже на обучение машины-щенка,

we don't really understand or control.

которого мы не понимаем и не контролируем.

So this is our problem.

В этом наша проблема.

It's a problem when this artificial intelligence system gets things wrong.

Плохо, когда система искусственного интеллекта понимает что-то неправильно.

It's also a problem when it gets things right,

И также плохо, когда система понимает что-то правильно,

because we don't even know which is which when it's a subjective problem.

потому что мы не знаем, что есть что, когда дело касается субъективой проблемы.

We don't know what this thing is thinking.

Мы не знаем, о чём эта штука думает.

So, consider a hiring algorithm --

Рассмотрим алгоритм приёма на работу —

система для найма людей с использованием машинного обучения.

a system used to hire people, using machine-learning systems.

Такая система будет обучаться по данным о предыдущих сотрудниках

Such a system would have been trained on previous employees' data

and instructed to find and hire

и будет искать и нанимать людей,

people like the existing high performers in the company.

похожих на нынешних самых эффективных сотрудников компании.

Sounds good.

Звучит хорошо.

I once attended a conference

Однажды я была на конференции

для руководителей, менеджеров по персоналу

that brought together human resources managers and executives,

high-level people,

и топ-менеджеров,

using such systems in hiring.

использующих такую систему найма.

They were super excited.

Все были очень воодушевлены.

They thought that this would make hiring more objective, less biased,

Они думали, что это сделает процесс найма более объективным, менее предвзятым,

and give women and minorities a better shot

даст женщинам и меньшинствам больше шансов

against biased human managers.

в отличие от предвзято настроенных менеджеров.

And look -- human hiring is biased.

Найм сотрудников построен на предвзятости.

Я знаю.

I know.

I mean, in one of my early jobs as a programmer,

На одной из моих первых работ в качестве программиста

my immediate manager would sometimes come down to where I was

моя непосредственная начальница иногда подходила ко мне

really early in the morning or really late in the afternoon,

очень рано утром или очень поздно днём

и говорила: «Зейнеп, пойдём обедать!»

and she'd say, "Zeynep, let's go to lunch!"

I'd be puzzled by the weird timing.

Я была озадачена странным выбором времени.

It's 4pm. Lunch?

Обед в 4 часа дня?

Бесплатный ланч; денег у меня нет. Я всегда ходила.

I was broke, so free lunch. I always went.

I later realized what was happening.

Позже я поняла, что происходит.

My immediate managers had not confessed to their higher-ups

Мои непосредственные руководители не признались вышестоящему руководству,

that the programmer they hired for a serious job was a teen girl

что программист, которого они наняли на серьёзный проект — девушка подросток,

who wore jeans and sneakers to work.

которая ходит на работу в джинсах и кроссовках.

Я хорошо выполняла работу, я просто выглядела неподобающе,

I was doing a good job, I just looked wrong

and was the wrong age and gender.

была неправильного возраста и пола.

So hiring in a gender- and race-blind way

Так что найм без учёта пола и расы,

certainly sounds good to me.

конечно, звучит для меня как хорошая идея.

Но с этими системами всё сложнее, и вот почему:

But with these systems, it is more complicated, and here's why:

Currently, computational systems can infer all sorts of things about you

Сейчас вычислительные системы могут узнать всю информацию о вас

from your digital crumbs,

по крошкам, что вы оставляете в цифровом виде,

even if you have not disclosed those things.

даже если вы не разглашаете такую информацию.

They can infer your sexual orientation,

Они могут вычислить вашу сексуальную ориентацию,

your personality traits,

ваши черты характера,

your political leanings.

ваши политические пристрастия.

They have predictive power with high levels of accuracy.

Они могут составлять прогнозы с высоким уровнем точности.

Remember -- for things you haven't even disclosed.

Помните, даже для информации, которую вы даже не разглашаете.

This is inference.

Это предположения.

I have a friend who developed such computational systems

У меня есть подруга, которая разрабатывает такие системы

to predict the likelihood of clinical or postpartum depression

для прогнозирования вероятности клинической или послеродовой депрессии

from social media data.

по данным из социальных сетей.

The results are impressive.

Результаты впечатляют.

Her system can predict the likelihood of depression

Её система может предсказать вероятность депрессии

months before the onset of any symptoms --

до появления каких-либо симптомов —

months before.

за несколько месяцев.

No symptoms, there's prediction.

Симптомов нет, а прогноз есть.

She hopes it will be used for early intervention. Great!

Она надеется, что программа будет использоваться для профилактики. Отлично!

But now put this in the context of hiring.

Теперь представьте это в контексте найма.

На той конференции для управляющих персоналом

So at this human resources managers conference,

I approached a high-level manager in a very large company,

я подошла к менеджеру высокого уровня в очень крупной компании,

and I said to her, "Look, what if, unbeknownst to you,

и спросила её: «Что, если система без вашего ведома,

your system is weeding out people with high future likelihood of depression?

начнёт отсеивать людей с высокой вероятностью будущей депрессии?

They're not depressed now, just maybe in the future, more likely.

Сейчас у них нет депрессии, но в будущем вероятность высока.

What if it's weeding out women more likely to be pregnant

Что, если система начнёт отсеивать женщин, чья вероятность забеременеть

in the next year or two but aren't pregnant now?

через год или два выше, но они не беременны сейчас?

What if it's hiring aggressive people because that's your workplace culture?"

Если начнёт нанимать агрессивных людей, потому что это норма для вашей компании?

Этого не определить, глядя на процентное соотношение полов.

You can't tell this by looking at gender breakdowns.

Those may be balanced.

Эти показатели могут быть в норме.

And since this is machine learning, not traditional coding,

Так как это машинное обучение, а не традиционное программирование,

there is no variable there labeled "higher risk of depression,"

тут нет переменной «более высокий риск депрессии»,

"higher risk of pregnancy,"

«высокий риск беременности»,

"aggressive guy scale."

или «агрессивный парень».

Not only do you not know what your system is selecting on,

Мало того, что вы не знаете, как ваша система делает выводы,

you don't even know where to begin to look.

вы даже не знаете, откуда что берётся.

Это чёрный ящик.

It's a black box.

It has predictive power, but you don't understand it.

Он может прогнозировать, но мы не понимаем принцип его работы.

"What safeguards," I asked, "do you have

Я спросила: «Какие у вас меры предосторожности,

to make sure that your black box isn't doing something shady?"

чтобы убедиться, что чёрный ящик не делает ничего сомнительного?»

She looked at me as if I had just stepped on 10 puppy tails.

Она посмотрела на меня, как будто я только что отдавила хвосты 10 щенкам.

(Laughter)

(Смех)

Она посмотрела на меня и сказала:

She stared at me and she said,

"I don't want to hear another word about this."

«Я не хочу слышать ни слова об этом».

And she turned around and walked away.

Она повернулась и пошла прочь.

Имейте в виду — она ​​не грубила мне.

Mind you -- she wasn't rude.

It was clearly: what I don't know isn't my problem, go away, death stare.

Позиция очевидна: то, что я не знаю — не моя проблема, отвяжись, стрелы из глаз.

(Laughter)

(Смех)

Look, such a system may even be less biased

Такая система может быть менее предвзятой,

than human managers in some ways.

чем сами менеджеры в каком-то смысле.

And it could make monetary sense.

В этом может быть финансовая выгода.

But it could also lead

Но это также может привести

to a steady but stealthy shutting out of the job market

к неуклонному и скрытому выдавливанию с рынка труда

людей с более высоким риском развития депрессии.

of people with higher risk of depression.

Is this the kind of society we want to build,

Мы хотим построить такое общество,

without even knowing we've done this,

даже не осознавая, что мы делаем,

because we turned decision-making to machines we don't totally understand?

потому что отдали право принятия решений машинам, которых до конца не понимаем?

Another problem is this:

Следующая проблема:

these systems are often trained on data generated by our actions,

эти системы часто обучаются на данных, произведённых нашими действиями —

human imprints.

человеческим поведением.

Well, they could just be reflecting our biases,

Возможно, они просто отражают наши предубеждения,

и эти системы могут собирать наши пристрастия

and these systems could be picking up on our biases

and amplifying them

и усиливать их,

and showing them back to us,

показывая нам их вновь,

while we're telling ourselves,

а мы говорим себе:

"We're just doing objective, neutral computation."

«Мы просто проводим объективные, непредвзятые вычисления».

Researchers found that on Google,

Исследователи обнаружили что в Google

женщины реже, чем мужчины, видят объявления о высокооплачиваемой работе.

women are less likely than men to be shown job ads for high-paying jobs.

And searching for African-American names

Набирая в поисковике афро-американские имена,

вероятность увидеть объявления криминального характера будет выше,

is more likely to bring up ads suggesting criminal history,

even when there is none.

даже там, где криминала нет.

Such hidden biases and black-box algorithms

Скрытая необъективность и алгоритмы чёрного ящика,

that researchers uncover sometimes but sometimes we don't know,

которые исследователи иногда выявляют, а иногда нет,

can have life-altering consequences.

могут иметь далеко идущие последствия.

In Wisconsin, a defendant was sentenced to six years in prison

В Висконсине подсудимый был приговорён к шести годам лишения свободы

за уклонение от полиции.

for evading the police.

You may not know this,

Может, вы не знаете,

но эти алгоритмы всё чаще используются в вынесении приговоров.

but algorithms are increasingly used in parole and sentencing decisions.

Он хотел узнать, как всё это рассчитывается?

He wanted to know: How is this score calculated?

It's a commercial black box.

Это коммерческий чёрный ящик.

The company refused to have its algorithm be challenged in open court.

Компания отказалась обсуждать свой алгоритм на открытом заседании суда.

But ProPublica, an investigative nonprofit, audited that very algorithm

Но следственная некоммерческая организация ProPublica проверила алгоритм,

with what public data they could find,

используя данные из Интернета,

and found that its outcomes were biased

и обнаружила, что результаты необъективны,

and its predictive power was dismal, barely better than chance,

способность прогнозирования ужасная, немного лучше, чем случайность.

and it was wrongly labeling black defendants as future criminals

Система классифицирует чернокожих обвиняемых как будущих преступников

at twice the rate of white defendants.

в два раза чаще, чем белых обвиняемых.

So, consider this case:

Рассмотрим следующий случай:

Эта девушка опаздывала, чтобы забрать свою крёстную сестру

This woman was late picking up her godsister

from a school in Broward County, Florida,

из школы в округе Броуард, штат Флорида.

running down the street with a friend of hers.

Они с подругой бежали по улице.

Тут они заметили незапертые велосипед и скутер на крыльце

They spotted an unlocked kid's bike and a scooter on a porch

and foolishly jumped on it.

и по глупости взяли их.

As they were speeding off, a woman came out and said,

Когда они отъезжали, вышла женщина и крикнула:

"Hey! That's my kid's bike!"

«Эй! Это велосипед моего ребёнка!»

They dropped it, they walked away, but they were arrested.

Они его бросили и ушли, но их арестовали.

Она была не права, она сглупила, но ей было всего 18 лет.

She was wrong, she was foolish, but she was also just 18.

She had a couple of juvenile misdemeanors.

У неё была пара малолетних правонарушений.

Meanwhile, that man had been arrested for shoplifting in Home Depot --

В то же время этот мужчина был арестован за кражу в магазине Home Depot,

примерно на сумму 85 долларов — такое же мелкое преступление.

85 dollars' worth of stuff, a similar petty crime.

But he had two prior armed robbery convictions.

Но у него за спиной было две судимости за вооружённый грабеж.

But the algorithm scored her as high risk, and not him.

Алгоритм посчитал, что её показатель риска выше, чем его.

Two years later, ProPublica found that she had not reoffended.

Спустя пару лет ProPublica выяснили, что она больше не совершала преступлений.

It was just hard to get a job for her with her record.

Но зато ей было сложно найти работу, имея судимость.

He, on the other hand, did reoffend

Тогда как этот мужчина стал рецидивистом,

and is now serving an eight-year prison term for a later crime.

и в настоящее время отбывает восьмилетний срок за своё последнее преступление.

Очевидно, мы должны проверять наши чёрные ящики,

Clearly, we need to audit our black boxes

and not have them have this kind of unchecked power.

чтобы они не получили бесконтрольную власть.

(Аплодисменты)

(Applause)

Проверка и контроль важны, но они не решают всех проблем.

Audits are great and important, but they don't solve all our problems.

Take Facebook's powerful news feed algorithm --

Вспомните мощный алгоритм ленты новостей на Facebook —

знаете, тот, который оценивает всё и решает, что именно вам показывать

you know, the one that ranks everything and decides what to show you

from all the friends and pages you follow.

от ваших друзей и до страниц, на которые вы подписаны.

Should you be shown another baby picture?

Показать вам ещё одну картинку младенца?

(Laughter)

(Смех)

A sullen note from an acquaintance?

Грустный комментарий от знакомого?

An important but difficult news item?

Важную, но непростую новость?

There's no right answer.

Тут нет единого ответа.

Facebook optimizes for engagement on the site:

Facebook оптимизирует вашу деятельность на сайте:

likes, shares, comments.

лайки, ссылки, комментарии.

В августе 2014 года

In August of 2014,

protests broke out in Ferguson, Missouri,

в Фергюсоне, штат Миссури вспыхнули протесты

after the killing of an African-American teenager by a white police officer,

после того, как белый полицейский убил афро-американского подростка

при невыясненных обстоятельствах.

under murky circumstances.

The news of the protests was all over

Новости о протестах заполонили

мой алгоритмически нефильтрованный Twitter,

my algorithmically unfiltered Twitter feed,

but nowhere on my Facebook.

но в моём Facebook их не было.

Может, это из-за моих друзей в Facebook?

Was it my Facebook friends?

I disabled Facebook's algorithm,

Я отключила алгоритм Facebook,

which is hard because Facebook keeps wanting to make you

что было сложно, так как Facebook хочет,

come under the algorithm's control,

чтобы вы были под контролем алгоритма.

and saw that my friends were talking about it.

Я увидела, что мои друзья обсуждали эту тему.

It's just that the algorithm wasn't showing it to me.

Просто алгоритм не показывал это мне.

Я изучила этот вопрос и выяснила, что это распространённая проблема.

I researched this and found this was a widespread problem.

The story of Ferguson wasn't algorithm-friendly.

Новость про Фергюсон была неудобна для алгоритма.

Эта новость не наберёт лайки.

It's not "likable."

Who's going to click on "like?"

Кто будет лайкать это?

It's not even easy to comment on.

Это даже сложно комментировать.

Without likes and comments,

Без лайков и комментариев

алгоритм, вероятно, показывал новость ещё меньшему кругу людей,

the algorithm was likely showing it to even fewer people,

so we didn't get to see this.

поэтому мы не видели это.

Instead, that week,

Вместо этого на той же неделе

Facebook's algorithm highlighted this,

алгоритм Facebook выделил это —

which is the ALS Ice Bucket Challenge.

кампания «испытание ведром ледяной воды».

Worthy cause; dump ice water, donate to charity, fine.

Важное дело: выливаем ведро со льдом, жертвуем на благотворительность — супер.

But it was super algorithm-friendly.

Это было очень удобно для алгоритма.

The machine made this decision for us.

Машина решила за нас.

A very important but difficult conversation

Очень важный, но трудный разговор,

might have been smothered,

возможно, был бы замят,

had Facebook been the only channel.

будь Facebook единственным каналом.

Наконец, эти системы могут делать ошибки,

Now, finally, these systems can also be wrong

in ways that don't resemble human systems.

которые не похожи на ошибки людей.

Do you guys remember Watson, IBM's machine-intelligence system

Помните Уотсона, искусственный интеллект IBM,

that wiped the floor with human contestants on Jeopardy?

который разгромил соперников-людей на телевикторине Jeopardy?

Он был отличным игроком.

It was a great player.

But then, for Final Jeopardy, Watson was asked this question:

Тогда, во время финала игры Уотсону задали вопрос:

"Its largest airport is named for a World War II hero,

«Его крупнейший аэропорт назван в честь героя Второй мировой войны,

its second-largest for a World War II battle."

а второй — в честь битвы Второй мировой войны».

(Hums Final Jeopardy music)

(Музыка Final Jeopardy)

Chicago.

Чикаго.

The two humans got it right.

Два человека ответили правильно.

Watson, on the other hand, answered "Toronto" --

Уотсон ответил «Торонто» —

в категории городов США!

for a US city category!

The impressive system also made an error

Мощнейшая система сделала ошибку,

that a human would never make, a second-grader wouldn't make.

которую человек никогда бы не сделал, даже второклассник бы не ошибся.

Our machine intelligence can fail

Искусственный интеллект может ошибиться там,

in ways that don't fit error patterns of humans,

где человек не допустит ошибку,

там, где мы не ожидаем ошибку и не готовы к ней.

in ways we won't expect and be prepared for.

Жалко не получить работу тому, кто для неё подходит,

It'd be lousy not to get a job one is qualified for,

but it would triple suck if it was because of stack overflow

но ещё хуже, если это произошло из-за переполнения стека

in some subroutine.

в какой-то подпрограмме.

(Laughter)

(Смех)

In May of 2010,

В мае 2010 года

a flash crash on Wall Street fueled by a feedback loop

произошёл обвал рынка Уолл-стрит по вине метода передачи данных

in Wall Street's "sell" algorithm

в алгоритме Уолл-стрит «сбыт»,

wiped a trillion dollars of value in 36 minutes.

что снизило стоимость бумаг на триллион долларов на 36 минут.

I don't even want to think what "error" means

Даже подумать страшно, какие последствия может иметь «ошибка»

in the context of lethal autonomous weapons.

в контексте автономного летального оружия.

So yes, humans have always made biases.

У людей всегда предвзятый взгляд на вещи.

Decision makers and gatekeepers,

Лица, принимающие решения, и контролёры;

in courts, in news, in war ...

в судах, в новостях, на войне ...

they make mistakes; but that's exactly my point.

люди совершают ошибки — именно это я и имею в виду.

We cannot escape these difficult questions.

Мы не можем избежать сложных вопросов.

We cannot outsource our responsibilities to machines.

Мы не можем переложить свои обязанности на машины.

(Applause)

(Аплодисменты)

Искусственный интеллект не даёт нам права переложить вопросы этики на машину.

Artificial intelligence does not give us a "Get out of ethics free" card.

Data scientist Fred Benenson calls this math-washing.

Эксперт по данным Фред Бененсон называет это «математической чисткой».

Нам нужно совсем другое.

We need the opposite.

We need to cultivate algorithm suspicion, scrutiny and investigation.

Нам необходимы пристальное внимание, контроль и оценка алгоритмов.

We need to make sure we have algorithmic accountability,

У нас должна быть алгоритмическая отчётность,

auditing and meaningful transparency.

проверка и достаточная прозрачность.

We need to accept that bringing math and computation

Мы должны признать, что, добавив математику и вычисления

to messy, value-laden human affairs

к запутанным человеческим делам,

does not bring objectivity;

мы не получим объективности;

скорее, сложность человеческих отношений вторгнется в алгоритмы.

rather, the complexity of human affairs invades the algorithms.

Да, мы можем, и мы должны использовать вычисления

Yes, we can and we should use computation

to help us make better decisions.

для поиска лучших решений.

But we have to own up to our moral responsibility to judgment,

Мы также должны нести моральную ответственность и принимать решения,

успользуя алгоритмы в этих рамках,

and use algorithms within that framework,

not as a means to abdicate and outsource our responsibilities

а не как средство отказа от обязательств, чтобы передать наши обязанности

to one another as human to human.

друг другу, как один человек другому.

Machine intelligence is here.

Искусственный интеллект уже здесь.

That means we must hold on ever tighter

Это значит, что мы должны ещё больше придерживаться

to human values and human ethics.

человеческих ценностей и этики.

Спасибо.

Thank you.

(Applause)

(Аплодисменты)