Machine intelligence makes human morals more important | Zeynep Tufekci

Перекладач: Nataliia Levchuk Утверджено: Hanna Leliv

So, I started my first job as a computer programmer

Отже, я почала працювати програмісткою,

in my very first year of college --

коли навчалась на першому курсі коледжу

basically, as a teenager.

і була, по суті, ще тінейджеркою.

Soon after I started working,

Після того, як я почала працювати,

writing software in a company,

пишучи програмне забезпечення,

a manager who worked at the company came down to where I was,

менеджер, який теж там працював, підійшов до мене

and he whispered to me,

і прошепотів:

"Can he tell if I'm lying?"

"Чи може він сказати, що я брешу?"

There was nobody else in the room.

У кабінеті крім нас нікого не було.

"Can who tell if you're lying? And why are we whispering?"

"Хто може сказати, що ти брешеш? І чому ми говоримо пошепки?"

The manager pointed at the computer in the room.

Менеджер показав пальцем на комп'ютер.

"Can he tell if I'm lying?"

"Чи може він сказати, що я брешу?"

Well, that manager was having an affair with the receptionist.

Річ у тім, що в мого колеги був роман із секретаркою.

(Laughter)

(Сміх)

And I was still a teenager.

А я все ще була тінейджеркою.

So I whisper-shouted back to him,

Тому голосно прошепотіла:

"Yes, the computer can tell if you're lying."

"Так, комп'ютер може сказати, що ти брешеш".

(Laughter)

(Сміх)

Well, I laughed, but actually, the laugh's on me.

Ну, я сміялась, але насправді сміялась над собою.

Nowadays, there are computational systems

Сьогодні існують комп'ютерні системи,

that can suss out emotional states and even lying

які можуть розпізнати емоції і навіть брехню,

from processing human faces.

опрацювавши обличчя людини.

Advertisers and even governments are very interested.

Рекламодавці і навіть влада в цьому дуже зацікавлені.

I had become a computer programmer

Я стала програмісткою,

because I was one of those kids crazy about math and science.

тому, що була однією з тих дітей, які шаленіли від точних наук.

But somewhere along the line I'd learned about nuclear weapons,

Але десь у процесі я дізналась про ядерну зброю,

and I'd gotten really concerned with the ethics of science.

і мене справді схвилювало питання наукової етики.

I was troubled.

Я була стривожена.

However, because of family circumstances,

Однак через сімейні обставини

I also needed to start working as soon as possible.

мені також треба було почати працювати якнайшвидше.

So I thought to myself, hey, let me pick a technical field

Тому я подумала: "Ей, обирай технічну сферу,

where I can get a job easily

де можна легко знайти роботу

and where I don't have to deal with any troublesome questions of ethics.

і де не треба мати справу з болісними етичними проблемами".

So I picked computers.

Тому я обрала комп'ютери.

(Laughter)

(Сміх)

Well, ha, ha, ha! All the laughs are on me.

Ха-ха-ха! Всі наді мною сміялися.

Nowadays, computer scientists are building platforms

Сьогодні програмісти будують платформи,

that control what a billion people see every day.

які регулюють те, що мільйони людей щодня бачать.

They're developing cars that could decide who to run over.

Вони удосконалюють автомобілі, які можуть вирішити, кого переїхати.

They're even building machines, weapons,

Вони навіть конструюють машини і зброю,

that might kill human beings in war.

які можуть вбивати людей на війні.

It's ethics all the way down.

Це все одно проблема моралі.

Machine intelligence is here.

Це машинний інтелект.

We're now using computation to make all sort of decisions,

Сьогодні ми використовуємо комп'ютеризацію, щоб ухвалювати будь-які рішення,

but also new kinds of decisions.

а також для нових рішень.

We're asking questions to computation that have no single right answers,

Ми ставимо запитання машинам, які не мають чітких правильних відповідей,

that are subjective

суб'єктивних,

and open-ended and value-laden.

відкритих і заснованих на ідеях цінностей.

We're asking questions like,

Ми ставимо запитання на кшталт:

"Who should the company hire?"

"Кого компанії варто найняти?"

"Which update from which friend should you be shown?"

"Новини якого друга потрібно показати?"

"Which convict is more likely to reoffend?"

"Який злочинець може знову порушити закон?"

"Which news item or movie should be recommended to people?"

"Яку новину або фільм слід рекомендувати людям?"

Look, yes, we've been using computers for a while,

Так, ми постійно використовували комп'ютери,

but this is different.

але це інше.

This is a historical twist,

Це історичний поворот,

because we cannot anchor computation for such subjective decisions

адже не можна передати комп'ютерам відповідальність за такі суб'єктивні рішення,

the way we can anchor computation for flying airplanes, building bridges,

так як передаємо за управління літаками, будування мостів,

going to the moon.

польоти на Місяць.

Are airplanes safer? Did the bridge sway and fall?

Хіба літаки безпечніші? Мости не хиталися і не падали?

There, we have agreed-upon, fairly clear benchmarks,

У нас є загальноприйняті, цілком зрозумілі критерії порівняння,

and we have laws of nature to guide us.

і є закони природи, які нами керують.

We have no such anchors and benchmarks

У нас немає таких підстав та критеріїв,

for decisions in messy human affairs.

щоб ухвалювати рішення стосовно брудних людських справ.

To make things more complicated, our software is getting more powerful,

Програмне забезпечення стає потужнішим, щоб зробити деякі речі складнішими,

but it's also getting less transparent and more complex.

але водночас стає прозорішим і заплутанішим.

Recently, in the past decade,

За останніх десять років

complex algorithms have made great strides.

заплутані алгоритми досягли великого успіху.

They can recognize human faces.

Вони можуть розпізнавати обличчя людей.

They can decipher handwriting.

Можуть розшифрувати почерк.

They can detect credit card fraud

Можуть знайти кредитних шахраїв,

and block spam

блокувати спам,

and they can translate between languages.

перекладати з мови на мову.

They can detect tumors in medical imaging.

Вони можуть виявити пухлини на рентгені.

They can beat humans in chess and Go.

Обіграти людей в шахи чи "Ґо".

Much of this progress comes from a method called "machine learning."

Велика частина цього прогресу прийшла з методу "машинного навчання".

Machine learning is different than traditional programming,

Машинне навчання відрізняється від традиційного програмування,

where you give the computer detailed, exact, painstaking instructions.

коли ви даєте комп'ютеру детальні, точні, досконалі інструкції.

It's more like you take the system and you feed it lots of data,

Це більше схоже на те, коли ви берете систему і наповнюєте її інформацією,

including unstructured data,

зокрема неструктурованою,

like the kind we generate in our digital lives.

схожою на ту, що ми генеруємо у цифровому житті.

And the system learns by churning through this data.

І система вчиться на обробці цієї інформації.

And also, crucially,

Також важливо,

these systems don't operate under a single-answer logic.

що системи не виконують завдання, пов'язані із необхідністю знайти єдину відповідь.

They don't produce a simple answer; it's more probabilistic:

Вони не дають просту відповідь, виходячи з теорії імовірностей.

"This one is probably more like what you're looking for."

"Ось щось схоже на те, що ви шукаєте".

Now, the upside is: this method is really powerful.

Тепер позитивний аспект: цей метод справді потужний.

The head of Google's AI systems called it,

Директор Google's AI systems називає його

"the unreasonable effectiveness of data."

"ірраціональною ефективністю даних".

The downside is,

Мінусом є те,

we don't really understand what the system learned.

що ми насправді не розуміємо, про що дізнається система.

In fact, that's its power.

Насправді, в цьому сила системи.

This is less like giving instructions to a computer;

Це не схоже на ситуацію, коли ми даємо комп'ютеру інструкції,

it's more like training a puppy-machine-creature

а, скоріше, на формування маленької машинної істоти,

we don't really understand or control.

яку ми насправді не розуміємо і не контролюємо.

So this is our problem.

Тому це наша проблема.

It's a problem when this artificial intelligence system gets things wrong.

Проблемно, коли система штучного інтелекту засвоює інформацію неправильно.

It's also a problem when it gets things right,

Також проблемно, коли вона засвоює інформацію правильно,

because we don't even know which is which when it's a subjective problem.

тому що ми не знаємо, хто є хто, коли це суб'єктивна проблема.

We don't know what this thing is thinking.

Ми не знаємо, про що ця річ думає.

So, consider a hiring algorithm --

Розглянемо алгоритм найму на роботу -

a system used to hire people, using machine-learning systems.

система, яку застосовують для найму людей, використовує системи машинного навчання.

Such a system would have been trained on previous employees' data

Така система підготовлена на даних попередніх працівників

and instructed to find and hire

і навчена шукати і наймати

people like the existing high performers in the company.

людей, подібних до найкращих працівників компанії.

Sounds good.

Звучить добре.

I once attended a conference

Одного разу я відвідала конференцію,

that brought together human resources managers and executives,

яку проводили керівники відділів кадрів та члени правління,

high-level people,

люди на високих посадах,

using such systems in hiring.

які використовують такі системи.

They were super excited.

Вони були в захопленні.

They thought that this would make hiring more objective, less biased,

Вони думали, що це зробить прийом на роботу більш об'єктивним, менш упередженим,

and give women and minorities a better shot

і дасть жінкам і представникам меншин більше шансів,

against biased human managers.

ніж упереджені менеджери.

And look -- human hiring is biased.

Найм людей на роботу - справа упереджена.

I know.

Я знаю.

I mean, in one of my early jobs as a programmer,

На одній із перших компаній, де я програмувала,

my immediate manager would sometimes come down to where I was

моя безпосередня керівничка деколи підходила до мене

really early in the morning or really late in the afternoon,

рано-вранці або пізно ввечері,

and she'd say, "Zeynep, let's go to lunch!"

і казала: "Зейнеп, ідемо обідати!"

I'd be puzzled by the weird timing.

Я була здивована дивним вибором часу.

It's 4pm. Lunch?

16:00. Обід?

I was broke, so free lunch. I always went.

Ці сумнівні обіди мене ледь не розорили. Але я завжди йшла.

I later realized what was happening.

Пізніше я усвідомила, що відбувалося.

My immediate managers had not confessed to their higher-ups

Мої безпосередні начальники не могли зізнатися вищому керівництву,

that the programmer they hired for a serious job was a teen girl

що найняли для серйозної роботи дівчинку-підлітка,

who wore jeans and sneakers to work.

яка на роботу ходить у джинсах і кедах.

I was doing a good job, I just looked wrong

Я добре працювала, але виглядала неправильно

and was the wrong age and gender.

і була неправильного віку і статі.

So hiring in a gender- and race-blind way

Тому найм без врахування статі і раси

certainly sounds good to me.

безсумнівно мені підходив.

But with these systems, it is more complicated, and here's why:

Але з такими системами цей процес ще заплутаніший, і ось чому:

Currently, computational systems can infer all sorts of things about you

останнім часом комп'ютерні системи можуть зробити будь-які висновки про вас,

from your digital crumbs,

враховуючи цифрові дрібниці,

even if you have not disclosed those things.

навіть якщо ви про ці висновки не підозрюєте.

They can infer your sexual orientation,

Вони можуть робити висновки про сексуальну орієнтацію,

your personality traits,

персональні якості,

your political leanings.

політичні погляди.

They have predictive power with high levels of accuracy.

Вони можуть передбачати з високим рівнем точності.

Remember -- for things you haven't even disclosed.

Пам'ятайте - речі, про які ви навіть не підозрюєте.

This is inference.

Це припущення.

I have a friend who developed such computational systems

У мене є подруга, яка удосконалює такі системи,

to predict the likelihood of clinical or postpartum depression

щоб передбачити ймовірність клінічної чи післяпологової депресії,

from social media data.

аналізуючи соціальні мережі.

The results are impressive.

Результати вражаючі.

Her system can predict the likelihood of depression

ЇЇ система може передбачити ймовірність депресії

months before the onset of any symptoms --

за місяці перед проявом симптомів -

months before.

за місяці.

No symptoms, there's prediction.

Передбачення без симптомів.

She hopes it will be used for early intervention. Great!

Вона сподівається, що систему застосують для втручання на ранній стадії. Чудово!

But now put this in the context of hiring.

Розгляньте це в контексті найму на роботу.

So at this human resources managers conference,

На конференції керівників кадрових служб

I approached a high-level manager in a very large company,

я спілкувалася з топ-менеджеркою дуже великої компанії

and I said to her, "Look, what if, unbeknownst to you,

і сказала їй: "А якщо без вашого відома

your system is weeding out people with high future likelihood of depression?

система видаляє людей з високою ймовірністю появи депресії?

They're not depressed now, just maybe in the future, more likely.

Наразі вони не пригнічені, але можливо стануть такими в майбутньому.

What if it's weeding out women more likely to be pregnant

Що як вона видаляє жінок, які, можливо, завагітніють

in the next year or two but aren't pregnant now?

за кілька наступних років, але не вагітні зараз?

What if it's hiring aggressive people because that's your workplace culture?"

Що як вона наймає на роботу агресивних людей через корпоративну культуру?"

You can't tell this by looking at gender breakdowns.

Ви не можете цього сказати, дивлячись на гендерний баланс.

Those may be balanced.

Їх можна врівноважити.

And since this is machine learning, not traditional coding,

І так як це машинне навчання, а не традиційне програмування,

there is no variable there labeled "higher risk of depression,"

немає змінних ярликів на кшталт: "високий ризик депресії",

"higher risk of pregnancy,"

"високий ризик вагітності"

"aggressive guy scale."

чи "шкала агресивності".

Not only do you not know what your system is selecting on,

Ви не тільки не знаєте, що саме система візьме до уваги,

you don't even know where to begin to look.

ви навіть не знаєте, де це починати шукати.

It's a black box.

Це чорна скринька.

It has predictive power, but you don't understand it.

Система має силу передбачення, але ви її не розумієте.

"What safeguards," I asked, "do you have

Я запитала: "Які запобіжні заходи у вас є,

to make sure that your black box isn't doing something shady?"

щоб упевнитись, що ця чорна скринька не робить нічого підозрілого?"

She looked at me as if I had just stepped on 10 puppy tails.

Вона подивилась на мене так, ніби я наступила щеняті на хвіст.

(Laughter)

(Сміх)

She stared at me and she said,

Пильно подивилася на мене і сказала:

"I don't want to hear another word about this."

"Я більше не хочу нічого про це чути".

And she turned around and walked away.

А тоді повернулася і пішла геть.

Mind you -- she wasn't rude.

Зауважте - вона була вихована.

It was clearly: what I don't know isn't my problem, go away, death stare.

Було зрозуміло: те, чого я не знаю - не моя проблема. Іди геть; вбивчий погляд.

(Laughter)

(Сміх)

Look, such a system may even be less biased

Деколи такі системи можуть бути менш упереджені,

than human managers in some ways.

ніж керівники відділів кадрів.

And it could make monetary sense.

І це може бути матеріально виправдано.

But it could also lead

Але також це може призвести

to a steady but stealthy shutting out of the job market

до постійного і приховуваного виштовхування з ринку праці

of people with higher risk of depression.

людей з високим ризиком розвитку депресії.

Is this the kind of society we want to build,

Це таке суспільство, яке ми хочемо будувати,

without even knowing we've done this,

навіть не знаючи, що ми це зробили,

because we turned decision-making to machines we don't totally understand?

тому що ми доручили ухвалення рішень машинам, яких повністю не розуміємо.

Another problem is this:

Є й інша проблема:

these systems are often trained on data generated by our actions,

часто ці програми базуються на інформації, пов'язаній з нашими діями,

human imprints.

на людських враженнях.

Well, they could just be reflecting our biases,

Вони можуть відображати наші упередження,

and these systems could be picking up on our biases

можуть їх засвоїти

and amplifying them

і підсилити

and showing them back to us,

і повернути їх проти нас,

while we're telling ourselves,

тоді як ми кажемо:

"We're just doing objective, neutral computation."

"Ми робимо об'єктивний, нейтральний розрахунок".

Researchers found that on Google,

Дослідники виявили, що в Google

women are less likely than men to be shown job ads for high-paying jobs.

жінкам рідше пропонують оголошення про високооплачувану роботу.

And searching for African-American names

І під час пошуку афро-американських імен

is more likely to bring up ads suggesting criminal history,

частіше з'являються рекламні оголошення про кримінальні історії,

even when there is none.

які навіть не стосуються пошуку.

Such hidden biases and black-box algorithms

Такі приховані упередження і алгоритми "чорної скриньки",

that researchers uncover sometimes but sometimes we don't know,

що їх дослідники деколи виявляють, а деколи ми про них навіть не знаємо,

can have life-altering consequences.

можуть мати життєвоважливі наслідки.

In Wisconsin, a defendant was sentenced to six years in prison

У Вісконсині підсудний був засуджений до шести років у в'язниці

for evading the police.

за непокору поліції.

You may not know this,

Можливо, ви цього не знаєте,

but algorithms are increasingly used in parole and sentencing decisions.

але алгоритми все частіше використовують для визначення міри покарання.

He wanted to know: How is this score calculated?

Він хотів знати, як визначили цей показник.

It's a commercial black box.

Вигідна "чорна скринька".

The company refused to have its algorithm be challenged in open court.

Компанію, яка відмовилась від цього алгоритму, викликали на судове засідання.

But ProPublica, an investigative nonprofit, audited that very algorithm

Некомерційна слідча компанія ProPublica перевірила той самий алгоритм

with what public data they could find,

з публічними даними, які вони могли знайти,

and found that its outcomes were biased

і з'ясувала, що такі висновки були необ'єктивні,

and its predictive power was dismal, barely better than chance,

а здатність передбачення була мізерна, мало відрізнялася від випадковості

and it was wrongly labeling black defendants as future criminals

і помилково маркувала чорношкірих обвинувачуваних, як майбутніх злочинців,

at twice the rate of white defendants.

в двічі частіше, ніж білих обвинувачуваних.

So, consider this case:

Розглянемо такий випадок:

This woman was late picking up her godsister

ця дівчина трохи запізно приїхала забирати свою сестру

from a school in Broward County, Florida,

зі школи в окрузі Бровард, Флорида,

running down the street with a friend of hers.

і бігла по вулиці зі своїми друзями.

They spotted an unlocked kid's bike and a scooter on a porch

Вони помітили неприщіпнутий на замок дитячий велосипед і самокат на терасі

and foolishly jumped on it.

і здуру стрибнули на нього.

As they were speeding off, a woman came out and said,

Коли вони втікали, вийшла жінка і сказала:

"Hey! That's my kid's bike!"

"Ей! Це велосипед моєї дитини!"

They dropped it, they walked away, but they were arrested.

Вони кинули велосипед і втікли, але їх арештували.

She was wrong, she was foolish, but she was also just 18.

Дівчина вчинила неправильно і нерозважливо, але ж їй було всього 18.

She had a couple of juvenile misdemeanors.

Вона скоїла декілька незначних правопорушень.

Meanwhile, that man had been arrested for shoplifting in Home Depot --

Тим часом цього чоловіка арештували за крадіжку в магазині Home Depot -

85 dollars' worth of stuff, a similar petty crime.

він вкрав речей на 85 доларів, такий же маленький злочин.

But he had two prior armed robbery convictions.

Але до цього його двічі засудили за збройні напади.

But the algorithm scored her as high risk, and not him.

Однак алгоритм визначив, що вона небезпечніша за нього.

Two years later, ProPublica found that she had not reoffended.

Через два роки ProPublica з'ясувала, що вона знову порушила закон.

It was just hard to get a job for her with her record.

І з такими даними їй було важко отримати роботу.

He, on the other hand, did reoffend

З іншого боку, той чоловік знову порушив закон

and is now serving an eight-year prison term for a later crime.

і тепер відбуває восьмирічний термін за останній злочин.

Clearly, we need to audit our black boxes

Нам треба перевірити ці "чорні скриньки"

and not have them have this kind of unchecked power.

і не наділяти їх такою неперевіреною силою.

(Applause)

(Оплески)

Audits are great and important, but they don't solve all our problems.

Перевірки - це дуже важливо, але вони не розв'язують всіх наших проблем.

Take Facebook's powerful news feed algorithm --

Розглянемо потужний алгоритм стрічки новин у Фейсбуці -

you know, the one that ranks everything and decides what to show you

той, що упорядковує все і вирішує, що вам показати

from all the friends and pages you follow.

з усіх сторінок, на які ви підписані.

Should you be shown another baby picture?

Розказати про ще одну "дитячу картину"?

(Laughter)

(Сміх)

A sullen note from an acquaintance?

Сумний пост знайомого?

An important but difficult news item?

Важлива, але неприємна новина?

There's no right answer.

Немає правильної відповіді.

Facebook optimizes for engagement on the site:

Фейсбук враховує активність на сайті:

likes, shares, comments.

лайки, репости, коментарі.

In August of 2014,

У серпні 2014

protests broke out in Ferguson, Missouri,

почалися протести у місті Ферґюсон, штат Міссуррі,

after the killing of an African-American teenager by a white police officer,

після того. як білий поліцейський вбив афро-американського підлітка

under murky circumstances.

за незрозумілих обставин.

The news of the protests was all over

Новини про ці протести заполонили

my algorithmically unfiltered Twitter feed,

мою невідфільтровану стрічку новин у Твіттері,

but nowhere on my Facebook.

але їх не було на моєму Фейсбуці.

Was it my Facebook friends?

Справа у моїх друзях на Фейсбуці?

I disabled Facebook's algorithm,

Алгоритм Фейсбука вибив мене з колії,

which is hard because Facebook keeps wanting to make you

він складний, тому що Фейсбук підтримує бажання

come under the algorithm's control,

знаходитися під контролем алгоритму,

and saw that my friends were talking about it.

і бачити, що мої друзі говорили про це.

It's just that the algorithm wasn't showing it to me.

Це саме те, що алгоритм не показав мені.

I researched this and found this was a widespread problem.

Я досліджувала цю проблему, і виявилось, що вона досить поширена.

The story of Ferguson wasn't algorithm-friendly.

Історія про Ферґюсон не подобалась алгоритму.

It's not "likable."

Її не "лайкали".

Who's going to click on "like?"

Хто вподобає такий запис?

It's not even easy to comment on.

Її навіть непросто прокоментувати.

Without likes and comments,

Без вподобань і коментарів

the algorithm was likely showing it to even fewer people,

алгоритм показував цей запис жменьці людей,

so we didn't get to see this.

тому ми його не побачили.

Instead, that week,

Навпаки, того тижня

Facebook's algorithm highlighted this,

алгоритм Фейсбука виділяв те,

which is the ALS Ice Bucket Challenge.

що називають Ice Bucket Challenge.

Worthy cause; dump ice water, donate to charity, fine.

Суспільно значуща справа: обливаєш себе холодною водою заради благодійності.

But it was super algorithm-friendly.

Але це дуже подобалось алгоритму.

The machine made this decision for us.

За нас це рішення прийняла машина.

A very important but difficult conversation

Дуже важливе, але заплутане обговорення

might have been smothered,

могло бути придушене,

had Facebook been the only channel.

якби Фейсбук мав лише одну стрічку новин.

Now, finally, these systems can also be wrong

Зрештою, ці системи можуть помилятися

in ways that don't resemble human systems.

так, як цього не допустить людський ресурс.

Do you guys remember Watson, IBM's machine-intelligence system

Пам'ятаєте систему штучного інтелекту Watson,

that wiped the floor with human contestants on Jeopardy?

що витирала підлогу, змагаючись з людьми на телегрі Jeopardy?

It was a great player.

Вона була чудовим гравцем.

But then, for Final Jeopardy, Watson was asked this question:

Але у фіналі Watson запитали:

"Its largest airport is named for a World War II hero,

"Його найбільший аеропорт назвали на честь героя Другої світової війни,

its second-largest for a World War II battle."

а другий за розміром - на честь битви Другої світової війни".

(Hums Final Jeopardy music)

(Музика з фіналу Jeopardy)

Chicago.

Чикаго.

The two humans got it right.

Дві людини відповіли правильно.

Watson, on the other hand, answered "Toronto" --

Натомість Watson відповів "Торонто" -

for a US city category!

і це в категорії міст США!

The impressive system also made an error

Вражаючі системи також робили помилки,

that a human would never make, a second-grader wouldn't make.

яких людина ніколи не допустила б, яких не зробив би навіть другокласник.

Our machine intelligence can fail

Штучний інтелект може провалитися так,

in ways that don't fit error patterns of humans,

як люди зазвичай не помиляються,

in ways we won't expect and be prepared for.

так, як ми не будемо сподіватися і не будемо до цього готові.

It'd be lousy not to get a job one is qualified for,

Кепсько не отримати роботу, до якої підходить твоя кваліфікація,

but it would triple suck if it was because of stack overflow

але ще гірше не отримати її через переповнення стека

in some subroutine.

в якійсь програмі.

(Laughter)

(Сміх)

In May of 2010,

У травні 2010

a flash crash on Wall Street fueled by a feedback loop

різкий обвал на Волл-Стріт, спричинений циклом зворотнього зв'язку

in Wall Street's "sell" algorithm

в "торговому" алгоритмі,

wiped a trillion dollars of value in 36 minutes.

знищив трильйон доларів за 36 хвилин.

I don't even want to think what "error" means

Я навіть не хочу думати, що "помилка" означає

in the context of lethal autonomous weapons.

в контексті атомної системи летального озброєння.

So yes, humans have always made biases.

Так, люди завжди досить упереджені.

Decision makers and gatekeepers,

Ті, хто ухвалює рішення і цензори

in courts, in news, in war ...

в судах, у новинах, на війні...

they make mistakes; but that's exactly my point.

вони помиляються; але у цьому й річ.

We cannot escape these difficult questions.

Ми не можемо уникнути цих заплутаних питань.

We cannot outsource our responsibilities to machines.

Ми не можемо перекладати відповідальність на машини.

(Applause)

(Оплески)

Artificial intelligence does not give us a "Get out of ethics free" card.

Штучний інтелект не дає нам картку "звільнення від моральних норм".

Data scientist Fred Benenson calls this math-washing.

Фахівець з обробки даних Фред Бененсон називає це математичною чисткою.

We need the opposite.

Нам треба щось протилежне.

We need to cultivate algorithm suspicion, scrutiny and investigation.

Нам треба удосконалювати підозри, вивчення і дослідження алгоритмів.

We need to make sure we have algorithmic accountability,

Треба впевнитись, що у нас є алгоритмічна звітність,

auditing and meaningful transparency.

перевірка і повноцінна прозорість.

We need to accept that bringing math and computation

Треба прийняти те, що залучення комп'ютерів до безладних

to messy, value-laden human affairs

людських справ, заснованих на цінностях,

does not bring objectivity;

не гарантують об'єктивності;

rather, the complexity of human affairs invades the algorithms.

алгоритмам, навпаки, передалася заплутаність людських справ.

Yes, we can and we should use computation

Так, нам можна і треба використовувати комп'ютери,

to help us make better decisions.

щоб ухвалювати кращі рішення.

But we have to own up to our moral responsibility to judgment,

Але ми маємо підкорятися моральній відповідальності за вироки суду

and use algorithms within that framework,

і використовувати алгоритми максимум як структуру,

not as a means to abdicate and outsource our responsibilities

а не як засіб відмовитися і перекласти відповідальність

to one another as human to human.

на когось ще, як людина на людину.

Machine intelligence is here.

Штучний інтелект тут.

That means we must hold on ever tighter

І це означає, що ми мусимо триматись ще сильніше

to human values and human ethics.

за людські цінності і людську мораль.

Thank you.

Дякую.

(Applause)

(Оплески)