The ethical dilemma of self-driving cars - Patrick Lin

Переводчик: Anastasia Gurova Редактор: Ростислав Голод

This is a thought experiment.

Проведём мысленный эксперимент.

Let's say at some point in the not so distant future,

Скажем, однажды в не столь отдалённом будущем

you're barreling down the highway in your self-driving car,

вы мчитесь по шоссе на своём беспилотном автомобиле

and you find yourself boxed in on all sides by other cars.

и оказываетесь окружены другими автомобилями со всех сторон.

Suddenly, a large, heavy object falls off the truck in front of you.

Внезапно крупный тяжёлый предмет сваливается с грузовика перед вами.

Your car can't stop in time to avoid the collision,

Ваше авто не может вовремя остановиться — столкновение неизбежно,

so it needs to make a decision:

поэтому оно должно принять решение:

go straight and hit the object,

двигаться прямо и столкнуться с предметом,

swerve left into an SUV,

сдать в левую полосу и столкнуться с внедорожником

or swerve right into a motorcycle.

или — вправо и столкнуться с мотоциклом.

Should it prioritize your safety by hitting the motorcycle,

Стоит ли автомобилю позаботиться о вашей безопасности

и въехать в мотоцикл,

minimize danger to others by not swerving,

или обезопасить остальных и не сворачивать,

even if it means hitting the large object and sacrificing your life,

даже если это значит столкнуться с крупным объектом

и пожертвовать вашей жизнью,

or take the middle ground by hitting the SUV,

или выбрать золотую середину и столкнуться с внедорожником

which has a high passenger safety rating?

с высоким уровнем безопасности пассажиров.

So what should the self-driving car do?

Что должен сделать беспилотный автомобиль?

If we were driving that boxed in car in manual mode,

Если бы мы самостоятельно управляли автомобилем,

whichever way we'd react would be understood as just that,

то как бы мы ни поступили, это бы воспринималось как реакция,

a reaction,

not a deliberate decision.

а не как осознанное решение.

It would be an instinctual panicked move with no forethought or malice.

Инстинктивное, паническое действие без какого-либо злого умысла.

But if a programmer were to instruct the car to make the same move,

Но если бы программист дал машине инструкции так поступить,

given conditions it may sense in the future,

учитывая, что она окажется в подобных условиях в будущем,

well, that looks more like premeditated homicide.

тогда это будет больше похоже на умышленное убийство.

Now, to be fair,

Если серьёзно,

self-driving cars are predicted to dramatically reduce traffic accidents

то прогнозируется, что благодаря беспилотным автомобилям

произойдёт значительное снижение числа ДТП,

and fatalities

by removing human error from the driving equation.

в том числе со смертельным исходом,

ведь ошибка водителя будет исключена из факторов дорожного движения.

Plus, there may be all sorts of other benefits:

К тому же есть множество других преимуществ:

eased road congestion,

снижение числа пробок на дорогах,

decreased harmful emissions,

снижение вредных выбросов,

and minimized unproductive and stressful driving time.

сведение к минимуму непродуктивного времени

и уровня стресса за рулём.

But accidents can and will still happen,

Но аварии всё же могут и будут происходить,

and when they do,

и когда произойдут,

their outcomes may be determined months or years in advance

их исход может быть предопределён за месяцы или даже годы до этого

by programmers or policy makers.

программистами или законодателями.

And they'll have some difficult decisions to make.

И им придётся принимать достаточно сложные решения.

It's tempting to offer up general decision-making principles,

Довольно заманчиво предложить универсальные принципы принятия решений,

like minimize harm,

например сведение ущерба к минимуму,

but even that quickly leads to morally murky decisions.

но даже тогда это приведёт к сомнительным моральным решениям.

For example,

let's say we have the same initial set up,

Например, у нас те же изначальные условия,

but now there's a motorcyclist wearing a helmet to your left

но теперь слева от вас едет мотоциклистка в шлеме,

and another one without a helmet to your right.

а справа — тоже мотоциклист, но без шлема.

Which one should your robot car crash into?

С кем должен столкнуться ваш беспилотный автомобиль?

If you say the biker with the helmet because she's more likely to survive,

Если вы выберете мотоциклистку в шлеме, потому что у неё больше шансов выжить,

then aren't you penalizing the responsible motorist?

не наказываете ли вы тем самым ответственных водителей?

If, instead, you save the biker without the helmet

Если же, наоборот, вы выбираете байкера без шлема,

because he's acting irresponsibly,

потому что он поступает безответственно,

then you've gone way beyond the initial design principle about minimizing harm,

тогда вы выходите за рамки изначального принципа

о сведении ущерба к минимуму,

and the robot car is now meting out street justice.

а ваш робот-автомобиль ещё и сам наказывает нарушителей.

The ethical considerations get more complicated here.

Этические соображения становятся здесь ещё сложнее.

In both of our scenarios,

В обоих сценариях

the underlying design is functioning as a targeting algorithm of sorts.

заложен принцип, который действует как некий направленный алгоритм.

In other words,

Другими словами,

it's systematically favoring or discriminating

он последовательно принимает или отбрасывает

against a certain type of object to crash into.

определённый тип объекта для столкновения.

And the owners of the target vehicles

И владельцы выбранных автомобилей

will suffer the negative consequences of this algorithm

столкнутся с негативными последствиями этого алгоритма

through no fault of their own.

не по своей вине.

Our new technologies are opening up many other novel ethical dilemmas.

В связи с новыми технологиями возникает всё больше новых этических дилемм.

For instance, if you had to choose between

Например, если бы вам пришлось выбирать

a car that would always save as many lives as possible in an accident,

между автомобилем, который сохраняет наибольшее количество жизней в аварии,

or one that would save you at any cost,

и тем, который спасёт вашу жизнь любой ценой,

which would you buy?

какой бы вы приобрели?

What happens if the cars start analyzing and factoring in

Что произойдёт, если машины станут анализировать и выделять

the passengers of the cars and the particulars of their lives?

отдельных пассажиров и особенности их жизней?

Could it be the case that a random decision

Возможно ли, что спонтанное решение

is still better than a predetermined one designed to minimize harm?

всё же лучше заранее продуманного с целью минимизации ущерба?

And who should be making all of these decisions anyhow?

И кто должен принимать все эти решения?

Programmers? Companies? Governments?

Программисты?

Производители автомобилей?

Государственные власти?

Reality may not play out exactly like our thought experiments,

Реальность может не совсем совпадать с нашим мысленным экспериментом,

but that's not the point.

но дело не в этом,

They're designed to isolate and stress test our intuitions on ethics,

ведь эксперименты создаются для выявления и проверки

нашей интуиции в вопросах этики,

just like science experiments do for the physical world.

так же как научные эксперименты изучают физический мир.

Spotting these moral hairpin turns now

Обнаружение подобных моральных «виражей» сейчас

will help us maneuver the unfamiliar road of technology ethics,

поможет нам лучше маневрировать на незнакомой дороге этики прогресса

and allow us to cruise confidently and conscientiously

и позволит нам уверенно и добросовестно мчаться

into our brave new future.

навстречу прекрасному новому миру.