How to get empowered, not overpowered, by AI | Max Tegmark

Переводчик: Elena Malykh Редактор: Natalia Ost

After 13.8 billion years of cosmic history,

Спустя 13 миллиардов 800 миллионов лет с начала истории космоса

our universe has woken up

наша вселенная проснулась

and become aware of itself.

и осознала себя.

From a small blue planet,

С маленькой голубой планеты

tiny, conscious parts of our universe have begun gazing out into the cosmos

крошечные сознательные частички вселенной начали пристально всматриваться в космос

with telescopes,

через телескопы и увидели нечто, по сравнению с чем, они совсем малы.

discovering something humbling.

We've discovered that our universe is vastly grander

Мы увидели, что наш мир неизмеримо больше,

than our ancestors imagined

чем воображали наши предки,

and that life seems to be an almost imperceptibly small perturbation

и что жизнь кажется невообразимо маленьким колебанием

on an otherwise dead universe.

во всей остальной мёртвой вселенной.

But we've also discovered something inspiring,

Но мы также открыли нечто вдохновляющее,

which is that the technology we're developing has the potential

то, что развиваемые нами технологии имеют потенциал,

to help life flourish like never before,

чтобы помочь жизни расцвести, как никогда раньше,

not just for centuries but for billions of years,

не только в течение столетий, но и миллиардов лет,

and not just on earth but throughout much of this amazing cosmos.

не только на земле, но и на большей части удивительного космического пространства.

I think of the earliest life as "Life 1.0"

Я думаю о самой ранней форме жизни, как о «Жизни 1.0»,

because it was really dumb,

так как она была безмозглой,

like bacteria, unable to learn anything during its lifetime.

как бактерия, которая не в состоянии ничему научиться за всю свою жизнь.

I think of us humans as "Life 2.0" because we can learn,

Я думаю о нас, о людях, как о «Жизни 2.0», потому что мы умеем учиться,

which we in nerdy, geek speak,

говоря скучным языком зануд,

might think of as installing new software into our brains,

назовём установкой нового ПО в наш мозг,

like languages and job skills.

например, языков и профессиональных навыков.

"Life 3.0," which can design not only its software but also its hardware

«Жизнь 3.0», которая сможет создавать не только программы, но и «железо»,

of course doesn't exist yet.

конечно же, ещё не существует.

But perhaps our technology has already made us "Life 2.1,"

Но, возможно, наши технологии создали для нас «Жизнь 2.1»

with our artificial knees, pacemakers and cochlear implants.

с искусственными коленными суставами, стимуляторами и кохлеарными имплантами.

So let's take a closer look at our relationship with technology, OK?

Но давайте рассмотрим наши взаимоотношения с технологиями.

As an example,

К примеру,

the Apollo 11 moon mission was both successful and inspiring,

лунная миссия Аполлон 11 была и успешной, и вдохновляющей,

showing that when we humans use technology wisely,

она показала, что когда мы, люди, разумно используем технологии,

we can accomplish things that our ancestors could only dream of.

то можем достичь таких результатов, о которых наши предки могли лишь мечтать.

But there's an even more inspiring journey

Но существует даже более вдохновляющее путешествие,

propelled by something more powerful than rocket engines,

движимое чем-то более мощным, чем ракетные двигатели,

where the passengers aren't just three astronauts

где пассажирами являются не просто три астронавта,

but all of humanity.

а всё человечество.

Let's talk about our collective journey into the future

Давайте поговорим о нашем совместном пути в будущее,

with artificial intelligence.

будущее с искусственным интеллектом.

My friend Jaan Tallinn likes to point out that just as with rocketry,

Мой друг Яан Таллинн любит отмечать, что, как и с ракетной индустрией,—

it's not enough to make our technology powerful.

этого недостаточно, чтобы сделать наши технологии мощными.

We also have to figure out, if we're going to be really ambitious,

Мы также должны понять, если хотим ставить перед собой высокие цели,

how to steer it

как ими управлять,

and where we want to go with it.

и куда мы хотим с ними пойти.

So let's talk about all three for artificial intelligence:

Итак, давайте мы обсудим все три пункта, касающиеся ИИ:

the power, the steering and the destination.

мощность, управление и назначение.

Let's start with the power.

Начнём с мощности:

I define intelligence very inclusively --

я даю обобщённое определение интеллекта —

simply as our ability to accomplish complex goals,

как нашей способности достигать сложных целей,

because I want to include both biological and artificial intelligence.

потому что я хочу объединить биологический и искусственный интеллект.

And I want to avoid the silly carbon-chauvinism idea

Я не хочу фанатично следовать глупой углеродо-центричной идее,

that you can only be smart if you're made of meat.

что умным бывает, только то, что состоит из мяса.

It's really amazing how the power of AI has grown recently.

Поразительно, как сегодня выросла мощь искусственного интеллекта.

Just think about it.

Только вдумайтесь.

Not long ago, robots couldn't walk.

Не так давно роботы не умели ходить.

Now, they can do backflips.

Теперь они делают сальто назад.

Not long ago,

Не так давно у нас не было

we didn't have self-driving cars.

беспилотных автомобилей.

Now, we have self-flying rockets.

Теперь у нас есть беспилотные ракеты.

Not long ago,

Не так давно

AI couldn't do face recognition.

ИИ не мог распознавать лица.

Now, AI can generate fake faces

Теперь ИИ может генерировать несуществующие лица

and simulate your face saying stuff that you never said.

и имитировать ваше лицо, вкладывая вам в уста чужие слова.

Not long ago,

Не так давно

AI couldn't beat us at the game of Go.

ИИ не мог обыграть нас в игре в го.

Then, Google DeepMind's AlphaZero AI took 3,000 years of human Go games

Затем ИИ Alpha Zero от Google Deep Mind взял 3000-летний опыт людей игры в го

and Go wisdom,

и всю мудрость этой игры,

ignored it all and became the world's best player by just playing against itself.

всем этим пренебрёг и стал лидером, играя лишь против себя.

And the most impressive feat here wasn't that it crushed human gamers,

И самым впечатляющим был не тот факт, что он нанёс поражение игрокам,

but that it crushed human AI researchers

но то, что он сокрушил самих учёных, занимающихся ИИ,

who had spent decades handcrafting game-playing software.

тех, кто положил на это десятилетия, создавая вручную программное обеспечение.

And AlphaZero crushed human AI researchers not just in Go but even at chess,

И Alpha Zero победил исследователей ИИ не только в го, но даже и в шахматах,

which we have been working on since 1950.

над которыми мы работали, начиная с 1950 года.

So all this amazing recent progress in AI really begs the question:

И поэтому этот недавний прогресс в ИИ заставляет нас поднять вопрос:

How far will it go?

куда всё это ведёт?

I like to think about this question

Я люблю думать над этим вопросом,

in terms of this abstract landscape of tasks,

исходя из этого абстрактного ландшафта задач,

where the elevation represents how hard it is for AI to do each task

где подъём означает то, насколько трудно для ИИ выполнять каждую задачу

at human level,

так, как делает человек,

and the sea level represents what AI can do today.

а уровень моря показывает то, что ИИ может делать уже сегодня.

The sea level is rising as AI improves,

С развитием ИИ повышается уровень моря;

so there's a kind of global warming going on here in the task landscape.

в этом ландшафте задач происходит что-то наподобие глобального потепления.

And the obvious takeaway is to avoid careers at the waterfront --

Очевидный вывод — избегать занятий на береговой линии,

(Laughter)

(Смех)

which will soon be automated and disrupted.

которая очень скоро будет автоматизирована и разрушена.

But there's a much bigger question as well.

Но здесь возникает более важный вопрос.

How high will the water end up rising?

Насколько высоко поднимется вода?

Will it eventually rise to flood everything,

Повысится ли её уровень в итоге до всеобщего затопления,

matching human intelligence at all tasks.

соперничая с интеллектом человека во всех заданиях?

This is the definition of artificial general intelligence --

Это — определение сильного искусственного интеллекта —

AGI,

СИИ,

which has been the holy grail of AI research since its inception.

который с самого начала был святым Граалем исследований по ИИ.

By this definition, people who say,

Исходя из этого, те, кто говорит:

"Ah, there will always be jobs that humans can do better than machines,"

«Да, всегда будет работа, которую люди смогут делать лучше машин», —

are simply saying that we'll never get AGI.

попросту говорят о том, что у нас никогда не будет СИИ.

Sure, we might still choose to have some human jobs

Конечно, возможно, мы всё ещё выбираем для себя работу, выполняемую людьми,

or to give humans income and purpose with our jobs,

или даём людям цель и доход, в наших человеческих профессиях;

but AGI will in any case transform life as we know it

но СИИ, в любом случае превратит нашу жизнь, какой мы знаем, в ту жизнь,

with humans no longer being the most intelligent.

в которой люди больше не будут самыми умными существами.

Now, if the water level does reach AGI,

Итак, если уровень воды действительно достигает СИИ,

then further AI progress will be driven mainly not by humans but by AI,

затем дальнейший прогресс ИИ будет движим не людьми, а самим ИИ,

which means that there's a possibility

это значит, что есть возможность того,

that further AI progress could be way faster

что дальнейший прогресс ИИ будет более быстрым,

than the typical human research and development timescale of years,

чем типовые исследования учёных и временны́е рассчёты развития,

raising the controversial possibility of an intelligence explosion

что увеличит неоднозначную возможность интеллектуального взрыва,

where recursively self-improving AI

где рекуррентно самоулучшающийся ИИ

rapidly leaves human intelligence far behind,

быстро обгоняет человеческий интеллект,

creating what's known as superintelligence.

создавая так называемый суперинтеллект.

Alright, reality check:

Хорошо, давайте реально оценим ситуацию.

Are we going to get AGI any time soon?

Достигнем ли мы уровня СИИ в ближайшее время?

Some famous AI researchers, like Rodney Brooks,

Некоторые известные учёные, такие как Родни Брукс,

think it won't happen for hundreds of years.

считают, что в ближайшие столетия этого не будет.

But others, like Google DeepMind founder Demis Hassabis,

Но другие, такие как Демис Хассабис, основатель Google Deep Mind,

are more optimistic

более оптимистичны:

and are working to try to make it happen much sooner.

они делают всё, чтобы это произошло быстрее.

And recent surveys have shown that most AI researchers

Недавние опросы показали, что большинство исследователей ИИ

actually share Demis's optimism,

на самом деле разделяют оптимизм Демиса,

expecting that we will get AGI within decades,

ожидая того, что мы достигнем уровня СИИ в ближайшие десятилетия,

so within the lifetime of many of us,

то есть многие из нас это застанут.

which begs the question -- and then what?

Возникает вопрос: а что потом?

What do we want the role of humans to be

Какой мы хотим видеть роль людей,

if machines can do everything better and cheaper than us?

если машины смогут делать всё лучше и дешевле, чем мы?

The way I see it, we face a choice.

Я вижу это так: мы стоим перед выбором.

One option is to be complacent.

Одно из решений — самодовольство.

We can say, "Oh, let's just build machines that can do everything we can do

Мы можем говорить: «Да, давайте создавать машины, делающие всё за нас,

and not worry about the consequences.

и не беспокоиться о последствиях.

Come on, if we build technology that makes all humans obsolete,

Да что вы, если создать технологии, которые делают людей ненужными,

what could possibly go wrong?"

что может пойти не так?»

(Laughter)

(Смех)

But I think that would be embarrassingly lame.

Но я думаю, что это было бы чрезвычайно неубедительно.

I think we should be more ambitious -- in the spirit of TED.

Я думаю, что мы должны быть более амбициозными, в духе TED.

Let's envision a truly inspiring high-tech future

Давайте представим вдохновляющее высокотехнологичное будущее

and try to steer towards it.

и будем двигаться туда.

This brings us to the second part of our rocket metaphor: the steering.

Это приведёт нас ко второй части нашей ракетной метафоры: управление.

We're making AI more powerful,

Мы делаем ИИ более мощным,

but how can we steer towards a future

но как мы сможем двигаться к будущему,

where AI helps humanity flourish rather than flounder?

где ИИ помогает человечеству процветать, а не мешает развитию?

To help with this,

Чтобы помочь этому,

I cofounded the Future of Life Institute.

мы основали институт Будущего Жизни.

It's a small nonprofit promoting beneficial technology use,

Он небольшой, некоммерческий, поощряет полезные технологии.

and our goal is simply for the future of life to exist

Наша цель проста — чтобы будущая жизнь существовала

and to be as inspiring as possible.

и была как можно более вдохновляющей.

You know, I love technology.

Вы знаете, я люблю технологии.

Technology is why today is better than the Stone Age.

Из-за них мы живём лучше, чем в каменном веке.

And I'm optimistic that we can create a really inspiring high-tech future ...

Я — оптимист потому, что мы можем творить вдохновляюще высокотехнологичное будущее,

if -- and this is a big if --

если — и это большое если —

if we win the wisdom race --

если мы выиграем гонку мудрости —

the race between the growing power of our technology

гонку между растущей мощью наших технологий

and the growing wisdom with which we manage it.

и мудростью, помогающей нам ими управлять.

But this is going to require a change of strategy

Но это требует изменения стратегии,

because our old strategy has been learning from mistakes.

потому что по старой стратегии мы учились на своих ошибках.

We invented fire,

Мы изобрели огонь,

screwed up a bunch of times --

много раз ошибались,

invented the fire extinguisher.

изобрели огнетушитель.

(Laughter)

(Смех)

We invented the car, screwed up a bunch of times --

Мы изобрели автомобиль, напортачили много раз —

invented the traffic light, the seat belt and the airbag,

изобрели светофор, ремни и подушку безопасности.

but with more powerful technology like nuclear weapons and AGI,

Но с более мощными технологиями, такими как ядерное оружие и СИИ,

learning from mistakes is a lousy strategy,

учиться на ошибках — это проигрышная стратегия,

don't you think?

как вы думаете?

(Laughter)

(Смех)

It's much better to be proactive rather than reactive;

Гораздо лучше упреждать, чем исправлять последствия:

plan ahead and get things right the first time

планировать заранее, не допуская ошибок,

because that might be the only time we'll get.

посколько другого раза может и не быть.

But it is funny because sometimes people tell me,

Но это забавно, потому что иногда мне говорят:

"Max, shhh, don't talk like that.

«Макс, тсс..., не говори так.

That's Luddite scaremongering."

Это запугивание в духе луддитов».

But it's not scaremongering.

Но это не запугивание.

It's what we at MIT call safety engineering.

Это то, что мы в МТИ называем инженерной безопасностью.

Think about it:

Подумайте об этом:

before NASA launched the Apollo 11 mission,

до того, как НАСА запустили проект Аполлон 11,

they systematically thought through everything that could go wrong

они постоянно продумывали варианты, когда что-то пойдёт не так,

when you put people on top of explosive fuel tanks

прежде чем посадить людей на топливный бак

and launch them somewhere where no one could help them.

и запустить их куда-то, где никто не может им помочь.

And there was a lot that could go wrong.

Было много всего, что могло пойти не так.

Was that scaremongering?

Было ли это запугиванием?

No.

Нет.

That's was precisely the safety engineering

Именно это было инженерной безопасностью,

that ensured the success of the mission,

которая обеспечила успех миссии,

and that is precisely the strategy I think we should take with AGI.

именно такой стратегия с СИИ мы должны придерживаться.

Think through what can go wrong to make sure it goes right.

Подумайте, что может пойти не так, чтобы быть уверенными, что всё получится.

So in this spirit, we've organized conferences,

В этом духе мы и организовали конференции,

bringing together leading AI researchers and other thinkers

объединив ведущих исследователей ИИ и других мыслителей,

to discuss how to grow this wisdom we need to keep AI beneficial.

чтобы обсудить то, как взрастить мудрость, и сделать ИИ полезным для нас.

Our last conference was in Asilomar, California last year

На нашей последней конференции, состоявшейся в Асиломаре, Калифорния,

and produced this list of 23 principles

в прошлом году был выработан список из 23-х принципов,

which have since been signed by over 1,000 AI researchers

подписанный более 1 000 учёными, исследователями ИИ

and key industry leaders,

и лидерами ведущих отраслей;

and I want to tell you about three of these principles.

и я хочу рассказать вам о трёх из этих принципов.

One is that we should avoid an arms race and lethal autonomous weapons.

Первый: избегать гонки вооружений и автономных систем летального вооружения.

The idea here is that any science can be used for new ways of helping people

Смысл здесь в том, что любую науку можно использовать для помощи людям

or new ways of harming people.

или для нанесения им вреда.

For example, biology and chemistry are much more likely to be used

Например, биологию и химию, скорее всего, будут использовать

for new medicines or new cures than for new ways of killing people,

для создания новых лекарств и методов лечения, а не новых способов убийства,

because biologists and chemists pushed hard --

потому что биологи и химики изо всех сил —

and successfully --

и успешно — проталкивают

for bans on biological and chemical weapons.

запрет биологического и химического оружия.

And in the same spirit,

Точно так же

most AI researchers want to stigmatize and ban lethal autonomous weapons.

многие учёные хотят заклеймить и запретить автономные летальные комплексы.

Another Asilomar AI principle

Второй Асиломарский принцип по ИИ —

is that we should mitigate AI-fueled income inequality.

это то, что мы должны уменьшить неравенство в доходах, усиленное ИИ.

I think that if we can grow the economic pie dramatically with AI

Думаю, что если возможно при посредстве ИИ значительно увеличить экономический пирог,

and we still can't figure out how to divide this pie

и мы всё ещё не знаем, как разделить этот пирог,

so that everyone is better off,

чтобы каждый из нас жил достойно,

then shame on us.

то нам должно быть стыдно.

(Applause)

(Аплодисменты)

Alright, now raise your hand if your computer has ever crashed.

Хорошо, поднимите руки, если у вас был сбой в работе компьютера.

(Laughter)

(Смех)

Wow, that's a lot of hands.

О, лес рук.

Well, then you'll appreciate this principle

Да, тогда вы оцените этот принцип,

that we should invest much more in AI safety research,

и то, что мы должны вкладывать больше средств в безопасность ИИ,

because as we put AI in charge of even more decisions and infrastructure,

так как мы делаем ИИ более ответственным за решения и инфраструктуру.

we need to figure out how to transform today's buggy and hackable computers

Нам нужно определить, как переделать современный ненадёжный компьютер

into robust AI systems that we can really trust,

в сильные системы ИИ, которым мы можем доверять,

because otherwise,

в противном случае,

all this awesome new technology can malfunction and harm us,

вся эта потрясающая техника не сработает и навредит нам,

or get hacked and be turned against us.

или её взломают и направят против нас.

And this AI safety work has to include work on AI value alignment,

И эта работа по безопасности ИИ должна включать и выравнивание ценностей,

because the real threat from AGI isn't malice,

потому что реальная угроза от ИИ — это не зло, как показано

like in silly Hollywood movies,

в глупых голливудских фильмах,

but competence --

а способности —

AGI accomplishing goals that just aren't aligned with ours.

СИИ достигает целей, которые никак не согласуются с нашими.

For example, when we humans drove the West African black rhino extinct,

Когда в результате нашей деятельности исчезли чёрные африканские носороги,

we didn't do it because we were a bunch of evil rhinoceros haters, did we?

мы делали это не потому, что ненавидели носорогов, не так ли?

We did it because we were smarter than them

Мы это делали, поскольку были умнее их

and our goals weren't aligned with theirs.

и наши цели не соответствовали их целям.

But AGI is by definition smarter than us,

Но СИИ по определению умнее нас,

so to make sure that we don't put ourselves in the position of those rhinos

и чтобы наверняка не поставить себя в положение носорогов,

if we create AGI,

если мы создадим СИИ,

we need to figure out how to make machines understand our goals,

нам нужно определить, как заставить машины понимать наши цели,

adopt our goals and retain our goals.

принимать наши цели и придерживаться их.

And whose goals should these be, anyway?

И в любом случае, чьими целями они должны быть?

Which goals should they be?

Какими целями они должны быть?

This brings us to the third part of our rocket metaphor: the destination.

Это приводит нас к третьей части нашего сравнения с ракетой: назначение.

We're making AI more powerful,

Мы делаем ИИ более мощным,

trying to figure out how to steer it,

пытаясь понять, как им управлять,

but where do we want to go with it?

но куда мы с ним направимся?

This is the elephant in the room that almost nobody talks about --

Это слон в комнате, о котором почти никто не говорит —

not even here at TED --

даже здесь, на конференции TED —

because we're so fixated on short-term AI challenges.

потому что мы так одержимы краткосрочными проблемами с ИИ.

Look, our species is trying to build AGI,

Смотрите, человечество пытается построить СИИ,

motivated by curiosity and economics,

оно мотивировано любопытством и экономическими причинами,

but what sort of future society are we hoping for if we succeed?

но какое общество будущего мы надеемся увидеть, если это произойдёт?

We did an opinion poll on this recently,

Недавно мы сделали опрос на эту тему,

and I was struck to see

и я был поражён тем,

that most people actually want us to build superintelligence:

что большинство людей хотят построить суперразум:

AI that's vastly smarter than us in all ways.

ИИ — это то, что безусловно умнее нас во всех отношениях.

What there was the greatest agreement on was that we should be ambitious

Большинство было согласно с тем, что мы должны быть целеустремлёнными

and help life spread into the cosmos,

и помочь жизни распространиться в космос,

but there was much less agreement about who or what should be in charge.

но было намного меньше согласия в том, кто должен отвечать за это.

And I was actually quite amused

И я был даже изумлён,

to see that there's some some people who want it to be just machines.

когда понял, что есть те, кто желает, чтобы это были просто машины.

(Laughter)

(Смех)

And there was total disagreement about what the role of humans should be,

И было полное несогласие насчёт роли людей в этом процессе,

even at the most basic level,

даже на самом элементарном уровне.

so let's take a closer look at possible futures

Итак, давайте рассмотрим возможные варианты будущего,

that we might choose to steer toward, alright?

которые, может быть, мы выберем, чтобы идти к ним, хорошо?

So don't get me wrong here.

Поймите меня правильно.

I'm not talking about space travel,

Я не говорю о космическом путешествии,

merely about humanity's metaphorical journey into the future.

не просто о метафорическом путешествии человечества в будущее.

So one option that some of my AI colleagues like

И один из вариантов, который нравится моим коллегам по ИИ —

is to build superintelligence and keep it under human control,

это построить суперинтеллект и держать его под контролем человека,

like an enslaved god,

как порабощённого бога,

disconnected from the internet

оторванного от интернета

and used to create unimaginable technology and wealth

и используемого для создания невообразимых технологий и благосостояния,

for whoever controls it.

для всех, кто его контролирует.

But Lord Acton warned us

Но лорд Актон предупредил нас

that power corrupts, and absolute power corrupts absolutely,

о том, что власть развращает, а абсолютная власть развращает абсолютно;

so you might worry that maybe we humans just aren't smart enough,

поэтому вы, наверное, беспокоитесь о том, что люди недостаточно умны

or wise enough rather,

или даже недостаточно мудры,

to handle this much power.

чтобы управлять этой силой.

Also, aside from any moral qualms you might have

Ещё, кроме моральных сомнений, которые у вас могут быть

about enslaving superior minds,

по поводу порабощения превосходящего нас интеллекта,

you might worry that maybe the superintelligence could outsmart us,

вас может беспокоить, что, возможно, суперинтеллект переиграет нас,

break out and take over.

уйдёт из-под контроля и одержит над нами верх.

But I also have colleagues who are fine with AI taking over

Но у меня есть коллеги, которые нормально относятся к победе ИИ,

and even causing human extinction,

даже если это приведёт к исчезновению людей,

as long as we feel the the AIs are our worthy descendants,

до тех пор пока мы чувствуем, что ИИ — наследники, достойные нас,

like our children.

как наши дети.

But how would we know that the AIs have adopted our best values

Но как мы узнаем, что ИИ принял наши главные ценности,

and aren't just unconscious zombies tricking us into anthropomorphizing them?

и они не бессознательные зомби, которые только хотят казаться нам антропоморфными?

Also, shouldn't those people who don't want human extinction

Должны ли те люди, которые не хотят уничтожения человечества,

have a say in the matter, too?

также иметь право голоса?

Now, if you didn't like either of those two high-tech options,

Итак, если вам не нравится ни один из высокотехнологичных вариантов,

it's important to remember that low-tech is suicide

важно помнить, что устаревшие технологии — это самоубийство

from a cosmic perspective,

с глобальной точки зрения,

because if we don't go far beyond today's technology,

так как, если мы не опережаем современные технологии,

the question isn't whether humanity is going to go extinct,

вопрос не в том, исчезнет ли человечество,

merely whether we're going to get taken out

будем ли мы просто уничтожены

by the next killer asteroid, supervolcano

очередным убийцей-астероидом, супервулканом

or some other problem that better technology could have solved.

или другой проблемой, которая решалась бы с помощью технологий.

So, how about having our cake and eating it ...

Итак, как насчёт того, чтобы получить всё и сразу

with AGI that's not enslaved

с помощью СИИ, который не порабощён,

but treats us well because its values are aligned with ours?

но хорошо ведёт себя с нами, так как разделяет наши ценности?

This is the gist of what Eliezer Yudkowsky has called "friendly AI,"

В этом смысл того, что Элиезер Юдковский назвал «дружественным ИИ»,

and if we can do this, it could be awesome.

и если мы можем это сделать, было бы замечательно.

It could not only eliminate negative experiences like disease, poverty,

Он мог бы не только устранить такие явления, как болезни и бедность,

crime and other suffering,

преступления и страдания,

but it could also give us the freedom to choose

но и дал бы нам свободу выбора,

from a fantastic new diversity of positive experiences --

исходя из нового фантастического разнообразия положительного опыта —

basically making us the masters of our own destiny.

по существу, делая нас хозяевами своей судьбы.

So in summary,

Подводя итоги, хочу сказать,

our situation with technology is complicated,

что у нас сложная ситуация с технологиями,

but the big picture is rather simple.

но общая картина достаточно проста.

Most AI researchers expect AGI within decades,

Большинство учёных ожидают создания СИИ в ближайшие десятилетия,

and if we just bumble into this unprepared,

и если к его появлению мы не будем подготовленными,

it will probably be the biggest mistake in human history --

это будет величайшей ошибкой в истории человечества —

let's face it.

давайте это признаем.

It could enable brutal, global dictatorship

Это может сделать возможным жёсткую глобальную диктатуру

with unprecedented inequality, surveillance and suffering,

с беспрецедентным неравенством, слежкой и страданиями,

and maybe even human extinction.

и, возможно, даже с исчезновением человечества.

But if we steer carefully,

Но если мы будем разумно следовать нашему курсу,

we could end up in a fantastic future where everybody's better off:

мы окажемся в фантастическом будущем, где каждому будет хорошо:

the poor are richer, the rich are richer,

бедные будут богаче, богатые будут богаче,

everybody is healthy and free to live out their dreams.

каждый будет здоровым и будет жить так, как мечтает.

Now, hang on.

А теперь послушайте.

Do you folks want the future that's politically right or left?

Ребята, хотите ли вы политически правого или левого будущего?

Do you want the pious society with strict moral rules,

Жить в ханжеском обществе со строгими моральными правилами

or do you an hedonistic free-for-all,

или в обществе «свободы для всех»,

more like Burning Man 24/7?

как на фестивале Burning Man в режиме 24/7?

Do you want beautiful beaches, forests and lakes,

Хотите ли прекрасные пляжи, леса и озёра,

or would you prefer to rearrange some of those atoms with the computers,

или предпочли бы с помощью компьютера переместить кое-какие атомы,

сделав виртуальное реальным.

enabling virtual experiences?

With friendly AI, we could simply build all of these societies

С дружественным ИИ мы можем просто построить эти общества

and give people the freedom to choose which one they want to live in

и дать людям свободу выбора того общества, где они хотят жить,

because we would no longer be limited by our intelligence,

потому что мы больше не будем ограничены своим интеллектом,

merely by the laws of physics.

а только законами физики.

So the resources and space for this would be astronomical --

Поэтому ресурсы и пространство для этого будут астрономическими —

literally.

в буквальном смысле слова.

So here's our choice.

Вот какой у нас выбор.

We can either be complacent about our future,

Мы либо можем быть довольными своим будущим,

taking as an article of blind faith

принимая на веру то,

that any new technology is guaranteed to be beneficial,

что любая новая технология наверняка будет полезной,

and just repeat that to ourselves as a mantra over and over and over again

и повторять это снова и снова, как мантру,

as we drift like a rudderless ship towards our own obsolescence.

как будто мы плывём на корабле без руля к своему исчезновению.

Or we can be ambitious --

Либо мы можем быть целеустремлёнными,

thinking hard about how to steer our technology

продумывая то, как управлять нашими технологиями

and where we want to go with it

и в каком направлении с ними двигаться,

to create the age of amazement.

чтобы создать изумительную эпоху.

We're all here to celebrate the age of amazement,

Мы здесь для того, чтобы прославлять изумительную эпоху,

and I feel that its essence should lie in becoming not overpowered

и я чувствую, что его суть должна заключаться не в том,

чтобы уступить технологиям, а чтобы с их помощью стать сильнее.

but empowered by our technology.

Thank you.

Спасибо.

(Applause)

(Аплодисменты)