What happens when our computers get smarter than we are? | Nick Bostrom

Translator: Levan Lashauri Reviewer: Mate Kobalia

I work with a bunch of mathematicians, philosophers and computer scientists,

მე ვმუშაობ მათემატიკოსების, ფილოსოფოსების და კომპიუტერული მეცნიერების ჯგუფებთან

and we sit around and think about the future of machine intelligence,

და სხვა საკითხებთან ერთად, ჩვენ ვფიქრობთ

among other things.

მანქანური ინტელექტის მომავალზე.

Some people think that some of these things are sort of science fiction-y,

ზოგი თვლის, რომ მსგავსი საკითხები მეცნიერული ფანტასტიკის სფეროა,

far out there, crazy.

ჩვენგან შორს არის და სიგიჟეა,

But I like to say,

მაგრამ მე მსურს ვთქვა:

okay, let's look at the modern human condition.

კარგით, შევხედოთ თანამედროვე ადამიანის მდგომარეობას.

(Laughter)

(სიცილი)

This is the normal way for things to be.

ეს ნორმალური მდგომარეობაა,

But if we think about it,

მაგრამ თუ დავფიქრდებით,

we are actually recently arrived guests on this planet,

ჩვენ, ადამიანის სახეობა, ახლახანს მოსული

the human species.

სტუმრები ვართ ამ პლანეტაზე.

Think about if Earth was created one year ago,

წარმოიდგინეთ, დედამიწა ერთი წლის წინ რომ შექმნილიყო.

the human species, then, would be 10 minutes old.

ადამიანები 10 წუთის იქნებოდნენ.

The industrial era started two seconds ago.

ინდუსტრიული ხანა 2 წამის წინ დაიწყებოდა.

Another way to look at this is to think of world GDP over the last 10,000 years,

სხვა კუთხით დასანახად დავფიქრდეთ ბოლო 10 000 წლის მსოფლიო მშპ-ზე.

I've actually taken the trouble to plot this for you in a graph.

ეს ინფორმაცია გრაფიკზეც დავიტანე.

It looks like this.

ის ასე გამოიყურება.

(Laughter)

(სიცილი)

It's a curious shape for a normal condition.

უცნაური ფორმაა ნორმალური მდგომარეობისთვის.

I sure wouldn't want to sit on it.

მასზე დაჯდომა ნამდვილად არ მომინდებოდა.

(Laughter)

(სიცილი)

Let's ask ourselves, what is the cause of this current anomaly?

ვკითხოთ საკუთარ თავებს, თუ რა არის ამ ანომალიის მიზეზი?

Some people would say it's technology.

ზოგი იტყვის რომ ტექნოლოგიები.

Now it's true, technology has accumulated through human history,

მართალია, ტექნოლოგიების დაგროვება მოხდა ადამიანის არსებობის მანძილზე

and right now, technology advances extremely rapidly --

და ახლა, ტექნოლოგია დიდი სისწრაფით ვითარდება.

that is the proximate cause,

ეს არის უშუალო მიზეზი.

that's why we are currently so very productive.

ამიტომ ვართ ამჟამად ასე პროდუქტიულები,

But I like to think back further to the ultimate cause.

მაგრამ მინდა უფრო წინ გავიხედო საბოლოო შედეგისკენ.

Look at these two highly distinguished gentlemen:

შეხედეთ ამ ორ გამორჩეულ მამაკაცს:

We have Kanzi --

ეს არის კენზი...

he's mastered 200 lexical tokens, an incredible feat.

მან 200 ლექსიკური ერთეული აითვისა, შთამბეჭდავი შედეგია

And Ed Witten unleashed the second superstring revolution.

და ედ უიტენი, სუპერ სიმთა თეორიის რევოლუციონერი.

If we look under the hood, this is what we find:

თუ უფრო ღრმად ჩავიხედვათ აი რას ვიპოვით:

basically the same thing.

ძირითადად ერთი და იგივეა.

One is a little larger,

ერთი ცოტა უფრო დიდია,

it maybe also has a few tricks in the exact way it's wired.

შეიძლება უფრო მახვილგონივრულად შეერთებული.

These invisible differences cannot be too complicated, however,

ეს უხილავი განსხვავებები შეუძლებელია ძალიან რთული იყოს,

because there have only been 250,000 generations

რადგან მხოლოდ 250 000 თაობამ გაიარა,

since our last common ancestor.

მათი საერთო წინაპრის შემდეგ.

We know that complicated mechanisms take a long time to evolve.

ჩვენ ვიცით, რომ რთული მექანიზმის განვითარებას დიდი დრო სჭირდება.

So a bunch of relatively minor changes

ამიტომ, შედარებოთ მცირე ცვლილებებმა

take us from Kanzi to Witten,

მიგვიყვანა კენზიდან უიტენამდე,

from broken-off tree branches to intercontinental ballistic missiles.

ხის მოტეხილი ტოტებიდან, საკონტინენტთაშორისო ბალისტიკურ რაკეტებამდე

So this then seems pretty obvious that everything we've achieved,

ცხადია, რომ ყველაფერი რასაც მივაღწიეთ

and everything we care about,

და ყველაფერი რასაც ვაფასებთ,

depends crucially on some relatively minor changes that made the human mind.

ადამიანის ტვინის შემქმნელ შედარებით უმნიშვნელო ცვლილებებზეა დამოკიდებული.

And the corollary, of course, is that any further changes

შედეგად, რა თქმა უნდა, მომავალ ცვლილებებს,

that could significantly change the substrate of thinking

რომლებსაც შეუძლიათ მნიშვნელოვნად შეცვალონ აზროვნების საფუძვლები,

could have potentially enormous consequences.

შეიძლება პოტენციურად წარმოუდგენელი შედეგები მოჰყვეს.

Some of my colleagues think we're on the verge

ზოგიერთი ჩემი კოლეგა ფიქრობს, რომ ჩვენ

of something that could cause a profound change in that substrate,

ამ საფუძვლების ძირეული ცვლილების ზღვარზე ვართ,

and that is machine superintelligence.

რაც მანქანურ სუპერინტელექტს წარმოადგენს.

Artificial intelligence used to be about putting commands in a box.

ადრე ხელოვნური ინტელექტი ბრძანებების ყუთში შეტანა იყო.

You would have human programmers

იყვნენ ადამიანი პროგრამისტები,

that would painstakingly handcraft knowledge items.

რომლებიც ცოდნის ერთეულებს გულმოდგინედ, ხელით ქმნიდნენ.

You build up these expert systems,

იქმნებოდა ეს საექსპერტო სისტემები

and they were kind of useful for some purposes,

და ისინი გამოსადეგი იყო რაღაც მიზნებისთვის,

but they were very brittle, you couldn't scale them.

მაგრამ ეს სისტემები ძალიან მყიფე იყო, მათი მასშტაბირება შეუძლებელი.

Basically, you got out only what you put in.

პრინციპში, რაც შეგვყავდათ იმავეს იღებდით.

But since then,

თუმცა, მას შემდეგ

a paradigm shift has taken place in the field of artificial intelligence.

ხელოვნური ინტელექტის სფეროს პარადიგმა შეიცვალა.

Today, the action is really around machine learning.

დღეს-დღეობით აქტივობა, ნამვილი მანქანური სწავლების ირგვლივაა.

So rather than handcrafting knowledge representations and features,

ანუ, ცოდნის და თვისებების ხელით შეტანის მაგივრად,

we create algorithms that learn, often from raw perceptual data.

ჩვენ ვქმნით ალგორითმებს, რომლებიც დაუმუშავებელი მონაცემის მიღებით სწავლობენ.

Basically the same thing that the human infant does.

პრინციპში ეს იგივეა, რასაც ჩვილი ბავშვი აკეთებს.

The result is A.I. that is not limited to one domain --

შედეგად ვიღებთ ხ.ი. რომელიც ერთ სფეროში არაა შეზღუდული.

the same system can learn to translate between any pairs of languages,

ერთ სისტემას შეუძლია თარგმნოს ნებისმიერ ორ ენას შორის,

or learn to play any computer game on the Atari console.

ან ისწავლოს ნებისმიერი კოპიუტერული თამაში სათამაშო მოწყობილობა Atari-ზე.

Now of course,

რა თქმა უნდა,

A.I. is still nowhere near having the same powerful, cross-domain

ხ.ი. ჯერ ახლოსაც არ არის, ისეთ ძლევამოსილ მრავალფუნქციურ უნარებთან,

ability to learn and plan as a human being has.

რომ ისწავლოს და დაგეგმოს როგორც ადამიანმა.

The cortex still has some algorithmic tricks

ტვინს ჯერ კიდევ აქვს ისეთი ალგორითმული ხრიკები,

that we don't yet know how to match in machines.

რომლის ანალოგის შექმნა მანქანისთვის ჯერ არ შეგვიძლია.

So the question is,

ამიტომ ისმის კითხვა:

how far are we from being able to match those tricks?

რამდენად შორს ვართ მსგავსი ხრიკების შექმნისგან?

A couple of years ago,

ორიოდე წლის წინ,

we did a survey of some of the world's leading A.I. experts,

გამოკითხვა ჩავატარეთ მსოფლიოს მოწინავე ხ.ი.-ის ექსპერტებს შორის,

to see what they think, and one of the questions we asked was,

მათი აზრის გასაგებად და ერთ-ერთი შეკითხვა იყო:

"By which year do you think there is a 50 percent probability

"როგორ ფიქრობთ, რომელი წლისთვის იქნება 50% ალბათობა იმისა,

that we will have achieved human-level machine intelligence?"

რომ ჩვენ ადამიანის დონის მანქანურ ინტელექტს მივაღწევთ?"

We defined human-level here as the ability to perform

ადამიანის დონეში, ვიგულისხმეთ თითქმის ნებისმიერი სამუშაოს

almost any job at least as well as an adult human,

მინიმუმ ზრდასრული ადამიანის დონეზე შესრულების უნარი.

so real human-level, not just within some limited domain.

ანუ, ნამდვილი ადამიანის დონე, არა მხოლოდ შეზღუდულ სფეროებში.

And the median answer was 2040 or 2050,

და საშუალო პასუხი იყო 2040, ან 2050.

depending on precisely which group of experts we asked.

იმის მიხედვით, თუ ექსპერტთა რომელ ჯგუფს ვკითხეთ.

Now, it could happen much, much later, or sooner,

ეს შეიძლება ბევრად უფრო ადრე, ან გვიან მოხდეს.

the truth is nobody really knows.

სინმადვილეში არავინ იცის.

What we do know is that the ultimate limit to information processing

მაგრამ რაც ვიცით, არის ის, რომ მანქანის მიერ ინფორმაციის დამუშავების სიჩქარის

in a machine substrate lies far outside the limits in biological tissue.

საბოლოო ზღვარი, ბიოლოგიური ქსოვილისაზე ბევრად მეტია.

This comes down to physics.

ყველაფერი ფიზიკაზე დადის.

A biological neuron fires, maybe, at 200 hertz, 200 times a second.

ბიოლოგიური ნეირონი მოქმედებს ალბათ 200 ჰერცზე, 200-ჯერ წამში.

But even a present-day transistor operates at the Gigahertz.

თუმცა, დღევანდელი ტრანზისტორიც კი გიგაჰერცებით ოპერირებს.

Neurons propagate slowly in axons, 100 meters per second, tops.

ნეირონები აქსონებში ნელა მოძრაობენ მაქსიმუმ 100 მეტრი წამში,

But in computers, signals can travel at the speed of light.

სამაგიეროდ კომპიუტერული სიგნალი სინათლის სიჩქარით მოძრაობს.

There are also size limitations,

ასევე არის ზომის შეზღუდვებიც.

like a human brain has to fit inside a cranium,

ადამიანის ტვინი თავის ქალაში უნდა ჩაეტიოს,

but a computer can be the size of a warehouse or larger.

მაშინ როცა კომპიუტერი შეიძლება საწყობის ზომის, ან უფრო დიდი იყოს.

So the potential for superintelligence lies dormant in matter,

ამიტომ სუპერინტელექტის პოტენციალი მატერიაშია ჩამალული.

much like the power of the atom lay dormant throughout human history,

ისევე როგორც ატომის ძალა იყო ჩამალული კაცობრიობის ისტორიის მანძილზე,

patiently waiting there until 1945.

1945 წლამდე.

In this century,

ამ საუკუნეში

scientists may learn to awaken the power of artificial intelligence.

მეცნიერებმა შეიძლება ხელოვნური ინტელექტის ძალის გამოღვიძება მოახერხონ

And I think we might then see an intelligence explosion.

და ვფიქრობ შემდეგ შეიძლება ინტელექტის აფეთქების მომსწრენი გავხდეთ.

Now most people, when they think about what is smart and what is dumb,

უმეტესობა როცა ჭკვიანს და სულელს წარმოიდგენს,

I think have in mind a picture roughly like this.

ვფიქრობ დაახლოებით შემდეგი სურათი წარმოუდგენია:

So at one end we have the village idiot,

ერთ მხარეს იდიოტი სოფლიდან

and then far over at the other side

და მეორე ბოლოში

we have Ed Witten, or Albert Einstein, or whoever your favorite guru is.

ედ უიტენი, ან ალბერტ აინშტაინი, ან ვინმე თქვენი საყვარელი გურუ.

But I think that from the point of view of artificial intelligence,

სინამდვილეში ვფიქრობ ხელოვნური ინტელექტის გადმოსახედიდან,

the true picture is actually probably more like this:

რეალური სურათი შემდეგია:

AI starts out at this point here, at zero intelligence,

ხ.ი. იწყება ამ წერტილიდან, ნულოვანი ინტელექტით

and then, after many, many years of really hard work,

და შემდეგ ბევრი, ბევრი წლის დაუღალავი შრომის შედეგად,

maybe eventually we get to mouse-level artificial intelligence,

შეიძლება მივიღოთ თაგვის დონის ხელოვნური ინტელექტი.

something that can navigate cluttered environments

რაღაც რაც დაბრკოლებებიან გარემოში გაიკვლევს გზას,

as well as a mouse can.

როგორც თაგვი ახერხებს ამას.

And then, after many, many more years of really hard work, lots of investment,

შემდეგ კიდევ ბევრი, ბევრი წლის მძიმე შრომის და ბევრი ინვესტირების შემდეგ.

maybe eventually we get to chimpanzee-level artificial intelligence.

შეიძლება საბოლოოდ მივიღოთ შიმპანზეს დონის ხელოვნური ინტელექტი.

And then, after even more years of really, really hard work,

შემდეგ კიდევ უფრო მეტი წლის და ძალიან მძიმე შრომის შემდეგ,

we get to village idiot artificial intelligence.

მივიღებთ სოფლელი იდიოტის დონის ხელოვნურ ინტელექტს.

And a few moments later, we are beyond Ed Witten.

სულ ცოტა ხნის შემდეგ კი, ჩვენ უკვე ედ უიტენს გავცდებით.

The train doesn't stop at Humanville Station.

მატარებელი არ ჩერდება "ადამიანის" სადგურზე.

It's likely, rather, to swoosh right by.

უფრო სავარაუდოა, რომ ის მას ჩაუქროლებს.

Now this has profound implications,

ამას ღრმა შედეგები მოჰყვება.

particularly when it comes to questions of power.

კერძოდ, ძალასთან დაკავშირებულ საკითხებზე.

For example, chimpanzees are strong --

მაგალითად, შიმპანზეები ძლიერები არიან.

pound for pound, a chimpanzee is about twice as strong as a fit human male.

შიმპანზეები ჯანმრთელ მამაკაცზე დაახლოებით ორჯერ უფრო ძლიერები არიან.

And yet, the fate of Kanzi and his pals depends a lot more

ამის მიუხედავად კენზის და მისი მეგობრების ბედი,

on what we humans do than on what the chimpanzees do themselves.

უფრო მეტად ადამიანების ქმედებაზეა დამოკიდებული, ვიდრე თავად შიმპანზეების.

Once there is superintelligence,

როცა გაჩნდება სუპერინტელექტი,

the fate of humanity may depend on what the superintelligence does.

კაცობრიობის ბედი, შეიძლება სუპერინტელექტის ქმედებაზე გახდეს დამოკიდებული.

Think about it:

დაფიქრდით:

Machine intelligence is the last invention that humanity will ever need to make.

მანქანური ინტელექტი, კაცობრიობისთვის გამოსადეგი უკანასკნელი გამოგონება იქნება.

Machines will then be better at inventing than we are,

ამის შემდეგ, მანაქნებს გამოგონება ჩვენზე უკეთ გამოუვათ

and they'll be doing so on digital timescales.

და ისინი ამას ციფრული სისწრაფით გააკეთებენ.

What this means is basically a telescoping of the future.

ეს ფაქტიურად მომავლის ტელესკოპირებაა.

Think of all the crazy technologies that you could have imagined

დაფიქრდით ყველა გიჟურ ტექნოლოგიაზე რაც კი ოდესმე წარმოგიდგენიათ,

maybe humans could have developed in the fullness of time:

რომ ადამიანს შეეძლო საკმარისი დროის შემთხვევაში შეექმნა:

cures for aging, space colonization,

დაბერების საწინააღმდეგო წამალი, კოსმოსის კოლონიზაცია,

self-replicating nanobots or uploading of minds into computers,

თვითგამრავლებადი ნანობოტები, ან ტვინის კომპიუტერში ატვირთვა.

all kinds of science fiction-y stuff

ყველა სახის მეცნიერული ფანტასტიკა,

that's nevertheless consistent with the laws of physics.

რომელიც თავსებადია ფიზიკის კანონებთან.

All of this superintelligence could develop, and possibly quite rapidly.

ამ ყველაფრის შექმნა სუპერინტელექტს საკმაოდ სწრაფად შეეძლება.

Now, a superintelligence with such technological maturity

მსგავსი ტექნოლოგიური სიმწიფის სუპერინტელექტი,

would be extremely powerful,

მეტისმეტად ძლევამოსილი იქნება

and at least in some scenarios, it would be able to get what it wants.

და მინიმუმ რაღაც სიტუაციებში შეეძლება მიიღოს ის რაც უნდა.

We would then have a future that would be shaped by the preferences of this A.I.

შესაბამისად ჩვენ გვექნება მომავალი, რომლსაც ხ.ი.-ის სურვილები განაპირობებს.

Now a good question is, what are those preferences?

კარგი კითხვაა: რა არის მისი სურვილები?

Here it gets trickier.

აქ ყველაფერი რთულდება.

To make any headway with this,

ამაში რომ გავერკვეთ,

we must first of all avoid anthropomorphizing.

პირველ რიგში ანთროფომორფიზმისგან უნდა გავთავისუფლდეთ

And this is ironic because every newspaper article

ეს ირონიულია, რადგან გაზეთის ყველა სტატიას ხ.ი.-ზე,

about the future of A.I. has a picture of this:

ეს სურათი აქვს.

So I think what we need to do is to conceive of the issue more abstractly,

ამიტომ ვფიქრობ პრობლემა უფრო აბსტრაქტულად უნდა გავიაზროთ

not in terms of vivid Hollywood scenarios.

და არა კაშკაშა ჰოლივუდის სცენარის მიხედვით.

We need to think of intelligence as an optimization process,

ინტელექტზე როგორც ოპტიმიზაციის პროცესზე უნდა ვიფიქროთ.

a process that steers the future into a particular set of configurations.

პროცესზე, რომელიც მომავალს გარკვეული კონფიგურაციისკენ მიაქანებს.

A superintelligence is a really strong optimization process.

სუპერინტელექტი ძალიან ძლიერი ოპტიმიზაციის პროცესია.

It's extremely good at using available means to achieve a state

ის ძალიან ძლიერია არსებული საშუალებების

in which its goal is realized.

საკუთარი მიზნების რეალიზაციისთვის გამოყენებაში.

This means that there is no necessary connection between

ეს ნიშნავს, რომ აუცილებელი არ არის არსებობდეს კავშირი

being highly intelligent in this sense,

ამ გაგების მაღალ ინტელექტსა

and having an objective that we humans would find worthwhile or meaningful.

და ისეთ მიზნებს შორის, რომელიც ადამიანისთვის ღირებულია და გასაგები.

Suppose we give an A.I. the goal to make humans smile.

დავუშვათ ხ.ი. დავუსახეთ ამოცანა გააღიმოს ადამიანები.

When the A.I. is weak, it performs useful or amusing actions

როცა ხ.ი. სუსტია, ის სასარებლო, ან სახალისო ქმედებებს განახორციელებს,

that cause its user to smile.

რომელიც მომხმარებელს გააცინებს.

When the A.I. becomes superintelligent,

როცა ხ.ი. სუპერინტელექტი გახდება,

it realizes that there is a more effective way to achieve this goal:

ის გაიაზრებს, რომ ამ მიზნის მიღწევის უფრო ეფექტური გზა არსებობს:

take control of the world

აკონტროლო მსოფლიო

and stick electrodes into the facial muscles of humans

და ადამიანის სახის კუნთებში ელექტროდები ჩანერგო,

to cause constant, beaming grins.

რომლებიც მუდმივად ღიმილს გამოიწვევენ.

Another example,

სხვა მაგალითი:

suppose we give A.I. the goal to solve a difficult mathematical problem.

დავუშვათ ხ.ი. მივეცით დავალება ამოხსნას რთული მათემატიკური ამოცანა.

When the A.I. becomes superintelligent,

როცა ხ.ი. სუპერინტელექტი იქნება,

it realizes that the most effective way to get the solution to this problem

ის მიხვდება, რომ ამ ამოცანის ამოხსნის ყველაზე ეფექტური გზა,

is by transforming the planet into a giant computer,

არის პლანეტის გიგანტურ კომპიუტერად გარდაგქმნა,

so as to increase its thinking capacity.

იმისთვის რომ მისი აზროვნების უნარი გაიზარდოს.

And notice that this gives the A.I.s an instrumental reason

დააკვირდით, რომ ეს ხ.ი.-ს მისცემს ინსტრუმენტულ საფუძველს

რომ გაგვიკეთოს ისეთი რაღაც, რასაც შეიძლება არ დავეთანხმოთ.

to do things to us that we might not approve of.

Human beings in this model are threats,

ამ მოდელში, ადამიანები საფრთხეს წარმოაგდენენ.

we could prevent the mathematical problem from being solved.

ჩვენ შეიძლება მათემატიკური ამოცანის ამოხსნას ხელი შევუშალოთ.

Of course, perceivably things won't go wrong in these particular ways;

რა თქმა უნდა, ყველაფერი ზუსტად ასე არ წარიმართება;

these are cartoon examples.

ეს კარიკატურული მაგალითებია,

But the general point here is important:

მაგრამ აქ ზოგადი აზრია მნიშვნელოვანი:

if you create a really powerful optimization process

თუ თქვენ შექმნით ძალიან ძლევამოსილ ოპტიმიზაციის პროცესს,

to maximize for objective x,

x მიზნის მიღწევის მაქსიმიზებისთვის,

you better make sure that your definition of x

უმჯობესია დარწმუნდეთ, რომ x-ის თქვენეული განმარტება

incorporates everything you care about.

მოიცავს ყველაფერს რაც თქვენთვის ღირებულია.

This is a lesson that's also taught in many a myth.

ეს ის გაკვეთილია, რომელიც ბევრ მითშიც გვხვდება.

King Midas wishes that everything he touches be turned into gold.

მეფე მიდასს სურს, რომ ყველაფერი რასაც ეხება ოქროდ იქცეოდეს.

He touches his daughter, she turns into gold.

ის ეხება საკუთარ ქალიშვილს და ის ოქროდ იქცევა.

He touches his food, it turns into gold.

ის საჭმელს ეხება და საჭმელი ოქროდ იქცევა.

This could become practically relevant,

ეს შეიძლება არა მხოლოდ როგორც სიხარბის მეტაფორად გამოგვადგეს,

not just as a metaphor for greed,

არამედ პრაქტიკაშიც აქტუალიზდეს,

but as an illustration of what happens

როგორც იმის ილუსტრაცია,

if you create a powerful optimization process

თუ რა მოხდება, როცა თქვენ ძლევამოსილ ოპტიმიზაციის პროცესს შექმნით

and give it misconceived or poorly specified goals.

და დაუსხავათ მას არასწორ, ან ცუდად განსაზღვრულ მიზნებს.

Now you might say, if a computer starts sticking electrodes into people's faces,

თქვენ შეიძლება თქვათ, რომ თუ კომპიუტერი ხალხის სახეებში ელექტროდების ჩასმას იწყებს

we'd just shut it off.

ჩვენ მას უბრალოდ გამოვრთავთ.

A, this is not necessarily so easy to do if we've grown dependent on the system --

ა) ეს არც ისე იოლია, თუ ჩვენ უკვე სისტემაზე დამოკიდებული ვართ.

like, where is the off switch to the Internet?

როგორც მაგალითად, სად არის ინტერენტის გამომრთველი ღილაკი?

B, why haven't the chimpanzees flicked the off switch to humanity,

ბ) რატომ არ დააჭირეს შიმპანზეებმა ადამიანის გამომრთველ ღილაკს,

or the Neanderthals?

ან ნეადერტალელებმა?

They certainly had reasons.

მათ ამის მიზეზი ნამდვილად ჰქონდათ.

We have an off switch, for example, right here.

ჩვენ გვაქვს გამორთვის ღილაკი, მაგალითად აქ.

(Choking)

(თავს იხრჩობს)

The reason is that we are an intelligent adversary;

მიზეზი ის არის, რომ ჩვენ ინტელექტუალური მოწინააღმდეგე ვართ;

we can anticipate threats and plan around them.

ჩვენ შეგვიძლია საფრთხეების განჭვრეტა და შემოვლითი გზების დაგეგმვა.

But so could a superintelligent agent,

ასევე შეუძლია სუპერინტელექტუალურ აგენტს

and it would be much better at that than we are.

და ის, ჩვენზე ბევრად უკეთესი იქნება ამაში.

The point is, we should not be confident that we have this under control here.

მთავარია, რომ არ უნდა ვიყოთ დარწმუნებული, რომ ყველაფერს ვაკონტროლებთ.

And we could try to make our job a little bit easier by, say,

რის შედეგადაც შეიძლება საქმე გავიადვილოთ,

putting the A.I. in a box,

მაგალითად ხ.ი.-ის ყუთში ჩადებით.

like a secure software environment,

უსაფრთხო პროგრამული გარემოს მსგავსში.

a virtual reality simulation from which it cannot escape.

ვირტუალური რეალობის სიმულაციისმაგვარში, რასაც ის თავს ვერ დააღწევს,

But how confident can we be that the A.I. couldn't find a bug.

მაგრამ რა დარწმუნებულები ვართ, რომ ხ.ი. ხარვეზს ვერ აღმოაჩენს.

Given that merely human hackers find bugs all the time,

იმის გათვალისწინებით, რომ ადამიანი ჰაკერებიც კი მუდმივად პოულობენ ხარვეზებს.

I'd say, probably not very confident.

ვიტყოდი, რომ ძალიან დარმწუნებულები არ უნდა ვიყოთ.

So we disconnect the ethernet cable to create an air gap,

ვთქვათ გამოვაერთეთ ინტერნეტის კაბელი საჰაერო დაბრკოლების შესაქმნელად,

but again, like merely human hackers

მაგრამ ადამიანი ჰაკერებიც კი ძლევენ რეგულარულად

routinely transgress air gaps using social engineering.

საჰაერო დაბრკოლებას, სოციალური ინჟინერიის გამოყენებით.

Right now, as I speak,

ახლა, ჩემი საუბრის დროსაც,

I'm sure there is some employee out there somewhere

დარწმუნებული ვარ სადღაც არსებობს ვიღაც თანამშრომელი,

who has been talked into handing out her account details

რომელიც დაარწმუნეს, რომ მისი პაროლი გაეთქვა,

by somebody claiming to be from the I.T. department.

ვიღაც ვითომ აი-თი განყოფილების თანამშრომლისთვის.

More creative scenarios are also possible,

უფრო შემოქმედებითი სცენარებიცაა შესაძლებელი.

like if you're the A.I.,

თუ თქვენ ხ.ი. ხართ,

you can imagine wiggling electrodes around in your internal circuitry

შეგიძლიათ მოძრავი ელექტროდები წარმოიდგინოთ თქვენი შინაგანი სქემის გარშემო,

to create radio waves that you can use to communicate.

რომლითაც რადიო ტალღებს შექმნით კომუნიკაციისთვის.

Or maybe you could pretend to malfunction,

ან შეიძლება გაუმართავობის სიმულირება გააკეთოთ

and then when the programmers open you up to see what went wrong with you,

და შემდეგ როცა პროგრამისტი გაგხსნით, რომ ნახოს რაშია საქმე,

they look at the source code -- Bam! --

ჩახედავს კოდებს.. და ბამ!..

the manipulation can take place.

უკვე შესაძლებელია მანიპულაცია.

Or it could output the blueprint to a really nifty technology,

ან ხ.ი.-ს შეუძლია ძალიან მახვილგონივრული ტექნოლოგიის ინსტრუქცია დაბეჭდოს

and when we implement it,

და როცა მის რეალიზაციას გავაკეთებთ,

it has some surreptitious side effect that the A.I. had planned.

ამას ის ფარული შედეგები მოჰყვება, რაც ხ.ი.-მა დაგეგმა.

The point here is that we should not be confident in our ability

მთავარი აზრი იმაშია, რომ ჩვენ დარწმუნებული არ უნდა ვიყოთ საკუთარ უნარებში,

to keep a superintelligent genie locked up in its bottle forever.

რომ შევძლებთ სუპერინტელექტი ბოთლში სამუდამოდ გამოვკეტოთ.

Sooner or later, it will out.

ადრე თუ გვიან, ის გამოვა.

I believe that the answer here is to figure out

ვფიქრობ პასუხი იმის გარკვევაშია,

how to create superintelligent A.I. such that even if -- when -- it escapes,

თუ როგორ შევქმნათ ისეთი ხ.ი., რომელიც უკონტროლოც რომ გახდეს,

it is still safe because it is fundamentally on our side

მაინც უსაფრთხო იქნება, რადგან ჩვენს მხარეზე იქნება,

because it shares our values.

იმიტომ რომ ჩვენს ღირებულებებს იზიარებს.

I see no way around this difficult problem.

ამ რთული პრობლემის გვერდის ავლის გზას მე ვერ ვხედავ.

Now, I'm actually fairly optimistic that this problem can be solved.

ზოგადად საკმაოდ ოპტიმისტი ვარ და მგონია, რომ ეს პრობლემა გადაწყვეტადია.

We wouldn't have to write down a long list of everything we care about,

არ გვჭირდება ჩვენთვის ღირებული რამეების გრძელი სიის დაწერა,

or worse yet, spell it out in some computer language

ან უფრო უარესი, მათი პროგრამირების ენაზე კოდირება,

like C++ or Python,

მაგალითად C++-ზე ან Python-ზე.

that would be a task beyond hopeless.

ეს უიმედო ამოცანა იქნებოდა.

Instead, we would create an A.I. that uses its intelligence

ამის ნაცვლად ჩვენ შევქმნიდით ხ.ი.-ს, რომელიც თავის ინტელექტს,

to learn what we value,

ჩვენი ღირებულებების შესწავლაში გამოიყენებდა

and its motivation system is constructed in such a way that it is motivated

და ისეთი მოტივაციური სისტემა ექნებოდა, რომ ის ჩვენი ღირებულებების მიდევნებით

to pursue our values or to perform actions that it predicts we would approve of.

იყოს მოტივირებული, ან ისეთი ქმედებებით, რომელსაც ჩვენ მოვიწონებთ.

We would thus leverage its intelligence as much as possible

ამ გზით, ჩვენ მის ინტელექტს მაქსიმალურად გამოვიყენებდით,

to solve the problem of value-loading.

მასში ღირებულებების ჩატვირთვის პრობლემის მოსაგვარებლად.

This can happen,

ეს შეიძლება მოხდეს

and the outcome could be very good for humanity.

და შედეგი ძალიან კარგი იქნებოდა კაცობრიობისთვის.

But it doesn't happen automatically.

მაგრამ ეს ავტორმატურად არ მოხდება.

The initial conditions for the intelligence explosion

ინტელეტქის აფეთქებისთვის სწორი საწყისი პირობების

might need to be set up in just the right way

ზუსტი დაყენება შეიძლება გახდეს საჭირო.

if we are to have a controlled detonation.

თუ გვინდა, რომ აფეთქების პროცესი ვაკონტროლოთ.

The values that the A.I. has need to match ours,

ხ.ი.-ის ღირებულებები ჩვენსას უნდა ემთხვეოდეს,

not just in the familiar context,

არა მხოლოდ ნაცნობ კონტექსტში,

like where we can easily check how the A.I. behaves,

სადაც შეგვეძლება ადვილად შევამოწმოთ როგორ იქცევა ხ.ი.,

but also in all novel contexts that the A.I. might encounter

არამედ ყოველ ახალ კონტექსტში, რომელშიც ხ.ი. შეიძლება მოხვდეს

in the indefinite future.

შემოუსაზღვრელ მომავალში.

And there are also some esoteric issues that would need to be solved, sorted out:

ასევე არის რამდენიმე ეზოთერული პრობლემა:

the exact details of its decision theory,

მისი გადაწყვეტილებების თეორიის დეტალები,

how to deal with logical uncertainty and so forth.

როგორ მოვიქცეთ ლოგიკური გაურკვევლობის დროს და ა.შ.

So the technical problems that need to be solved to make this work

ამ ტექნიკური პრობლემების გადაწყვეტა

look quite difficult --

საკმაოდ რთული ჩანს.

not as difficult as making a superintelligent A.I.,

არა ისეთი რთული, როგორც სუპერინტელექტის შექმნა,

but fairly difficult.

მაგრამ საკმაოდ რთული.

Here is the worry:

აი რაა სადარდებელი:

Making superintelligent A.I. is a really hard challenge.

სუპერინტელექტუალური ხ.ი. შექმნა ძალიან მძიმე გამოწვევაა.

Making superintelligent A.I. that is safe

უსაფრთხო სუპერინტელექტუალური ხ.ი.-ის შექმნა

involves some additional challenge on top of that.

დამატებით გამოწვევებს გვთავაზობს.

The risk is that if somebody figures out how to crack the first challenge

არსებობს რისკი, რომ ვინმე პირველი გამოწვევის დაძლევას მოახერხებს,

without also having cracked the additional challenge

მეორე გამოწვევის დაძლევის გარეშე, ანუ უსაფრთხოების უზრუნველყოფას

of ensuring perfect safety.

ვერ შეძლებს.

So I think that we should work out a solution

ამიტომ, ვფიქრობ კონტროლის პრობლემის გადაწყვეტა,

to the control problem in advance,

წინასწარ უნდა შევიმუშაოთ,

so that we have it available by the time it is needed.

იმისთვის რომ ის მანამდე გვქონდეს, სანამ დაგვჭირდება.

Now it might be that we cannot solve the entire control problem in advance

შესაძლებელია კონტროლის პრობლემა, წინასწარ სრულად ვერ მოვაგვაროთ,

because maybe some elements can only be put in place

რადგან ზოგი ელემენტის ინტეგრირება მხოლოდ მას შემდეგაა შესაძლებელი,

once you know the details of the architecture where it will be implemented.

რაც მისი რეალიზაციის ადგილის არქიტექტურა გვეცდონება,

But the more of the control problem that we solve in advance,

მაგრამ რაც მეტად გადავწყვეტთ კონტროლის პრობლემას წინასწარ,

the better the odds that the transition to the machine intelligence era

მით მეტი შანსია, მანქანური ინტელექტის ხანაზე გადასვლამ,

will go well.

უმტკივნეულოდ ჩაიაროს.

This to me looks like a thing that is well worth doing

ეს ძალიან ღირებულ რამედ მეჩვენება

and I can imagine that if things turn out okay,

და წარმომიდგენია, რომ თუ ყველაფერი კარგად წარიმართა,

that people a million years from now look back at this century

მილიონი წლის შემდეგ ადამიანები უკან ჩვენს საუკუნეს რომ შეხედავენ,

and it might well be that they say that the one thing we did that really mattered

შეიძლება თქვან, რომ ერთი მართლაც მნიშვნელოვანი რამ,

was to get this thing right.

რაც სწორად გავაკეთეთ, ზუსტად ეს იყო.

Thank you.

მადლობა.

(Applause)

(აპლოდისმენტები)