What happens when our computers get smarter than we are? | Nick Bostrom

Translator: Ann Jing Reviewer: Duy Lê

I work with a bunch of mathematicians, philosophers and computer scientists,

Tôi làm việc với một nhóm các nhà toán học, triết học, khoa học máy tính;

and we sit around and think about the future of machine intelligence,

chúng tôi ngồi lại với nhau, nghĩ về tương lai của trí thông minh nhân tạo,

among other things.

cùng vài điều khác nữa.

Some people think that some of these things are sort of science fiction-y,

Vài người cho rằng những điều này chỉ có trong khoa học viễn tưởng,

far out there, crazy.

không thực tế, điên khùng.

But I like to say,

Nhưng tôi muốn nói rằng

okay, let's look at the modern human condition.

Được rồi, hãy nhìn vào tình trạng con người hiện nay.

(Laughter)

(Cười)

This is the normal way for things to be.

Đây là cách mọi thứ vẫn diễn ra

But if we think about it,

Nhưng nếu chúng ta nghĩ về nó,

we are actually recently arrived guests on this planet,

chúng ta thực chất chỉ là những vị khách mới đặt chân đến hành tinh này

the human species.

loài người.

Think about if Earth was created one year ago,

Thử nghĩ xem, nếu Trái đất hình thành 1 năm trước

the human species, then, would be 10 minutes old.

thì loài người mới xuất hiện được 10 phút.

The industrial era started two seconds ago.

Và kỷ nguyên công nghiệp bắt đầu 2 giây trước.

Another way to look at this is to think of world GDP over the last 10,000 years,

Một cách nhìn nhận khác về điều này là GDP của thế giới trong 10.000 năm qua,

I've actually taken the trouble to plot this for you in a graph.

Thực ra, tôi đã gặp khó khăn khi tìm cách mô tả nó cho bạn dưới dạng biểu đồ

It looks like this.

Trông giống như thế này.

(Laughter)

(Cười)

It's a curious shape for a normal condition.

Với điều kiện bình thường, trông nó kỳ lạ thật.

I sure wouldn't want to sit on it.

Tôi chắc chắn rằng không ai muốn ngồi trên đó.

(Laughter)

(Cười)

Let's ask ourselves, what is the cause of this current anomaly?

Hãy tự hỏi, điều gì là nguyên nhân của sự dị thường này?

Some people would say it's technology.

Có người sẽ nói rằng đó là do công nghệ.

Now it's true, technology has accumulated through human history,

Đúng vậy, công nghệ được tích luỹ trong suốt lịch sử loài người,

and right now, technology advances extremely rapidly --

và hiện tại, công nghệ đã phát triển với tốc độ cực nhanh.

that is the proximate cause,

đó là nguyên nhân gần nhất,

that's why we are currently so very productive.

là lý do tại sao hiện nay chúng ta lại sản xuất hiệu quả như thế

But I like to think back further to the ultimate cause.

Nhưng tôi muốn nhìn kỹ hơn vào quá khứ để tìm nguyên nhân sâu xa.

Look at these two highly distinguished gentlemen:

Hãy nhìn vào 2 "quý ông" rất rất khác biệt này

We have Kanzi --

Đây là Kanzi,

he's mastered 200 lexical tokens, an incredible feat.

chú tinh tinh hiểu được 200 thẻ từ vựng, quả là một thành tích đáng kinh ngạc.

And Ed Witten unleashed the second superstring revolution.

Và Ed Witten, người phát động cách mạng siêu dây lần 2.

If we look under the hood, this is what we find:

Nếu kiểm tra kỹ càng, đây là điều chúng ta tìm thấy;

basically the same thing.

Cơ bản là như nhau.

One is a little larger,

Của người thì lớn hơn một chút.

it maybe also has a few tricks in the exact way it's wired.

Có thể cũng có vài thủ thuật, trong cách nó được tạo ra.

These invisible differences cannot be too complicated, however,

Những khác biệt vô hình này có thể không quá phức tạp, tuy nhiên,

because there have only been 250,000 generations

bởi vì chúng ta mới qua 250.000 thế hệ

since our last common ancestor.

kể từ vị tổ tiên chung cuối cùng

We know that complicated mechanisms take a long time to evolve.

Chúng ta biết rằng những cơ chế phức tạp đều mất 1 thời gian dài để tiến hóa

So a bunch of relatively minor changes

Vì vây, nhiều thay đổi tương đối nhỏ

take us from Kanzi to Witten,

tạo ra sự khác biệt giữa Kanzi và Witten,

from broken-off tree branches to intercontinental ballistic missiles.

giữa những nhánh cây dễ gãy và tên lửa đạn đạo xuyên lục địa

So this then seems pretty obvious that everything we've achieved,

Vì thế, điều này sau đó trở nên khá rõ ràng rằng những điều chúng ta từng đạt được

and everything we care about,

và tất cả những gì ta quan tâm

depends crucially on some relatively minor changes that made the human mind.

phụ thuộc chủ yếu vào vài thay đổi tương đối nhỏ làm nên trí óc con người

And the corollary, of course, is that any further changes

Và tất nhiên, kết quả tất yếu là bất kỳ những thay đổi xa hơn

that could significantly change the substrate of thinking

mà có thể thay đổi đáng kể nền tảng suy nghĩ

could have potentially enormous consequences.

có thể mang tới những kết quả tiềm năng rất lớn

Some of my colleagues think we're on the verge

Vài đồng nghiệp của tôi nghĩ rằng chúng ta đang tiếp cận

of something that could cause a profound change in that substrate,

rất gần với điều có thể tạo ra thay đổi sâu sắc trong nền tảng ấy

and that is machine superintelligence.

Và đó là siêu trí tuệ nhân tạo

Artificial intelligence used to be about putting commands in a box.

Trí thông minh nhân tạo từng được dùng để đưa những chỉ thị vào máy tính (hộp)

You would have human programmers

Bạn sẽ có những nhà lập trình

that would painstakingly handcraft knowledge items.

có thể cần cù tạo ra những vật dụng có hiểu biết

You build up these expert systems,

Ta xây dựng những hệ thống chuyên gia này

and they were kind of useful for some purposes,

và chúng khá là hữu dụng cho vài mục đích;

but they were very brittle, you couldn't scale them.

chúng cũng rất dễ vỡ, bạn không thể cạo gỉ cho chúng

Basically, you got out only what you put in.

Về cơ bản, đầu vào thế nào thì đầu ra như thế

But since then,

Nhưng kể từ đó,

a paradigm shift has taken place in the field of artificial intelligence.

một sự thay đổi mô hình đã diễn ra , trong lĩnh vực trí tuệ nhân tạo.

Today, the action is really around machine learning.

Giờ đây, hoạt động này chỉ xoay quanh việc học của máy tính

So rather than handcrafting knowledge representations and features,

Vì vậy thay vì tạo ra những tính năng và mô tả có hiểu biết một cách thủ công,

we create algorithms that learn, often from raw perceptual data.

chúng ta tạo ra các thuật toán có thể học hỏi, thường là từ các dữ liệu tri giác thô

Basically the same thing that the human infant does.

Cơ bản là những gì mà trẻ sơ sinh thực hiện.

The result is A.I. that is not limited to one domain --

Kết quả, ta tạo ra trí thông minh nhân tạo không bị bó buộc trong 1 phạm vi --

the same system can learn to translate between any pairs of languages,

hệ thống đó cũng có thể học cách dịch bất kỳ cặp ngôn ngữ nào,

or learn to play any computer game on the Atari console.

có thể học cách chơi bất kỳ trò chơi máy tính nào trên bảng điều khiển Atari

Now of course,

Giờ đây, tất nhiên,

A.I. is still nowhere near having the same powerful, cross-domain

trí thông minh nhân tạo vẫn chưa gần với khả năng học tập và lên kế hoạch

ability to learn and plan as a human being has.

mạnh mẽ và đa lĩnh vực mà con người có

The cortex still has some algorithmic tricks

Vỏ não vẫn có vài mẹo toán học

that we don't yet know how to match in machines.

mà chúng ta vẫn chưa biết làm sao để tạo ra bằng máy móc

So the question is,

Vì thế, câu hỏi đặt ra là

how far are we from being able to match those tricks?

chúng ta còn bao lâu nữa thì mới có thể bắt kịp những mẹo này?

A couple of years ago,

Vài năm trước,

we did a survey of some of the world's leading A.I. experts,

chúng tôi đã có 1cuộc khảo sát vài chuyên gia thế giới về AI

to see what they think, and one of the questions we asked was,

để xem họ nghĩ gì, và 1 trong những điều chúng tôi hỏi là

"By which year do you think there is a 50 percent probability

"Bạn nghĩ xem, vào năm nào thì sẽ có khả năng 50%

that we will have achieved human-level machine intelligence?"

chúng ta đạt được trí thông minh nhân tạo ở cấp độ con người?"

We defined human-level here as the ability to perform

Cấp độ con người mà chúng tôi nói đến ở đây là khả năng thực hiện

almost any job at least as well as an adult human,

gần như mọi việc, ít nhất là như 1 người lớn,

so real human-level, not just within some limited domain.

tức là, cấp độ con người thực thụ, chứ không chỉ giới hạn trong vài lĩnh vực.

And the median answer was 2040 or 2050,

Và câu trả lời trung bình là năm 2040 hoặc 2050

depending on precisely which group of experts we asked.

tùy thuộc chính xác vào nhóm chuyên gia mà chúng tôi hỏi.

Now, it could happen much, much later, or sooner,

Việc đó có thể xảy ra, sớm hơn, hoặc muộn hơn rất nhiều,

the truth is nobody really knows.

sự thật là, chẳng ai chắc chắn cả.

What we do know is that the ultimate limit to information processing

Điều mà chúng tôi biết chắc là giới hạn cao nhất cho việc xử lý thông tin

in a machine substrate lies far outside the limits in biological tissue.

trong 1 nền tảng máy móc nằm rất xa ngoài những giới hạn trong mô sinh học.

This comes down to physics.

Điều này liên quan tới vật lý.

A biological neuron fires, maybe, at 200 hertz, 200 times a second.

Một nơ-ron sinh học dẫn truyền, chẳng hạn, ở 200 Hz, 200 lần/ giây

But even a present-day transistor operates at the Gigahertz.

Nhưng thậm chí 1 bóng bán dẫn ngày nay vận hành với đơn vị Gigahertz

Neurons propagate slowly in axons, 100 meters per second, tops.

Nơ-ron truyền chậm rãi trong sợi trục thần kinh, với vận tốc cao nhất là 100 m/s

But in computers, signals can travel at the speed of light.

Nhưng trong máy tính, các tín hiệu có thể đi với vận tốc ánh sáng

There are also size limitations,

Cũng có giới hạn về kích cỡ,

like a human brain has to fit inside a cranium,

não người thì phải vừa hộp sọ,

but a computer can be the size of a warehouse or larger.

nhưng máy tính thì có thể to cỡ nhà kho hoặc hơn

So the potential for superintelligence lies dormant in matter,

Vì thế, tiềm năng của siêu trí tuệ nằm im lìm trong vật chất,

much like the power of the atom lay dormant throughout human history,

giống như quyền năng của nguyên tử nằm im lìm xuyên suốt lịch sử loài người,

patiently waiting there until 1945.

kiên nhẫn đợi chờ cho tới tận năm 1945.

In this century,

Ở thế kỷ này,

scientists may learn to awaken the power of artificial intelligence.

các nhà khoa học có thể học cách thức tỉnh năng lực của trí tuệ nhân tạo.

And I think we might then see an intelligence explosion.

Và tôi nghĩ từ đó chúng ta có thể thấy một cuộc bùng nổ trí tuệ.

Now most people, when they think about what is smart and what is dumb,

Giờ đây, hầu hết mọi người, khi nghĩ về trí khôn và sự ngu ngốc,

I think have in mind a picture roughly like this.

Với tôi, điều đó giống như thế này.

So at one end we have the village idiot,

Ở một đầu là làng người ngốc,

and then far over at the other side

và xa tít phía đối diện, ở đầu bên kia

we have Ed Witten, or Albert Einstein, or whoever your favorite guru is.

chúng ta có Ed Witten, Albert Einstein, hay bất kỳ guru ưa thích nào của bạn.

But I think that from the point of view of artificial intelligence,

Nhưng tôi nghĩ rằng từ quan điểm của trí thông minh nhân tạo,

the true picture is actually probably more like this:

viễn cảnh thực sự thực ra trông lại giống như thế này:

AI starts out at this point here, at zero intelligence,

AI bắt đầu tại đây, từ chỗ không có gì,

and then, after many, many years of really hard work,

và rồi, sau rất, rất nhiều năm nỗ lực vất vả,

maybe eventually we get to mouse-level artificial intelligence,

có thể chúng ta rồi sẽ đến với điểm mà trí tuệ nhân tạo ở mức độ loài chuột,

something that can navigate cluttered environments

một thứ có thể vượt qua những môi trường hỗn loạn

as well as a mouse can.

giống như một chú chuột vậy.

And then, after many, many more years of really hard work, lots of investment,

Và rồi, sau rất rất rất nhiều năm lao động vất vả, đầu tư rất nhiều tiền của,

maybe eventually we get to chimpanzee-level artificial intelligence.

có thể cuối cùng chúng ta sẽ có được AI ở mức độ tinh tinh.

And then, after even more years of really, really hard work,

Và rồi, lại sau nhiều năm nữa với rất nhiều, rất nhiều nỗ lực,

we get to village idiot artificial intelligence.

chúng ta sẽ tạo ra được trí tuệ nhân tạo như của kẻ ngốc.

And a few moments later, we are beyond Ed Witten.

Và một vài tháng sau đó, chúng ta sẽ vượt qua Ed Witten.

The train doesn't stop at Humanville Station.

Con tàu này không dừng lại tại trạm Con người.

It's likely, rather, to swoosh right by.

Thay vào đó, từ đây nó vẫn tiến về phía trước.

Now this has profound implications,

Điều này có ẩn ý sâu sắc,

particularly when it comes to questions of power.

đặc biệt là khi nhắc tới những câu hỏi về quyền lực.

For example, chimpanzees are strong --

Ví dụ, loài tinh tinh rất khỏe --

pound for pound, a chimpanzee is about twice as strong as a fit human male.

về cân nặng, 1 chú tinh tinh khỏe gấp đôi 1 người cân đối.

And yet, the fate of Kanzi and his pals depends a lot more

Thế nhưng, số phận của Kanzi và những người bạn của nó phụ thuộc nhiều

on what we humans do than on what the chimpanzees do themselves.

vào điều loài người chúng ta làm hơn là điều mà tinh tinh làm.

Once there is superintelligence,

Một khi đã có siêu trí tuệ,

the fate of humanity may depend on what the superintelligence does.

số phận loài người có thể phụ thuộc vào điều mà siêu trí tuệ sẽ làm.

Think about it:

Hãy nghĩ về điều đó:

Machine intelligence is the last invention that humanity will ever need to make.

Trí thông minh nhân tạo là phát kiến cuối cùng mà con người cần tạo ra.

Machines will then be better at inventing than we are,

Khi đó, máy móc sẽ sáng tạo giỏi hơn chúng ta,

and they'll be doing so on digital timescales.

và chúng làm điều đó ở thang thời gian số.

What this means is basically a telescoping of the future.

Điều này về cơ bản là một lăng kính về tương lai.

Think of all the crazy technologies that you could have imagined

Nghĩ về tất cả những công nghệ điên rồ mà bạn có thể tưởng tượng ra

maybe humans could have developed in the fullness of time:

có thể con người sẽ phát triển trong toàn bộ thời gian:

cures for aging, space colonization,

làm chậm lão hóa, sinh sống trên vũ trụ,

self-replicating nanobots or uploading of minds into computers,

những nanobot tự sao chép hay upload trí óc chúng ta vào máy tính,

all kinds of science fiction-y stuff

tất cả những điều có trong tiểu thuyết viễn tưởng

that's nevertheless consistent with the laws of physics.

tuy nhiên lại không nhất quán với các luật vật lý.

All of this superintelligence could develop, and possibly quite rapidly.

Tất cả những siêu máy tính này có thể phát triển, có lẽ là khá nhanh chóng.

Now, a superintelligence with such technological maturity

Giờ, 1 siêu trí tuệ với độ trưởng thành công nghệ như thế

would be extremely powerful,

có thể cực kỳ mạnh mẽ,

and at least in some scenarios, it would be able to get what it wants.

và ít nhất ở vài trường hợp, nó có thể đạt được điều nó muốn.

We would then have a future that would be shaped by the preferences of this A.I.

Chúng ta rồi sẽ có 1 tương lai có thể được định hình theo ưu tiên của A.I này.

Now a good question is, what are those preferences?

Giờ, câu hỏi hay đặt ra ở đây là, những ưu tiên đó là gì?

Here it gets trickier.

Ở đây, mọi thứ trở nên rắc rối hơn.

To make any headway with this,

Để tìm hiểu điều này,

we must first of all avoid anthropomorphizing.

trước hết, chúng ta phải tránh việc nhân cách hóa.

And this is ironic because every newspaper article

Điều đó thật nực cười bởi vì mọi bài viết trên mặt báo

about the future of A.I. has a picture of this:

về tương lai của trí thông minh nhân tạo đều đưa ra tình huống thế này:

So I think what we need to do is to conceive of the issue more abstractly,

Vì thế, tôi nghĩ điều chúng ta cần làm là tiếp nhận vấn đề 1 cách trừu tượng hơn,

not in terms of vivid Hollywood scenarios.

không rõ ràng và hoành tráng như những cảnh tượng trên Hollywood.

We need to think of intelligence as an optimization process,

Chúng ta cần nghĩ về trí thông minh như 1 quá trình tối ưu hóa,

a process that steers the future into a particular set of configurations.

một quá trình giúp định hướng tương lai vào 1 bộ những cấu hình nhất định.

A superintelligence is a really strong optimization process.

Siêu trí tuệ là quá trình tối ưu hóa thực sự mạnh mẽ.

It's extremely good at using available means to achieve a state

Nó có tài đặc biệt trong việc dùng những phương tiện sẵn có để đạt được trạng thái

in which its goal is realized.

mà ở đó mục tiêu của nó được thực hiện.

This means that there is no necessary connection between

Có nghĩa là, không cần thiết phải có sự liên hệ giữa

being highly intelligent in this sense,

trở nên cực kỳ thông minh

and having an objective that we humans would find worthwhile or meaningful.

và có 1 mục tiêu mà con người có thể thấy là đáng giá hoặc ý nghĩa.

Suppose we give an A.I. the goal to make humans smile.

Giả sử, chúng ta cho trí tuệ nhân tạo mục tiêu là làm cho con người cười.

When the A.I. is weak, it performs useful or amusing actions

Khi AI còn yếu, nó sẽ thực hiện các hành động có ích, hài hước

that cause its user to smile.

khiến chủ nhân của nó mỉm cười.

When the A.I. becomes superintelligent,

Khi AI trở thành siêu trí tuệ,

it realizes that there is a more effective way to achieve this goal:

nó nhận ra rằng có cách hiệu quả hơn nữa để đạt được mục tiêu này:

take control of the world

thống trị thế giới

and stick electrodes into the facial muscles of humans

và cắm điện cực vào các cơ mặt của con người

to cause constant, beaming grins.

để tạo ra những nụ cười rạng rỡ, bất biến.

Another example,

Một ví dụ khác,

suppose we give A.I. the goal to solve a difficult mathematical problem.

giả sử chúng ta cho AI mục đích giải quyết 1 vấn đề toán học khó khăn.

When the A.I. becomes superintelligent,

Khi AI trở thành siêu trí tuệ,

it realizes that the most effective way to get the solution to this problem

nó nhận ra rằng cách hiệu quả nhất để giải quyết vấn đề này

is by transforming the planet into a giant computer,

là biến đổi hành tinh này thành 1 máy tính khổng lồ

so as to increase its thinking capacity.

để gia tăng khả năng suy nghĩ của nó.

And notice that this gives the A.I.s an instrumental reason

Và để ý rằng điều này cho AI 1 lý do thuộc về phương tiện

to do things to us that we might not approve of.

để làm những việc mà chúng ta có thể không đồng ý.

Human beings in this model are threats,

Trường hợp này, con người là mối đe dọa,

we could prevent the mathematical problem from being solved.

chúng ta có thể ngăn vấn đề toán học đó được giải quyết.

Of course, perceivably things won't go wrong in these particular ways;

Tất nhiên, mọi việc có thể cũng không lầm lạc theo đúng những hướng này;

these are cartoon examples.

chúng là những ví dụ hư cấu.

But the general point here is important:

Nhưng đại ý ở đây thì quan trọng:

if you create a really powerful optimization process

nếu bạn tạo ra một quá trình tối ưu hóa thực sự quyền lực

to maximize for objective x,

để cực đại hóa cho mục tiêu x,

you better make sure that your definition of x

bạn nên chắc chắn rằng định nghĩa của bạn về x

incorporates everything you care about.

kết hợp chặt chẽ với mọi điều bạn quan tâm tới.

This is a lesson that's also taught in many a myth.

Đây cũng là bài học rút ra từ thần thoại sau đây.

King Midas wishes that everything he touches be turned into gold.

Vua Midas ước rằng mọi thứ ông chạm vào đều biến thành vàng.

He touches his daughter, she turns into gold.

Ông chạm vào con gái mình, cô biến thành vàng.

He touches his food, it turns into gold.

Ông chạm vào đồ ăn của mình, chúng biến thành vàng.

This could become practically relevant,

Điều này có thể trở nên đặc biệt liên quan,

not just as a metaphor for greed,

không chỉ là 1 ẩn dụ cho lòng tham,

but as an illustration of what happens

mà còn minh họa cho điều sẽ xảy ra

if you create a powerful optimization process

nếu bạn tạo ra 1 quá trình tối ưu hóa mạnh mẽ

and give it misconceived or poorly specified goals.

và đưa cho nó những mục tiêu sai nhận thức hoặc không được định rõ.

Now you might say, if a computer starts sticking electrodes into people's faces,

Giờ bạn có thể nói, nếu 1 máy tính bắt đầu cắm điện cực vào mặt con người,

we'd just shut it off.

chúng ta đơn giản là tắt chúng đi.

A, this is not necessarily so easy to do if we've grown dependent on the system --

A, điều này không dễ dàng đến thế nếu chúng ta trở nên phụ thuộc vào máy móc-

like, where is the off switch to the Internet?

cũng giống như, làm thế nào để tắt nguồn Internet?

B, why haven't the chimpanzees flicked the off switch to humanity,

B, tại sao tinh tinh không tắt công tắc chuyển sang loài người,

or the Neanderthals?

hay là người Neanderthals?

They certainly had reasons.

Ắt hẳn phải có lý do nào đó.

We have an off switch, for example, right here.

Chúng ta có nút tắt, ví dụ, ở ngay đây.

(Choking)

(Ho)

The reason is that we are an intelligent adversary;

Bởi lẽ chúng ta là một đối thủ thông minh;

we can anticipate threats and plan around them.

chúng ta có thể đoán trước các nguy cơ và lên kế hoạch.

But so could a superintelligent agent,

Nhưng 1siêu máy tính cũng có thể làm điều tương tự,

and it would be much better at that than we are.

và nó có thể làm việc đó giỏi hơn chúng ta rất nhiều.

The point is, we should not be confident that we have this under control here.

Vấn đề là, ở đây chúng ta không nên tự tin rằng mình đã kiểm soát được nó.

And we could try to make our job a little bit easier by, say,

Và chúng ta có thể cố gắng để công việc của mình dễ dàng hơn bằng cách

putting the A.I. in a box,

ví dụ, đặt AI vào 1 chiếc hộp,

like a secure software environment,

giống như 1 môi trường phần mềm an toàn,

a virtual reality simulation from which it cannot escape.

1 kích thích thực tế ảo mà từ đó nó không thể trốn thoát.

But how confident can we be that the A.I. couldn't find a bug.

Nhưng liệu chúng ta tự tin được bao nhiêu rằng AI không thể tìm ra lỗi kỹ thuật.

Given that merely human hackers find bugs all the time,

Cần nhớ rằng, các hacker là con người luôn luôn tìm ra lỗi,

I'd say, probably not very confident.

Tôi cho là vậy, dù có thể không được tự tin lắm.

So we disconnect the ethernet cable to create an air gap,

Vì vậy, chúng ta ngắt cáp cục bộ để tạo ra 1 lỗ hổng không khí,

but again, like merely human hackers

nhưng 1 lần nữa, giống như những hacker

routinely transgress air gaps using social engineering.

thường xuyên vi phạm những lỗ hổng không khí sử dụng mánh khóe xã hội.

Right now, as I speak,

Bây giờ, như tôi nói,

I'm sure there is some employee out there somewhere

Tôi chắc chắn đâu đó ngoài kia có vài nhân viên

who has been talked into handing out her account details

được bảo là phải giao nộp chi tiết tài khoản của mình

by somebody claiming to be from the I.T. department.

bởi 1 người tự nhận là ở ban công nghệ thông tin.

More creative scenarios are also possible,

Những tình huống sáng tạo hơn cũng có thể xảy ra,

like if you're the A.I.,

chẳng hạn, nếu bạn là AI,

you can imagine wiggling electrodes around in your internal circuitry

bạn có thể tưởng tượng điện cực xoáy trôn ốc xung quanh mạch nội bộ

to create radio waves that you can use to communicate.

để tạo ra sóng radio mà bạn có thể dùng để giao tiếp.

Or maybe you could pretend to malfunction,

Hoặc, bạn có thể giả vờ gặp sự cố,

and then when the programmers open you up to see what went wrong with you,

và rồi khi lập trình viên mở bạn ra để xem bạn bị làm sao,

they look at the source code -- Bam! --

họ nhìn vào mã nguồn, và Bam!

the manipulation can take place.

quá trình thao túng sẽ diễn ra.

Or it could output the blueprint to a really nifty technology,

Hoặc nó có thể cung cấp bản thiết kế tới 1 công nghệ thực sự tiện lợi,

and when we implement it,

và khi bạn sử dụng nó,

it has some surreptitious side effect that the A.I. had planned.

xảy ra vài phản ứng phụ bí mật mà AI đã tính toán từ trước.

The point here is that we should not be confident in our ability

Tức là, chúng ta không nên tự tin vào khẳ năng của mình

to keep a superintelligent genie locked up in its bottle forever.

để nhốt vị thần gian lận trong chai mãi mãi.

Sooner or later, it will out.

Chẳng sớm thì muốn, nó cũng thoát ra.

I believe that the answer here is to figure out

Tôi tin rằng câu trả lời ở đây là tìm ra

how to create superintelligent A.I. such that even if -- when -- it escapes,

cách thức tạo 1 AI siêu trí tuệ mà ngay cả khi nó trốn thoát,

it is still safe because it is fundamentally on our side

nó vẫn an toàn bởi vì về cơ bản nó vẫn thuộc phe ta

because it shares our values.

bởi vì hai bên cùng sẻ những giá trị chung.

I see no way around this difficult problem.

Tôi thấy không còn cách nào khác cho vấn đề khó khăn này.

Now, I'm actually fairly optimistic that this problem can be solved.

Thật ra tôi khá lạc quan rằng vấn đề này có thể được giải quyết.

We wouldn't have to write down a long list of everything we care about,

Chúng ta sẽ không phải viết ra 1 danh sách dài tất cả những gì ta quan tâm,

or worse yet, spell it out in some computer language

hay tệ hơn, nói ra bằng ngôn ngữ máy tính nào đó

like C++ or Python,

như C++ hoặc Python,

that would be a task beyond hopeless.

thế thì còn hơn cả vô vọng.

Instead, we would create an A.I. that uses its intelligence

Thay vào đó, chúng ta có thể tạo ra 1 AI sử dụng trí thông minh của mình

to learn what we value,

để học hỏi những gì ta coi trọng,

and its motivation system is constructed in such a way that it is motivated

và hệ thống thúc đẩy của nó được xây dựng tức là động lực của nó là

to pursue our values or to perform actions that it predicts we would approve of.

theo đuổi các giá trị của ta hay làm các điều mà nó dự đoán ta sẽ chấp thuận.

We would thus leverage its intelligence as much as possible

Từ đó chúng ta có thể tận dụng trí thông minh của nó nhiều nhất có thể

to solve the problem of value-loading.

để giải quyết vấn đề tải giá trị.

This can happen,

Điều này có thể xảy ra,

and the outcome could be very good for humanity.

và kết quả có thể sẽ rất tốt cho loài người.

But it doesn't happen automatically.

Nhưng điều đó không tự động xảy ra.

The initial conditions for the intelligence explosion

Các điều kiện ban đầu cho bùng nổ trí tuệ

might need to be set up in just the right way

có thể cần được thiết lập đúng cách

if we are to have a controlled detonation.

nếu chúng ta muốn có 1 cuộc bùng nổ được kiểm soát.

The values that the A.I. has need to match ours,

Các giá trị mà AI cần hòa hợp với chúng ta,

not just in the familiar context,

không chỉ trong bối cảnh quen thuộc,

like where we can easily check how the A.I. behaves,

nơi ta có thể dễ dàng kiểm tra AI cư xử ra sao,

but also in all novel contexts that the A.I. might encounter

mà còn trong tất cả những hoàn cảnh mới lạ mà AI có thể gặp phải

in the indefinite future.

trong tương lai bất định.

And there are also some esoteric issues that would need to be solved, sorted out:

Và cũng có vài vấn đề đặc biệt cần được giải quyết, sắp xếp:

the exact details of its decision theory,

chi tiết cụ thể về lý thuyết ra quyết định

how to deal with logical uncertainty and so forth.

làm sao để giải quyết bất định hợp lý, vân vân.

So the technical problems that need to be solved to make this work

Vì thế, những vấn đề kỹ thuật cần giải quyết để mọi thứ diễn ra suôn sẻ

look quite difficult --

trông có vẻ khó khăn --

not as difficult as making a superintelligent A.I.,

tuy không khó khăn bằng việc tạo ra 1 AI siêu trí tuệ,

but fairly difficult.

nhưng cũng tương đối khó khăn.

Here is the worry:

Đây là nỗi lo:

Making superintelligent A.I. is a really hard challenge.

Tạo ra một AI siêu trí tuệ là 1 thử thách thực sự khó khăn.

Making superintelligent A.I. that is safe

Tạo ra 1 AI siêu trí tuệ an toàn

involves some additional challenge on top of that.

còn liên quan tới vài thử thách nữa.

The risk is that if somebody figures out how to crack the first challenge

Nguy cơ có người tìm ra cách vượt qua thử thách đầu tiên

without also having cracked the additional challenge

mà không giải quyết một thử thách khác

of ensuring perfect safety.

để đảm bảo an toàn tuyệt đối.

So I think that we should work out a solution

Vì vậy tôi nghĩ chúng ta nên tìm ra giải pháp

to the control problem in advance,

cho vấn đề kiểm soát trước đã,

so that we have it available by the time it is needed.

để khi cần thiết ta đã có sẵn giải pháp rồi.

Now it might be that we cannot solve the entire control problem in advance

Có thể là chúng ta không thể giải quyết trước toàn bộ vấn đề kiểm soát

because maybe some elements can only be put in place

bởi vì có lẽ vài yếu tố chỉ có thể được đặt vào

once you know the details of the architecture where it will be implemented.

khi bạn biết chi tiết của cấu trúc trong đó nó được thực hiện.

But the more of the control problem that we solve in advance,

Nhưng chúng ta giải quyết vấn đề kiểm soát càng sớm bao nhiêu,

the better the odds that the transition to the machine intelligence era

thì khả năng quá trình chuyển đổi tới kỷ nguyên của trí tuệ nhân tạo

will go well.

diễn ra càng tốt bấy nhiêu.

This to me looks like a thing that is well worth doing

Vói tôi, điều này giống như 1 điều rất đáng làm

and I can imagine that if things turn out okay,

và tôi có thể tưởng tượng rằng nếu mọi thứ diễn ra ổn thỏa,

that people a million years from now look back at this century

rằng con người 1000 năm nữa sẽ nhìn lại thế kỷ này

and it might well be that they say that the one thing we did that really mattered

và rất có thể họ sẽ nói rằng điều quan trọng duy nhất chúng ta làm

was to get this thing right.

là thực hiện đúng điều này.

Thank you.

Cám ơn.

(Applause)

(Vỗ tay)