3 principles for creating safer AI | Stuart Russell

Translator: Tân Nguyễn Reviewer: Ngoc Bui

Đây là Lee Sedol.

This is Lee Sedol.

Lee Sedol is one of the world's greatest Go players,

Lee Sedol là một trong những kì thủ cờ vây giỏi nhất thế giới,

cậu ấy đang có thứ mà các bạn của tôi ở thung lũng Silicon gọi là

and he's having what my friends in Silicon Valley call

a "Holy Cow" moment --

khoảnh khắc "Ôi Chúa ơi" --

(Laughter)

(Cười)

a moment where we realize

khoảnh khắc khi chúng ta nhận ra rằng

that AI is actually progressing a lot faster than we expected.

AI (trí tuệ nhân tạo) đã xử lí nhanh hơn nhiều so với chúng ta mong đợi.

So humans have lost on the Go board. What about the real world?

Vậy con người đã thua trên bàn cờ vây. Thế còn trong thế giới thực?

Well, the real world is much bigger,

Thế giới thực lớn hơn,

much more complicated than the Go board.

phức tạp hơn nhiều so với cờ vây.

It's a lot less visible,

Nó không dễ nhận thấy,

but it's still a decision problem.

nhưng nó vẫn là một vấn đề mang tính chọn lựa.

And if we think about some of the technologies

Và nếu chúng ta nghĩ về một số công nghệ

that are coming down the pike ...

đang được chú ý đến...

Noriko [Arai] mentioned that reading is not yet happening in machines,

Noriko [Arai] từng khẳng định máy móc vẫn chưa thể đọc,

at least with understanding.

ít nhất là với sự thấu hiểu.

But that will happen,

Nhưng điều đó sẽ xảy ra,

and when that happens,

và khi điều đó xảy ra,

very soon afterwards,

rất nhanh sau đó,

machines will have read everything that the human race has ever written.

máy móc sẽ đọc hết những thứ mà loài người đã viết.

And that will enable machines,

Và điều đấy sẽ cho phép máy móc,

along with the ability to look further ahead than humans can,

cùng với khả năng dự đoán xa hơn con người,

as we've already seen in Go,

như chúng ta đã thấy trong cờ vây,

if they also have access to more information,

nếu chúng cũng có thể tiếp cận nhiều thông tin hơn,

they'll be able to make better decisions in the real world than we can.

chúng sẽ có thể đưa ra những quyết định tốt hơn chúng ta trong thế giới thực.

So is that a good thing?

Vậy đó có phải là điều tốt?

Well, I hope so.

Tôi hi vọng vậy.

Our entire civilization, everything that we value,

Toàn bộ nền văn minh của loài người, tất cả những thứ chúng ta coi trọng,

is based on our intelligence.

đều dựa trên trí tuệ của chúng ta.

And if we had access to a lot more intelligence,

Và nếu chúng ta có thể sở hữu nhiều trí tuệ hơn,

then there's really no limit to what the human race can do.

những thứ con người có thể làm sẽ không có giới hạn.

And I think this could be, as some people have described it,

Và tôi nghĩ đây có thể là, như nhiều người đã miêu tả nó,

the biggest event in human history.

sự kiện lớn nhất trong lịch sử nhân loại.

[Chào mừng tới UTOPIA Hãy tận hưởng hành trình của bạn]

So why are people saying things like this,

Vậy tại sao mọi người lại nói những điều như thế này,

that AI might spell the end of the human race?

AI có thể là sự chấm dứt của loài người?

Is this a new thing?

Đây có phải là một điều mới mẻ?

Is it just Elon Musk and Bill Gates and Stephen Hawking?

Phải chăng chỉ có Elon Musk, Bill Gates và Stephen Hawking?

Actually, no. This idea has been around for a while.

Thực ra là không.

Ý tưởng này đã có trước đây.

Here's a quotation:

Đây là một trích dẫn:

"Even if we could keep the machines in a subservient position,

"Ngay cả khi chúng ta có thể giữ máy móc như một công cụ,

for instance, by turning off the power at strategic moments" --

chẳng hạn như, bằng cách tắt nguồn khi chúng ta muốn"--

and I'll come back to that "turning off the power" idea later on --

và tôi sẽ quay lại với khái niệm "tắt nguồn" sau --

"we should, as a species, feel greatly humbled."

chúng ta vẫn nên cảm thấy khiêm tốn hơn.

So who said this? This is Alan Turing in 1951.

Vậy ai đã nói điều này?

Chính là Alan Turing vào năm 1951.

Alan Turing, như bạn đã biết, là cha đẻ của khoa học máy tính,

Alan Turing, as you know, is the father of computer science

and in many ways, the father of AI as well.

và theo nhiều cách, ông cũng là cha đẻ của AI.

So if we think about this problem,

Nếu chúng ta nghĩ về vấn đề này,

the problem of creating something more intelligent than your own species,

tạo nên một loài thông minh hơn loài của chính bạn,

we might call this "the gorilla problem,"

có thể gọi nó là "vấn đề gorilla,"

because gorillas' ancestors did this a few million years ago,

bởi vì tổ tiên gorilla đã làm việc này từ hàng triệu năm trước,

and now we can ask the gorillas:

và bây giờ chúng ta có thể hỏi chúng:

Was this a good idea?

Đây có phải là một ý tưởng hay?

So here they are having a meeting to discuss whether it was a good idea,

Và chúng đang có một buổi họp để thảo luận xem đây có phải là một ý tưởng hay,

and after a little while, they conclude, no,

và sau một khoảng thời gian, chúng kết luận: Không,

this was a terrible idea.

đó là một ý tưởng tồi tệ.

Our species is in dire straits.

Chúng ta đang ở trong hoàn cảnh rất khó khăn.

In fact, you can see the existential sadness in their eyes.

Thậm chí, bạn có thể nhìn thấy nỗi buồn hiện hữu trong mắt chúng.

(Laughter)

(Cười)

Vậy cảm giác bất an rằng

So this queasy feeling that making something smarter than your own species

tạo ra một loài thông minh hơn chính loài của chúng ta

is maybe not a good idea --

có thể không phải là một ý kiến hay --

what can we do about that?

Chúng ta có thể làm gì nó?

Well, really nothing, except stop doing AI,

Thực sự là không gì cả,

trừ việc ngừng tạo ra AI,

and because of all the benefits that I mentioned

và bởi vì những lợi ích mà tôi vừa kể ra

cũng như tôi là một nhà nghiên cứu về AI,

and because I'm an AI researcher,

I'm not having that.

tôi sẽ không làm như thế.

I actually want to be able to keep doing AI.

Tôi vẫn muốn tiếp tục làm về AI.

So we actually need to nail down the problem a bit more.

Chúng ta cần phải cụ thể hóa vấn đề hơn một chút.

What exactly is the problem?

Chính xác thì đâu mới là vấn đề?

Why is better AI possibly a catastrophe?

Vì sao AI tốt hơn lại có thể đem lại nhiều tai họa?

So here's another quotation:

Đây là một câu trích dẫn khác:

"We had better be quite sure that the purpose put into the machine

"Chúng ta nên đảm bảo rằng mục đích mà chúng ta đưa vào máy móc

is the purpose which we really desire."

là mục đích mà chúng ta thực sự mong muốn."

This was said by Norbert Wiener in 1960,

Đây là câu nói của Norbert Wiener năm 1960,

shortly after he watched one of the very early learning systems

không lâu sau khi ông ấy được xem

một trong những hệ thống học tập thời đầu

learn to play checkers better than its creator.

học cách chơi cờ Đam giỏi hơn người tạo ra nó.

But this could equally have been said

Nhưng điều tương tự cũng đã được nói

by King Midas.

bởi vua Midas.

King Midas said, "I want everything I touch to turn to gold,"

Vua Midas đã từng bảo:

"Tôi muốn mọi thứ tôi chạm vào trở thành vàng."

and he got exactly what he asked for.

và ông ấy đã có chính xác những gì ông muốn.

That was the purpose that he put into the machine,

Đấy là mục đích mà ông đã đưa vào máy móc,

so to speak,

như đã nói,

and then his food and his drink and his relatives turned to gold

sau đó thì đồ ăn, thức uống và người thân của ông đều biến thành vàng

and he died in misery and starvation.

và ông đã qua đời trong đau khổ và đói kém.

So we'll call this "the King Midas problem"

Vậy nên chúng ta gọi đây là "vấn đề Vua Midas"

of stating an objective which is not, in fact,

khi chúng ta đưa ra một mục tiêu không trùng khớp với thứ chúng ta muốn.

truly aligned with what we want.

Hiện tại, chúng ta gọi đó là "vấn đề trùng khớp giá trị."

In modern terms, we call this "the value alignment problem."

Putting in the wrong objective is not the only part of the problem.

Tuy nhiên xác định sai mục tiêu không phải là vấn đề duy nhất.

There's another part.

Còn một phần nữa.

If you put an objective into a machine,

Nếu chúng ta đưa mục đích vào một cỗ máy,

even something as simple as, "Fetch the coffee,"

kể cả một thứ đơn giản như "đi lấy cà phê,"

the machine says to itself,

cỗ máy tự nói với chính nó,

"Well, how might I fail to fetch the coffee?

"Ừm, điều gì có thể làm việc đi lấy cà phê thất bại?"

Someone might switch me off.

Như ai đó có thể sẽ tắt tôi đi.

OK, I have to take steps to prevent that.

Ok, tôi phải ngăn chặn việc đó.

I will disable my 'off' switch.

Tôi sẽ vô hiệu hóa nút 'tắt' của tôi.

I will do anything to defend myself against interference

Tôi sẽ làm mọi thứ để bảo vệ bản thân

khỏi các thứ cản trở tôi đạt được mục đích đã được giao."

with this objective that I have been given."

So this single-minded pursuit

Vậy sự chuyên tâm theo đuổi này

theo một cách rất phòng ngự đối với mục tiêu mà, thật ra,

in a very defensive mode of an objective that is, in fact,

không tương ứng với mục đích chính của loài người --

not aligned with the true objectives of the human race --

that's the problem that we face.

đó là vấn đề mà chúng ta phải đối mặt.

And in fact, that's the high-value takeaway from this talk.

Và thực ra, đây là bài học đáng giá được rút ra từ bài nói này.

If you want to remember one thing,

Nếu bạn muốn nhớ một điều,

it's that you can't fetch the coffee if you're dead.

đó là bạn sẽ không thể lấy được cà phê nếu bạn chết.

(Laughter)

(Cười)

It's very simple. Just remember that. Repeat it to yourself three times a day.

Nó rất đơn giản, hãy nhớ nó.

Nhắc lại cho bản thân nghe 3 lần mỗi ngày.

(Laughter)

(Cười)

And in fact, this is exactly the plot

Và thực ra, đây chính là nội dung

of "2001: [A Space Odyssey]"

trong phim "2001: [A Space Odyssey]"

HAL có một mục tiêu, một nhiệm vụ,

HAL has an objective, a mission,

which is not aligned with the objectives of the humans,

không trùng với mục tiêu của loài người,

and that leads to this conflict.

và nó dẫn tới sự mâu thuẫn này.

Now fortunately, HAL is not superintelligent.

Nhưng may mắn là Hal không phải một cỗ máy siêu trí tuệ.

He's pretty smart, but eventually Dave outwits him

Nó khá thông minh,

nhưng cuối cùng Dave đã khuất phục được

and manages to switch him off.

và đã tắt nguồn nó thành công.

But we might not be so lucky.

Nhưng có thể chúng ta sẽ không may mắn như thế.

[Xin lỗi Dave. Tôi e rằng tôi không thể làm điều đó được.]

Vậy chúng ta sẽ phải làm gì?

So what are we going to do?

[AI hợp tác được với con người]

I'm trying to redefine AI

Tôi đang cố định nghĩa lại về AI

to get away from this classical notion

để thoát khỏi định nghĩa truyền thống

of machines that intelligently pursue objectives.

là máy móc mà theo đuổi mục tiêu một cách thông minh.

There are three principles involved.

Nó bao gồm ba nguyên tắc.

Thứ nhất,

The first one is a principle of altruism, if you like,

đó là nguyên tắc về lòng vị tha, nếu bạn thích,

that the robot's only objective

mục tiêu duy nhất của robot là

is to maximize the realization of human objectives,

hiện thực hóa tối đa mục tiêu của con người,

of human values.

các giá trị của con người.

And by values here I don't mean touchy-feely, goody-goody values.

Và giá trị ở đây tôi muốn nói không phải sự nhạy cảm hay đạo đức giả.

I just mean whatever it is that the human would prefer

Ý tôi là bất kể thứ gì mà con người muốn cuộc sống của họ trở nên giống thế.

their life to be like.

And so this actually violates Asimov's law

Và thực ra thì điều này đã vi phạm luật của Asimov

that the robot has to protect its own existence.

đó là robot phải tự bảo vệ sự tồn tại của nó.

It has no interest in preserving its existence whatsoever.

Nó không hứng thú duy trì sự tồn tại của mình bất kể thế nào.

The second law is a law of humility, if you like.

Luật thứ hai đó là luật về sự khiêm tốn, nếu bạn thích.

And this turns out to be really important to make robots safe.

Và điều này thật ra rất quan trọng để robot trở nên an toàn.

It says that the robot does not know

Nó nói rằng robot không hề biết

what those human values are,

những giá trị của con người là gì,

so it has to maximize them, but it doesn't know what they are.

nên nó phải tối ưu hóa chúng, nhưng không biết chúng là gì.

And that avoids this problem of single-minded pursuit

Do đó tránh khỏi rắc rối từ sự chuyên tâm theo đuổi mục đích.

of an objective.

This uncertainty turns out to be crucial.

Sự không chắc chắn này hóa ra lại rất quan trọng.

Now, in order to be useful to us,

Bây giờ, để trở nên có ích cho chúng ta,

it has to have some idea of what we want.

nó phải có một chút ý tưởng về thứ mà chúng ta muốn.

It obtains that information primarily by observation of human choices,

Nó thu nhận các thông tin này chủ yếu bằng việc quan sát con người lựa chọn,

so our own choices reveal information

vậy lựa chọn của chúng ta sẽ hé lộ thông tin

about what it is that we prefer our lives to be like.

về những thứ mà chúng ta muốn cuộc sống của mình trở nên như vậy.

So those are the three principles.

Vậy đó là ba nguyên tắc.

Hãy xem ta áp dụng chúng vào câu hỏi này như thế nào:

Let's see how that applies to this question of:

"Can you switch the machine off?" as Turing suggested.

"Bạn có thể tắt nguồn chiếc máy không?" như Turing đã đưa ra.

So here's a PR2 robot.

[Vấn đề tắt nguồn]

Đây là robot PR2.

Một cái ở phòng nghiên cứu chúng tôi có,

This is one that we have in our lab,

and it has a big red "off" switch right on the back.

và nó có một nút "tắt" lớn đỏ ở sau lưng.

The question is: Is it going to let you switch it off?

Câu hỏi là: Nó có để cho bạn tắt nó đi không?

Giả sử ta làm theo cách truyền thống,

If we do it the classical way,

we give it the objective of, "Fetch the coffee, I must fetch the coffee,

đưa cho nó mục tiêu là "Đi lấy cà phê",

"Tôi phải đi lấy cà phê",

I can't fetch the coffee if I'm dead,"

"Tôi không thể lấy cà phê nếu tôi chết",

so obviously the PR2 has been listening to my talk,

vậy rõ ràng PR2 đã nghe bài nói của tôi,

and so it says, therefore, "I must disable my 'off' switch,

và do đó nó nói: "Tôi phải vô hiệu hóa nút "tắt" của mình,

and probably taser all the other people in Starbucks

và có lẽ sốc điện tất cả những người trong Starbucks,

who might interfere with me."

những người có thể cản trở tôi."

(Laughter)

(Cười)

Vậy điều này có vẻ không thể tránh khỏi, đúng không?

So this seems to be inevitable, right?

This kind of failure mode seems to be inevitable,

Sự thất bại như thế này có vẻ không thể tránh được,

and it follows from having a concrete, definite objective.

và nó là kết quả của việc có một mục tiêu rõ ràng.

So what happens if the machine is uncertain about the objective?

Vậy sẽ thế nào nếu chiếc máy không chắc chắn với mục tiêu của mình?

Well, it reasons in a different way.

Nó sẽ lý luận theo một cách khác.

It says, "OK, the human might switch me off,

Nó nghĩ: "Chà, con người có thể sẽ tắt mình mất,

but only if I'm doing something wrong.

nhưng chỉ khi mình làm sai gì đó.

Well, I don't really know what wrong is,

Mình thực sự không biết thế nào là "sai",

nhưng mình biết là mình không muốn làm điều đó."

but I know that I don't want to do it."

Và đây là lúc áp dụng luật thứ nhất và thứ hai.

So that's the first and second principles right there.

"So I should let the human switch me off."

"Do đó mình nên để con người tắt mình đi."

And in fact you can calculate the incentive that the robot has

Và thực tế bạn có thể tính toán động lực

mà robot phải để con người tắt nó,

to allow the human to switch it off,

and it's directly tied to the degree

và nó liên kết trực tiếp

of uncertainty about the underlying objective.

với mức độ không chắc chắn về các mục tiêu tiềm ẩn.

And then when the machine is switched off,

Và khi mà chiếc máy đã được tắt đi,

that third principle comes into play.

thì đến lượt của luật thứ ba.

It learns something about the objectives it should be pursuing,

Nó sẽ học được gì đó về mục tiêu mà nó cần theo đuổi,

because it learns that what it did wasn't right.

vì nó học được những việc mình đã làm là không đúng.

In fact, we can, with suitable use of Greek symbols,

Thực tế, nếu sử dụng các kí hiệu La Mã thích hợp,

as mathematicians usually do,

như các nhà toán học hay làm,

we can actually prove a theorem

chúng ta thực sự có thể chứng minh mệnh đề

that says that such a robot is provably beneficial to the human.

nói rằng robot này quả là có ích cho con người.

You are provably better off with a machine that's designed in this way

Bạn có thể cải thiện tốt hơn với chiếc máy được thiết kế như thế này

than without it.

so với không có nó.

So this is a very simple example, but this is the first step

Vậy đây là một ví dụ rất đơn giản, nhưng đó là bước đầu tiên

in what we're trying to do with human-compatible AI.

trong việc chúng tôi cố gắng làm ra AI hòa hợp với con người.

Now, this third principle,

Bây giờ, luật thứ ba này,

I think is the one that you're probably scratching your head over.

tôi nghĩ nó là điều khiến bạn phải vò đầu bứt tai suốt.

You're probably thinking, "Well, you know, I behave badly.

Có thể bạn đang nghĩ:

"Chà, bạn biết đấy, tôi cư xử khá tệ.

I don't want my robot to behave like me.

Tôi không muốn robot của mình cư xử giống tôi.

I sneak down in the middle of the night and take stuff from the fridge.

Tôi mò mẫm vào giữa đêm và lén lút lấy đồ trong tủ lạnh.

I do this and that."

Tôi làm điều này, điều nọ."

There's all kinds of things you don't want the robot doing.

Có cả tá thứ mà bạn không muốn robot làm theo.

But in fact, it doesn't quite work that way.

Nhưng thực tế, nó không hoạt động như thế.

Just because you behave badly

Chỉ vì bạn cư xử tồi tệ

doesn't mean the robot is going to copy your behavior.

không có nghĩa là robot sẽ bắt chước hành vi của bạn.

It's going to understand your motivations and maybe help you resist them,

Nó sẽ hiểu động lực của bạn và có thể giúp bạn chống lại chúng,

if appropriate.

nếu điều đó phù hợp.

But it's still difficult.

Nhưng thực ra vẫn khó.

What we're trying to do, in fact,

Điều chúng tôi đang cố gắng làm, thật ra,

is to allow machines to predict for any person and for any possible life

là giúp máy tính dự đoán cho mỗi người và cho mỗi cuộc sống

that they could live,

mà họ có thể đã được sống,

and the lives of everybody else:

và cuộc sống của tất cả mọi người khác:

Which would they prefer?

Họ thích cuộc sống nào nhất?

And there are many, many difficulties involved in doing this;

Và có rất rất nhiều khó khăn trong việc này.

I don't expect that this is going to get solved very quickly.

Tôi không hy vọng là chúng sẽ được giải quyết nhanh chóng.

The real difficulties, in fact, are us.

Khó khăn lớn nhất, thật ra, là chính chúng ta.

As I have already mentioned, we behave badly.

Như tôi đã đề cập, chúng ta cư xử khá tệ.

Thực tế, một số chúng ta thực sự đã mục nát.

In fact, some of us are downright nasty.

Now the robot, as I said, doesn't have to copy the behavior.

Bây giờ robot, như tôi đã nói, không cần phải bắt chước các hành vi.

The robot does not have any objective of its own.

Robot không có bất cứ mục tiêu nào cho riêng chúng.

It's purely altruistic.

Chúng hoàn toàn rất vị tha.

And it's not designed just to satisfy the desires of one person, the user,

Và nó không được thiết kế

để thỏa mãn ước muốn của chỉ một cá nhân, một người dùng,

but in fact it has to respect the preferences of everybody.

mà thực tế nó phải tôn trọng quan điểm của tất cả mọi người.

So it can deal with a certain amount of nastiness,

Do đó nó có thể xử lý với một số hành vi xấu xa,

and it can even understand that your nastiness, for example,

và thậm chí có thể thông cảm với sự sai trái của bạn, ví dụ,

you may take bribes as a passport official

có thể bạn nhận hối lộ khi làm công việc hộ chiếu

because you need to feed your family and send your kids to school.

vì bạn cần nuôi sống gia đình và cho con của bạn đi học.

It can understand that; it doesn't mean it's going to steal.

Chúng có thể hiểu điều này; nó không có nghĩa là chúng sẽ ăn cắp.

In fact, it'll just help you send your kids to school.

Thực tế, nó chỉ giúp bạn giúp con bạn được đi học.

We are also computationally limited.

Chúng ta cũng bị hạn chế về mặt tính toán.

Lee Sedol is a brilliant Go player,

Lee Sedol là một thiên tài cờ vây,

but he still lost.

nhưng anh ấy vẫn thua.

So if we look at his actions, he took an action that lost the game.

Nếu ta nhìn vào hành động của anh ấy, anh ấy chấp nhận đã thua ván cờ.

That doesn't mean he wanted to lose.

Nó không có nghĩa là anh ấy muốn thua.

So to understand his behavior,

Vậy để hiểu được hành vi của anh ấy,

we actually have to invert through a model of human cognition

chúng ta phải quay ngược trở lại với mô hình nhận thức của con người

that includes our computational limitations -- a very complicated model.

mà bao gồm những hạn chế về tính toán của chúng ta.

Và nó là một hệ thống rất phức tạp.

But it's still something that we can work on understanding.

Nhưng nó vẫn là thứ mà chúng ta có thể khám phá và hiểu nó.

Probably the most difficult part, from my point of view as an AI researcher,

Có lẽ phần khó khăn nhất, dưới góc nhìn là một nhà nghiên cứu AI,

is the fact that there are lots of us,

đó là số lượng của chúng ta quá nhiều,

and so the machine has to somehow trade off, weigh up the preferences

thế nên máy tính phải bằng một cách nào đó cân đong đo đếm các quan điểm

of many different people,

của nhiều người khác nhau,

and there are different ways to do that.

và có rất nhiều cách để làm việc này.

Economists, sociologists, moral philosophers have understood that,

Các nhà kinh tế học, xã hội học, triết học đạo đức đã hiểu điều đó,

and we are actively looking for collaboration.

và chúng tôi đang chủ động tìm kiếm các sự hợp tác.

Let's have a look and see what happens when you get that wrong.

Hãy quan sát và xem điều gì sẽ xảy ra khi bạn hiểu sai nó.

So you can have a conversation, for example,

Ví dụ, bạn có thể có một cuộc đối thoại

with your intelligent personal assistant

với trợ lý thông minh riêng của bạn

that might be available in a few years' time.

điều có thể sẽ thành hiện thực trong vài năm tới.

Think of a Siri on steroids.

Bạn có thể nghĩ về Siri nhưng ngoài đời thực.

So Siri says, "Your wife called to remind you about dinner tonight."

Siri nói: "Vợ anh đã gọi để nhắc anh về buổi ăn tối ngày mai."

And of course, you've forgotten. "What? What dinner?

Và đương nhiên, bạn đã quên. "Hả? Bữa tối nào?

What are you talking about?"

Cô đang nói về gì vậy?"

"Uh, your 20th anniversary at 7pm."

"..., kỉ niệm 20 năm ngày cưới, lúc 7 giờ tối."

"I can't do that. I'm meeting with the secretary-general at 7:30.

"Tôi không thể. Tôi có cuộc gặp với tổng thư ký lúc 7h30.

How could this have happened?"

Sao..., sao chuyện này có thể xảy ra chứ?"

"Well, I did warn you, but you overrode my recommendation."

"Chà, tôi đã cảnh báo anh nhưng anh đã lờ đi lời khuyên của tôi."

"Well, what am I going to do? I can't just tell him I'm too busy."

"Tôi phải làm gì bây giờ? Tôi không thể nói cô ấy là tôi quá bận."

"Don't worry. I arranged for his plane to be delayed."

"Đừng lo lắng. Tôi sẽ sắp xếp để chuyến bay của anh ấy bị hoãn lại."

(Laughter)

(Cười)

"Some kind of computer malfunction."

"Bằng một lỗi trục trặc kĩ thuật nào đó."

(Laughter)

(Cười)

"Really? You can do that?"

"Thật ư? Cô có thể làm thế à?"

"He sends his profound apologies

"Anh ấy đã gửi thư xin lỗi

and looks forward to meeting you for lunch tomorrow."

và mong sẽ được gặp anh ở bữa trưa ngày mai."

(Laughter)

(Cười)

So the values here -- there's a slight mistake going on.

Vậy giá trị ở đây -- có một chút sai lầm đã xảy ra.

This is clearly following my wife's values

Nó hoàn toàn theo đuổi giá trị của vợ tôi

which is "Happy wife, happy life."

đó là "Vợ vui thì đời cũng vui."

(Laughter)

(Cười)

It could go the other way.

Nó có thể diễn ra theo một hướng khác.

You could come home after a hard day's work,

Bạn vừa trở về nhà sau một ngày làm việc vất vả,

and the computer says, "Long day?"

và máy tính hỏi: "Một ngày dài à?"

"Ừ, tôi còn chẳng có thời gian để ăn trưa."

"Yes, I didn't even have time for lunch."

"You must be very hungry."

"Chắc anh phải đói lắm rồi."

"Starving, yeah. Could you make some dinner?"

"Ừ, đói muốn chết. Bạn có thể làm bữa tối cho tôi không?"

"There's something I need to tell you."

"Có điều này tôi phải nói với anh."

(Laughter)

(Cười)

"There are humans in South Sudan who are in more urgent need than you."

"Những người ở Nam Sudan đang cần sự trợ giúp khẩn cấp hơn anh nhiều."

(Laughter)

(Cười)

"So I'm leaving. Make your own dinner."

"Nên tôi đi đây. Tự làm bữa tối của anh đi."

(Laughter)

(Cười)

So we have to solve these problems,

Vậy chúng ta phải xử lý những vấn đề như thế này,

and I'm looking forward to working on them.

và tôi rất nóng lòng được làm việc với chúng.

There are reasons for optimism.

Có những lý do để mà lạc quan.

One reason is,

Một lý do là,

there is a massive amount of data.

có một lượng khổng lồ dữ liệu ngoài kia.

Because remember -- I said they're going to read everything

Bởi vì như tôi đã nói, chúng sẽ đọc hết tất cả mọi thứ trên đời.

the human race has ever written.

Hầu hết những gì chúng ta viết là về những việc làm của nhân loại

Most of what we write about is human beings doing things

và sau đó những người khác cảm thấy phiền lòng về nó.

and other people getting upset about it.

So there's a massive amount of data to learn from.

Do đó có một lượng khổng lồ dữ liệu để học tập.

There's also a very strong economic incentive

Đồng thời có một động lực kinh tế rất lớn

to get this right.

để làm đúng việc này.

So imagine your domestic robot's at home.

Hãy tưởng tượng robot gia đình ở nhà bạn.

You're late from work again and the robot has to feed the kids,

Bạn lại đi làm về trễ và robot phải nấu ăn cho bọn trẻ,

and the kids are hungry and there's nothing in the fridge.

bọn trẻ thì đang đói và không còn thứ gì trong tủ lạnh.

And the robot sees the cat.

Và robot nhìn thấy con mèo.

(Laughter)

(Cười)

And the robot hasn't quite learned the human value function properly,

Và robot này chưa được học hoàn toàn về các giá trị của con người,

so it doesn't understand

nên nó không thể hiểu được rằng

the sentimental value of the cat outweighs the nutritional value of the cat.

các giá trị tình cảm của con mèo lớn hơn hẳn giá trị dinh dưỡng của nó.

(Cười)

(Laughter)

Vậy sau đó chuyện gì xảy ra?

So then what happens?

Well, it happens like this:

Chà, nó xảy ra như thế này:

"Deranged robot cooks kitty for family dinner."

"Một robot điên loạn nấu mèo con cho bữa tối của gia đình."

That one incident would be the end of the domestic robot industry.

Một sự cố như thế có thể sẽ chấm dứt ngành robot gia đình.

So there's a huge incentive to get this right

Do đó có một động lực rất lớn để làm việc này đúng trong thời gian dài

long before we reach superintelligent machines.

trước khi chúng ta đạt tới máy móc siêu thông minh.

So to summarize:

Vậy để tổng kết lại:

I'm actually trying to change the definition of AI

Tôi thực ra đang cố thay đổi định nghĩa về AI

so that we have provably beneficial machines.

để chúng ta có những máy móc được chứng minh là có hiệu quả.

And the principles are:

Và những nguyên tắc là:

machines that are altruistic,

những chiếc máy hoàn toàn vị tha,

that want to achieve only our objectives,

chỉ muốn đạt được mục đích của chúng ta,

but that are uncertain about what those objectives are,

nhưng chúng không chắc chắn những mục tiêu này là gì,

and will watch all of us

và sẽ theo dõi tất cả chúng ta

to learn more about what it is that we really want.

để hiểu thêm về những gì chúng ta thực sự muốn.

And hopefully in the process, we will learn to be better people.

Và mong rằng trong quá trình đó, ta cũng học hỏi để trở nên tốt đẹp hơn.

Thank you very much.

Cảm ơn rất nhiều.

(Applause)

(Vỗ tay)

Chris Anderson: So interesting, Stuart.

Chris Anderson: Rất thú vị, Stuart.

We're going to stand here a bit because I think they're setting up

Chúng ta sẽ đứng đây thêm chút nữa

vì tôi nghĩ họ đang chuẩn bị cho diễn giả tiếp theo.

for our next speaker.

A couple of questions.

Đây là một số câu hỏi.

So the idea of programming in ignorance seems intuitively really powerful.

Vậy ý tưởng lập trình với sự thiếu hụt thông tin có vẻ như rất mạnh mẽ.

As you get to superintelligence,

Nhưng khi ta có siêu trí tuệ,

what's going to stop a robot

điều gì sẽ ngăn cản robot

reading literature and discovering this idea that knowledge

đọc những quyển sách và phát hiện ra ý tưởng là

is actually better than ignorance

có kiến thức thực ra tốt hơn là bị thiếu hụt

and still just shifting its own goals and rewriting that programming?

và có thể chuyển hướng mục tiêu của chúng sau đó viết lại các chương trình?

Stuart Russell: Yes, so we want it to learn more, as I said,

Stuart Rusell: Vâng, chúng ta muốn nó học hỏi nhiều hơn, như tôi đã nói,

about our objectives.

về mục tiêu của chúng ta.

It'll only become more certain as it becomes more correct,

Nó sẽ chỉ trở nên chắc chắn hơn khi nó làm đúng nhiều hơn,

so the evidence is there

vậy đó sẽ là những bằng chứng

and it's going to be designed to interpret it correctly.

và chúng sẽ được thiết kế để diễn dịch đúng đắn điều này.

It will understand, for example, that books are very biased

Nó sẽ hiểu được, ví dụ như những quyển sách rất thiên vị

in the evidence they contain.

về những đề tài mà chúng chứa.

They only talk about kings and princes

Chúng chỉ nói về các vị vua và hoàng tử

and elite white male people doing stuff.

và các đàn ông quý tộc da trắng làm gì đó.

So it's a complicated problem,

Nên đó là một vấn đề phức tạp,

but as it learns more about our objectives

nhưng khi nó học hỏi nhiều hơn về mục tiêu của chúng ta,

it will become more and more useful to us.

nó sẽ chở nên càng ngày càng có ích cho chúng ta.

CA: And you couldn't just boil it down to one law,

CA: Và anh đã không thể rút gọn lại trong một luật,

you know, hardwired in:

như là bó buộc nó lại:

"if any human ever tries to switch me off,

"Nếu loài người đã cố để tắt nguồn tôi,

I comply. I comply."

tôi sẽ tuân lệnh thôi."

SR: Absolutely not.

SR: Thực sự thì không.

That would be a terrible idea.

Đó sẽ là một ý tưởng tồi tệ.

So imagine that you have a self-driving car

Hãy tưởng tượng anh có một chiếc xe tự lái

and you want to send your five-year-old

và anh muốn gửi đứa con 5 tuổi tới trường mẫu giáo.

off to preschool.

Do you want your five-year-old to be able to switch off the car

Anh có muốn đứa con 5 tuổi có thể tắt chiếc xe khi nó đang chạy không?

while it's driving along?

Chắc là không đâu.

Probably not.

Do đó nó cần hiểu được mức độ nhận thức của người đó.

So it needs to understand how rational and sensible the person is.

The more rational the person,

Nhận thức người đó càng cao,

the more willing you are to be switched off.

khả năng máy tính tự nguyện bị tắt càng cao.

If the person is completely random or even malicious,

Nếu người đó hoàn toàn lạ mặt hay thậm chí là kẻ xấu,

then you're less willing to be switched off.

thì máy tính sẽ khó để bị tắt hơn.

CA: All right. Stuart, can I just say,

CA: Được thôi, Stuart,

I really, really hope you figure this out for us.

tôi rất mong anh sẽ giải quyết vấn đề này cho chúng ta.

Cảm ơn rất nhiều vì cuộc nói chuyện. Nó rất tuyệt vời.

Thank you so much for that talk. That was amazing.

SR: Thank you.

SR: Cảm ơn.

(Applause)

(Vỗ tay)