Can we build AI without losing control over it? | Sam Harris

Translator: Huong Nguyen Reviewer: Uyên Võ

Tôi chuẩn bị nói về sự thất bại của trực giác

I'm going to talk about a failure of intuition

that many of us suffer from.

mà nhiều người trong chúng ta thường gặp phải.

It's really a failure to detect a certain kind of danger.

Nó thật ra là sự thất bại trong việc phát hiện một mối nguy hiểm nhất định.

I'm going to describe a scenario

Tôi sẽ mô tả một viễn cảnh

mà tôi nghĩ vừa kinh khủng

that I think is both terrifying

and likely to occur,

vừa có thể sẽ xảy ra,

and that's not a good combination,

và đây không phải sự kết hợp tốt

as it turns out.

khi nó xảy ra.

Thế nhưng thay vì sợ, hầu hết các bạn sẽ cảm thấy

And yet rather than be scared, most of you will feel

that what I'm talking about is kind of cool.

rằng điều tôi đang nói thật ra rất tuyệt

I'm going to describe how the gains we make

Tôi sẽ mô tả cách mà những thứ ta gặt hái được

in artificial intelligence

từ trí thông minh nhân tạo (AI)

có thể hủy diệt chúng ta.

could ultimately destroy us.

And in fact, I think it's very difficult to see how they won't destroy us

Thực ra, tôi nghĩ rất khó để xem làm sao chúng có thể không tiêu diệt chúng ta

or inspire us to destroy ourselves.

hoặc làm cho chúng ta tự hủy diệt mình.

And yet if you're anything like me,

Nhưng nếu các bạn giống tôi,

you'll find that it's fun to think about these things.

bạn sẽ thấy rằng nó rất vui khi nghĩ về những điều này.

And that response is part of the problem.

Và phản ứng đó là một phần của vấn đề.

OK? That response should worry you.

OK? Phản ứng đó sẽ làm bạn lo lắng.

And if I were to convince you in this talk

Và nếu tôi thuyết phục được các bạn trong buổi nói chuyện này

that we were likely to suffer a global famine,

rằng chúng ta có thể sẽ phải hứng chịu một nạn đói toàn cầu,

hoặc do biến đổi khí hậu hoặc do một số thiên tai khác,

either because of climate change or some other catastrophe,

và rằng cháu chắt của các bạn hay của họ,

and that your grandchildren, or their grandchildren,

are very likely to live like this,

rất có thể sẽ phải sống như thế này,

you wouldn't think,

thì bạn sẽ không nghĩ,

"Interesting.

"Tuyệt vời.

I like this TED Talk."

Tôi thích buổi nói chuyện này."

Famine isn't fun.

Nạn đói không vui vẻ gì đâu.

Death by science fiction, on the other hand, is fun,

Tuy nhiên cái chết do khoa học viễn tưởng lại rất hài hước.

and one of the things that worries me most about the development of AI at this point

mà một trong số những thứ làm tôi lo lắng nhất về việc phát triển AI

is that we seem unable to marshal an appropriate emotional response

là chúng ta dường như không thể sắp xếp một phản ứng cảm xúc thích hợp nào

to the dangers that lie ahead.

cho những mối nguy hiểm trước mắt.

Tôi không thể sắp xếp thứ phản ứng này, nên tôi mới đưa ra buổi nói chuyện này.

I am unable to marshal this response, and I'm giving this talk.

Nó như thể chúng ta đứng trước hai cánh cửa.

It's as though we stand before two doors.

Behind door number one,

Sau cánh cửa thứ nhất,

chúng ta ngưng quá trình xây dựng các loại máy móc thông minh.

we stop making progress in building intelligent machines.

Our computer hardware and software just stops getting better for some reason.

Phần cứng và phần mềm máy tính không cải tiến tốt hơn nữa vì vài lí do.

Now take a moment to consider why this might happen.

Giờ hãy dành thời gian suy nghĩ tại sao điều này có thể xảy ra.

Ý tôi là, dựa vào giá trị của trí thông minh và sự tự động hóa,

I mean, given how valuable intelligence and automation are,

we will continue to improve our technology if we are at all able to.

chúng ta vẫn sẽ tiếp tục cải tiến công nghệ nếu ta hoàn toàn có thể.

Điều gì có thể khiến chúng ta dừng làm việc này?

What could stop us from doing this?

A full-scale nuclear war?

Một cuộc chiến hạt nhân quy mô lớn?

Một đại dịch toàn cầu?

A global pandemic?

An asteroid impact?

Va chạm thiên thạch?

Justin Bieber becoming president of the United States?

Hay Justin Bieber trở thành tổng thống Mỹ?

(Laughter)

(Cười)

The point is, something would have to destroy civilization as we know it.

Vấn đề là, thứ gì đó sẽ phải hủy diệt nền văn minh như chúng ta đã biết.

You have to imagine how bad it would have to be

Bạn phải tưởng tượng nó sẽ phải tồi tệ như thế nào

to prevent us from making improvements in our technology

để ngăn chúng ta tiếp tục cải tiến công nghệ

vĩnh viễn,

permanently,

generation after generation.

thế hệ này qua thế hệ khác.

Almost by definition, this is the worst thing

Gần như theo định nghĩa, đây là thứ tồi tệ nhất

that's ever happened in human history.

xảy ra trong lịch sử nhân loại.

So the only alternative,

Vậy nên lựa chọn duy nhất,

and this is what lies behind door number two,

và nó nằm sau cánh cửa số hai,

is that we continue to improve our intelligent machines

đó là chúng ta tiếp tục cải tiến các máy móc thông minh

year after year after year.

năm này qua năm khác.

At a certain point, we will build machines that are smarter than we are,

Tới một thời điểm nhất định, chúng ta sẽ tạo ra những cỗ máy thông minh hơn mình,

và một khi chúng ta sở hữu các cỗ máy thông minh hơn mình,

and once we have machines that are smarter than we are,

they will begin to improve themselves.

chúng sẽ bắt đầu tự cải tiến.

And then we risk what the mathematician IJ Good called

Sau đó, chúng ta mạo hiểm với thứ mà nhà toán học Ij Good gọi là

an "intelligence explosion,"

sự "bùng nổ trí tuệ"

that the process could get away from us.

và quá trình đó có thể sẽ tiến xa ra khỏi chúng ta.

Và giờ, điều này thường hay bị biếm họa, như tôi có ở đây,

Now, this is often caricatured, as I have here,

as a fear that armies of malicious robots

nỗi sợ trước một đội quân robot độc ác

will attack us.

sẽ tấn công chúng ta.

But that isn't the most likely scenario.

Nhưng đó chưa phải là viễn cảnh dễ xảy ra nhất.

It's not that our machines will become spontaneously malevolent.

Không phải những cỗ máy của chúng ta tự nhiên trở nên ác độc

Mối lo thật sự là khi chúng ta tạo ra những cỗ máy

The concern is really that we will build machines

that are so much more competent than we are

tài giỏi hơn chúng ta quá nhiều

that the slightest divergence between their goals and our own

để rồi, dù chỉ một khác biệt nhỏ nhất giữa mục tiêu của chúng và ta thôi

could destroy us.

cũng có thể hủy diệt chúng ta.

Just think about how we relate to ants.

Hãy nghĩ đến mối quan hệ giữa chúng ta loài kiến.

We don't hate them.

Chúng ta không ghét chúng.

We don't go out of our way to harm them.

Chúng ta không cố tình làm hại chúng.

In fact, sometimes we take pains not to harm them.

Thực tế đôi khi chúng ta cố gắng không làm hại chúng.

We step over them on the sidewalk.

Chúng ta bước qua chúng trên vỉa hè.

But whenever their presence

Nhưng mỗi khi sự xuất hiện của chúng

seriously conflicts with one of our goals,

xung đột cực kì với một trong các mục đích của chúng ta,

let's say when constructing a building like this one,

Ví dụ như khi xây dựng một tòa nhà như thế này,

we annihilate them without a qualm.

chúng ta tiêu diệt chúng không lo lắng.

The concern is that we will one day build machines

Có nghĩa là một ngày nào đó khi chúng ta tạo ra các cỗ máy

that, whether they're conscious or not,

cho dù chúng có ý thức hay không,

could treat us with similar disregard.

cũng sẽ đối xử với chúng ta theo sự bất chấp tương tự như thế.

Now, I suspect this seems far-fetched to many of you.

Bây giờ, tôi nghi ngờ rằng điều này có vẻ quá xa với nhiều người

I bet there are those of you who doubt that superintelligent AI is possible,

Tôi cá là có một số người đang nghi ngờ rằng AI siêu thông minh có thể xảy ra,

much less inevitable.

ít nhiều không thể tránh khỏi.

But then you must find something wrong with one of the following assumptions.

Nhưng sau đó bạn phải tìm ra điều sai với một trong các giả định sau.

Và chỉ có 3 giả định.

And there are only three of them.

Intelligence is a matter of information processing in physical systems.

Trí thông minh là một vấn đề của quá trình xử lí thông tin trong các hệ thống vật lí.

Thực ra, điều này hơn một chút so với giả định.

Actually, this is a little bit more than an assumption.

We have already built narrow intelligence into our machines,

Chúng ta đã tạo ra trí thông minh hạn hẹp trong các cỗ máy của mình rồi,

and many of these machines perform

Và rất nhiều máy móc cũng đã hoạt động

at a level of superhuman intelligence already.

ở mức độ của trí thông minh siêu việt rồi.

And we know that mere matter

Và chúng ta biết rằng chỉ có vật chất

can give rise to what is called "general intelligence,"

mới có thể tạo cơ hội cho "trí thông minh không giới hạn,"

một khả năng suy nghĩ linh hoạt trên nhiều lĩnh vực,

an ability to think flexibly across multiple domains,

because our brains have managed it. Right?

bởi vì bộ não chúng ta quản lí nó. Đúng chứ?

I mean, there's just atoms in here,

Ý tôi là, chỉ có các hạt nhân trong đây,

and as long as we continue to build systems of atoms

và miễn là chúng ta tiếp tục xây dựng hệ thống các nguyên tử

that display more and more intelligent behavior,

để biểu lộ những hành động thông minh nhiều hơn nữa,

cuối cùng chúng ta sẽ, trừ khi chúng ta bị gián đoạn,

we will eventually, unless we are interrupted,

we will eventually build general intelligence

cuối cùng chúng ta sẽ xây dựng được trí tuệ không giới hạn

cho máy móc của mình.

into our machines.

It's crucial to realize that the rate of progress doesn't matter,

Cần phải nhận ra rằng tiến độ không quan trọng.

bởi vì bất kì quá trình nào cũng đủ để đưa chúng ta vào khu vực kết thúc.

because any progress is enough to get us into the end zone.

We don't need Moore's law to continue. We don't need exponential progress.

Ta không cần định luật Moore để tiếp tục. Ta không cần phát triển theo cấp số nhân.

Chúng ta chỉ cần tiếp tục bước đi.

We just need to keep going.

The second assumption is that we will keep going.

Giả định thứ hai là chúng ta sẽ tiếp tục đi.

Chúng ta tiếp tục cải tiến những cỗ máy thông minh của mình.

We will continue to improve our intelligent machines.

Và dựa vào giá trị của trí thông minh --

And given the value of intelligence --

Ý tôi là, trí thông minh hoặc là nguồn gốc của tất cả mọi thứ chúng ta đánh giá

I mean, intelligence is either the source of everything we value

or we need it to safeguard everything we value.

hoặc chúng ta cần nó để bảo vệ tất cả mọi thứ chúng ta coi trọng.

It is our most valuable resource.

Nó là tài nguyên quý giá nhất của chúng ta.

Vì thế chúng ta muốn làm điều này.

So we want to do this.

We have problems that we desperately need to solve.

Chúng ta có những vần đề nhất định phải liều mạng giải quyết.

We want to cure diseases like Alzheimer's and cancer.

Chúng ta muốn chữa khỏi các căn bệnh như Alzheimer hay ung thư.

We want to understand economic systems. We want to improve our climate science.

Chúng ta muốn nắm vững hệ thống kinh tế. Chúng ta muốn cải thiện khoa học khí hậu.

So we will do this, if we can.

Cho nên chúng ta sẽ làm nó nếu có thể.

The train is already out of the station, and there's no brake to pull.

Tàu đã rời khỏi trạm, và không thể kéo phanh nữa.

Finally, we don't stand on a peak of intelligence,

Và điều cuối: chúng ta không đứng trên đỉnh cao của trí thông minh,

or anywhere near it, likely.

hay có thể là chỗ nào đó gần nó.

And this really is the crucial insight.

Và điều này thực sự là cái nhìn sâu sắc quan trọng.

This is what makes our situation so precarious,

Đây là thứ làm tình trạng của chúng ta bất ổn,

và nó cũng làm trực giác của chúng ta về rủi ro trở nên không đáng tin.

and this is what makes our intuitions about risk so unreliable.

Bây giờ hãy xem xét một người thông minh nhất trên đời.

Now, just consider the smartest person who has ever lived.

On almost everyone's shortlist here is John von Neumann.

Hầu như trong danh sách của các bạn đều sẽ có tên John von Neumann.

Ý tôi là, ấn tượng mà von Neumann tạo ra đối với mọi người xung quanh,

I mean, the impression that von Neumann made on the people around him,

and this included the greatest mathematicians and physicists of his time,

và nó cũng bao gồm những nhà toán học và vật lí vĩ đại ở thời của ông ta,

is fairly well-documented.

được lưu truyền khá tốt.

If only half the stories about him are half true,

Nếu một nửa câu chuyện về ông chỉ đúng 50%,

there's no question

không cần bàn cãi

he's one of the smartest people who has ever lived.

ông là người thông minh nhất từng sống trên đời.

Vậy hãy xét về chuỗi phân bố của trí thông minh.

So consider the spectrum of intelligence.

Here we have John von Neumann.

Ở đây là John von Neumann.

And then we have you and me.

Tiếp theo là các bạn và tôi.

Và tiếp là con gà.

And then we have a chicken.

(Laughter)

(Cười)

Sorry, a chicken.

Xin lỗi, một con gà.

(Laughter)

(Cười)

There's no reason for me to make this talk more depressing than it needs to be.

Không lí do gì tôi phải làm buổi nói chuyện này tệ hại hơn cần thiết.

(Laughter)

(Cười)

It seems overwhelmingly likely, however, that the spectrum of intelligence

Tuy nhiên, có vẻ có khả năng rất lớn là chuỗi phân bố trí thông minh

extends much further than we currently conceive,

mở rộng ra xa hơn nhiều so với những gì chúng ta tưởng tượng,

and if we build machines that are more intelligent than we are,

và nếu chúng ta tạo ra những cỗ máy thông minh hơn mình,

chúng có thể sẽ khai phá dải phân bố này

they will very likely explore this spectrum

in ways that we can't imagine,

theo cách ta không thể tưởng tượng,

and exceed us in ways that we can't imagine.

và vượt xa chúng ta theo cách ta không thể tưởng tượng.

Và quan trọng là nhận ra rằng điều này đúng với tính hấp dẫn của sự mau lẹ.

And it's important to recognize that this is true by virtue of speed alone.

Right? So imagine if we just built a superintelligent AI

Đúng chứ? Hãy cứ tưởng tượng nếu ta tạo ra một AI siêu thông minh

that was no smarter than your average team of researchers

mà không tài giỏi hơn nhóm các nhà nghiên cứu trung bình

at Stanford or MIT.

ở Stanford hay MIT.

Well, electronic circuits function about a million times faster

Vâng, các mạch điện tử hoạt động nhanh hơn khoảng một triệu lần

than biochemical ones,

so với các mạch sinh hóa,

so this machine should think about a million times faster

nên cỗ máy này có thể suy nghĩ nhanh hơn khoảng một triệu lần

than the minds that built it.

so với trí não đã tạo ra nó.

So you set it running for a week,

Rồi bạn cài đặt nó chạy một tuần,

and it will perform 20,000 years of human-level intellectual work,

và nó sẽ thực hiện 20.000 năm làm việc ở trình độ trí tuệ của con người,

week after week after week.

tuần này qua tuần khác.

How could we even understand, much less constrain,

Thậm chí làm sao ta hiểu được, dù ít nhiều hạn chế,

a mind making this sort of progress?

một bộ óc thực hiện kiểu quá trình như vậy?

The other thing that's worrying, frankly,

Một điều khác thật sự đáng lo lắng,

đó là, tưởng tượng ra một viễn cảnh tốt nhất.

is that, imagine the best case scenario.

Nào hãy tưởng tượng chúng ta tìm ra một thiết kế cho AI siêu thông minh

So imagine we hit upon a design of superintelligent AI

mà không có các vấn đề an toàn.

that has no safety concerns.

We have the perfect design the first time around.

Lần đầu tiên chúng ta có được một bản thiết kế hoàn hảo.

It's as though we've been handed an oracle

Nó như thể chúng ta nhận được một lời tiên tri

xảy ra chính xác như trong dự định.

that behaves exactly as intended.

Vâng, cỗ máy này sẽ là một thiết bị tuyệt vời giúp tiết kiệm nhân lực.

Well, this machine would be the perfect labor-saving device.

Nó có thể thiết kế một cỗ máy có khả năng tạo ra cỗ máy khác

It can design the machine that can build the machine

thực hiện các công việc thể chất,

that can do any physical work,

powered by sunlight,

chạy bằng ánh sáng mặt trời,

more or less for the cost of raw materials.

nhiều hơn hoặc ít hơn cho các chi phí nguyên liệu.

Vậy chúng ta đang nói tới sự kết thúc cho nỗi cực nhọc của con người.

So we're talking about the end of human drudgery.

We're also talking about the end of most intellectual work.

Chúng ta cũng nói về sự chấm dứt cho các công việc trí óc.

Vậy loài khỉ giống chúng ta sẽ làm gì trong tình huống này?

So what would apes like ourselves do in this circumstance?

Well, we'd be free to play Frisbee and give each other massages.

Vâng, chúng ta được tự do chơi Frisbee và nhắn tin với từng người.

Add some LSD and some questionable wardrobe choices,

Thêm vài LSD và vài lựa chọn cho bộ quần áo đáng ngờ,

and the whole world could be like Burning Man.

và cả thế giới sẽ như ở Burning Man.

(Laughter)

(Cười)

Now, that might sound pretty good,

Bây giờ, điều đó có lẽ nghe rất tốt,

but ask yourself what would happen

nhưng thử hỏi bản thân xem điều gì sẽ xảy ra

under our current economic and political order?

dưới trật tự kinh tế và chính trị của chúng ta bây giờ?

It seems likely that we would witness

Có vẻ là chúng ta sẽ chứng kiến

a level of wealth inequality and unemployment

một mức độ phân biệt giàu nghèo và nạn thất nghiệp

chưa từng thấy trước đây.

that we have never seen before.

Absent a willingness to immediately put this new wealth

Sự thiếu tự nguyện trong việc lập tức đưa sự giàu có mới này

to the service of all humanity,

vào phục vụ cho toàn nhân loại,

a few trillionaires could grace the covers of our business magazines

một vài "tỷ tỷ phú" đươc vinh danh trên trang bìa của các tờ tạp chí kinh tế

while the rest of the world would be free to starve.

trong khi phần còn lại của thế giới thì chịu cảnh chết đói

Người Nga và Trung Quốc sẽ làm gì

And what would the Russians or the Chinese do

if they heard that some company in Silicon Valley

khi họ nghe được tin một số công ty trong Thung lũng Silicon

was about to deploy a superintelligent AI?

chuẩn bị triển khai một AI siêu thông minh?

Cỗ máy này có khả năng sẽ tiến hành chiến tranh

This machine would be capable of waging war,

whether terrestrial or cyber,

dù cho trên mặt đất hay trên mạng,

với sức mạnh chưa từng có.

with unprecedented power.

Đây là viễn cảnh "thắng làm vua".

This is a winner-take-all scenario.

Dẫn trước sáu tháng trong cuộc đua này

To be six months ahead of the competition here

tương đương với bị dẫn trước 500.000 năm,

is to be 500,000 years ahead,

at a minimum.

ít nhất là vậy.

So it seems that even mere rumors of this kind of breakthrough

Vì vậy, thậm chí nó có vẻ chỉ là những tin đồn cho kiểu đột phá như thế

could cause our species to go berserk.

nhưng cũng đủ khiến loài người cáu tiết.

Now, one of the most frightening things,

Và giờ, một trong những điều đáng sợ nhất,

in my view, at this moment,

theo tôi nghĩ ngay tại thời điểm này,

are the kinds of things that AI researchers say

chính là những thứ mà các nhà nghiên cứu về AI nói

when they want to be reassuring.

khi họ muốn được yên tâm.

Và thời gian là lí do thường nhất cho việc chúng ta không cần phải lo lắng.

And the most common reason we're told not to worry is time.

This is all a long way off, don't you know.

Các bạn biết không, đây là một con đường dài.

This is probably 50 or 100 years away.

Có thể là 50 hay 100 năm nữa.

One researcher has said,

Một nhà nghiên cứu đã nói,

"lo lắng về độ an toàn của AI

"Worrying about AI safety

is like worrying about overpopulation on Mars."

cũng như lo lắng về bùng nổ dân số trên sao Hỏa."

Đây là phiên bản của Thung lũng Silicon

This is the Silicon Valley version

of "don't worry your pretty little head about it."

về việc "đừng làm cái đầu nhỏ của bạn lo lắng về nó."

(Laughter)

(Cười)

No one seems to notice

Có vẻ chả ai chú ý

that referencing the time horizon

rằng xem xét trên phạm vi thời gian

là hoàn toàn vô căn cứ.

is a total non sequitur.

If intelligence is just a matter of information processing,

Nếu trí thông minh chỉ là một vấn đề về xử lí thông tin,

and we continue to improve our machines,

và chúng ta tiếp tục cải tiến các cỗ máy,

we will produce some form of superintelligence.

chúng ta sẽ tạo ra được vài dạng của siêu trí tuệ.

And we have no idea how long it will take us

Và chúng ta không biết sẽ tốn bao nhiêu thời gian

để tạo ra những điều kiện thực hiện việc này một cách an toàn.

to create the conditions to do that safely.

Let me say that again.

Tôi xin nhắc lại.

We have no idea how long it will take us

Chúng ta không biết sẽ tốn bao nhiêu thời gian

to create the conditions to do that safely.

để tạo ra những điều kiện thực hiện việc này một cách an toàn.

And if you haven't noticed, 50 years is not what it used to be.

Và nếu bạn chưa nhận ra, 50 năm không còn như xưa

This is 50 years in months.

Đây là 50 năm tính theo nhiều tháng.

This is how long we've had the iPhone.

Đây là thời gian chúng ta tạo ra iPhone.

This is how long "The Simpsons" has been on television.

Đây là thời gian "Gia đình Simpson" được chiếu trên TV.

Fifty years is not that much time

50 năm không quá nhiều

để thực hiện một trong số những thử thách lớn nhất mà loài người từng đối mặt.

to meet one of the greatest challenges our species will ever face.

Once again, we seem to be failing to have an appropriate emotional response

Một lần nữa, chúng ta có vẻ không thế đưa ra một phản ứng cảm xúc phù hợp

to what we have every reason to believe is coming.

cho thứ mà chúng ta có đủ lí do để tin rằng nó sẽ xảy ra.

The computer scientist Stuart Russell has a nice analogy here.

Nhà khoa học máy tính Stuart Russell có một phép loại suy rất hay ở đây.

He said, imagine that we received a message from an alien civilization,

Ông nói, tưởng tượng chúng ta nhận được tin nhắn từ nền văn minh ngoài hành tinh,

which read:

ghi rằng:

"Loài người trên Trái Đất,

"People of Earth,

we will arrive on your planet in 50 years.

Chúng ta sẽ đáp xuống hành tinh các người trong 50 năm nữa.

Get ready."

Chuẩn bị đi."

And now we're just counting down the months until the mothership lands?

Và giờ chúng ta chỉ đếm ngược từng tháng đến khi phi thuyền mẹ đáp xuống?

We would feel a little more urgency than we do.

Chúng ta sẽ cảm thấy nhiều cấp bách hơn.

Một lí do khác bảo chúng ta không nên lo lắng

Another reason we're told not to worry

is that these machines can't help but share our values

là các cỗ máy này không làm gì khác ngoài chia sẻ giá trị với chúng ta

because they will be literally extensions of ourselves.

bởi vì chúng thật sự sẽ là những phần mở rộng của chúng ta.

They'll be grafted onto our brains,

Chúng sẽ được cấy vào não chúng ta,

và chúng ta về cơ bản trở thành hệ thống cảm xúc của chúng.

and we'll essentially become their limbic systems.

Giờ hãy xem xét

Now take a moment to consider

that the safest and only prudent path forward,

rằng con đường an toàn và đầy thận trọng duy nhất phía trước,

recommended,

được đề xuất,

chính là cấy trực tiếp công nghệ này vào não chúng ta.

is to implant this technology directly into our brains.

Now, this may in fact be the safest and only prudent path forward,

Hiện giờ nó có lẽ thật sự là con đường an toàn, thận trọng duy nhất,

nhưng thường thì mối lo lắng an toàn của một người về công nghệ

but usually one's safety concerns about a technology

phải được tính toán khá kĩ càng trước khi bạn đính nó vào đầu mình.

have to be pretty much worked out before you stick it inside your head.

(Laughter)

(Cười)

The deeper problem is that building superintelligent AI on its own

Vấn đề sâu hơn là xây dựng một AI siêu thông minh riêng lẻ

có vẻ dễ dàng hơn

seems likely to be easier

than building superintelligent AI

là tạo ra một AI siêu thông minh

and having the completed neuroscience

và có được ngành khoa học thần kinh hoàn chỉnh

that allows us to seamlessly integrate our minds with it.

mà cho phép chúng ta chúng ta tích hợp trí óc của mình và nó.

And given that the companies and governments doing this work

Và giả sử các công ty và các chính phủ làm việc này

có thể sẽ nhận ra bản thân đang trong cuộc đua chống lại loài người,

are likely to perceive themselves as being in a race against all others,

given that to win this race is to win the world,

giả sử rằng thắng cuộc đua này là có cả thế giới,

provided you don't destroy it in the next moment,

miễn là bạn không hủy diệt nó vào thời điểm kế tiếp,

then it seems likely that whatever is easier to do

thì nó có vẻ như là bất kể cái gì dễ hơn

sẽ được hoàn thành trước.

will get done first.

Now, unfortunately, I don't have a solution to this problem,

Bây giờ, đáng tiếc là tôi không có giải pháp cho vấn đề này,

apart from recommending that more of us think about it.

ngoại trừ đề nghị chúng ta cần nghĩ về nó nhiều hơn.

Tôi nghĩ chúng ta cần thứ gì đó như Manhattan Project

I think we need something like a Manhattan Project

on the topic of artificial intelligence.

trong chủ đề về trí thông minh nhân tạo.

Not to build it, because I think we'll inevitably do that,

Không vì để tạo ra nó, bởi tôi nghĩ chúng ta chắc chắn sẽ làm được,

but to understand how to avoid an arms race

mà để hiểu cách ngăn ngừa cuộc chạy đua vũ trang

and to build it in a way that is aligned with our interests.

và xây dựng nó theo cách phù hợp với lợi ích của chúng ta.

Khi chúng ta nói về AI siêu thông minh

When you're talking about superintelligent AI

that can make changes to itself,

có thể tự thay đổi,

it seems that we only have one chance to get the initial conditions right,

có vẻ như chúng ta chỉ có một cơ hội để làm những điều kiện ban đầu đúng đắn,

và thậm chí sau đó chúng ta sẽ cần phải ta hứng chịu

and even then we will need to absorb

the economic and political consequences of getting them right.

những hậu quả kinh tế chính trị khi làm nó đúng đắn.

But the moment we admit

Nhưng khoảnh khác ta thừa nhận

that information processing is the source of intelligence,

rằng xử lí thông tin là nguồn gốc của trí thông minh,

that some appropriate computational system is what the basis of intelligence is,

rằng một số hệ thống tính toán phù hợp là nền tảng cho trí thông minh

and we admit that we will improve these systems continuously,

và chúng ta thừa nhận rằng chúng ta tiếp tục cải tiến những hệ thống này,

and we admit that the horizon of cognition very likely far exceeds

và chúng ta thừa nhận rằng chân trời của nhận thức có thể rất xa

what we currently know,

so với những gì chúng ta đang biết,

thì chúng ta phải công nhận

then we have to admit

that we are in the process of building some sort of god.

rằng chúng ta đang trong quá trình tạo ra một loại thánh thần.

Now would be a good time

Bây giờ sẽ là thời điểm tốt

để chắc chắn rằng nó là thánh thần mà chúng ta có thể sống chung

to make sure it's a god we can live with.

Cảm ơn các bạn rất nhiều.

Thank you very much.

(Applause)

(Vỗ tay)