Will Superintelligent AI End the World? | Eliezer Yudkowsky | TED

Translator: Gia Bảo Nguyễn Reviewer: Duy Le

Since 2001, I have been working on what we would now call

Kể từ năm 2001, tôi đã bắt đầu làm về mảng mà hiện tại ta hay gọi là

the problem of aligning artificial general intelligence:

vấn đề đồng thuận trí tuệ nhân tạo tổng quát (AGI):

how to shape the preferences and behavior

cách định hình ý muốn và hành vi

of a powerful artificial mind such that it does not kill everyone.

của 1 bộ óc nhân tạo tối tân và phải chắc là nó sẽ không giết bất cứ ai.

Tôi gần như là người tiên phong trong lĩnh vực này vào 2 thập kỉ trước,

I more or less founded the field two decades ago,

when nobody else considered it rewarding enough to work on.

khi đó chẳng ai dám nghĩ lĩnh vực này sẽ có kết quả.

I tried to get this very important project started early

Tôi đã cố gắng bắt đầu dự án quan trọng này thật sớm

so we'd be in less of a drastic rush later.

nhằm tránh những sự lỡ làng có thể phát sinh về sau.

I consider myself to have failed.

Tôi nhận ra mình đã thất bại.

(Laughter)

(Cười)

Nobody understands how modern AI systems do what they do.

Không ai hiểu làm thế nào mà những con AI đời mới lại khủng đến vậy.

They are giant, inscrutable matrices of floating point numbers

Chúng là các ma trận khổng lồ, khó hiểu, gồm các số thực nổi

that we nudge in the direction of better performance

mà con người sắp xếp lại nhằm cải thiện hiệu suất

until they inexplicably start working.

cho đến khi chúng vận hành trơn tru.

At some point, the companies rushing headlong to scale AI

Đến 1 thời điểm, những cty sẽ chạy đua để nâng cấp AI

will cough out something that's smarter than humanity.

đạt đến mức chúng có thể thông minh hơn cả con người.

Nobody knows how to calculate when that will happen.

Chẳng ai biết sẽ làm gì khi điều đó xảy đến cả.

My wild guess is that it will happen after zero to two more breakthroughs

Theo như tôi đoán điều này sẽ xảy ra sau 2 hoặc nhiều bước tiến đột phá nữa

the size of transformers.

với sự chuyển đổi quy mô lớn.

What happens if we build something smarter than us

Điều gì xảy ra khi ta tạo ra 1 thứ thông minh hơn mình

that we understand that poorly?

trong khi lại thiếu kiến thức về nó?

Some people find it obvious that building something smarter than us

Vài người chắc nịch rằng việc tạo ra 1 thứ thông minh hơn con người

mà ta không biết rõ sẽ dẫn đến 1 kết cục tồi tệ.

that we don't understand might go badly.

Others come in with a very wide range of hopeful thoughts

Vài người khác thì cởi mở hơn khi đưa ra khá nhiều sự kì vọng

about how it might possibly go well.

về những điều tốt đẹp mà nó có thể mang lại.

Even if I had 20 minutes for this talk and months to prepare it,

Kể cả khi tôi có 20 phút để trình bày ở đây và cả tháng để chuẩn bị,

I would not be able to refute all the ways people find to imagine

thì tôi cũng khó mà bác bỏ những gì mà mọi người đang hình dung

that things might go well.

rằng nó sẽ tốt đẹp.

But I will say that there is no standard scientific consensus

Nhưng tôi nói luôn là không có tiêu chuẩn khoa học nào đồng thuận

for how things will go well.

về việc mọi thứ sẽ tốt đẹp cả.

There is no hope that has been widely persuasive

Không có hy vọng là cụm từ mà ai cũng sẽ nghĩ về

bên cạnh đó còn là các cuộc kiểm định đầy hoài nghi.

and stood up to skeptical examination.

There is nothing resembling a real engineering plan for us surviving

Không có bất kì cái gì như là kế hoạch sinh tồn thực tiễn

that I could critique.

để tôi có thể dùng để phản biện.

This is not a good place in which to find ourselves.

Đây không phải là nơi để ta tìm thấy sự đồng thuận đâu.

If I had more time,

Nếu tôi có thời gian,

I'd try to tell you about the predictable reasons

Tôi sẽ kể mọi người nghe về vài phỏng đoán của tôi

why the current paradigm will not work

vì sao mô hình hiện tại sẽ không hoạt động

to build a superintelligence that likes you

để tạo ra những cỗ máy thông minh y hệt các bạn

or is friends with you, or that just follows orders.

hay y hệt bạn của bạn, hoặc cũng có thể là y hệt tất cả.

Why, if you press "thumbs up" when humans think that things went right

Vì sao vậy, nếu bạn bấm “thích” thì có nghĩa bạn đang nghĩ AI đã làm đúng

or "thumbs down" when another AI system thinks that they went wrong,

còn bấm “ghét” tức là bạn nghĩ AI đó đã làm sai,

you do not get a mind that wants nice things

Bạn không có 1 tư duy đủ tốt để mong cầu những điều tốt đẹp

in a way that generalizes well outside the training distribution

kể từ lúc mà dữ liệu được tổng hợp thậm chí vượt ngoài tầm huấn luyện

to where the AI is smarter than the trainers.

đến mức mà AI thông minh hơn cả người huấn luyện nó.

You can search for "Yudkowsky list of lethalities" for more.

Bạn có thể xem “Yudkowsky- danh sách tử vong” để biết thêm.

(Laughter)

(Cười)

But to worry, you do not need to believe me

Nhưng đừng lo, các bạn không cần tin tôi đâu

about exact predictions of exact disasters.

nhất là các tiên đoán chính xác về các thảm họa cụ thể.

You just need to expect that things are not going to work great

Các bạn chỉ cần mong là mọi thứ sẽ không hoạt động trơn tru

on the first really serious, really critical try

trong lần thử nghiệm nghiêm túc, trọng yếu đầu tiên

because an AI system smart enough to be truly dangerous

bỏi 1 hệ thống AI đủ thông minh để trở thành 1 mối đe dọa

was meaningfully different from AI systems stupider than that.

có ý nghĩa hoàn toàn khác với mấy con AI ngờ nghệch khác.

My prediction is that this ends up with us facing down something smarter than us

Theo tôi phỏng đoán thì ta sẽ phải đối đầu với 1 thứ thông minh hơn ta nhiều đấy

that does not want what we want,

chúng không cùng tư tưởng với ta,

that does not want anything we recognize as valuable or meaningful.

chúng không quan tâm tới những thứ mà đối với ta là vô giá và đầy ý nghĩa.

I cannot predict exactly how a conflict between humanity and a smarter AI would go

Tôi không phỏng đoán được xung đột giữa người và AI sẽ đi tới đâu

for the same reason I can't predict exactly how you would lose a chess game

tương tự vậy, tôi cũng không thể đoán được cách mà bạn thua 1 ván cờ là như nào

to one of the current top AI chess programs, let's say Stockfish.

nói tới AI chơi cờ đỉnh nhất hiện nay, phải nói tới Stockfish.

If I could predict exactly where Stockfish could move,

Nếu tôi có thể đoán được chính xác mọi nước đi của Stockfish,

I could play chess that well myself.

tôi hoàn toàn có thể chơi đỉnh như nó.

Tôi không thể dự đoán chính xác cách bạn thua Stockfish,

I can't predict exactly how you'll lose to Stockfish,

but I can predict who wins the game.

nhưng tôi có thể dự đoán xem ai thắng.

I do not expect something actually smart to attack us with marching robot armies

Tôi không chấp nhận 1 thứ thông minh đến mức

tấn công ta bằng đội quân robot hùng hậu

with glowing red eyes

cùng đôi mắt đỏ chói

where there could be a fun movie about us fighting them.

có lẽ sẽ có 1 bộ phim khá thú vị về việc chúng tấn công ta đấy.

I expect an actually smarter and uncaring entity

Tôi mong là sẽ có 1 thực thể thông minh nào đấy

sẽ phân tích các chiến thuật và công nghệ của ta

will figure out strategies and technologies

that can kill us quickly and reliably and then kill us.

rồi nhanh chóng giết chết ta cả về niềm tin lẫn thể xác.

I am not saying that the problem of aligning superintelligence

Tôi không nói vấn đề sắp xếp siêu trí tuệ nhân tạo

về lí thuyết là không thể giải quyết.

is unsolvable in principle.

I expect we could figure it out with unlimited time and unlimited retries,

Tôi mong ta có thể phát hiện ra với

quỹ thời gian và những lần thử nghiệm không giới hạn,

which the usual process of science assumes that we have.

cùng quy trình thông thường của khoa học giả định mà chúng ta có.

The problem here is the part where we don't get to say,

Vấn đề ở đây nằm ở phần mà ta chưa đề cập tới,

“Ha ha, whoops, that sure didn’t work.

“Ha ha, coi kìa, nó không hiệu quả.

That clever idea that used to work on earlier systems

Những ý tưởng thông minh từng vận hành bằng các hệ thống cũ

sure broke down when the AI got smarter, smarter than us.”

chắc chắc sẽ lỗi thời khi AI dần thông thái, trí tuệ hơn ta.”

We do not get to learn from our mistakes and try again

Ta không cần phải học từ thất bại rồi đứng lên

bởi còn ai sống đâu mà đứng.

because everyone is already dead.

It is a large ask

Đó quả là một câu hỏi lớn

to get an unprecedented scientific and engineering challenge

khiến khoa học ngỡ nghàng và thách thức cả giới kĩ thuật

correct on the first critical try.

chính xác ngay từ lần thử đầu tiên.

Humanity is not approaching this issue with remotely

Nhân loại sẽ không tiếp cận vấn đề này 1 cách hờ hửng

the level of seriousness that would be required.

sự căng thẳng nhất định là điều cần thiết.

Some of the people leading these efforts

Vài người tiên phong đi theo giả thuyết này

have spent the last decade not denying

đã dành cả thập kỉ để khẳng định

that creating a superintelligence might kill everyone,

rằng việc tạo ra trí tuệ nhân tạo có thể hủy diệt nhân loại,

but joking about it.

đấy không phải để đùa.

We are very far behind.

Ta bị bỏ lại rất xa.

This is not a gap we can overcome in six months,

Một khoảng cách mà ta khó thể rút ngắn trong 6 tháng,

given a six-month moratorium.

6 tháng đình chỉ.

If we actually try to do this in real life,

Nếu ta thật sự làm điều đó ngoài đời,

we are all going to die.

Tất cả chúng ta sẽ chết.

People say to me at this point, what's your ask?

Mọi người hỏi tôi vào lúc đó, anh muốn gì?

I do not have any realistic plan,

Tôi không có kế hoạch thực tiễn,

which is why I spent the last two decades

đó là lí do tôi đã dành 2 thập kỉ qua

trying and failing to end up anywhere but here.

cố gắng rồi gục ngã chỉ để đứng ở đây.

My best bad take is that we need an international coalition

Tôi có 1 hạ sách đó là ta nên lập 1 liên minh quốc tế

banning large AI training runs,

để cấm luôn việc huấn luyện AI quy mô lớn,

including extreme and extraordinary measures

bao gồm cả những biện pháp cực đoan và phi lí nhất

to have that ban be actually and universally effective,

để mở rộng quy mô lệnh cấm và tăng hiệu quả,

like tracking all GPU sales,

như định vị tất cả GPU bán ra,

monitoring all the data centers,

giám sát tất cả các trung tâm dữ liệu,

being willing to risk a shooting conflict between nations

sẵn sàng gánh chịu nguy cơ vũ trang giữa các quốc gia

in order to destroy an unmonitored data center

nhằm phá hủy luôn các trung tâm dữ liệu ngoài kiểm soát

in a non-signatory country.

tại các quốc gia không quy phục.

I say this, not expecting that to actually happen.

Tôi nói vậy, không có nghĩa là tôi mong nó xảy ra.

I say this expecting that we all just die.

Tôi nói vậy bởi ta đều phải chết.

But it is not my place to just decide on my own

Nhưng tôi cũng không có lựa chọn nào khác cả

that humanity will choose to die,

bởi nhân loại sẽ chọn cái chết,

to the point of not bothering to warn anyone.

đó là lúc mà chả ai buồn cảnh bảo lẫn nhau nữa.

I have heard that people outside the tech industry

Tôi nghe nói những người không làm ở mảng công nghệ

are getting this point faster than people inside it.

sẽ nhìn nhận vấn đề nhanh hơn người trong nghành.

Maybe humanity wakes up one morning and decides to live.

Biết đâu nhân loại bỗng tỉnh dậy vào 1 buổi sáng nọ và quyết định sẽ sống.

Thank you for coming to my brief TED talk.

Cám ơn vì đã tham dự buổi TED của tôi.

(Laughter)

(Cười)

(Applause and cheers)

(Vỗ tay và cổ vũ)

Chris Anderson: So, Eliezer, thank you for coming and giving that.

Chris Anderson: Eliezer, cám ơn vì đã đến và nói về chủ đề này.

It seems like what you're raising the alarm about is that like,

Có vẻ việc anh đưa ra những cảnh báo vậy cứ như thể,

for this to happen, for an AI to basically destroy humanity,

để điều này xảy ra, để AI về cơ bản có thể hủy diệt nhân loại.

it has to break out, escape controls of the internet and, you know,

Nó buộc phải vượt qua, thoát khỏi kiểm soát của internet và, bạn biết mà,

start commanding actual real-world resources.

bắt đầu nhăm nhe những nguồn tài nguyên thực.

You say you can't predict how that will happen,

Anh nói anh không thể dự đoán điều gì sẽ xảy ra,

but just paint one or two possibilities.

nhưng cứ vẽ ra 1 hay 2 viễn cảnh xem.

Eliezer Yudkowsky: OK, so why is this hard?

Elizer Yudkowsky: Ok, nó khó chỗ nào đây?

First, because you can't predict exactly where a smarter chess program will move.

Thứ nhất, vì bạn không thể dự đoán nước cờ tiếp theo được lập trình như nào.

Maybe even more importantly than that,

Thậm chí có điều còn quan trọng hơn,

imagine sending the design for an air conditioner

thử tưởng tượng bạn gửi mẫu thiết kế của 1 cái máy điều hòa

back to the 11th century.

trở về thế kỉ 11.

Even if they -- if it’s enough detail for them to build it,

Ngay cả khi -- họ có đủ bản thảo chi tiết để tạo ra nó,

they will be surprised when cold air comes out

họ vẫn sẽ bị ngạc nhiên khi thấy khí lạnh tuôn ra

because the air conditioner will use the temperature-pressure relation

bởi máy điều hòa sẽ sử dụng tương quan nhiệt độ và áp suất

and they don't know about that law of nature.

và họ không hề biết về cái quy luật tự nhiên đó.

So if you want me to sketch what a superintelligence might do,

Nên là nếu anh muốn tôi phác thảo cái mà siêu trí tuệ nhân tạo có thể làm,

I can go deeper and deeper into places

Tôi có thể nói chi tiết đến từng đường tơ kẽ chỉ

where we think there are predictable technological advancements

tới độ ta thấy có mấy công nghệ dự đoán tối tân

that we haven't figured out yet.

mà ta thậm chưa hề hình dung qua,

And as I go deeper, it will get harder and harder to follow.

Và khi tôi càng đi sâu, vấn đề sẽ càng khó tiếp thu

It could be super persuasive.

Nó có thể cực kì thuyết phục.

That's relatively easy to understand.

Điều này cũng tương đối dễ hiểu,

We do not understand exactly how the brain works,

Ta không hề biết chính xác cách mà bộ não vận hành,

so it's a great place to exploit laws of nature that we do not know about.

nên nó là 1 nơi tuyệt vời để ta khai thác quy luật tự nhiên mà ta chưa biết.

Rules of the environment,

Quy luật của môi trường,

invent new technologies beyond that.

tạo ra những công nghệ mới ngoài phạm trù đó.

Can you build a synthetic virus that gives humans a cold

Bạn có thể tạo ra một loại virus tổng hợp khiến con người cảm lạnh

and then a bit of neurological change and they're easier to persuade?

cùng 1 chút thay đổi về hệ thần kinh để thuyết phục họ dễ dàng hơn?

Can you build your own synthetic biology,

Liệu bạn có thể tự tạo ra một thứ sinh học tổng hợp,

synthetic cyborgs?

người máy sinh học tổng hợp ấy?

Can you blow straight past that

Liệu bạn có thể thông quá nó

to covalently bonded equivalents of biology,

để xáo trộn những dạng cộng hưởng sinh học tương đương,

mà ở đó thay vì các protein gập lại và được hợp nhất bằng sự kết hợp tĩnh điện,

where instead of proteins that fold up and are held together by static cling,

you've got things that go down much sharper potential energy gradients

bạn lại có những thứ lao thẳng xuống độ dốc năng lượng tiềm năng

and are bonded together?

và được liên kết với nhau?

People have done advanced design work about this sort of thing

Con người đã có nhiều thiết kế tân tiến liên quan tới cái này

for artificial red blood cells that could hold 100 times as much oxygen

nhằm tạo ra các tế bào hồng cầu có thể chứa lượng khí oxy nhiều gấp 100 lần

if they were using tiny sapphire vessels to store the oxygen.

nếu họ sử dụng các bình đựng nhỏ bằng sa phia để lưu trữ khí oxy.

There's lots and lots of room above biology,

Có rất, rất nhiều thứ còn hơn cả sinh học,

but it gets harder and harder to understand.

nhưng nó cứ càng ngày càng khó hiểu

CA: So what I hear you saying

CA: Mấy điều tôi nghe nãy giờ

is that these terrifying possibilities there

đó là những viễn cảnh hết sức kinh khủng

but your real guess is that AIs will work out something more devious than that.

nhưng theo dự đoán của anh thì các AI có thể nghĩ ra những thứ còn gian xảo hơn.

Is that really a likely pathway in your mind?

liệu đó có phải là viễn cảnh mà anh đang đau đầu?

EY: Which part?

EY: Gì cơ?

That they're smarter than I am? Absolutely.

Chỗ mà chúng khôn hơn tôi ấy à? dĩ nhiên.

CA: Not that they're smarter,

CA: Không phải khôn hơn,

mà là tại sao chúng muốn đi theo hướng đó?

but why would they want to go in that direction?

Like, AIs don't have our feelings of sort of envy and jealousy and anger

Kiểu như, lũ AI đâu có những cảm xúc như hận thù, ghen ghét hay nổi giận đâu

and so forth.

và còn nhiều cái nữa.

So why might they go in that direction?

Vậy tại sao chúng lại chọn hướng đi đó

EY: Because it's convergently implied by almost any of the strange,

EY: bởi chúng sẽ suy diễn sau khi phát hiện các tình huống bất thường,

inscrutable things that they might end up wanting

những thứ khó lí giải khiến chúng bỗng có tham vọng

as a result of gradient descent

như là hậu quả bởi thuật toán suy giảm độ dốc

on these "thumbs up" and "thumbs down" things internally.

của mấy cái nút “thích” và “ghét” được tích hợp.

If all you want is to make tiny little molecular squiggles

Nếu bạn muốn tạo ra các phân tử nhỏ ngoằn ngèo

or that's like, one component of what you want,

hay cũng có thể, là một thành phần mà bạn muốn

but it's a component that never saturates, you just want more and more of it,

nhưng đó là 1 thành phần không bao giờ bảo hòa, bạn cứ thế muốn nhiều hơn,

the same way that we would want more and more galaxies filled with life

tương tự cái cách mà ta muốn có thêm vài thiên hà nữa có sự sống

and people living happily ever after.

và con người sống vui vẻ hạnh phúc.

Anything that just keeps going,

Mọi thứ cứ thế tiếp diễn.

you just want to use more and more material for that,

bạn càng ngày càng muốn nhiều nguyên liệu hơn cho nó,

that could kill everyone on Earth as a side effect.

hiệu ứng phụ của nó là người trên Trái Đất bị giết hết.

It could kill us because it doesn't want us making other superintelligences

Nó giết ta bởi nó không hề muốn ta tạo thêm những trí tuệ nhân tạo khác

to compete with it.

nhằm đối đầu với nó.

Nó giết ta bởi nó đang tận dụng toàn bộ lượng hóa chất trên Trái Đất

It could kill us because it's using up all the chemical energy on earth

and we contain some chemical potential energy.

mà ta thì lại trữ kha khá lượng hóa chất mà nó cần.

CA: So some people in the AI world worry that your views are strong enough

CA: Vài người trong giới AI lo là nhận định của anh đủ mạnh

and they would say extreme enough

khiến họ phải nói thôi đủ rồi

that you're willing to advocate extreme responses to it.

rằng anh sẵn sàng dùng những biện pháp cực đoan để đáp trả.

And therefore, they worry that you could be, you know,

Và vì thế, họ lo là anh có thể, anh biết đó,

in one sense, a very destructive figure.

ở khía cạnh nào đó, là 1 kẻ phá hoại.

Do you draw the line yourself in terms of the measures

Anh có vẽ nên làn ranh nào bên cạnh những đo lường

that we should take to stop this happening?

mà ta cần thực hiện để ngăn điều này xảy ra không?

Or is actually anything justifiable to stop

Hoặc bất cứ điều gì đủ hợp lí để chấm dứt

the scenarios you're talking about happening?

cái viễn cảnh mà anh nói sẽ xảy ra không?

EY: I don't think that "anything" works.

EY: Tôi không nghĩ là có “điều gì” đủ hiệu quả.

I think that this takes state actors

Tôi nghĩ là sẽ cần tới những nhà hoạt động liên bang

and international agreements

và thỏa hiệp quốc tế

and all international agreements by their nature,

và tất cả thỏa hiệp quốc tế theo lẽ thường,

tend to ultimately be backed by force

cuối cùng cũng lại dùng tới vũ lực thôi.

on the signatory countries and on the non-signatory countries,

cả ở các nước có kiểm soát lẫn các nước không kiểm soát,

which is a more extreme measure.

đó là biện pháp còn cực đoan hơn.

I have not proposed that individuals run out and use violence,

Tôi không đề xuất là mỗi người đều lao ra và dùng bạo lực,

and I think that the killer argument for that is that it would not work.

và tôi nghĩ thỏa thuận giết chóc sẽ không có hiệu quả đâu.

CA: Well, you are definitely not the only person to propose

CA: Được đấy, anh chắc chắn không phải là người duy nhất đề nghị

that what we need is some kind of international reckoning here

rằng cái mà ta cần là những thứ tính toán mang tầm quốc tế

on how to manage this going forward.

về việc quản lí phát triển vấn đề.

Thank you so much for coming here to TED, Eliezer.

Cám ơn anh vì đã tham gia TED, Eliezer.

(Applause)

(Vỗ tay)