How to get empowered, not overpowered, by AI | Max Tegmark

Translator: Suzan Jamal

After 13.8 billion years of cosmic history,

له‌ دواى13.8 ملیار ساڵ له‌ مێژووى گه‌ردوون

our universe has woken up

يونيڤێرسەکەی ئێمه‌ بێدار بۆوه‌

and become aware of itself.

به‌ خۆى ئاشنا بوو

From a small blue planet,

‌ له‌ هه‌ساره‌يه‌كى بچووكى شينه‌وه‌

tiny, conscious parts of our universe have begun gazing out into the cosmos

زۆر گچكه‌، به‌شه‌ به‌ئاگاييه‌كانى يونيڤێرس ده‌ستيان كرد به‌ وردبوونه‌وه‌ له‌ گه‌ردوون

with telescopes,

له‌ڕێى تێليسكۆبه‌وه‌

discovering something humbling.

هه‌ندێ شتى سه‌رپێى دۆزرايه‌وه‌

We've discovered that our universe is vastly grander

ئه‌وه‌مان دۆزييه‌وه‌ كه‌ يونيڤێرسه‌كه‌مان زۆر مه‌زنتره‌

than our ancestors imagined

له‌وه‌ى باوباپيرانمان وێنەيان كردبوو

and that life seems to be an almost imperceptibly small perturbation

هه‌روه‌ها ژيان به‌ نزيكى وه‌ك پشێوييه‌كى بچووكى هه‌ستپێنه‌كراو ده‌ركه‌وت

on an otherwise dead universe.

له‌سه‌ر ديوه‌كه‌ى ديكه‌ يونيڤێرسه‌ مردووه‌كه‌

But we've also discovered something inspiring,

هەروەها شتێکی ئيلهام به‌خشيشمان دۆزييه‌وه‌

which is that the technology we're developing has the potential

ئه‌ويش ئه‌وه‌يه‌ ئه‌و تێكنۆلۆژيايه‌ى كه‌ به‌روه‌ پێشخستنى ده‌به‌ين له‌ توانايدايه‌

to help life flourish like never before,

ژيان گه‌شه‌ پێ بدات به‌شێوه‌يه‌ك هه‌رگيز پێشتر وا نه‌بووبێت

not just for centuries but for billions of years,

نه‌ك ته‌نيا بۆ چه‌ند سه‌ده‌يه‌ك به‌ڵكو بۆ بليۆنان ساڵ

and not just on earth but throughout much of this amazing cosmos.

هه‌روه‌ها نه‌ك ته‌نيا عه‌رد، به‌ڵكو زۆر شوێنى ئه‌م گه‌ردوونه‌ سه‌رسوڕهێنه‌ره‌

I think of the earliest life as "Life 1.0"

من بير له‌سه‌ره‌تاييترين ژيان وه‌ك "ژيانى 1.0" ده‌كه‌مه‌وه‌

because it was really dumb,

چونكه‌ به‌ڕاستى بێده‌نگ بوو

like bacteria, unable to learn anything during its lifetime.

وه‌ك به‌كتريا به‌درێژايى ژيانى تواناى فێربوونى نييه‌

I think of us humans as "Life 2.0" because we can learn,

بير له‌ ئێمه‌ مرۆڤ وه‌ك ژيانى 2.0 ده‌كه‌مه‌وه چونكه‌ ده‌توانين فێربين‌،

which we in nerdy, geek speak,

زۆر هه‌ڵوه‌داى زانينين و له‌بله‌بانين له‌ قسه‌دا

might think of as installing new software into our brains,

له‌وانه‌يه‌ بيرله‌داخڵكردنى پڕۆگرامێكى نوێ بۆناو مێشكمان بكرێته‌وه‌

like languages and job skills.

وه‌ك زمان و لێهاتوويه‌كانى ئيش.

"Life 3.0," which can design not only its software but also its hardware

ژيانى 3.0 كه‌ له‌ توانايدايه نه‌ك ته‌نيا‌ پڕۆگرامه‌كانى

به‌ڵكو ئامێره‌كانيشى ديزانیان بكات

of course doesn't exist yet.

بێگومان ئه‌مه‌ هێشتا له‌ئارادا نييه‌

But perhaps our technology has already made us "Life 2.1,"

وه‌لێ ده‌شێ ته‌كنۆلۆژياكه‌مان هه‌نووكه‌ ئێمه‌ى كرد بێت به‌ ژيانى 2.1"

with our artificial knees, pacemakers and cochlear implants.

‌به‌ ئه‌ژنۆ ده‌ستكرد، ڕێكخه‌رى ترپه‌كانى دڵ و چاندنى لوولپێچه‌كانى گوێچكه‌مانه‌وه‌

So let's take a closer look at our relationship with technology, OK?

كه‌واته‌ با سه‌رنجێكى نزيكتر له په‌يوه‌نديمان به ته‌كنۆلۆژايه‌وه‌ بده‌ين، باشه‌؟

As an example,

بۆ نموونه‌

the Apollo 11 moon mission was both successful and inspiring,

11ئه‌ركى هه‌يڤى ئه‌پۆلۆ هه‌ردووك سه‌ركه‌وتوو و ئيلهام به‌خش بووç

showing that when we humans use technology wisely,

ئه‌وه‌ى نيشان دا چۆن بنياده‌م حه‌كيمانه‌ ته‌كنۆلۆژيا به‌كارده‌هێنێ

we can accomplish things that our ancestors could only dream of.

ده‌توانين شتگه‌لێك ئه‌نجام بده‌ين كه‌ باوباپيرانمان ته‌نيا خه‌ونيان پێوه‌ ديوه‌.

But there's an even more inspiring journey

وه‌لێ گه‌شتێكى زياتر ئيلهامبه‌خش هه‌يه‌

propelled by something more powerful than rocket engines,

له‌ لايه‌ن شتێكى به‌قوه‌تتر له‌ مه‌كينه‌ى مووشه‌ك هه‌ڵده‌درێ،

where the passengers aren't just three astronauts

له‌وێ سه‌رنشينه‌كان ته‌نيا سێ كه‌شتيوانى ئاسمانى نين

but all of humanity.

به‌ڵكو هه‌موو مرۆڤايه‌تييه‌.

Let's talk about our collective journey into the future

با ده‌رباره‌ى گه‌شته‌ هاوبه‌شه‌كه‌مان له‌ دواڕۆژدا قسه‌ بكه‌ين

with artificial intelligence.

به‌ زيره‌كى ده‌ستكرده‌وه (زد)‌.

My friend Jaan Tallinn likes to point out that just as with rocketry,

هاوڕێكه‌م جين تالين حه‌ز ده‌كات ئاماژه‌ به‌مه بدات وه‌ك مووشه‌ك‌

it's not enough to make our technology powerful.

ئه‌وه‌ ته‌نيا به‌س نييه‌ بۆ ئه‌وه‌ى كه‌ ته‌كنۆلۆژياكه‌مان به‌توانا بێت،

We also have to figure out, if we're going to be really ambitious,

به‌ڵكو پێويسته ئه‌وه‌ش بدۆزينه‌وه‌ كه‌ ئايا به‌ڕاستى ئێمه‌ به‌په‌رۆشين‌،

how to steer it

چۆن پێشه‌نگى ئه‌مه‌ ده‌كه‌ين،

and where we want to go with it.

هه‌روه‌ها ده‌مانه‌وێ بۆ كوێ بڕۆين پێى.

So let's talk about all three for artificial intelligence:

كه‌واته‌ با باسى هه‌ر سێ جۆره‌ زيره‌كى ده‌ستكرده‌وه‌(ز.د) بكه‌ين

the power, the steering and the destination.

هێز، ئاڕاسته‌كردن و شوێنى مه‌به‌ست

Let's start with the power.

با له‌ هێزه‌وه‌ ده‌ست پێ بكه‌ين.

I define intelligence very inclusively --

من زيره‌كى به‌شيوه‌يه‌كى زۆر گشتگير باس ده‌كه‌م،

simply as our ability to accomplish complex goals,

به‌ساده‌يى وه‌ك تواناكانمان بۆ به‌ده‌ستهێنانى ئامانجه‌ ئاڵۆزه‌كان

because I want to include both biological and artificial intelligence.

چونكه‌ من ده‌مه‌وێ هه‌ردووك زيره‌كى بايۆلۆژى و ده‌ستكرد له‌خۆ بگرێ

And I want to avoid the silly carbon-chauvinism idea

هه‌روه‌ها ده‌مه‌وێ له‌بيرۆكه‌ى پووچى كاربۆن-شۆفينيزم به‌دوور بم

that you can only be smart if you're made of meat.

ئه‌وه‌ى كه‌ ته‌نيا له‌وباره‌دا زيره‌ك ده‌بى ئه‌گه‌ر له‌ گۆشت دروست كرا بي.

It's really amazing how the power of AI has grown recently.

ئه‌مه‌ به‌ڕاستى سه‌رسوڕهێنه‌ره‌ كه‌

چۆن به‌م دواييه‌ هێزى زیرەکی دەستکردەوە گه‌شه‌ى سه‌ند

Just think about it.

ته‌نيا بير له‌مه‌ بكه‌نه‌وه‌

Not long ago, robots couldn't walk.

تا ماوه‌يه‌ك زۆر نا له‌مه‌وبه‌ر ڕۆبۆته‌كان نه‌يانده‌توانى كه‌ بڕۆن.

Now, they can do backflips.

ئێستاكه‌ ، ده‌توانن بۆ دواوه‌ ته‌قله‌ لێ بده‌ن

Not long ago,

ماوه‌يه‌ك زۆر نا له‌مه‌وبه‌ر

we didn't have self-driving cars.

ئۆتۆمبێلمان نه‌بوو كه‌ خۆى خۆى لێ بخوڕێت

Now, we have self-flying rockets.

ئێستاكه‌، مووشه‌كمان هه‌يه‌ خۆى ده‌فڕێت

Not long ago,

ماوه‌يه‌كى زۆر نا له‌مه‌وبه‌ر

AI couldn't do face recognition.

زیرەکی دەستکرد، نه‌يده‌توانى ڕووخسار بناسێته‌وه

Now, AI can generate fake faces

ئێستاكه‌، زیرەکی دەستکرد ده‌توانێ ڕووخسارى ساخته‌ دروست بكات

and simulate your face saying stuff that you never said.

لاسايى ڕووخسارت بكاته‌وه‌ ئه‌و شتانه‌ بڵێ كه‌ هه‌رگيز تۆ نه‌تگوتوون.

Not long ago,

ماوه‌يه‌كى زۆر نا له‌مه‌وبه‌ر

AI couldn't beat us at the game of Go.

زیرەکی دەستکرد نه‌يده‌توانى له‌ يارى بڕۆ-دا لێمان به‌رێته‌وه

Then, Google DeepMind's AlphaZero AI took 3,000 years of human Go games

پاشان، زیرەکی دەستکردی ديپ مايند ئه‌لفا زیڕوی گۆگڵ

سێ هه‌زار ساڵى مرۆڤى له‌ يارى بڕۆ-دا برد بۆ خۆى

and Go wisdom,

هه‌روه‌ها داناييه‌كه‌شى له‌ يارى بڕۆ- دا

ignored it all and became the world's best player by just playing against itself.

ئه‌مانه‌ى فه‌رامۆش كرد و بوو به باشترين ‌ ياريزان له‌ڕێى ياريكردن له‌ دژى خۆى.

And the most impressive feat here wasn't that it crushed human gamers,

سه‌راسيمه‌ترين كاريشى ئه‌وه‌ نه‌بوو ياريزانه‌ مرۆييه‌كانى پانوپليش كرده‌وه‌‌

but that it crushed human AI researchers

به‌ڵكو ئه‌وه‌بوو توێژه‌ره‌وانى زیرەکی دەستکردیشى پانوپليش كرده‌وه‌

who had spent decades handcrafting game-playing software.

كه‌ چه‌ند ده‌يه‌يه‌كيان به‌سه‌ر برد له‌ دروستكردنى پڕۆگرامى ياريدا

And AlphaZero crushed human AI researchers not just in Go but even at chess,

ئه‌لفازيڕۆ توێژه‌ره‌وانى زیرەکی دەستکرد ته‌نيا له‌ يارى بڕۆدا ‌پانوپليش نه‌كرده‌وه

which we have been working on since 1950.

به‌ڵكو له‌ شه‌تره‌نجيشدا

كه‌ ئێمه‌ له‌ساڵى 1950 ه‌وه‌ كارى له‌سه‌ر ده‌كه‌ين

So all this amazing recent progress in AI really begs the question:

له‌به‌ر ئه‌وه‌، هه‌موو ئه‌م به‌ره‌وپێشچوونه‌ سه‌رسوڕهێنه‌ره‌ى ئه‌م دواييه‌،

،له‌ زیرەکی دەستکرد به‌ڕاستى پرسيارێ ده‌وروژێنن

How far will it go?

تا چ ئاستێك ده‌ڕوات؟

I like to think about this question

حه‌ز ده‌كه‌م بير له‌م پرسياره‌ بكه‌مه‌وه‌

in terms of this abstract landscape of tasks,

له شێوه‌ى ديمه‌نى ئه‌بستراكتى ئه‌ركه‌كاندا‌

where the elevation represents how hard it is for AI to do each task

به‌رزايى له‌ئاستى ڕووى ده‌رياوه‌، ئه‌وه‌ ده‌نوێنێ

كه‌ چه‌ند سه‌خته‌ زیرەکی دەستکرد هه‌ر يه‌كێ له‌ ئه‌ركه‌كان

at human level,

and the sea level represents what AI can do today.

جێبه‌جێ بكا له‌ ئاستى مرۆڤدا

هه‌روه‌ها ئاستى ده‌ريا ئه‌وه‌ ده‌نوێنێ كه‌ زیرەکی دەستکرد له‌مڕۆدا ده‌توانێ چى بكات

The sea level is rising as AI improves,

ئاستى ده‌ريا له‌به‌رزبوونه‌وه‌دايه‌ هه‌روه‌ك چۆن ز.د له‌به‌روپێشچووندايه‌

so there's a kind of global warming going on here in the task landscape.

كه‌واته‌ جۆرێك له‌ گه‌رمبوونى جيهانى لێره‌ هه‌يه‌ له‌ ديمه‌نى ئه‌ركه‌كاندا

And the obvious takeaway is to avoid careers at the waterfront --

هه‌روه‌ها په‌يامه‌كه‌ لێره‌دا ڕوونه‌، ئه‌ويش

دووركه‌وتنه‌وه‌يه‌ له‌ كاركردن له‌ به‌رده‌م ده‌ريا

(Laughter)

(پێكه‌نين)

which will soon be automated and disrupted.

كه‌ به‌م زووانه‌ ده‌كرێ به‌ ئۆتۆماتيكى و به‌رده‌ست نابێت

But there's a much bigger question as well.

وه‌لێ پرسيارێكى له‌وه‌ گه‌وره‌تريش هه‌يه‌

How high will the water end up rising?

به‌رزبوونه‌وه‌ى ئاو له‌ كۆتاييدا ده‌گاته‌ چه‌ند؟

Will it eventually rise to flood everything,

دواجار هێنده‌ به‌رز ده‌بێته‌وه‌ كه‌ هه‌موو شتێ ڕاده‌ماڵێ

matching human intelligence at all tasks.

له‌ هه‌موو ئه‌ركه‌كاندا له‌گه‌ڵ زيره‌كى مرۆڤدا هاوجێ ده‌بێت

This is the definition of artificial general intelligence --

ئه‌مه‌ پێناسه‌ى زيره‌كى ده‌ستكردى گشتييه‌‌

AGI,

ئانکو ز.د.گ

which has been the holy grail of AI research since its inception.

كه‌ جامى پيرۆزى توێژينه‌وه‌كانى زد بوو هه‌ر له‌ سه‌ره‌تاى سه‌رهه‌ڵدانييه‌وه‌

By this definition, people who say,

له‌ڕێى ئه‌م پێناسه‌يه‌وه‌ ئه‌و كه‌سانه‌ى كه‌ ده‌ڵێن‌

"Ah, there will always be jobs that humans can do better than machines,"

ئا، هه‌ميشه‌ ئه‌و ئيششانه‌ ده‌مێننه‌وه‌ كه‌ مرۆڤ له‌ ئامێره‌كان باشتر ده‌يكه‌ن

are simply saying that we'll never get AGI.

به‌ساده‌يى ده‌ڵێن هه‌رگيز ز.د گشتيمان ده‌ستناكه‌وێ

Sure, we might still choose to have some human jobs

به‌دڵنيايى، ده‌شێ هێشتا ئه‌و هه‌ڵبژێرين كه‌ هه‌نێ ئيشى مرۆڤ بمێننه‌وه‌

or to give humans income and purpose with our jobs,

بۆئه‌وه‌ى مرۆڤ مووچه‌ى هه‌بێت له‌گه‌ڵ ماناى ئه‌و ئيشه‌ى كه‌ ده‌يكه‌ين

but AGI will in any case transform life as we know it

وه‌لێ ز.د.گ له‌ هه‌موو دۆخه‌كاندا ژيان به‌و شێوه‌يه‌ ده‌گۆڕێ كه‌ ئێمه‌ ناسيومانه‌

with humans no longer being the most intelligent.

كه‌ چى ديكه‌ مرۆڤ زيره‌كترين نييه‌‌.

Now, if the water level does reach AGI,

ئێستاكه‌، ئه‌گه‌ر ئاستى ئاو بگاته‌ ز.د.گ

then further AI progress will be driven mainly not by humans but by AI,

ئه‌وكاته‌ پيشكه‌وتنى زياتر به‌ڕێوه‌ده‌چێ به‌شێوه‌يه‌كى

سه‌ره‌كى له‌لايه‌ن مرۆڤه‌وه‌ نا، به‌ڵكو له‌لايه‌ن ز.د وه‌‌

which means that there's a possibility

ئه‌مه‌ش ئه‌وه‌ ده‌گه‌يه‌نێ كه‌ ئه‌و ئه‌گه‌ره‌ هه‌يه‌

that further AI progress could be way faster

كه‌ دواڕۆژى ز.د زۆر خێراتر بێت

than the typical human research and development timescale of years,

له‌ توێژينه‌وه‌ى نموونه‌يى مرۆڤ و خشته‌ى كاتى په‌ره‌سه‌ندن به‌پێى ساڵه‌كان

raising the controversial possibility of an intelligence explosion

ئه‌گه‌رى كێشمه‌دارى ته‌قينه‌وه‌ى ز.د به‌رز ده‌بێته‌وه‌‌‌

where recursively self-improving AI

كاتێك ز.د خۆى به‌ره‌و پێش ده‌بات

rapidly leaves human intelligence far behind,

به‌ خێرايى، زيره‌كى مرۆڤ زۆر له‌ دواوه‌ به‌جێدێڵێ

creating what's known as superintelligence.

ئه‌وه‌ ده‌خوڵقێنێ كه‌ پێى ده‌وترێ سوپه‌ر زيره‌كى.

Alright, reality check:

باشه‌، با له‌ واقيع بكۆڵينه‌وه‌

Are we going to get AGI any time soon?

ئايا به‌م زووانه‌ ز.د.گ ده‌ست ده‌كه‌وێ؟

Some famous AI researchers, like Rodney Brooks,

هه‌ندێ له‌ توێژه‌رانى به‌ناوبانگى ز.د وه‌ك ڕۆدنى بروكس

think it won't happen for hundreds of years.

له‌و بڕوايه‌دايه‌ تا سه‌د ساڵى ديكه‌ ڕوو نه‌دات

But others, like Google DeepMind founder Demis Hassabis,

وه‌لێ كه‌سانى ديكه‌، وه‌ك دۆزه‌ره‌وه‌ى "گۆگڵ ديپمايند"، ديميس هاسابيس

are more optimistic

زۆر گه‌شبينترن،

and are working to try to make it happen much sooner.

هه‌روه‌ها كارده‌كه‌ن بۆئه‌وه‌ى ئه‌وه‌ زووتر ڕوو بدات

And recent surveys have shown that most AI researchers

هه‌روه‌ها ئامارێك به‌م دوواييانه‌ ئاماژه‌ ده‌دا كه‌ زۆربه‌ى توێژه‌ره‌وانى ز.د

actually share Demis's optimism,

له‌ڕاستيدا هاوبه‌شى گه‌شبينيه‌كه‌ى ديميس ده‌كه‌ن

expecting that we will get AGI within decades,

پێشبينى ئه‌وه‌ ده‌كه‌ن له‌ ماوه‌ى ده‌يه‌يه‌كدا ز.د.گ به‌ده‌ست بێنين،

so within the lifetime of many of us,

واته‌ له‌ ماوه‌ى ژيانى زۆرێك له‌ ئێمه‌دا

which begs the question -- and then what?

كه‌ ئه‌و پرسياره‌ ده‌وروژێنێ ئێ ئه‌ى دواى ئه‌وه‌ چى؟

What do we want the role of humans to be

ده‌مانه‌وێ ڕۆڵى بنياده‌م چى بێ؟

if machines can do everything better and cheaper than us?

ئه‌گه‌ر ئامێره‌كان بتوانن هه‌موو شتێ به‌باشتر و هه‌رزانتر له‌ ئێمه‌ بكه‌ن؟

The way I see it, we face a choice.

پێموايه ڕووبه‌ڕووى هه‌ڵبژاردن ده‌بينه‌وه‌،

One option is to be complacent.

هه‌ڵبژاردنێكيان ئه‌وه‌يه‌ ڕه‌زامه‌ند ده‌بين

We can say, "Oh, let's just build machines that can do everything we can do

ده‌توانين بڵێين: "ئۆو ده‌ى با ئه‌و ئامێرانه‌ دروست بكه‌ين

كه‌ ده‌توانن هه‌موو ئه‌و شتانه‌ بكه‌ن كه‌ ئێمه‌ ده‌توانين بيانكه‌ين

and not worry about the consequences.

هه‌روه‌ها نائارام نه‌بين به‌رامبه‌ر ده‌رئه‌نجامه‌كان

Come on, if we build technology that makes all humans obsolete,

ده‌ى، ئه‌گه‌ر ئه‌و ته‌كنۆلۆژيايه‌ دروست بكه‌ين كه‌ وا بكا هه‌موو بنياده‌م فه‌رامۆش بكا

what could possibly go wrong?"

كه‌واته‌ ده‌بێت ئه‌گه‌رى ڕوودانى چ هه‌ڵه‌يه‌ك هه‌بێ؟

(Laughter)

(پێكه‌نين)

But I think that would be embarrassingly lame.

وه‌لێ پێم وايه‌ ئه‌مه‌ به‌شێوه‌يه‌كى شه‌رمنده‌ شه‌ل ده‌بێ،

I think we should be more ambitious -- in the spirit of TED.

پێم وايه‌ پێويسته‌ زياتر به‌په‌رۆش بين له‌ چالاكى تێد-دا

Let's envision a truly inspiring high-tech future

با به‌ڕاستى وێناى كاريگه‌رى ئه‌فرێنه‌رى ته‌كنۆلۆژياى باڵاى دواڕۆژ بكه‌ين

and try to steer towards it.

هه‌روه‌ها هه‌وڵ بده‌ين ڕووه‌و ئه‌وه‌ ئاڕاسته‌ى بكه‌ين

This brings us to the second part of our rocket metaphor: the steering.

ئه‌مه‌ ده‌مانبات بۆ به‌شى دووه‌مى ميتافۆرى ڕۆكێته‌كه‌: ئاڕاسته‌كردن

We're making AI more powerful,

وا له‌ ز.د ده‌كه‌ين هێزى زياتر بێت

but how can we steer towards a future

وه‌لێ چۆن ئاڕاسته‌ى بكه‌ين ڕووه‌و دواڕۆژ؟

where AI helps humanity flourish rather than flounder?

كه‌ ز.د يارمه‌تى مرۆڤايه‌تى بدا زياتر پێشى بخا، نه‌ك نابووتى بكا.

To help with this,

بۆ يارمه‌تيدانى بۆ ئه‌مه‌

I cofounded the Future of Life Institute.

به‌شداريم كرد له‌ ده‌مه‌زراندنى په‌يمانگه‌ى دواڕۆژى ژيان

It's a small nonprofit promoting beneficial technology use,

بچووكه‌ له‌دووى قازانج ناگه‌ڕێ، هانى به‌كارهێنه‌رانى ته‌كنۆلۆژيا ده‌دا

and our goal is simply for the future of life to exist

بۆ سوودوه‌رگرتن‌

ئامانجى ئيمه‌ به‌ساده‌يى بۆئه‌وه‌يه‌ كه‌ دۆڕۆژى ژيان بوونى هه‌بێت

and to be as inspiring as possible.

هه‌روه‌ها چه‌نده‌ بكرێ ئيلهامبه‌خشيش بێت.

You know, I love technology.

ئێوه‌ ده‌زانن، من ته‌كنۆلۆژيام خۆش ده‌وێ

Technology is why today is better than the Stone Age.

به‌هۆى ته‌كنۆلۆژياوه‌يه‌ كه‌ ئه‌مڕۆ باشتره‌ له‌سه‌رده‌مى به‌رد

And I'm optimistic that we can create a really inspiring high-tech future ...

هه‌روه‌ها من گه‌شبينم كه‌ ده‌توانين له‌ دواڕۆژدا

ته‌كنۆلۆژيايه‌كى باڵاى ڕاسته‌قينه‌ى ئيلهامبه‌خش بخوڵقێنين

if -- and this is a big if --

ئه‌گه‌ر- هه‌روه‌ها ئه‌مه‌ ئه‌گه‌رێكى گه‌وره‌يه‌

if we win the wisdom race --

ئه‌گه‌ر له‌ پێشبڕكێى داناييدا بردمانه‌وه‌

the race between the growing power of our technology

پێشبڕكێى نێوان گه‌شه‌كردنى هێزى ته‌كنۆلۆژياكه‌مان

and the growing wisdom with which we manage it.

له‌گه‌ڵ گه‌شه‌كردنى دانايى له‌ڕێى چييه‌وه‌ ئه‌مه‌ به‌ڕێوه‌ ده‌به‌ين

But this is going to require a change of strategy

وه‌لێ ئه‌مه‌ پێويستى به‌ گۆڕينى ستراتيژى ده‌بێت

because our old strategy has been learning from mistakes.

چونكه‌ ستراتيژى پيشوومان له‌ڕێى هه‌ڵه‌كانه‌وه‌ فێر بووين.

We invented fire,

ئێمه‌ ئاگرمان دۆزييه‌وه‌،

screwed up a bunch of times --

يه‌ك دنيا جار دڵته‌نگ و نائارام بووين

invented the fire extinguisher.

تا ئاگركوژێنه‌ره‌وه‌مان داهێنا

(Laughter)

(پێكه‌نين)

We invented the car, screwed up a bunch of times --

ئێمه‌ ئۆتۆمبێلمان داهێنا، يه‌ك دنيا جار دڵته‌نگ و نائارم بووين

invented the traffic light, the seat belt and the airbag,

تا ترافيك لايت و پشتوێنى خۆبه‌ستنه‌وه‌ و كيسى هه‌وامان داهێنا

but with more powerful technology like nuclear weapons and AGI,

وه‌لێ له‌گه‌ڵ به‌هێزترين ته‌كنۆژيا وه‌ك چه‌كى ناوكى و ز،د ى گشتى

learning from mistakes is a lousy strategy,

فێربوون له‌ هه‌ڵه‌كانه‌وه‌ ستراتيژێكى خراپه‌

don't you think?

ئێوه‌ له‌و باوه‌ڕه‌دا نين؟

(Laughter)

(پێكه‌نين)

It's much better to be proactive rather than reactive;

زۆر باشتره‌ بكه‌ربيت وه‌ك له‌وه‌ى كاريگه‌ريت له‌سه‌ر بێت

plan ahead and get things right the first time

پلان دابنێ و شته‌كان يه‌كسه‌ر هه‌ر له‌يه‌كه‌م جاره‌وه‌ ته‌واو بكه‌

because that might be the only time we'll get.

چونكه‌ له‌وانه‌يه‌ ئه‌وه‌ ته‌نيا جار بێت كه‌ بتوانين بيكه‌ين

But it is funny because sometimes people tell me,

وه‌لێ، شته‌كه‌ پێكه‌نيناويه، چونكه‌‌ هه‌ندێ جار خه‌ڵك پێم ده‌ڵێن

"Max, shhh, don't talk like that.

ماكس، ششش، به‌و شێوه‌يه‌ قسه‌ مه‌كه‌

That's Luddite scaremongering."

ئه‌مه‌ ترساندنه‌ له‌لايه‌ن شكێنه‌رى ئامێره‌كانه‌وه‌.

But it's not scaremongering.

وه‌لێ ئه‌مه‌ ترساندن نييه‌

It's what we at MIT call safety engineering.

ئه‌مه‌ ئه‌وه‌يه‌ كه‌ له ئيم ئاى تى پێىده‌ڵێن سه‌لامه‌تى ئامێره‌كان‌.

Think about it:

بير له‌وه‌ بكه‌نه‌وه‌

before NASA launched the Apollo 11 mission,

به‌رله‌وه‌ى ناسا ئه‌پۆلۆى 11 به‌ مهمه‌يه‌ك هه‌ڵبدا

they systematically thought through everything that could go wrong

به‌ شێوه‌يه‌كى سيستيماتيكى

بيريان له‌ هه‌موو ئه‌و شتانه‌وه‌ كرده‌وه‌ كه‌ ده‌شێ به‌ هه‌ڵه‌ ڕوو بده‌ن

when you put people on top of explosive fuel tanks

كاتێك كه‌ خه‌ڵكى ده‌خه‌يته‌ سه‌ر ئه‌و تانكانه‌ى سووته‌مه‌نى كه‌ ده‌ته‌قێنه‌وه‌

and launch them somewhere where no one could help them.

هه‌روه‌ها بۆ شوێنێ هه‌ڵيان ده‌ده‌ى كه‌ هيچ كه‌سێ ناتوانێ يارمه‌تييان بدا

And there was a lot that could go wrong.

Was that scaremongering?

هه‌روه‌ها ده‌شێ زۆر شت هه‌بن كه‌ هه‌ڵه‌ دروست بكه‌ن

ئايا ئه‌م خه‌ڵك تۆقاندنه‌؟

No.

نه‌خێر

That's was precisely the safety engineering

ئه‌مه‌ به‌ وردى سه‌لامه‌تى ئامێره‌كانه‌

that ensured the success of the mission,

كه‌ سه‌ركه‌وتنى مهمه‌كه‌ دڵنيا ده‌كات

and that is precisely the strategy I think we should take with AGI.

هه‌روه‌ها به‌ وردى ئه‌وه‌ ئه‌و ستراتيژه‌يه‌ كه‌ پێموايه‌ پێويسته‌ له‌گه‌ڵ ز.د.گ دا بگيرێته‌به‌ر

Think through what can go wrong to make sure it goes right.

بيركردنه‌وه‌ له‌وه‌ى ده‌شێ چ هه‌ڵه‌يه‌ك ڕوو بدا

بۆئه‌وه‌ى دڵنيا بيت له‌وه‌ى كه‌ شته‌كان به‌ڕاستى به‌ڕێوه‌ده‌چن

So in this spirit, we've organized conferences,

له‌به‌ر ئه‌وه‌ به‌م ڕۆحه‌وه‌ كۆنگره‌كانمان ڕێكخست

bringing together leading AI researchers and other thinkers

هه‌ردووكيانمان پێكه‌وه‌ هێنا پێشه‌نگى توێژه‌رانى ز.د و مفكره‌كانى ديكه‌

to discuss how to grow this wisdom we need to keep AI beneficial.

بۆ قسه‌كردن له‌سه‌ر ئه‌وه‌ى چۆن ئه‌م داناييه‌ گه‌شه‌ پێ بده‌ين تا ز د سووتمه‌ند بێ

Our last conference was in Asilomar, California last year

دوا كۆنگره‌مان له‌ ئه‌سيلۆمار كاليفۆرنيا بوو ساڵى ڕابردوو

and produced this list of 23 principles

هه‌روه‌ها ئه‌م ليسته‌مان به 23‌ بنه‌ماوه‌ دروست كرد

which have since been signed by over 1,000 AI researchers

كه‌ له‌و كاته‌وه‌ له‌لايه‌ن هه‌زار توێژه‌رى ز.د ه‌وه‌ ئيمزا كراوه‌

and key industry leaders,

هه‌روه‌ها له‌لايه‌ن كۆمه‌ڵێك له‌ سه‌رۆكى پيشه‌سازييه‌كانيشه‌وه‌

and I want to tell you about three of these principles.

هه‌روه‌ها ده‌مه‌وێ ده‌رباره‌ى ئه‌م سێ بنه‌مايه‌ قسه‌تان بۆ بكه‌م

One is that we should avoid an arms race and lethal autonomous weapons.

يه‌كێك له‌وانه‌ پێويسته‌ له‌ پێشبڕكێى چه‌كدارى و چه‌كى سه‌ربه‌خۆى فه‌وتێنه‌ر

خۆمان به‌دوور بگرين

The idea here is that any science can be used for new ways of helping people

بيرۆكه‌كه‌ لێره‌دا له‌وه‌دايه‌ هه‌ر زانستێك ده‌شێ بۆ

ڕێگاى تازه‌ى يارمه‌تيدانى خه‌ڵك به‌كار بێت

or new ways of harming people.

For example, biology and chemistry are much more likely to be used

يان بۆ ڕێگه‌ى تازه‌ى ئازاردانى خه‌ڵك

بۆ نموونه‌، بايۆلۆژى و كيميا زياتربه‌كارهاتوون

for new medicines or new cures than for new ways of killing people,

بۆ ده‌رمانى نوێ، يان چاره‌سه‌رى نوێ، زياتر له‌ ڕێگاى تازه بۆ كوشتنى خه‌ڵك

because biologists and chemists pushed hard --

چونكه‌ بايۆلۆژيزان و كيميازانه‌كان سه‌رسه‌ختانه‌ كاريان كرد‌

and successfully --

هه‌روه‌ها به‌شێوه‌يه‌كى سه‌ركه‌وتووانه‌ش

for bans on biological and chemical weapons.

بۆ قه‌ده‌غه‌كردنى چه‌كى بايۆلۆژى و كيميايى

And in the same spirit,

most AI researchers want to stigmatize and ban lethal autonomous weapons.

به‌ هه‌مان ڕۆحه‌وه‌

زۆربه‌ى توێژه‌رانى ز.د يش ده‌يانه‌وێ ئيدانه‌ و قه‌ده‌غه‌ى چه‌كه‌ كوژه‌ره‌ سه‌ربه‌خۆكان بكه‌ن

Another Asilomar AI principle

يه‌كێكى ديكه‌ له‌ پره‌نسيپه‌كانى ئه‌سيلۆماربۆ ز.د

is that we should mitigate AI-fueled income inequality.

ئه‌وه‌يه‌ پێويسته‌ ئه‌و نايه‌كسانييه‌ ‌ كه‌م بكه‌ينه‌وهكه‌ تايبه‌ته‌ به‌ بودجه‌ى ز.د

I think that if we can grow the economic pie dramatically with AI

له‌و باوه‌ڕه‌دام ده‌توانين به‌شێوه‌يه‌كى دراماتيكى، ئابووريى پاى له‌گه‌ڵ ز.د دا گه‌شه‌ پێ بده‌ين

and we still can't figure out how to divide this pie

هه‌روه‌ها هيشتا ناتوانين ئه‌وه‌ بزانين كه‌ چۆن ئه‌م پايه‌ دابه‌ش بكه‌ين

so that everyone is better off,

به‌و شێوه‌يه‌ى كه‌ هه‌مووان له‌ دۆخێكى باشتردا بن

then shame on us.

(Applause)

كه‌واته‌ ئه‌وه‌ نه‌نگييه‌ بۆ ئێمه‌

(چه‌پڵه‌لێدان)

Alright, now raise your hand if your computer has ever crashed.

باشه‌،ئێستا ده‌ست به‌رز بكه‌ره‌وه‌، ئه‌گه‌ر جارێ له‌ جاران كۆمپيوته‌ره‌كه‌ت شكا بێ

(Laughter)

(پێكه‌نين)

Wow, that's a lot of hands.

واو، ئه‌وه‌ ژماره‌يه‌كى زۆره‌ له‌ ده‌ست

Well, then you'll appreciate this principle

كه‌واته‌ تۆ پێزانينت ده‌بێت بۆ ئه‌م پره‌نسيپه‌

that we should invest much more in AI safety research,

ئه‌ويش ئه‌وه‌يه‌ پێويسته‌ سه‌رمايه‌ى زياتر

له‌ توێژينه‌وه‌كانى سه‌لامه‌تى ز.د دا بخه‌ينه‌گه‌ڕ

because as we put AI in charge of even more decisions and infrastructure,

چونكه‌ ئه‌گه‌ر زيره‌كى ده‌ستكرد بكه‌ينه‌ به‌رپرسيارى

we need to figure out how to transform today's buggy and hackable computers

ته‌نانه‌ت بڕيارى زياتر و ژێرخانى ئابوورى‌

پێويستمان به‌وه‌يه‌ چۆن ئه‌م كۆمپيوته‌ره‌ شێت و قابيلى هاككردنانه‌ى ئه‌مڕۆ بگوازينه‌وه‌

into robust AI systems that we can really trust,

بۆ سيستمى به‌هێزى ز.د كه‌ به‌ڕاستى بتوانين متمانه‌يان پێ بكه‌ين

because otherwise,

all this awesome new technology can malfunction and harm us,

چونكه‌ ئه‌گه‌ر وانه‌بێ

هه‌موو ئه‌م ته‌كنۆلۆژيا باشانه‌ ده‌شێ شكست بێنن و زيانمان پێ بگه‌يه‌نن

or get hacked and be turned against us.

يان هاك بكرێن و له‌ دژى خۆمان هه‌ڵبگه‌ڕێنه‌وه‌

And this AI safety work has to include work on AI value alignment,

هه‌روه‌ها هه‌موو ئه‌م كارى سه‌لامه‌تيه‌ش پێويسته‌ به‌هاى بێلايه‌نى ز.د له‌خۆ بگرێ

because the real threat from AGI isn't malice,

چونكه‌ هه‌ڕه‌شه‌ى ڕاسته‌قينه‌ له‌لايه‌ن ز.د.گ-ه‌وه ڕقوكينه‌ نييه‌‌

like in silly Hollywood movies,

وه‌ك فيلمه‌ بێماناكانى هۆليۆد

but competence --

وه‌لێ توانسته‌

AGI accomplishing goals that just aren't aligned with ours.

به‌ديهێنانى ئامانجه‌كانى ز.د.گ له‌گه‌ڵ ئێمه‌دا ناچێ به‌ڕێوه‌

For example, when we humans drove the West African black rhino extinct,

بۆنموونه‌ كاتێك ئێمه‌ى بنياده‌م ئاژه‌ڵى تاك شاخمان له‌خۆرئاواى ئه‌فه‌ريقا قڕ تێخست

we didn't do it because we were a bunch of evil rhinoceros haters, did we?

ئێمه‌ وامان نه‌كرد له‌به‌ر ئه‌وه‌ى ئێمه كۆمه‌ڵێك شه‌يتان بووين و

ڕقمان له‌ تاك شاخ بوو، وا بووين؟‌

We did it because we were smarter than them

وامان كرد، چونكه‌ ئێمه‌ له‌وان زيره‌كتر بووين

and our goals weren't aligned with theirs.

ئامانجه‌كانى ئێمه‌ش له‌گه‌ڵ ئه‌واندا نه‌ده‌گونجان

But AGI is by definition smarter than us,

وه‌لێ ز.د.گ له‌ پێناسه‌كه‌يه‌وه‌ له‌ ئێمه‌ زيره‌كتره‌

so to make sure that we don't put ourselves in the position of those rhinos

كه‌واته‌ بۆ ئه‌وه‌ى دڵنيا بين له‌وه‌ى كه‌ خۆمان

نه‌خه‌ينه‌ بارودۆخێكى وه‌ك ئه‌و تاك شاخانه‌وه‌

if we create AGI,

ئه‌گه‌ر ئێمه‌ ز.د.گ بخوڵقێنين

we need to figure out how to make machines understand our goals,

پێويستمان به‌وه‌يه‌ بزانين چۆن وا له‌م ئامێرانه‌ بكه‌ين له‌ ئامانجه‌كانى ئێمه‌ تێبگا

adopt our goals and retain our goals.

ئامانجه‌كانمان له‌خۆبگرێ و پارێزگارييان لێ بكات

And whose goals should these be, anyway?

هه‌روه‌ها ئه‌م ئامانجانه‌ پيويسته‌ ئامانجى كێ بن، هه‌ر چۆنێ بێت؟

Which goals should they be?

پێوسته‌ ئامانجه‌كان چى بن؟

This brings us to the third part of our rocket metaphor: the destination.

ئه‌مه‌ به‌ره‌و به‌شى سێيه‌ممان ده‌بات له‌ ڕۆكێته‌ مه‌جازيه‌كه‌: شوێنى مه‌به‌ست

We're making AI more powerful,

وا له‌ ز.د ده‌كه‌ين كه‌ زياتر به‌هێز بێت

trying to figure out how to steer it,

هه‌وڵ ده‌ده‌ين ئه‌وه‌ بزانين كه‌ چۆن ئاڕاسته‌ى بكه‌ين

but where do we want to go with it?

وه‌لێ ده‌مانه‌وێ بۆ كوێ ئاڕاسته‌ى بكه‌ين؟

This is the elephant in the room that almost nobody talks about --

ئه‌مه‌ "فيله‌كه‌يه‌ له‌ناو ژووره‌كه‌دا" كه‌ كه‌س نايه‌وێ له‌باره‌يه‌وه‌ قسه‌ بكات

not even here at TED --

ته‌نانه‌ت لێره‌ش له‌ تێد

because we're so fixated on short-term AI challenges.

چونكه‌ ته‌ركيزمان چڕكرۆدته‌وه‌ له‌سه‌ر ڕووبه‌ڕووبوونه‌وه‌ى كورتخايه‌نى ز.د

Look, our species is trying to build AGI,

ته‌ماشاكه‌، توخمى ئێمه‌ ده‌يه‌وێ ز.د دروست بكات

motivated by curiosity and economics,

كه‌ كونجكوڵى و ئابوورى هانده‌رى بوون

but what sort of future society are we hoping for if we succeed?

وه‌لێ چ جۆره‌ كۆمه‌ڵگه‌يه‌كى دواڕۆژ ده‌خوازين ئه‌گه‌ر سه‌ركه‌وتين؟

We did an opinion poll on this recently,

به‌م دواييانه‌ ڕاپرسيه‌كمان كرد

and I was struck to see

هه‌روه‌ها تووشى شۆك بووم كه‌ بينيم

that most people actually want us to build superintelligence:

زۆربه‌ى خه‌ڵك له‌ڕاستيدا ده‌يانه‌وێ ئێمه‌ سوپه‌ر زيره‌كى دروست بكه‌ين

AI that's vastly smarter than us in all ways.

ئه‌و ز.د كه‌ له‌ هه‌موو ڕوويه‌كه‌وه‌ له‌ ئێمه‌ زيره‌كتر بێت

What there was the greatest agreement on was that we should be ambitious

گه‌وره‌ترين ڕێكه‌وتن هه‌بووكه‌ ئێمه‌ پێويسته‌ خواستمان هه‌بێت

and help life spread into the cosmos,

هه‌وڵ بده‌ين ژيان له‌ناو گه‌ردووندا بڵاو بكه‌ينه‌وه‌

but there was much less agreement about who or what should be in charge.

وه‌لێ ڕێكه‌وتنى كه‌متر هه‌بوو له‌سه‌ر ئه‌وه‌ى كێ ده‌بێت به‌رپرسيار بێت،

And I was actually quite amused

له‌ڕاستيدا ته‌واو چێژم بينى

to see that there's some some people who want it to be just machines.

له‌ بينينى ئه‌وه‌ى كه‌ هه‌ندێ خه‌ڵك ده‌يانه‌وێ ته‌نيا ئامێره‌كان بن

(Laughter)

(پێكه‌نين)

And there was total disagreement about what the role of humans should be,

هه‌روه‌ها ڕێنه‌كه‌وتنى ته‌واو هه‌بوو ده‌رباره‌ى ڕۆڵى مرۆڤ ده‌بێت چى بێت

even at the most basic level,

ته‌نانه‌ت له‌ ئاسته هه‌ره‌ سه‌ره‌كييه‌كاندا‌

so let's take a closer look at possible futures

كه‌واته‌ با سه‌رنجێكى نزيكتر بده‌ين له‌ دواڕۆژى ڕێتێچوو

that we might choose to steer toward, alright?

له‌وانه‌يه‌ ئه‌وه‌ هه‌ڵبژێرين كه‌ به‌ره‌و ڕووى بڕۆين ، باشه‌؟

So don't get me wrong here.

كه‌واته‌ به‌ هه‌ڵه‌ لێم تێمه‌گه‌ن

I'm not talking about space travel,

من باسى گه‌شتى فه‌زايى ناكه‌م

merely about humanity's metaphorical journey into the future.

ته‌نيا باسى گه‌شتى مه‌جازى مرۆڤايه‌تى ده‌كه‌م به‌ره‌و دواڕۆژ‌.

So one option that some of my AI colleagues like

يه‌كێك له‌ هه‌ڵبژارده‌كان كه‌ ژماره‌يه‌ك له‌ هاوكارانم له‌ ز.د حه‌زيان لێيه‌تى

is to build superintelligence and keep it under human control,

ئه‌وه‌يه‌ سوپه‌ر زيره‌كى دروست بكه‌ين و له‌ژێر كۆنترۆڵى مرۆڤدا بيهێڵينه‌وه‌

like an enslaved god,

وه‌ك كۆيله‌ى خودا

disconnected from the internet

له‌ ئينته‌رنێت دايببڕين

and used to create unimaginable technology and wealth

هه‌روه‌ها به‌كارى بێنين بۆ دروستكردنى ته‌كنۆلۆژيا و سه‌روه‌تى وێنەنه‌كراو

for whoever controls it.

بۆ به‌رژه‌وه‌نىدى هه‌ركه‌سێ كه‌ كۆنترۆڵى ئه‌مه‌ ده‌كات

But Lord Acton warned us

وه‌لێ ئاكتۆن خوداوه‌ند ئاگادارمان ده‌كاته‌وه‌

that power corrupts, and absolute power corrupts absolutely,

كه‌ هێز گه‌نده‌ڵ ده‌بێت، هه‌روه‌ها هێزى ڕه‌ها به‌ ڕه‌هايى گه‌نده‌ڵ ده‌بێت‌

so you might worry that maybe we humans just aren't smart enough,

كه‌واته‌ ده‌شێ نائارام بيت كه‌ له‌وانه‌يه‌ بنياده‌م به‌شى پێويست زيره‌ك نه‌بێ

or wise enough rather,

يان حه‌كيم نه‌بێت وه‌ك پێويست

to handle this much power.

تا هێزێكى وا گه‌وره‌ كۆنترۆڵ بكات.

Also, aside from any moral qualms you might have

هه‌روه‌ها به‌چاوپۆشين له‌ مۆراڵى هه‌ستكردن به‌ ئازارى ويژدانيش

about enslaving superior minds,

ده‌رباره‌ى كۆنترۆڵكردنى سوپه‌ر مێشك

you might worry that maybe the superintelligence could outsmart us,

ده‌شێ نائارام بيت له‌وه‌ى كه‌ له‌وانه‌يه‌ سوپه‌ر زيره‌كى زيره‌كتر بێت له‌ ئێمه‌

break out and take over.

فێڵمان لێ بكات و كۆنترۆڵمان بكات

But I also have colleagues who are fine with AI taking over

وه‌لێ ئه‌و هاوكارانه‌شم هه‌ن به‌لايانه‌وه‌ ئاساييه‌ كه‌ ز.د جێگره‌وه‌ بێ

and even causing human extinction,

هه‌روه‌ها ته‌نانه‌ت ببێته‌ هۆى قڕكردنى مرۆڤيش

as long as we feel the the AIs are our worthy descendants,

مادام ئێمه‌ وا هه‌ست ده‌كه‌ين كه‌ ز.د ه‌كان نه‌وه‌ى شايسته‌ى ئێمه‌ن

like our children.

وه‌ك منداڵه‌كانمان

But how would we know that the AIs have adopted our best values

وه‌لێ چۆن ئه‌وه‌ بزانين كه‌ ز.د ه‌كان باشترين به‌هاكانى ئێمه‌يان هه‌ڵگرتۆته‌وه‌

and aren't just unconscious zombies tricking us into anthropomorphizing them?

ته‌نيا زومبى بێئاگا نين فێڵمان لێ بكه‌ن كه‌ وه‌ك مرۆڤ مامه‌ڵه‌مان له‌گه‌ڵ كردوون

Also, shouldn't those people who don't want human extinction

هه‌روه‌ها ئه‌و خه‌ڵكه‌ش كه‌ نايانه‌وێ مرۆڤ قڕببێت

have a say in the matter, too?

ئايا نابێت له‌ كێشه‌كه‌دا قسه‌يه‌كيان هه‌بێت؟

Now, if you didn't like either of those two high-tech options,

ئيستا گه‌ر حه‌زمان له‌ هيچ كام نه‌بێ له‌م دوو هه‌ڵبژارده‌ ته‌كنۆلۆژيه‌ باڵايه‌‌‌

it's important to remember that low-tech is suicide

ئه‌وه‌ گرنگه‌ له‌ بيرمان بێت كه‌ ته‌كنۆلۆژياى نزميش خۆكوژييه‌

from a cosmic perspective,

له‌ ڕوانگه‌ى گه‌ردوونه‌وه‌

because if we don't go far beyond today's technology,

چونكه‌ ئه‌گه‌ر ئێمه‌ دوورتر نه‌ڕۆين بۆ ئه‌وديوى ته‌كنۆلۆژياى ئه‌مڕۆ

the question isn't whether humanity is going to go extinct,

ئه‌وا پرسياره‌كه‌ ئه‌وه‌ نييه‌ ئايا مرۆڤايه‌تى به‌ره‌و قڕبوون ده‌چێ؟

merely whether we're going to get taken out

ئيدى ته‌نيا به‌ره‌و ئه‌وه‌ ده‌چين كه‌ كۆنترۆڵ بكرێين

by the next killer asteroid, supervolcano

له‌لايه‌ن بكوژى داهاتووه‌وه‌ ئه‌ستێره‌، بوركانه‌ زه‌به‌لاحه‌كان

or some other problem that better technology could have solved.

يا هه‌ندێ كێشه‌ى دى كه‌ ته‌كنۆلۆژيايه‌كى باشتر له‌ توانايدا ده‌بوو چاره‌سه‌ريان بكا

So, how about having our cake and eating it ...

كه‌واته‌ ئه‌ڵێن چى كێكه‌كه‌ى خۆمان هه‌بێت و ده‌ست به‌ خواردنى بكه‌ين

with AGI that's not enslaved

له‌گه‌ڵ ز.د دا كه‌ كۆنترۆڵكه‌ر نه‌بێت

but treats us well because its values are aligned with ours?

به‌ڵكو به‌باشى مامه‌ڵه‌مان بكا، چونكه‌ به‌هاكانى له‌گه‌ڵ ئێمه‌دا له‌سه‌ر يه‌ك هێڵن؟

This is the gist of what Eliezer Yudkowsky has called "friendly AI,"

ئه‌مه‌ جه‌وهه‌رى ئه‌وه‌يه‌ كه‌ ئليژه‌ر يۆدۆسكى به‌ زد ى هاوڕێيانه‌ ناوى ناوه‌

and if we can do this, it could be awesome.

هه‌روه‌ها ئه‌گه‌ر بتوانين ئه‌وه‌ بكه‌ين ئه‌وه‌ شتێكى نايابه‌

It could not only eliminate negative experiences like disease, poverty,

نه‌ك ته‌نيا ئه‌زموونه‌ نێگه‌تيڤه‌كان له‌ناوبه‌رێ وه‌ك نه‌خۆشى، هه‌ژارى

crime and other suffering,

تاوان و كۆژانه‌كانى ديكه‌،

but it could also give us the freedom to choose

به‌ڵكو له‌وانه‌يه‌ ئازاديمان بداتێ بۆ هه‌ڵبژاردن

from a fantastic new diversity of positive experiences --

له فرجۆرييه‌كى نوێى نايابى ئه‌زموونه‌ پۆزه‌تيڤه‌كان‌

basically making us the masters of our own destiny.

به‌ شێوه‌يه‌كى سه‌ره‌كى وامان لێ ده‌كا كۆنترۆڵى چاره‌نووسى خۆمان بكه‌ين.

So in summary,

كه‌واته‌ به‌ كورتى

our situation with technology is complicated,

دۆخى ئێمه‌ له‌گه‌ڵ ته‌كنۆلۆژيادا ئاڵۆزه‌

but the big picture is rather simple.

وه‌لێ وێنه‌ گه‌وره‌كه‌ زياتر ساده‌يه‌

Most AI researchers expect AGI within decades,

زۆربه‌ى توێژه‌رانى ز.د پێبشينى ز.د ى گشتى ده‌كه‌ن له‌ چه‌ند ده‌يه‌ى داهاتوودا

and if we just bumble into this unprepared,

هه‌روه‌ها ئه‌گه‌ر ته‌نيا به‌ شڵه‌ژاوى هه‌ڵسوكه‌وت بكه‌ين، خۆئاماده‌نه‌كه‌ين

it will probably be the biggest mistake in human history --

ئه‌وه‌ له‌وانه‌يه‌ گه‌وره‌ترين هه‌ڵه‌ بێت له‌ مێژووى بنياده‌مدا

let's face it.

با ڕووبه‌ڕووى ببينه‌وه‌

It could enable brutal, global dictatorship

ده‌شێ واى لێ بكه‌ين كه‌ ديكتاتۆرێكى جيهانى وه‌حشى بێت

with unprecedented inequality, surveillance and suffering,

له‌گه‌ڵ نادادوه‌رێكى بێوێنه‌‌ چاودێريكردن و مه‌عاناتدا

and maybe even human extinction.

هه‌روه‌ها ته‌نانه‌ت ده‌شێ قڕبوونى مرۆڤيش

But if we steer carefully,

وه‌لێ ئه‌گه‌ر به‌ورياييه‌وه‌ ئاڕاسته‌مان كرد

we could end up in a fantastic future where everybody's better off:

ده‌توانين دۆخه‌كه‌ به‌ ئايينده‌يه‌كى سه‌رسامكه‌ره‌وه‌

كۆتايى پێ بێنين كه‌ هه‌موو كه‌س حاڵى باشتر بێت

the poor are richer, the rich are richer,

هه‌ژار ده‌وڵه‌مه‌ند ببێ، ده‌وڵه‌مه‌ند ده‌وڵه‌مه‌ندتر ببێت

everybody is healthy and free to live out their dreams.

هه‌موو كه‌س ته‌ندروست ده‌بێ و ئازاد بێت له‌ خه‌ونه‌كانيدا بژى

Now, hang on.

ئێستاكه‌ش، چاوه‌ڕێكه‌ن

Do you folks want the future that's politically right or left?

ئێوه‌ خه‌ڵكينه‌ دواڕۆژێكتان ده‌وێ له‌ڕووى سياسييه‌وه‌ ڕاست بێت، يان چه‌پ؟

Do you want the pious society with strict moral rules,

كۆمه‌ڵگه‌يه‌كى پوختتان ده‌وێ له‌گه‌ڵ ڕێساى مۆڕالى توونتدتردا

or do you an hedonistic free-for-all,

يان كۆمه‌ڵگه‌يه‌كى هيندۆنيزمى ئازاد له‌ هه‌موو شتێك؟

more like Burning Man 24/7?

زياتر حه‌زتان له‌ ڕه‌تانه‌وه‌ى مرۆڤه‌ 24 سه‌عات حه‌فته‌ى حه‌وت ڕۆژ؟

Do you want beautiful beaches, forests and lakes,

كه‌نارى جوان، دارستان و ده‌رياچه‌تان ده‌وێ؟

or would you prefer to rearrange some of those atoms with the computers,

يان به‌لاتانه‌وه‌ دڵخوازتره‌ سه‌رله‌نوێ هه‌ندێ له‌ ئه‌تۆمه‌كان به‌ كۆمپيوته‌روه‌ ڕێكبخرێنه‌وه‌

enabling virtual experiences?

With friendly AI, we could simply build all of these societies

وه‌ك ئه‌زموونى واقيعى بينراو له‌ توانادا بن؟

له‌گه‌ڵ ز.د دا ده‌توانين به‌ئاسانى هه‌موو ئه‌م كۆمه‌ڵگايانه‌ دروست بكه‌ين

and give people the freedom to choose which one they want to live in

هه‌روه‌ها ئازادى به‌ خه‌ڵك بده‌ين ئه‌وه‌ هه‌ڵبژێرێ كه‌ ده‌يه‌وێ تيادا بژى

because we would no longer be limited by our intelligence,

چونكه‌ چى دى ئێمه‌ به‌ زيركييه‌كه‌مانه‌وه‌ سنووردار نابين

merely by the laws of physics.

ته‌نيا به‌ هۆى ياساكانى ‌ فيزياوه سنووردار ده‌بين

So the resources and space for this would be astronomical --

كه‌واته‌ سه‌رچاوه‌ و فه‌زا بۆ ئه‌مه‌ ئه‌ستێره‌كان ده‌بن

literally.

به‌ ته‌واوه‌تى

So here's our choice.

كه‌واته‌ ئه‌مه‌ هه‌ڵبژاردنه‌كه‌ى ئێمه‌يه‌

We can either be complacent about our future,

ده‌توانين له‌ دواڕۆژمان ڕازى بين

taking as an article of blind faith

وه‌ك بابه‌تێك له‌ ئيمانێكى كوێره‌وه‌ وه‌رى بگرين

that any new technology is guaranteed to be beneficial,

كه‌ هه‌موو ته‌كنۆلۆژيايه‌كى نوێ گره‌نتييه‌ كه‌ سوودمه‌ند بێت

and just repeat that to ourselves as a mantra over and over and over again

هه‌روه‌ها ئه‌وه‌ بۆ خۆمان وه‌ك مانترا-يه‌ك دوباره‌ بكه‌ينه‌وه‌، جار له‌ دواى جار

as we drift like a rudderless ship towards our own obsolescence.

هه‌روه‌ك كه‌شتييه‌كى بێ سووكان به‌رو فه‌وتانى خۆمان ده‌خليسكێين

Or we can be ambitious --

يان ده‌توانين خواستمان هه‌بێت

thinking hard about how to steer our technology

به‌ چاكى بيربكه‌ينه‌وه‌ ده‌رباره‌ى چۆن ته‌كنۆلۆژياكه‌مان ئاڕاسته‌ بكه‌ين

and where we want to go with it

هه‌روه‌ها ده‌مانه‌وێ بۆ كوێ بڕۆين پێى

to create the age of amazement.

بۆ ئه‌وه‌ى سه‌رده‌مێكى سه‌رسامكه‌ر بخوڵقێنين‌

We're all here to celebrate the age of amazement,

ئێمه‌ هه‌موومان لێره‌ين بۆ ئاهه‌نگگێڕان بۆ سه‌رده‌مێكى سه‌رسامكه‌ر

and I feel that its essence should lie in becoming not overpowered

هه‌روه‌ها هه‌ست ده‌كه‌م ده‌بێ جه‌وهه‌ره‌كه‌ى

به‌ جۆرێ درێژ بكرێته‌وه‌ كه ده‌سه‌ڵاتدار نه‌بێ‌ ‌

but empowered by our technology.

به‌ڵكو به‌هێز بكرێ له‌لايه‌ن ته‌كنۆلۆياكه‌ى خۆمانه‌وه‌.

Thank you.

سوپاس

(Applause)

(چه‌پڵه‌لێدان)