What happens when our computers get smarter than we are? | Nick Bostrom

Translator: Silver Sillak Reviewer: Aari Lemmik

I work with a bunch of mathematicians, philosophers and computer scientists,

Ma töötan mitmete matemaatikute, filosoofide ja arvutiteadlastega,

and we sit around and think about the future of machine intelligence,

istume nendega ja mõtiskleme,

among other things.

muuhulgas ka tehisintellekti tuleviku üle.

Some people think that some of these things are sort of science fiction-y,

Mõned arvavad, et need teemad on suhteliselt ulmekad,

far out there, crazy.

kaugel reaalsusest ja hullumeelsed.

But I like to say,

Aga ütleksin pigem, et vaatame kõigepealt

okay, let's look at the modern human condition.

milline on tänapäeva inimese olukord.

(Laughter)

(Naer)

This is the normal way for things to be.

See ongi normaalne asjade seis.

But if we think about it,

Kui aga järele mõelda,

we are actually recently arrived guests on this planet,

siis tegelikult oleme üsna hiljuti siia planeedile saabunud külalised,

the human species.

meie, inimesed.

Think about if Earth was created one year ago,

Kui planeet Maa oleks loodud aasta tagasi.

the human species, then, would be 10 minutes old.

oleks inimene kõigest 10 minuti vanune.

The industrial era started two seconds ago.

Industriaalajastu oleks alanud 2 sekundit tagasi.

Another way to look at this is to think of world GDP over the last 10,000 years,

Või mõelge näiteks maailmamajanduse SKP-le viimase 10 000 aasta jooksul.

I've actually taken the trouble to plot this for you in a graph.

Olen siin näinud vaeva ja teinud teie jaoks graafiku,

It looks like this.

mis näeb välja selline.

(Laughter)

(Naer)

It's a curious shape for a normal condition.

Kujult on see veidi imelik, kuigi tegu on tavaolukorraga.

I sure wouldn't want to sit on it.

Sellele istuda küll ei tahaks.

(Laughter)

(Naer)

Let's ask ourselves, what is the cause of this current anomaly?

Küsigem aga endalt, mis on praeguse anomaalia põhjuseks?

Some people would say it's technology.

Mõnede arvates on see tehnoloogia.

Now it's true, technology has accumulated through human history,

Tõepoolest, tehnoloogia on inimajaloo vältel akumuleerunud,

and right now, technology advances extremely rapidly --

ja hetkel areneb tehnoloogia erakordselt kiiresti.

that is the proximate cause,

See on ligikaudne põhjus,

that's why we are currently so very productive.

mis seletab, miks oleme praegu nii produktiivsed.

But I like to think back further to the ultimate cause.

Tahan aga vaadata kaugemale, et leida tegelik põhjus.

Look at these two highly distinguished gentlemen:

Vaadake neid kahte silmapaistvat härrasmeest.

We have Kanzi --

Üks neist on Kanzi.

he's mastered 200 lexical tokens, an incredible feat.

Ta on õppinud selgeks 200 tähendusmärki,

mis on tema jaoks erakordne saavutus.

And Ed Witten unleashed the second superstring revolution.

Ed Witten aga käivitas teise superstringirevolutsiooni.

If we look under the hood, this is what we find:

Kui vaatame kapoti alla, siis mida me näeme?

basically the same thing.

Sisuliselt sama pilti.

One is a little larger,

Üks on natuke suurem

it maybe also has a few tricks in the exact way it's wired.

ning ülesehituselt ehk veidi keerukam.

These invisible differences cannot be too complicated, however,

Need nähtamatud erinevused ei saa siiski olla kuigi olulised,

because there have only been 250,000 generations

sest meie viimasest ühisest eellasest

eristab meid vaid 250 000 põlvkonda.

since our last common ancestor.

We know that complicated mechanisms take a long time to evolve.

On teada, et keerukate mehhanismide väljakujunemiseks läheb kaua aega.

So a bunch of relatively minor changes

Vaid mõned suhteliselt väikesed muutused

take us from Kanzi to Witten,

on toonud meid Kanzist Wittenini,

from broken-off tree branches to intercontinental ballistic missiles.

murdunud puuokstest mandrite- vaheliste ballistiliste rakettideni.

So this then seems pretty obvious that everything we've achieved,

On üsna ilmne, et kõik, mida oleme saavutanud

and everything we care about,

ja mis on meile oluline,

depends crucially on some relatively minor changes that made the human mind.

sõltub vaid mõnest suhteliselt väikesest muutusest, mis kujundasid inimmõistuse.

And the corollary, of course, is that any further changes

Oluline on mõista, et mis tahes edasised muutused,

that could significantly change the substrate of thinking

mis võivad avaldada olulist mõju mõtlemise mehhanismidele,

could have potentially enormous consequences.

võivad kaasa tuua väga tõsiseid tagajärgi.

Some of my colleagues think we're on the verge

Mul on kolleege, kelle arvates oleme millegi lävel,

of something that could cause a profound change in that substrate,

mis võib põhjustada mõtlemise mehhanismis radikaalseid muutusi,

and that is machine superintelligence.

ja see miski on tehislik superintellekt.

Artificial intelligence used to be about putting commands in a box.

Tehisintellekt tähendas varasemalt käskude sisestamist kastikestesse,

You would have human programmers

sellega tegelesid programmeerijad,

that would painstakingly handcraft knowledge items.

kes lõid nn tarku lahendusi peene käsitööna.

You build up these expert systems,

Nii ehitati üles ekspertsüsteemid

and they were kind of useful for some purposes,

ja neist oli kasu teatud ülesannete puhul,

but they were very brittle, you couldn't scale them.

kuid nad olid väga haprad ja vähepaindlikud.

Basically, you got out only what you put in.

Väljundi kvaliteet olenes praktiliselt ainult sisestatud infost.

But since then,

Nüüdseks aga on tehisintellekti vallas toimunud paradigma nihe.

a paradigm shift has taken place in the field of artificial intelligence.

Today, the action is really around machine learning.

Täna keskendutakse hoopis masinõppimise arendamisele.

So rather than handcrafting knowledge representations and features,

Selle asemel, et valmistada andmeesitlust ja tarvikuid käsitööna,

we create algorithms that learn, often from raw perceptual data.

luuakse algoritme, mis suudavad õppida, ja seda ka töötlemata tajuandmetest.

Basically the same thing that the human infant does.

Sisuliselt sama asi, mida teeb imik.

The result is A.I. that is not limited to one domain --

Tulemuseks on tehisintellekt, mis pole piiratud vaid ühe valdkonnaga:

the same system can learn to translate between any pairs of languages,

sama süsteem võib õppida tõlkima ükskõik milliste keelte vahel

or learn to play any computer game on the Atari console.

või õppida Atari konsoolil mängima mis tahes arvutimängu.

Now of course,

Loomulikult

A.I. is still nowhere near having the same powerful, cross-domain

ei ole tehisintellektil siiski kaugeltki nii võimsat valdkondadeülest oskust

ability to learn and plan as a human being has.

õppida ja planeerida kui inimestel.

The cortex still has some algorithmic tricks

Ajukoores on endiselt mõningaid algoritmilisi iseärasusi,

that we don't yet know how to match in machines.

mida pole suudetud masinates jäljendada.

So the question is,

Küsimus on seega, kui kaugel veel oleme sellest

how far are we from being able to match those tricks?

et suudaksime neid iseärasusi jäljendada?

A couple of years ago,

Paar aastat tagasi

we did a survey of some of the world's leading A.I. experts,

viisime läbi küsitluse juhtivate tehisintellektiekspertide seas,

to see what they think, and one of the questions we asked was,

et teada saada, mida nad arvavad.

Üks küsimustest oli selline:

"By which year do you think there is a 50 percent probability

"Mis aastaks on teie hinnangul meil 50% tõenäosus,

that we will have achieved human-level machine intelligence?"

et tehisintellekt on jõudnud inimesega võrdsele tasemele?"

We defined human-level here as the ability to perform

Defineerimise inimesega võrdse taseme sellisena,

almost any job at least as well as an adult human,

mis võimaldaks teha mis tahes tööd sama hästi kui täiskasvanud inimene,

so real human-level, not just within some limited domain.

samuti nagu päris-inimene, mitte vaid ühes kindlas valdkonnas.

And the median answer was 2040 or 2050,

Keskmine vastus oli 2040. või 2050. aasta,

depending on precisely which group of experts we asked.

sõltuvalt sellest, milliselt ekspertide grupilt küsiti,

Now, it could happen much, much later, or sooner,

See võib juhtuda oluliselt hiljem või varem,

the truth is nobody really knows.

õigupoolest ei oska keegi täpselt öelda.

What we do know is that the ultimate limit to information processing

Mida me teame, on see, et masina andmetöötlusvõimekus

in a machine substrate lies far outside the limits in biological tissue.

ületab kaugelt bioloogilise võimekuse piirid.

This comes down to physics.

Selle on seletatav füüsikaga.

A biological neuron fires, maybe, at 200 hertz, 200 times a second.

Bioloogiline neuron töötab sagedusel umbes 200 hertsi, st 200 tsüklit sekundis.

But even a present-day transistor operates at the Gigahertz.

Kuid tänapäevane transistorgi opereerib juba gigahertsides.

Neurons propagate slowly in axons, 100 meters per second, tops.

Neuronid levivad närvikiu telgniitides aeglaselt, max 100 meetrit sekundis

But in computers, signals can travel at the speed of light.

Arvutites võivad signaalid levida aga valguskiirusel.

There are also size limitations,

On ka suuruse piirangud:

like a human brain has to fit inside a cranium,

inimaju peab mahtuma ära kolju sisse,

but a computer can be the size of a warehouse or larger.

arvuti võib olla aga laohoone mõõtu või suuremgi.

So the potential for superintelligence lies dormant in matter,

Tehisintellekti potentsiaal on praegu mateerias peidus,

much like the power of the atom lay dormant throughout human history,

samamoodi nagu aatomi jõud oli kogu inimkonna ajaloo vältel peidus,

patiently waiting there until 1945.

oodates kannatlikult kuni 1945. aastani.

In this century,

Sellel sajandil

scientists may learn to awaken the power of artificial intelligence.

võivad teadlased äratada tehisintellekti jõu.

And I think we might then see an intelligence explosion.

Ja ma arvan, et siis saame näha tõelist intellektiplahvatust.

Now most people, when they think about what is smart and what is dumb,

Enamik inimesi, mõeldes sellele, kes on tark ja kes rumal,

I think have in mind a picture roughly like this.

kujutlevad ilmselt midagi sellist:

So at one end we have the village idiot,

skaala ühes otsas on külaloll

and then far over at the other side

ja siis kaugel teises otsas

we have Ed Witten, or Albert Einstein, or whoever your favorite guru is.

Ed Witten, Albert Einstein või kes iganes teie lemmikguru on.

But I think that from the point of view of artificial intelligence,

Kuid ma arvan, et tehisintellekti perspektiivist vaadatuna

the true picture is actually probably more like this:

on tegelik pilt pigem selline:

AI starts out at this point here, at zero intelligence,

tehisintellekt alustab null-punktist

and then, after many, many years of really hard work,

ning pärast aastaid kestnud väga tõsist tööd

maybe eventually we get to mouse-level artificial intelligence,

jõuab tehisintellekt lõpuks hiirega võrreldavale tasemele,

something that can navigate cluttered environments

suutes orienteeruda keerukas keskkonnas

as well as a mouse can.

sama hästi nagu hiir.

And then, after many, many more years of really hard work, lots of investment,

Siis kulub veel palju aastaid tõsist tööd ja investeeringuid,

maybe eventually we get to chimpanzee-level artificial intelligence.

et tehisintellekt võiks jõuda samale tasemele šimpansiga.

And then, after even more years of really, really hard work,

Seejärel kulub veelgi rohkem aastaid tõeliselt rasket tööd,

we get to village idiot artificial intelligence.

et saavutada külalolli tasemel tehisintellekt.

And a few moments later, we are beyond Ed Witten.

Aga sealt vaid hetke pärast oleme juba Ed Wittenist möödas,

The train doesn't stop at Humanville Station.

kuid inimkond ei olegi lõpp-peatus.

It's likely, rather, to swoosh right by.

Tõenäoliselt vuhiseb ta sealt kiirelt mööda.

Now this has profound implications,

Potentsiaalsed tagajärjed on tõsised,

particularly when it comes to questions of power.

eriti mis puudutab võimu ja kontrolli.

For example, chimpanzees are strong --

Šimpansid on näiteks väga tugevad,

pound for pound, a chimpanzee is about twice as strong as a fit human male.

umbes kaks korda tugevamad kui inimesed.

And yet, the fate of Kanzi and his pals depends a lot more

Ometi oleneb Kanzi ja ta sõprade saatus palju rohkem inimeste,

on what we humans do than on what the chimpanzees do themselves.

kui nende endi tegevusest.

Once there is superintelligence,

Kui superintellekt on kord juba loodud,

the fate of humanity may depend on what the superintelligence does.

võib inimkonna saatus hakata sõltuma sellest, mida see superintellekt teeb.

Think about it:

Mõelgem sellele:

Machine intelligence is the last invention that humanity will ever need to make.

tehisintellekt on leiutiste seas viimane, mille inimkond peab ise looma.

Machines will then be better at inventing than we are,

Peale seda on masinad leiutamises osavamad kui me ise

and they'll be doing so on digital timescales.

ja seda digitaalsetel ajaskaaladel.

What this means is basically a telescoping of the future.

See tähendab sisuliselt tulevikku hüppamist.

Think of all the crazy technologies that you could have imagined

Mõelge kõikvõimalikele pöörastele tehnoloogiatele, mida olete ettekujutanud,

maybe humans could have developed in the fullness of time:

ja milleni inimesed oleksid võib-olla kunagi ka jõudnud:

cures for aging, space colonization,

vananemise peatamine, kosmose koloniseerimine,

self-replicating nanobots or uploading of minds into computers,

isepaljunevad nanorobotid või inimteadvuse üleslaadimine arvutitesse,

all kinds of science fiction-y stuff

kõikvõimalikud ulmelised asjad,

that's nevertheless consistent with the laws of physics.

mis on ometi kooskõlas füüsikaseadustega.

All of this superintelligence could develop, and possibly quite rapidly.

Kõike seda suudaks superintellekt välja mõelda ja ilmselt üsna kiirelt.

Now, a superintelligence with such technological maturity

Sellise tehnoloogilise kompetentsiga superintellekt

would be extremely powerful,

oleks äärmiselt võimas

and at least in some scenarios, it would be able to get what it wants.

ning vähemalt mõnel juhul võimeline saavutama oma tahtmist.

We would then have a future that would be shaped by the preferences of this A.I.

Niisiis oleks tulevik kujundatud tehisintellekti eelistuste järgi.

Now a good question is, what are those preferences?

On hea küsimus, et mida nad siis tahaksid teha?

Here it gets trickier.

Siin läheb asi keerulisemaks.

To make any headway with this,

Et sellele küsimusele vastata,

we must first of all avoid anthropomorphizing.

peame kõigepealt hoiduma antropomorfismist.

And this is ironic because every newspaper article

See on irooniline, sest iga ajaleheartikli juures,

about the future of A.I. has a picture of this:

mis räägib tehisintellekti tulevikust, on selline pilt:

So I think what we need to do is to conceive of the issue more abstractly,

Ma arvan, et peame sellele küsimusele vastamisel mõtlema abstraktsemalt,

not in terms of vivid Hollywood scenarios.

mitte lennukate Hollywoodi stsenaariumide stiilis.

We need to think of intelligence as an optimization process,

Peame mõtlema intellektist kui optimiseerimisprotsessist,

a process that steers the future into a particular set of configurations.

mis juhib meie tulevikku teatud konkreetsete konfiguratsioonide suunas.

A superintelligence is a really strong optimization process.

Superintellekt on tõeliselt tõhus optimiseerimisprotsess.

It's extremely good at using available means to achieve a state

Kasutades olemasolevaid vahendeid, toimib see äärmiselt efektiivselt

in which its goal is realized.

kuni eesmärk on saavutatud.

This means that there is no necessary connection between

See tähendab, et enam pole kõrge intellekt

being highly intelligent in this sense,

seotud eesmärkidega,

and having an objective that we humans would find worthwhile or meaningful.

mis meie, inimeste, arust on on olulised ja mõistlikud.

Suppose we give an A.I. the goal to make humans smile.

Oletame, et anname tehisintellektile ülesande panna meid naeratama.

When the A.I. is weak, it performs useful or amusing actions

Kui tehisintellekt on madal, püüab see lahutada meie meelt,

that cause its user to smile.

et kutsuda esile naeratus.

When the A.I. becomes superintelligent,

Kui tehisintellektist saab superintellekt,

it realizes that there is a more effective way to achieve this goal:

mõistab see, et eesmärgi saavutamiseks on olemas efektiivsem viis:

take control of the world

saada maailma valitsejaks

and stick electrodes into the facial muscles of humans

ja torgata inimeste näolihastesse elektroodid,

to cause constant, beaming grins.

mis manavad meie näole püsiva ja särava irve.

Another example,

Teine näide:

suppose we give A.I. the goal to solve a difficult mathematical problem.

oletame, et tehisintellekt peab lahendama keerulise matemaatikaülesande

When the A.I. becomes superintelligent,

Superintellektiks saades

it realizes that the most effective way to get the solution to this problem

mõistab ta, et efektiivseim viis ülesande lahendamiseks

is by transforming the planet into a giant computer,

on muuta terve planeet hiiglaslikuks arvutiks,

so as to increase its thinking capacity.

et suurendada selle analüüsivõimet.

And notice that this gives the A.I.s an instrumental reason

Pange tähele, et see annab tehisintellektile praktilise õigustuse

to do things to us that we might not approve of.

teha asju, mida me võib-olla heaks ei kiidaks.

Human beings in this model are threats,

Sellise skeemi puhul on inimesed riskifaktorid,

we could prevent the mathematical problem from being solved.

kes võivad osutuda takistuseks ülesande lahendamisel.

Of course, perceivably things won't go wrong in these particular ways;

Tegelikkuses ilmselt päris selliseid hulle asju ei juhtu,

these are cartoon examples.

need on pigem filmilikud näited.

But the general point here is important:

Mis on siin aga oluline, on see,

if you create a really powerful optimization process

et kui luua tõeliselt võimas optimiseerimisprotsess,

to maximize for objective x,

et maksimiseerida eesmärgi x saavutamist,

you better make sure that your definition of x

tuleb veenduda, et x-i definitsioon

incorporates everything you care about.

hõlmab endas kõike, mis sulle oluline on.

This is a lesson that's also taught in many a myth.

Seda õppetundi võime kohata paljudes müütides.

King Midas wishes that everything he touches be turned into gold.

Kuningas Midas soovis, et kõik, mida ta puudutab, muutuks kullaks.

He touches his daughter, she turns into gold.

Ta puudutas oma tütart ja too muutus kullaks.

He touches his food, it turns into gold.

Ta puudutas oma toitu ja see muutus kullaks.

This could become practically relevant,

See müüt võib osutuda reaalselt asjakohaseks

not just as a metaphor for greed,

mitte ainult ahnuse metafoorina,

but as an illustration of what happens

vaid ka näitena sellest, mis juhtub,

if you create a powerful optimization process

kui luua võimas optimiseerimisprotsess

and give it misconceived or poorly specified goals.

ja anda sellele mitmeti mõistetavaid või ebatäpseid eesmärke.

Now you might say, if a computer starts sticking electrodes into people's faces,

Võib vastu väita, et kui arvuti hakkab inimestele elektroode näkku panema,

we'd just shut it off.

siis peame arvuti lihtsalt välja lülitama.

A, this is not necessarily so easy to do if we've grown dependent on the system --

Esiteks ei pruugi see olla lihtne, kui oleme saanud süsteemist sõltuvaks.

like, where is the off switch to the Internet?

Kuidas näiteks internetti välja lülitada?

B, why haven't the chimpanzees flicked the off switch to humanity,

Teiseks — miks ei ole šimpansid inimesi välja lülitanud?

or the Neanderthals?

Või neandertaallased?

They certainly had reasons.

Põhjusi oleks selleks küllaga.

We have an off switch, for example, right here.

Meie väljalülitamisnupp on näiteks siinsamas.

(Choking)

(Kägistab)

The reason is that we are an intelligent adversary;

Põhjus on selles, et me oleme intelligetsed vastased.

we can anticipate threats and plan around them.

Me suudame ohte ette näha ja neid vältida.

But so could a superintelligent agent,

Kuid seda suudaks ka superintellekt

and it would be much better at that than we are.

ja ta oleks selles märksa osavam kui meie.

The point is, we should not be confident that we have this under control here.

Me ei peaks olema nii kindlad, et olukord on meie kontrolli all.

And we could try to make our job a little bit easier by, say,

Võime oma ülesannet lihtsustada,

putting the A.I. in a box,

sulgedes tehisintellekti nö kasti

like a secure software environment,

ehk turvalisse tarkvarakeskkonda,

a virtual reality simulation from which it cannot escape.

virtuaalreaalsuse simulatsiooni, millest see välja ei pääse.

But how confident can we be that the A.I. couldn't find a bug.

Kui kindlad saame aga olla, et tehisintellekt ei leiaks seal mõnd viga?

Given that merely human hackers find bugs all the time,

Arvestades, et inimhäkkerid avastavad vigu kogu aeg,

I'd say, probably not very confident.

ütleks ma, et ilmselt mitte väga.

So we disconnect the ethernet cable to create an air gap,

Niisiis tõmbame välja võrgukaabli, et luua õhuauk,

but again, like merely human hackers

kuid jälle, isegi inimhäkkerid hiilivad õhuaukudest pidevalt mööda

routinely transgress air gaps using social engineering.

kasutades sotsiaalseid meetodeid.

Right now, as I speak,

Samal ajal, kui ma siin räägin, on kuskil firmas mõni töötaja,

I'm sure there is some employee out there somewhere

who has been talked into handing out her account details

kes on nõustunud andma oma kontoandmed

by somebody claiming to be from the I.T. department.

kellelegi, kes väitis end olevat IT osakonnast.

More creative scenarios are also possible,

Võimalikud on ka põnevamad asjade arengud.

like if you're the A.I.,

Näiteks võib tehisintellekt

you can imagine wiggling electrodes around in your internal circuitry

kujutleda oma siseringes looklemas elektroode,

to create radio waves that you can use to communicate.

et luua raadiolaineid, mille kaudu suhelda.

Or maybe you could pretend to malfunction,

Või siis teeskleb ta, et on rikkis,

and then when the programmers open you up to see what went wrong with you,

ja kui programmeerijad avavad ta, et näha, milles on viga,

they look at the source code -- Bam! --

ja vaatavad lähtekoodi — põmm! —

the manipulation can take place.

ja manipulatsioon on õnnestunud.

Or it could output the blueprint to a really nifty technology,

Või siis kavandab ta meie jaoks mingi nutika tehnoloogilise lahenduse

and when we implement it,

ja kui seda rakendame,

it has some surreptitious side effect that the A.I. had planned.

avaldub mingi salajane kõrvalmõju, mida tehisintellekt oli planeerinud.

The point here is that we should not be confident in our ability

Mõte on selles, et me ei tohiks olla kindlad oma võimes

to keep a superintelligent genie locked up in its bottle forever.

hoida superintellektist džinni igavesti oma pudelis luku taga.

Sooner or later, it will out.

Varem või hiljem pääseb see välja.

I believe that the answer here is to figure out

Ma usun, et peame mõtlema välja,

how to create superintelligent A.I. such that even if -- when -- it escapes,

kuidas luua selline superintellekt, mis isegi lahtipääsemise korral

it is still safe because it is fundamentally on our side

ei kujutaks see meile ohtu, sest ta oleks põhimõtteliselt meie poolel,

because it shares our values.

jagades meiega samu väärtusi.

I see no way around this difficult problem.

Ma ei näe pääsu sellest keerulisest probleemist.

Now, I'm actually fairly optimistic that this problem can be solved.

Tegelikult üsna optimistlik, et seda on võimalik lahendada.

We wouldn't have to write down a long list of everything we care about,

Meil ei tarvitse koostada pikka nimekirja asjadest, mida väärtustame,

or worse yet, spell it out in some computer language

või, hullem veel, esitada seda mõnes programmeerimiskeeles

like C++ or Python,

nagu C++ või Python.

that would be a task beyond hopeless.

See oleks lootusetu ettevõtmine.

Instead, we would create an A.I. that uses its intelligence

Selle asemel võiks luua tehisintellekti,

mis õpiks väärtustama seda, mis on meile oluline

to learn what we value,

and its motivation system is constructed in such a way that it is motivated

ja mis oleks programmeritud nii, et ta on automaatselt motiveeritud

to pursue our values or to perform actions that it predicts we would approve of.

järgima meiega samu väärtusi või käituma nii, nagu meile meeldiks.

We would thus leverage its intelligence as much as possible

Seeläbi mõjutaksime tema intellekti nii palju, kui võimalik,

to solve the problem of value-loading.

ja laadiksime talle meie väärtused.

This can happen,

See võibki nii minna

and the outcome could be very good for humanity.

ja tulemus võib olla inimkonnale väga positiivne.

But it doesn't happen automatically.

Aga see ei toimu automaatselt.

The initial conditions for the intelligence explosion

Intellektiplahvatuse jaoks tuleb paika seada

might need to be set up in just the right way

täpselt õiged algtingimused,

if we are to have a controlled detonation.

kui soovime, et plahvatus ei väljuks kontrolli alt.

The values that the A.I. has need to match ours,

Tehisintellekti väärtused peavad kattuma meie omadega

not just in the familiar context,

mitte ainult tavaolukordades,

like where we can easily check how the A.I. behaves,

kus me saame lihtsasti kontrollida ta käitumist,

but also in all novel contexts that the A.I. might encounter

vaid ka kõigis uudsetes olukordades,

mis võivad ette tulla suvalisel ajahetkel tulevikus.

in the indefinite future.

And there are also some esoteric issues that would need to be solved, sorted out:

On ka mõned esoteerilised probleemid, mis vajavad lahendamist:

the exact details of its decision theory,

tehisintellekti otsustusteooria detailid,

how to deal with logical uncertainty and so forth.

toimetulek loogilise ebamäärasusega jne.

So the technical problems that need to be solved to make this work

Tehnilised probleemid, mis tuleb ära lahendada,

look quite difficult --

näivad üsna keerulised,

not as difficult as making a superintelligent A.I.,

mitte küll nii keerulised, kui superintellekti enda loomine,

but fairly difficult.

aga siiski küllaltki keerulised.

Here is the worry:

Mure on aga järgmine:

Making superintelligent A.I. is a really hard challenge.

superintellekti loomine on tõeliselt raske väljakutse,

Making superintelligent A.I. that is safe

ohutu superintellekti loomine

involves some additional challenge on top of that.

nõuab aga veelgi suuremat pingutust.

The risk is that if somebody figures out how to crack the first challenge

Olukord muutub riskantseks, kui keegi juhtub täitma esimese ülesande,

without also having cracked the additional challenge

täitmata teist ülesannet:

of ensuring perfect safety.

kindlustada meie turvalisus.

So I think that we should work out a solution

Seega leian, et peaksime enne välja töötama lahenduse,

to the control problem in advance,

kuidas tehisintellekti kontrollida,

so that we have it available by the time it is needed.

et see oleks olemas siis, kui seda vajame.

Now it might be that we cannot solve the entire control problem in advance

Võib juhtuda, et me ei saa turvalisust ennetavalt tagada,

because maybe some elements can only be put in place

sest mõned elemendid saab paika panna alles siis,

once you know the details of the architecture where it will be implemented.

kui on teada kõik detailid struktuuri kohta, kus seda kasutatakse.

But the more of the control problem that we solve in advance,

Aga mida suuremas ulatuses suudame turvalisuse eelnevalt kindlustada,

the better the odds that the transition to the machine intelligence era

seda tõenäolisem on, et üleminek tehisintellekti ajastusse

will go well.

laabub hästi.

This to me looks like a thing that is well worth doing

Mulle paistab see asjana, mille nimel tasub pingutada,

and I can imagine that if things turn out okay,

ja ma kujutan ette, et kui kõik läheb hästi,

that people a million years from now look back at this century

siis meenutavad inimesed miljoni aasta pärast praegust sajandit

and it might well be that they say that the one thing we did that really mattered

ja ehk isegi mõtlevad, et kõige tähtsam asi, mida me korda saatsime,

was to get this thing right.

oligi just sellega hakkamasaamine.

Thank you.

Tänan.

(Applause)

(Aplaus)