What happens when our computers get smarter than we are? | Nick Bostrom

Překladatel: Marek Vanžura Korektor: Soňa Baštincová

I work with a bunch of mathematicians, philosophers and computer scientists,

Spolupracuji s matematiky, filozofy a informatiky,

and we sit around and think about the future of machine intelligence,

se kterými přemýšlíme nad budoucností strojové inteligence

among other things.

a dalšími otázkami.

Some people think that some of these things are sort of science fiction-y,

Někteří lidé si myslí, že jde o věci patřící do science-fiction,

far out there, crazy.

tedy vzdálené a bláznivé.

But I like to say,

Na to jim ale rád odpovídám,

okay, let's look at the modern human condition.

fajn, tak se podívejte na moderního člověka.

(Laughter)

(Smích)

This is the normal way for things to be.

Tohle je dnes běžný stav věcí.

But if we think about it,

Když se nad tím ale zamyslíme,

we are actually recently arrived guests on this planet,

jako lidský druh jsme ve skutečnosti teprve

the human species.

nedávnými hosty na této planetě.

Think about if Earth was created one year ago,

Představíme-li si, že Země vznikla před rokem,

the human species, then, would be 10 minutes old.

bude lidský druh starý pouhých 10 minut.

The industrial era started two seconds ago.

Průmyslová éra začala před dvěma sekundami.

Another way to look at this is to think of world GDP over the last 10,000 years,

Anebo se podívejme na vývoj světového HDP za posledních 10 tisíc let.

I've actually taken the trouble to plot this for you in a graph.

Dal jsem si takovou práci, že jsem vám jej zpracoval do grafu.

It looks like this.

Vypadá takhle.

(Laughter)

(Smích)

It's a curious shape for a normal condition.

Jde o podivný tvar pro běžné podmínky.

I sure wouldn't want to sit on it.

Nechtěl bych na něm sedět.

(Laughter)

(Smích)

Let's ask ourselves, what is the cause of this current anomaly?

Zeptejme se sami sebe, co je příčinou tohoto výkyvu?

Some people would say it's technology.

Někteří lidé by odpověděli, že technika.

Now it's true, technology has accumulated through human history,

To je pravda, technika se během lidských dějin nahromadila

and right now, technology advances extremely rapidly --

a v současnosti se vyvíjí extrémně rychle.

that is the proximate cause,

Je v tom příčinná souvislost.

that's why we are currently so very productive.

Proto jsme nyní tak produktivní.

But I like to think back further to the ultimate cause.

Já bych se ale rád vrátil k pravé příčině zpět do minulosti.

Look at these two highly distinguished gentlemen:

Podívejme se na tyto mimořádně ctihodné gentlemany:

We have Kanzi --

tohle je Kanzi –

he's mastered 200 lexical tokens, an incredible feat.

ovládl 200 různých znaků, fantastický výkon.

And Ed Witten unleashed the second superstring revolution.

A Ed Witten spustil druhou superstrunovou revoluci.

If we look under the hood, this is what we find:

Podíváme-li se pod pokličku, nalezneme tohle:

basically the same thing.

v podstatě jednu a tutéž věc.

One is a little larger,

Jedna je jen trochu větší

it maybe also has a few tricks in the exact way it's wired.

a možná má pár vylepšení ve svých zapojeních.

These invisible differences cannot be too complicated, however,

Ale tyto neviditelné rozdíly nemohou být příliš komplikované,

because there have only been 250,000 generations

protože od doby našeho nejbližšího společného předka

since our last common ancestor.

uplynulo pouze 250 tisíc generací.

We know that complicated mechanisms take a long time to evolve.

Víme, že složitější mechanismy potřebují ke svému vývoji delší dobu.

So a bunch of relatively minor changes

Takže skupina relativně malých změn

take us from Kanzi to Witten,

nás od Kanziho přenesla k Wittenovi,

from broken-off tree branches to intercontinental ballistic missiles.

od prolézání větvovím stromů k mezikontinentálním balistickým střelám.

So this then seems pretty obvious that everything we've achieved,

Takže se zdá být zřejmé, že vše, čeho jsme dosáhli,

and everything we care about,

a vše, co nás zajímá,

depends crucially on some relatively minor changes that made the human mind.

zásadně závisí na relativně malých změnách, které vytvořily lidskou mysl.

And the corollary, of course, is that any further changes

Důsledkem toho je samozřejmě to, že jakékoli další změny,

that could significantly change the substrate of thinking

které výrazně změní substrát našeho myšlení,

could have potentially enormous consequences.

mohou mít potenciálně mimořádné důsledky.

Some of my colleagues think we're on the verge

Někteří z mých kolegů si myslí, že jsme na okraji něčeho,

of something that could cause a profound change in that substrate,

co může přivodit podstatnou změnu tohoto substrátu.

and that is machine superintelligence.

Jde o strojovou superinteligenci.

Artificial intelligence used to be about putting commands in a box.

Umělá inteligence bývala o zadávání příkazů do krabičky.

You would have human programmers

Museli jste mít lidské programátory,

that would painstakingly handcraft knowledge items.

kteří ručně vytvářeli databáze znalostí.

You build up these expert systems,

Získali jste tím expertní systémy,

and they were kind of useful for some purposes,

které byly užitečné pro určité úkoly,

but they were very brittle, you couldn't scale them.

ale byly dost nevhodné pro nějaké výraznější rozšíření.

Basically, you got out only what you put in.

V podstatě jste z nich dostali jen to, co jste do nich vložili.

But since then,

Ale od té doby

a paradigm shift has taken place in the field of artificial intelligence.

došlo na poli umělé inteligence ke změně paradigmatu.

Today, the action is really around machine learning.

Dnes se vše děje kolem strojového učení.

So rather than handcrafting knowledge representations and features,

Takže namísto ručního vytváření databází znalostí,

we create algorithms that learn, often from raw perceptual data.

vytváříme algoritmy, které se samy učí, často z velmi hrubých a neurčitých dat.

Basically the same thing that the human infant does.

V podstatě dělají stejnou věc jako lidské miminko.

The result is A.I. that is not limited to one domain --

Výsledkem je umělá inteligence, která není omezena jednou oblastí:

the same system can learn to translate between any pairs of languages,

tentýž systém se může naučit překládat z jednoho jazyka do druhého

or learn to play any computer game on the Atari console.

nebo se může naučit hrát jakoukoli hru na konzoli Atari.

Now of course,

Samozřejmě

A.I. is still nowhere near having the same powerful, cross-domain

umělá inteligence nedosahuje stejných výsledků co se týče schopností učit se

ability to learn and plan as a human being has.

napříč různými oblastmi a plánovat, jako dokáže člověk.

The cortex still has some algorithmic tricks

Mozková kůra má pořád v rukávu pár algoritmických

that we don't yet know how to match in machines.

triků, které zatím neumíme u strojů vytvořit.

So the question is,

Otázkou je,

how far are we from being able to match those tricks?

jak daleko jsme od toho, kdy se nám je vytvořit podaří?

A couple of years ago,

Před pár lety

we did a survey of some of the world's leading A.I. experts,

jsme udělali průzkum mezi experty na umělou inteligenci,

to see what they think, and one of the questions we asked was,

abychom věděli, co si oni myslí, a jedna z položených otázek zněla:

"By which year do you think there is a 50 percent probability

„V jakém roce si myslíte, že bude 50% pravděpodobnost,

that we will have achieved human-level machine intelligence?"

že u strojů dosáhneme inteligence srovnatelné s lidskou?"

We defined human-level here as the ability to perform

Lidskou inteligenci jsme definovali jako schopnost provádět téměř jakoukoli

almost any job at least as well as an adult human,

práci přinejmenším takovým způsobem jako dospělý člověk,

so real human-level, not just within some limited domain.

takže jsme nevytvářeli nějaká omezení.

And the median answer was 2040 or 2050,

Nejčastější odpověď byla 2040 a 2050,

depending on precisely which group of experts we asked.

v závislosti na tom, jaké skupiny jsme se zeptali.

Now, it could happen much, much later, or sooner,

Může k tomu dojít mnohem později nebo mnohem dříve,

the truth is nobody really knows.

pravdou je, že to nikdo doopravdy neví.

What we do know is that the ultimate limit to information processing

Co ale víme, je, že nejzazší hranice pro zpracování informací leží

in a machine substrate lies far outside the limits in biological tissue.

u strojových substrátů daleko za hranicemi biologických tkání.

This comes down to physics.

Vysvětlení nám dává fyzika.

A biological neuron fires, maybe, at 200 hertz, 200 times a second.

Biologický neuron má frekvenci okolo 200 Hz, je aktivní 200krát za sekundu.

But even a present-day transistor operates at the Gigahertz.

Ale už dnešní tranzistory pracují na gigahertzových frekvencích.

Neurons propagate slowly in axons, 100 meters per second, tops.

Signál se v axonu neuronů šíří pomalu, maximálně 100 metrů za sekundu.

But in computers, signals can travel at the speed of light.

V počítačích může ale signál cestovat rychlostí světla.

There are also size limitations,

A existují i prostorová omezení,

like a human brain has to fit inside a cranium,

lidský mozek se musí vejít do lebky,

but a computer can be the size of a warehouse or larger.

ale počítač může být velký jako skladiště nebo i větší.

So the potential for superintelligence lies dormant in matter,

Takže potenciál pro superinteligenci zatím tiše spočívá v hmotě,

much like the power of the atom lay dormant throughout human history,

podobně jako tam spočívala síla atomu

patiently waiting there until 1945.

až do roku 1945.

In this century,

V tomto století

scientists may learn to awaken the power of artificial intelligence.

se mohou vědci naučit, jak probudit sílu umělé inteligence.

And I think we might then see an intelligence explosion.

A myslím, že pak uvidíme explozi inteligence.

Now most people, when they think about what is smart and what is dumb,

Dnes většina lidí, když přemýšlí o tom, co je chytré a co hloupé,

I think have in mind a picture roughly like this.

má na mysli situaci jako je tato.

So at one end we have the village idiot,

Takže na jedné straně máme vesnického idiota,

and then far over at the other side

a na opačném konci

we have Ed Witten, or Albert Einstein, or whoever your favorite guru is.

máme Eda Wittena nebo Alberta Einsteina nebo si doplňte svého oblíbence.

But I think that from the point of view of artificial intelligence,

Myslím ale, že z pohledu umělé inteligence

the true picture is actually probably more like this:

vypadá skutečná situace spíše jako toto:

AI starts out at this point here, at zero intelligence,

umělá inteligence začíná v tomto bodě na nule,

and then, after many, many years of really hard work,

a pak po mnoha a mnoha letech tvrdé dřiny

maybe eventually we get to mouse-level artificial intelligence,

se dostáváme téměř na úroveň inteligence myši,

something that can navigate cluttered environments

něčeho, co se dokáže orientovat ve složitém prostředí,

as well as a mouse can.

jako to dokáže myš.

And then, after many, many more years of really hard work, lots of investment,

A pak po mnoha a mnoha letech další tvrdé dřiny, mnoha investicí,

maybe eventually we get to chimpanzee-level artificial intelligence.

možná dospějeme na úroveň inteligence šimpanze.

And then, after even more years of really, really hard work,

A pak po ještě dalších letech tvrdé práce

we get to village idiot artificial intelligence.

se dostaneme na úroveň vesnického idiota.

And a few moments later, we are beyond Ed Witten.

Ale pak po pár okamžicích jsme za úrovní Eda Wittena.

The train doesn't stop at Humanville Station.

Vlak nezastavuje na Zastávce lidstvo.

It's likely, rather, to swoosh right by.

Je pravděpodobnější, že jí prosviští.

Now this has profound implications,

Tohle má závažné implikace,

particularly when it comes to questions of power.

obzvláště dojde-li na otázky moci.

For example, chimpanzees are strong --

Kupříkladu šimpanzi jsou silní –

pound for pound, a chimpanzee is about twice as strong as a fit human male.

v poměru ke své hmotnosti jsou zhruba dvojnásobně silnější než dospělý muž.

And yet, the fate of Kanzi and his pals depends a lot more

Přesto osud Kanziho a jeho druhů závisí mnohem více na tom,

on what we humans do than on what the chimpanzees do themselves.

co po nich chceme my, a ne co chtějí sami šimpanzi.

Once there is superintelligence,

Jakmile tu bude superinteligence,

the fate of humanity may depend on what the superintelligence does.

osud lidstva může záviset na tom, co bude chtít superinteligence.

Think about it:

Zamyslete se nad tím.

Machine intelligence is the last invention that humanity will ever need to make.

Strojová inteligence je posledním vynálezem, který je kdy třeba učinit.

Machines will then be better at inventing than we are,

Stroje poté budou ve vynalézání lepší než my

and they'll be doing so on digital timescales.

a také budou pracovat digitální rychlostí.

What this means is basically a telescoping of the future.

To znamená, že nás přímo katapultují do budoucnosti.

Think of all the crazy technologies that you could have imagined

Uvažte ty nejšílenější technologie, které si jen dokážete představit,

maybe humans could have developed in the fullness of time:

a které by snad lidstvo s dostatkem času někdy mohlo vytvořit:

cures for aging, space colonization,

kúra proti stárnutí, obydlení vesmíru,

self-replicating nanobots or uploading of minds into computers,

samoreplikující se nanoroboti, nahrávání mysli do počítače,

all kinds of science fiction-y stuff

všechny tyto věci ze science-fiction,

that's nevertheless consistent with the laws of physics.

které nejsou v rozporu se zákony fyziky.

All of this superintelligence could develop, and possibly quite rapidly.

Všechno toto by mohla superinteligence vytvořit, zřejmě dost rychle.

Now, a superintelligence with such technological maturity

Superinteligence s takovou technologickou vyspělostí

would be extremely powerful,

by byla extrémně mocná.

and at least in some scenarios, it would be able to get what it wants.

A v některých případech by dostala, co by si zamanula.

We would then have a future that would be shaped by the preferences of this A.I.

Naše budoucnost by tak byla utvářena preferencemi této umělé inteligence.

Now a good question is, what are those preferences?

Dobrou otázkou proto je, jaké jsou tyto preference?

Here it gets trickier.

To je komplikovaná otázka.

To make any headway with this,

Abychom mohli odpovědět,

we must first of all avoid anthropomorphizing.

musíme se vyvarovat antropomorfizaci.

And this is ironic because every newspaper article

A to je legrační, protože každý článek v novinách

about the future of A.I. has a picture of this:

o budoucnosti umělé inteligence má obrázek jako je tento.

So I think what we need to do is to conceive of the issue more abstractly,

Takže myslím, že musíme téma uchopit abstraktněji,

not in terms of vivid Hollywood scenarios.

a ne v pojmech hollywoodských scénářů.

We need to think of intelligence as an optimization process,

Musíme o inteligenci uvažovat jako o optimalizačním procesu,

a process that steers the future into a particular set of configurations.

procesu, který řídí budoucnost do mezí určitého nastavení.

A superintelligence is a really strong optimization process.

Superinteligence je velice výkonný optimalizační proces.

It's extremely good at using available means to achieve a state

Je velice dobrá ve využívání dostupných prostředků

in which its goal is realized.

k dosažení vytčeného cíle.

This means that there is no necessary connection between

To znamená, že neexistuje nutné spojení

being highly intelligent in this sense,

mezi vysokou inteligencí

and having an objective that we humans would find worthwhile or meaningful.

a cílem, který bychom my lidé považovali za hodnotný nebo smysluplný.

Suppose we give an A.I. the goal to make humans smile.

Představte si, že dáme umělé inteligenci úkol rozesmát lidi.

When the A.I. is weak, it performs useful or amusing actions

Když bude slabá, provede užitečné nebo úsměvné úkony,

that cause its user to smile.

aby své uživatele rozesmála.

When the A.I. becomes superintelligent,

Když se stane superinteligentní,

it realizes that there is a more effective way to achieve this goal:

uvědomí si, že existuje efektivnější způsob, jak toho dosáhnout:

take control of the world

převezme vládu nad světem

and stick electrodes into the facial muscles of humans

a strčí lidem do obličejových svalů elektrody,

to cause constant, beaming grins.

čímž vytvoří neustálý úsměv na tváři.

Another example,

Jiný příklad,

suppose we give A.I. the goal to solve a difficult mathematical problem.

předpokládejme, že umělá inteligence bude řešit složitý matematický problém.

When the A.I. becomes superintelligent,

Když se stane superinteligentní,

it realizes that the most effective way to get the solution to this problem

uvědomí si, že nejefektivnější způsob, jak se dopracovat výsledku,

is by transforming the planet into a giant computer,

je přebudovat tuto planetu do obrovského počítače,

so as to increase its thinking capacity.

aby zvýšila výpočetní kapacitu.

And notice that this gives the A.I.s an instrumental reason

Všimne si, že toto jí dává pomocný důvod,

to do things to us that we might not approve of.

aby dělala věci, které bychom jí běžně nedovolili.

Human beings in this model are threats,

Lidské bytosti jsou v této situaci hrozbou,

we could prevent the mathematical problem from being solved.

která by jí mohla zabránit ve vyřešení matematického problému.

Of course, perceivably things won't go wrong in these particular ways;

Samozřejmě by se věci zřejmě nevyvíjely tímto způsobem,

these are cartoon examples.

jde o karikované příklady.

But the general point here is important:

Ale obecné poučení je důležité:

if you create a really powerful optimization process

pokud vytvoříte skutečně výkonný optimalizační proces,

to maximize for objective x,

abyste co nejlépe vyřešili úkol X,

you better make sure that your definition of x

ujistěte se, že definice tohoto X

incorporates everything you care about.

zahrnuje všechno, o co máte zájem.

This is a lesson that's also taught in many a myth.

Je to lekce, kterou dávají i mnohé mýty.

King Midas wishes that everything he touches be turned into gold.

Král Midas si přál, aby se všechno, čeho se dotkne, proměnilo ve zlato.

He touches his daughter, she turns into gold.

Dotkl se své dcery, a ta se proměnila ve zlato.

He touches his food, it turns into gold.

Dotkl se jídla, to se proměnilo ve zlato.

This could become practically relevant,

Tohle může být relevantní

not just as a metaphor for greed,

nikoli jen jako metafora chamtivosti,

but as an illustration of what happens

ale také jako ilustrace toho,

if you create a powerful optimization process

co se stane, když vytvoříte výkonný optimalizační proces

and give it misconceived or poorly specified goals.

a dáte mu zavádějící nebo špatně definované cíle.

Now you might say, if a computer starts sticking electrodes into people's faces,

Můžete si říct, že pokud počítač začne lidem strkat do tváře elektrody,

we'd just shut it off.

prostě jej vypnete.

A, this is not necessarily so easy to do if we've grown dependent on the system --

Za A, to nemusí být nutně tak jednoduše proveditelné, pokud na něm budeme závislí.

like, where is the off switch to the Internet?

Kde je třeba tlačítko na vypnutí internetu?

B, why haven't the chimpanzees flicked the off switch to humanity,

Za B, proč šimpanzi nebo neandrtálci nezmáčkli vypínač

or the Neanderthals?

bránící vzniku lidstva?

They certainly had reasons.

Zcela jistě pro to byl důvod.

We have an off switch, for example, right here.

Máme vypínač například zrovna tady.

(Choking)

(Dusí se)

The reason is that we are an intelligent adversary;

Důvodem je, že jsme inteligentní protivníci,

we can anticipate threats and plan around them.

dokážeme předvídat hrozby a vyhýbat se jim.

But so could a superintelligent agent,

To by ale dokázal i superinteligentní hráč,

and it would be much better at that than we are.

a byl by v tom mnohem lepší než my.

The point is, we should not be confident that we have this under control here.

Pointa je v tom, že bychom si neměli být tak jistí, že máme vše pod kontrolou.

And we could try to make our job a little bit easier by, say,

Mohli bychom si zkusit usnadnit práci třeba tím,

putting the A.I. in a box,

že by se U. I. zavřela do skříňky,

like a secure software environment,

do zabezpečeného prostředí,

a virtual reality simulation from which it cannot escape.

simulované virtuální reality, ze které by nemohla uprchnout.

But how confident can we be that the A.I. couldn't find a bug.

Ale jak moc si můžeme být jistí, že nenajde nějakou díru?

Given that merely human hackers find bugs all the time,

Vzhledem k tomu, že lidští hackeři nalézají díry v jednom kuse,

I'd say, probably not very confident.

bychom moc jistí být neměli.

So we disconnect the ethernet cable to create an air gap,

Takže vypojíme síťový kabel, abychom přerušili kontakt,

but again, like merely human hackers

ale je to tu zas, lidští hackeři

routinely transgress air gaps using social engineering.

běžně tuto překážku překonávají sociálním inženýrstvím.

Right now, as I speak,

Jak teď zrovna hovořím,

I'm sure there is some employee out there somewhere

zcela jistě je venku nějaký zaměstnanec,

who has been talked into handing out her account details

který byl požádán, aby nadiktoval údaje svého účtu

by somebody claiming to be from the I.T. department.

někomu, kdo tvrdí, že je z technické podpory.

More creative scenarios are also possible,

Možné jsou i nápaditější scénáře,

like if you're the A.I.,

kdy v roli U. I.

you can imagine wiggling electrodes around in your internal circuitry

rozmístíte elektrody kolem svého obvodu,

to create radio waves that you can use to communicate.

abyste vytvořili rádiové vlny, kterými budete komunikovat.

Or maybe you could pretend to malfunction,

Anebo můžete předstírat poruchu

and then when the programmers open you up to see what went wrong with you,

a když se objeví programátor, aby se podíval, co se porouchalo,

they look at the source code -- Bam! --

aby se podíval na zdrojový kód – Bum! –

the manipulation can take place.

poradíte si s ním.

Or it could output the blueprint to a really nifty technology,

Anebo může vytvořit plán pro velmi mazanou technologii,

and when we implement it,

kterou když sestrojíme,

it has some surreptitious side effect that the A.I. had planned.

bude mít na nás neblahé vedlejší účinky.

The point here is that we should not be confident in our ability

Zkrátka bychom neměli příliš věřit ve svou schopnost

to keep a superintelligent genie locked up in its bottle forever.

udržet superinteligentního džina v láhvi navždy.

Sooner or later, it will out.

Dříve nebo později se dostane ven.

I believe that the answer here is to figure out

Myslím, že řešením je přijít na to,

how to create superintelligent A.I. such that even if -- when -- it escapes,

jak vytvořit superinteligenci tak, že i kdyby utekla,

it is still safe because it is fundamentally on our side

byla by stále neškodná, protože by byla na naší straně,

because it shares our values.

protože by měla stejné hodnoty jako my.

I see no way around this difficult problem.

Nevidím jinou možnost.

Now, I'm actually fairly optimistic that this problem can be solved.

Jsem velice optimistický co se týče vyřešení tohoto problému.

We wouldn't have to write down a long list of everything we care about,

Nemuseli bychom sepsat dlouhý seznam všeho, na čem nám záleží,

or worse yet, spell it out in some computer language

nebo jej snad vytvořit v programovacím jazyce

like C++ or Python,

jako je C++ nebo Python,

that would be a task beyond hopeless.

což by byl beznadějný úkol.

Instead, we would create an A.I. that uses its intelligence

Namísto toho bychom měli sestrojit systém, který svoji inteligenci využije

to learn what we value,

k tomu, aby se naučil, jaké hodnoty máme,

and its motivation system is constructed in such a way that it is motivated

a aby jeho motivační systém byl naladěn tak,

to pursue our values or to perform actions that it predicts we would approve of.

aby sledoval tyto hodnoty a konal činy, které bychom schválili.

We would thus leverage its intelligence as much as possible

Mohli bychom ovlivnit jeho inteligenci jak jen by to bylo možné,

to solve the problem of value-loading.

abychom vyřešili problém načítání hodnot.

This can happen,

Může k tomu dojít

and the outcome could be very good for humanity.

a výsledek by byl pro lidstvo příznivý.

But it doesn't happen automatically.

Nedojde k tomu ale automaticky.

The initial conditions for the intelligence explosion

Výchozí podmínky pro explozi inteligence

might need to be set up in just the right way

mohou vyžadovat to správné nastavení,

if we are to have a controlled detonation.

abychom dosáhli řízené detonace.

The values that the A.I. has need to match ours,

Hodnoty umělé inteligence musí být shodné s našimi,

not just in the familiar context,

a to nejen v běžných situacích,

like where we can easily check how the A.I. behaves,

kdy můžeme snadno zkontrolovat, jak se chová,

but also in all novel contexts that the A.I. might encounter

ale také v nových situacích, se kterými se může setkat

in the indefinite future.

v neurčité budoucnosti.

And there are also some esoteric issues that would need to be solved, sorted out:

Je tu také pár esoterických otázek, které by měly být vyřešeny:

the exact details of its decision theory,

přesné detaily její rozhodovací teorie,

how to deal with logical uncertainty and so forth.

jak bude nakládat s logickou neurčitostí a tak dále.

So the technical problems that need to be solved to make this work

Takže technické problémy, které je třeba vyřešit,

look quite difficult --

vypadají složitě –

not as difficult as making a superintelligent A.I.,

i když ne tak složitě jako vytvoření superinteligence,

but fairly difficult.

každopádně hodně složitě.

Here is the worry:

Existuje jisté znepokojení.

Making superintelligent A.I. is a really hard challenge.

Vytvoření superinteligence je skutečně velká výzva.

Making superintelligent A.I. that is safe

Vytvoření superinteligence, která bude bezpečná,

involves some additional challenge on top of that.

zahrnuje navíc několik dalších výzev.

The risk is that if somebody figures out how to crack the first challenge

Riziko spočívá v tom, když někdo přijde na to, jak vyřešit první výzvu,

without also having cracked the additional challenge

aniž by zároveň vyřešil připojené výzvy

of ensuring perfect safety.

spojené se zachováním bezpečnosti.

So I think that we should work out a solution

Takže myslím, že bychom měli najít řešení,

to the control problem in advance,

jak to druhé vyřešit v předstihu,

so that we have it available by the time it is needed.

abychom byli připravení, až dospěje čas.

Now it might be that we cannot solve the entire control problem in advance

Může se stát, že nevyřešíme problém včas,

because maybe some elements can only be put in place

protože některé části bude možné doplnit

once you know the details of the architecture where it will be implemented.

až tehdy, kdy budeme znát podrobnosti výpočetní architektury.

But the more of the control problem that we solve in advance,

Ale čím více v rámci tohoto problému vyřešíme,

the better the odds that the transition to the machine intelligence era

tím větší je šance, že přechod do éry inteligentních strojů

will go well.

proběhne dobře.

This to me looks like a thing that is well worth doing

Toto na mě působí jako věc, kterou má smysl dělat,

and I can imagine that if things turn out okay,

a dovedu si představit, že pokud se věci vyvinou dobře,

that people a million years from now look back at this century

lidé se za milion let podívají zpět na toto století

and it might well be that they say that the one thing we did that really mattered

a řeknou si, že věc, kterou jsme udělali skutečně správně,

was to get this thing right.

bylo vypořádání se s tímto problémem.

Thank you.

Děkuji.

(Applause)

(Potlesk)