Can we build AI without losing control over it? | Sam Harris

Překladatel: Martin Bureš Korektor: Vladimír Harašta

I'm going to talk about a failure of intuition

Budu mluvit o selhání intuice, kterým trpí mnozí z nás.

that many of us suffer from.

It's really a failure to detect a certain kind of danger.

Vlastně jde o neschopnost odhalit určitý typ nebezpečí.

I'm going to describe a scenario

Popíšu vám situaci,

that I think is both terrifying

kterou považuji za děsivou

and likely to occur,

a zároveň pravděpodobnou.

and that's not a good combination,

A jak se ukazuje, tohle není dobrá kombinace.

as it turns out.

And yet rather than be scared, most of you will feel

Ovšem i přesto si bude většina z vás myslet,

that what I'm talking about is kind of cool.

že mluvím spíš o zajímavých než o děsivých věcech.

I'm going to describe how the gains we make

Popíšu vám, jak nás pokroky

in artificial intelligence

v umělé inteligenci

could ultimately destroy us.

mohou nakonec úplně vyhubit.

And in fact, I think it's very difficult to see how they won't destroy us

Vlastně myslím, že lze jen stěží nevidět, že nás vyhubí

nebo že nás k sebezničení navedou.

or inspire us to destroy ourselves.

And yet if you're anything like me,

A pokud jste na tom podobně jako já,

you'll find that it's fun to think about these things.

bude vám připadat zábavné o těchto věcech přemýšlet.

And that response is part of the problem.

Naše reakce je součástí toho problému.

OK? That response should worry you.

Tahle reakce by nás měla znepokojovat.

And if I were to convince you in this talk

Kdybych vás teď přesvědčoval,

that we were likely to suffer a global famine,

že lidstvo pravděpodobně zasáhne globální hladomor,

either because of climate change or some other catastrophe,

buď kvůli klimatickým změnám nebo kvůli jiné katastrofě,

and that your grandchildren, or their grandchildren,

a že vaše vnoučata či jejich vnoučata

are very likely to live like this,

budou nejspíš žít takhle,

you wouldn't think,

určitě si neřeknete:

"Interesting.

„Zajímavé! To je ale hezká přednáška.“

I like this TED Talk."

Famine isn't fun.

Hladomor není legrace.

Death by science fiction, on the other hand, is fun,

Na druhou stranu, smrt ve sci-fi zábavná je.

and one of the things that worries me most about the development of AI at this point

Jednou z věcí, které se teď na vývoji umělé inteligence nejvíc obávám,

is that we seem unable to marshal an appropriate emotional response

je to, že zřejmě nejsme schopní přiměřeně emocionálně reagovat

to the dangers that lie ahead.

na nebezpečí ležící před námi.

I am unable to marshal this response, and I'm giving this talk.

Já sám toho nejsem schopný, i když o tom právě přednáším.

It's as though we stand before two doors.

Je to jako volit cestu na rozcestí.

Behind door number one,

Vstoupit prvními dveřmi znamená zastavit rozvoj inteligentních strojů.

we stop making progress in building intelligent machines.

Our computer hardware and software just stops getting better for some reason.

Počítačový software a hardware se prostě z nějakého důvodu přestane rozvíjet.

Now take a moment to consider why this might happen.

Zastavme se chvilku nad tím, kdy by taková situace mohla nastat.

I mean, given how valuable intelligence and automation are,

S ohledem na to, jakým jsou pro nás inteligence a automatizace přínosem,

we will continue to improve our technology if we are at all able to.

budeme technologie stále zlepšovat, pokud toho vůbec budeme schopni.

What could stop us from doing this?

Co by nás mohlo zastavit?

A full-scale nuclear war?

Celosvětová nukleární válka?

A global pandemic?

Globální pandemie?

An asteroid impact?

Dopad asteroidu?

Justin Bieber becoming president of the United States?

Justin Bieber prezidentem USA?

(smích)

(Laughter)

The point is, something would have to destroy civilization as we know it.

Jde o to, že by naši současnou civilizaci muselo něco zničit.

You have to imagine how bad it would have to be

Představte si, co hrozného by se muselo stát,

to prevent us from making improvements in our technology

abychom nebyli schopni dále zdokonalovat naše technologie,

permanently,

neustále, generaci za generací.

generation after generation.

Almost by definition, this is the worst thing

V podstatě je to ta nejhorší věc, jaká by v dějinách mohla nastat.

that's ever happened in human history.

So the only alternative,

Čili jedinou alternativou, tou, která nás čeká za druhými dveřmi,

and this is what lies behind door number two,

is that we continue to improve our intelligent machines

je postupně každým rokem pokračovat ve zdokonalování

year after year after year.

inteligentních strojů.

At a certain point, we will build machines that are smarter than we are,

V určitém okamžiku vytvoříme stroje, které budou chytřejší než my,

and once we have machines that are smarter than we are,

a až budeme mít stroje, které budou chytřejší,

they will begin to improve themselves.

začnou se zdokonalovat samy.

And then we risk what the mathematician IJ Good called

A potom nám hrozí situace, kterou matematik I. J. Good nazval

an "intelligence explosion,"

„inteligenční explozí“,

that the process could get away from us.

tedy, že by se nám to mohlo vymknout z rukou.

Now, this is often caricatured, as I have here,

Jak vidíte třeba tady, toto téma se často zpodobňuje

as a fear that armies of malicious robots

jako obava z armád zlovolných robotů, kteří na nás zaútočí.

will attack us.

But that isn't the most likely scenario.

Ale to není moc pravděpodobný scénář.

It's not that our machines will become spontaneously malevolent.

Není to tak, že by stroje najednou začaly být zlé.

The concern is really that we will build machines

Problém je v tom, že vytvoříme stroje, které budou o tolik schopnější než my,

that are so much more competent than we are

that the slightest divergence between their goals and our own

že i ta nejjemnější odchylka mezi jejich a našimi cíli by nás mohla zničit.

could destroy us.

Just think about how we relate to ants.

Vezměte si, jak se chováme k mravencům.

We don't hate them.

Nic proti nim nemáme.

We don't go out of our way to harm them.

Nechceme jim cíleně ubližovat.

In fact, sometimes we take pains not to harm them.

Necháme se i poštípat, abychom jim neublížili.

We step over them on the sidewalk.

Na chodníku je překračujeme.

But whenever their presence

Ale kdykoliv jejich přítomnost

seriously conflicts with one of our goals,

vážně narušuje naše zájmy,

let's say when constructing a building like this one,

například při stavbě budov, jako je tahle,

we annihilate them without a qualm.

bez mrknutí oka je zlikvidujeme.

The concern is that we will one day build machines

Panuje obava, že jednou vytvoříme stroje,

that, whether they're conscious or not,

které by s námi mohly, vědomě či nevědomě,

could treat us with similar disregard.

zacházet podobně lhostejně.

Now, I suspect this seems far-fetched to many of you.

Mnohým z vás to nejspíš přijde přitažené za vlasy.

I bet there are those of you who doubt that superintelligent AI is possible,

Vsadím se, že někteří z vás určitě pochybují,

že je možné superinteligentní AI vytvořit,

much less inevitable.

natož, že to nevyhnutelně nastane.

But then you must find something wrong with one of the following assumptions.

Pak ale musíte v následujících předpokladech najít nějaký omyl.

And there are only three of them.

Ty předpoklady jsou jen tři.

Intelligence is a matter of information processing in physical systems.

Inteligence je výsledkem zpracování informací ve hmotných systémech.

Actually, this is a little bit more than an assumption.

Toto je vlastně víc než předpoklad.

We have already built narrow intelligence into our machines,

Do našich strojů jsme už omezenou inteligenci zabudovali

and many of these machines perform

a mnohé z nich už operují na úrovni superinteligentních lidí.

at a level of superhuman intelligence already.

And we know that mere matter

A víme, že pouhá hmota

can give rise to what is called "general intelligence,"

může dát vzniknout takzvané „všeobecné inteligenci“,

an ability to think flexibly across multiple domains,

tedy schopnosti flexibilně se orientovat v různých oblastech.

because our brains have managed it. Right?

Protože náš mozek už to zvládl, že?

I mean, there's just atoms in here,

Mozek se skládá jenom z atomů,

and as long as we continue to build systems of atoms

a pokud budeme pokračovat v budování systémů z atomů,

that display more and more intelligent behavior,

které budou vykazovat čím dál inteligentnější chování, tak nakonec,

we will eventually, unless we are interrupted,

pokud nás něco nezastaví,

we will eventually build general intelligence

zabudujeme do našich strojů všeobecnou inteligenci.

into our machines.

It's crucial to realize that the rate of progress doesn't matter,

Klíčové je uvědomit si, že na rychlosti pokroku nezáleží,

because any progress is enough to get us into the end zone.

protože k dosažení cílové pásky stačí jakékoli tempo.

We don't need Moore's law to continue. We don't need exponential progress.

Nepotřebujeme Mooreův zákon, není zapotřebí exponenciální vývoj.

We just need to keep going.

Prostě stačí pokračovat.

The second assumption is that we will keep going.

Druhým předpokladem je, že budeme pokračovat.

Budeme naše inteligentní stroje nadále zdokonalovat.

We will continue to improve our intelligent machines.

And given the value of intelligence --

Protože inteligence je důležitá –

I mean, intelligence is either the source of everything we value

myslím tím to, že inteligence je buď zdrojem všeho, čeho si ceníme,

or we need it to safeguard everything we value.

nebo že ji potřebujeme k zabezpečení všeho, čeho si ceníme.

It is our most valuable resource.

Je to náš nejcennější zdroj.

So we want to do this.

Takže v tom chceme pokračovat.

We have problems that we desperately need to solve.

Máme problémy, které zoufale potřebujeme vyřešit.

We want to cure diseases like Alzheimer's and cancer.

Chceme například vyléčit Alzheimerovu chorobu nebo rakovinu.

We want to understand economic systems. We want to improve our climate science.

Chceme rozumět ekonomickým systémům. Chceme zlepšit výzkum klimatu.

So we will do this, if we can.

Takže budeme pokračovat, pokud to půjde.

The train is already out of the station, and there's no brake to pull.

Je to rozjetý vlak, který nejde zastavit.

Finally, we don't stand on a peak of intelligence,

Posledním předpokladem je, že lidé nestojí na vrcholu inteligence

or anywhere near it, likely.

a pravděpodobně nejsou ani pod vrcholem.

And this really is the crucial insight.

To je opravdu zásadní pohled. Kvůli tomu jsme v tak prekérní situaci.

This is what makes our situation so precarious,

and this is what makes our intuitions about risk so unreliable.

Kvůli tomu je naše intuice při posuzování rizik tak nespolehlivá.

Now, just consider the smartest person who has ever lived.

Vezměte si třeba nejchytřejší lidi v dějinách.

On almost everyone's shortlist here is John von Neumann.

Do užšího výběru by téměř každý zařadil Johna von Neumanna.

I mean, the impression that von Neumann made on the people around him,

To, jakým dojmem von Neumann působil na lidi kolem sebe,

and this included the greatest mathematicians and physicists of his time,

mezi něž patřili nejlepší matematici a fyzici té doby,

is fairly well-documented.

je celkem dobře zdokumentováno.

If only half the stories about him are half true,

Kdyby jen polovina historek o něm byla aspoň z poloviny pravdivá,

there's no question

tak není pochyb, že patřil mezi nejchytřejší lidi historie.

he's one of the smartest people who has ever lived.

So consider the spectrum of intelligence.

Pojďme se teď zamyslet nad rozsahem inteligence.

Here we have John von Neumann.

Tady je John von Neumann.

And then we have you and me.

Tady jsou lidé jako vy a já.

And then we have a chicken.

A tady máme kuře.

(Laughter)

(smích)

Sorry, a chicken.

Pardon, kuře.

(Laughter)

(smích)

There's no reason for me to make this talk more depressing than it needs to be.

Není důvod, aby tahle přednáška byla víc depresivní, než je potřeba.

(Laughter)

(smích)

It seems overwhelmingly likely, however, that the spectrum of intelligence

Ovšem zdá se navýsost pravděpodobné, že rozsah inteligence je mnohem širší,

extends much further than we currently conceive,

než jak ho v současnosti vnímáme.

and if we build machines that are more intelligent than we are,

A pokud vytvoříme stroje inteligentnější než jsme my,

tak budou velmi pravděpodobně zkoumat toto spektrum způsobem,

they will very likely explore this spectrum

in ways that we can't imagine,

který si neumíme představit,

and exceed us in ways that we can't imagine.

a předčí nás způsobem, který si neumíme představit.

And it's important to recognize that this is true by virtue of speed alone.

A je důležité připustit, že je tomu tak už díky samotné rychlosti.

Right? So imagine if we just built a superintelligent AI

Představte si, že jsme vytvořili superinteligentní AI,

that was no smarter than your average team of researchers

která je stejně chytrá jako průměrný tým vědců na Stanfordu nebo MIT.

at Stanford or MIT.

Well, electronic circuits function about a million times faster

Víme, že elektronické obvody pracují asi milionkrát rychleji než biochemické,

than biochemical ones,

so this machine should think about a million times faster

takže takový stroj by přemýšlel milionkrát rychleji

than the minds that built it.

než lidé, kteří ho postavili.

So you set it running for a week,

Takže ho na týden pustíte

and it will perform 20,000 years of human-level intellectual work,

a on vykoná stejnou intelektuální práci, jaká by lidem trvala 20 000 let.

week after week after week.

Týden za týdnem, pořád dokola.

How could we even understand, much less constrain,

Jak bychom vůbec mohli pochopit, tím spíš nějak omezovat,

a mind making this sort of progress?

inteligenci schopnou takového pokroku?

The other thing that's worrying, frankly,

Je tu i další znepokojivá věc –

is that, imagine the best case scenario.

představte si optimální situaci.

So imagine we hit upon a design of superintelligent AI

Představte si, že se nám podaří navrhnout superinteligentní AI,

that has no safety concerns.

která nebude dbát na bezpečnost.

We have the perfect design the first time around.

Hned napoprvé budeme mít dokonalou verzi.

It's as though we've been handed an oracle

Jako kdyby se naplnila nějaká věštba, která by fungovala tak, jak bylo určeno.

that behaves exactly as intended.

Well, this machine would be the perfect labor-saving device.

Takový stroj by lidem dokonale usnadňoval práci.

It can design the machine that can build the machine

Dokázal by navrhnout stroj, který by uměl stavět stroje

that can do any physical work,

schopné jakékoli manuální práce,

powered by sunlight,

napájené sluneční energií, víceméně za cenu surovin.

more or less for the cost of raw materials.

So we're talking about the end of human drudgery.

Takže mluvíme o konci lidské dřiny.

We're also talking about the end of most intellectual work.

Mluvíme také o konci většiny intelektuální práce.

So what would apes like ourselves do in this circumstance?

Ale co by takové opice jako my v téhle situaci dělaly?

Well, we'd be free to play Frisbee and give each other massages.

No, měli bychom čas hrát frisbee a vzájemně se masírovat.

Add some LSD and some questionable wardrobe choices,

Přidali bychom nějaké to LSD a kontroverzní oblečení

and the whole world could be like Burning Man.

a svět by mohl vypadat jako „Burning Man“.

(Laughter)

(smích)

Now, that might sound pretty good,

Asi to zní krásně.

but ask yourself what would happen

Ale zeptejte se sami sebe, co by se stalo,

under our current economic and political order?

kdyby ekonomika a politika fungovaly tak jako dnes.

It seems likely that we would witness

Pravděpodobně bychom zažili

a level of wealth inequality and unemployment

takovou sociální nerovnost a nezaměstnanost

that we have never seen before.

jako nikdy předtím.

Absent a willingness to immediately put this new wealth

Zavládla by neochota dát okamžitě toto bohatství do služeb lidstvu.

to the service of all humanity,

a few trillionaires could grace the covers of our business magazines

Několik bilionářů by zdobilo obálky obchodních časopisů,

while the rest of the world would be free to starve.

zatímco zbytek světa by mohl v klidu hladovět.

And what would the Russians or the Chinese do

A co by udělali Rusové nebo Číňani,

if they heard that some company in Silicon Valley

kdyby se doslechli, že se v Silicon Valley

was about to deploy a superintelligent AI?

někdo chystá zapojit superinteligentní AI?

This machine would be capable of waging war,

Takový stroj by byl schopný vést válku,

whether terrestrial or cyber,

ať už pozemní nebo kybernetickou,

with unprecedented power.

s nebývalou silou.

This is a winner-take-all scenario.

V této situaci by „vítěz bral vše“.

To be six months ahead of the competition here

Šestiměsíční náskok před konkurencí

is to be 500,000 years ahead,

by znamenal náskok minimálně 500 000 let,

at a minimum.

So it seems that even mere rumors of this kind of breakthrough

Zdá se, že i pouhé fámy o průlomu v této oblasti

could cause our species to go berserk.

by mohly náš druh dovést k nepříčetnosti.

Now, one of the most frightening things,

Myslím si, že jednou z nejděsivějších věcí

in my view, at this moment,

je momentálně to,

are the kinds of things that AI researchers say

co vědci zabývající se vývojem umělé inteligence říkají,

when they want to be reassuring.

když nás chtějí uklidnit.

And the most common reason we're told not to worry is time.

Nejčastěji uváděným důvodem, proč se prý nemáme obávat, je čas.

This is all a long way off, don't you know.

Všechno je to ještě daleko, nemyslíte?

This is probably 50 or 100 years away.

Přijde to až tak za 50 nebo 100 let.

One researcher has said,

Jeden vědec řekl: „Bát se o bezpečnost umělé inteligence

"Worrying about AI safety

is like worrying about overpopulation on Mars."

je stejné, jako bát se přelidnění Marsu.“

This is the Silicon Valley version

Pro Silicon Valley je to jen jiná verze:

of "don't worry your pretty little head about it."

„Nech to koňovi, ten má větší hlavu.“

(Laughter)

(smích)

No one seems to notice

Nikdo si nejspíš nevšímá toho,

that referencing the time horizon

že odvolávat se na časový horizont je naprosto nelogické.

is a total non sequitur.

If intelligence is just a matter of information processing,

Pokud inteligence spočívá pouze ve zpracování informací

and we continue to improve our machines,

a pokud budeme dál zlepšovat své stroje,

we will produce some form of superintelligence.

tak nějakou formu superinteligence vytvoříme.

And we have no idea how long it will take us

Ale nemáme ani ponětí, jak dlouho nám bude trvat,

to create the conditions to do that safely.

abychom ji vytvořili za bezpečných podmínek.

Let me say that again.

Řeknu to ještě jednou.

We have no idea how long it will take us

Nemáme ani ponětí, jak dlouho nám bude trvat,

to create the conditions to do that safely.

abychom ji vytvořili za bezpečných podmínek.

And if you haven't noticed, 50 years is not what it used to be.

A možná jste si nevšimli, že 50 let už není, co bývalo.

This is 50 years in months.

Tohle je 50 let v měsících.

This is how long we've had the iPhone.

Takhle dlouho máme iPhone.

This is how long "The Simpsons" has been on television.

A takhle dlouho se vysílají Simpsonovi.

Fifty years is not that much time

Padesát let není moc času na to,

to meet one of the greatest challenges our species will ever face.

aby se náš druh vypořádal s jedním z nejtěžších úkolů všech dob.

Once again, we seem to be failing to have an appropriate emotional response

Ještě jednou – zdá se, že nejsme schopni adekvátní emocionální reakce na to,

to what we have every reason to believe is coming.

co podle všeho nepochybně nastane.

The computer scientist Stuart Russell has a nice analogy here.

Odborník na počítače, Stuart Russell, má pro tuto situaci hezké přirovnání.

He said, imagine that we received a message from an alien civilization,

Máme si představit, že dostaneme zprávu od mimozemské civilizace,

which read:

ve které stojí:

"People of Earth,

„Pozemšťané,

we will arrive on your planet in 50 years.

za 50 let dorazíme na vaši planetu.

Get ready."

Připravte se.“

And now we're just counting down the months until the mothership lands?

To bychom jen počítali, kolik měsíců zbývá do přistání vlajkové lodi?

We would feel a little more urgency than we do.

Cítili bychom o něco naléhavější potřebu než teď.

Another reason we're told not to worry

Dalším důvodem, proč se prý nemáme bát,

is that these machines can't help but share our values

je, že těmto strojům nezbude než se držet našich hodnot,

because they will be literally extensions of ourselves.

protože se stanou doslova naší nadstavbou.

They'll be grafted onto our brains,

Budou implantované do našich mozků

and we'll essentially become their limbic systems.

a my se v podstatě staneme jejich limbickým systémem.

Now take a moment to consider

Chvilku se zamyslete nad tím,

that the safest and only prudent path forward,

že tou nejbezpečnější a nejuváženější cestou,

recommended,

která se doporučuje,

is to implant this technology directly into our brains.

by měla být implantace této technologie do našich mozků.

Now, this may in fact be the safest and only prudent path forward,

Ona to vskutku může být nejbezpečnější a nejuváženější cesta,

but usually one's safety concerns about a technology

ale obvykle se všichni obávají o bezpečnost technologií,

have to be pretty much worked out before you stick it inside your head.

protože když máte nosit něco natrvalo, musí to být dost dobře vyladěné.

(Laughter)

(smích)

The deeper problem is that building superintelligent AI on its own

Hlubším problémem je to, že vytvořit samotnou superinteligentní AI

seems likely to be easier

je pravděpodobně snazší, než vytvářet takovou inteligenci

than building superintelligent AI

and having the completed neuroscience

společně s kompletní neurobiologií,

that allows us to seamlessly integrate our minds with it.

která umožní bezproblémovou integraci do naší mysli.

And given that the companies and governments doing this work

A jelikož firmy a vlády budou tuto práci

are likely to perceive themselves as being in a race against all others,

nejspíše vnímat jako závod se všem ostatními,

given that to win this race is to win the world,

protože vyhrát tenhle závod znamená dobýt svět ‒

provided you don't destroy it in the next moment,

tedy za předpokladu, že ho hned nato nezničíte ‒

then it seems likely that whatever is easier to do

tak se dá čekat, že jako první se udělá to, co bude nejjednodušší.

will get done first.

Now, unfortunately, I don't have a solution to this problem,

Já bohužel nevidím pro tento problém žádné řešení,

apart from recommending that more of us think about it.

kromě doporučení, abychom o tom více přemýšleli.

Myslím, že potřebujeme něco jako projekt Manhattan

I think we need something like a Manhattan Project

on the topic of artificial intelligence.

na téma umělé inteligence.

Not to build it, because I think we'll inevitably do that,

Ne kvůli jejímu vytvoření, protože to nevyhnutelně nastane,

but to understand how to avoid an arms race

ale abychom přišli na to, jak se vyhnout závodům ve zbrojení

and to build it in a way that is aligned with our interests.

a jak ji vytvořit způsobem, který vyhoví našim zájmům.

When you're talking about superintelligent AI

Když se bavíme o superinteligentní AI, která se dokáže sama měnit,

that can make changes to itself,

it seems that we only have one chance to get the initial conditions right,

vypadá to, že máme jen jednu šanci, jak správně nastavit výchozí podmínky,

and even then we will need to absorb

i když budeme muset tlumit

the economic and political consequences of getting them right.

ekonomické a politické důsledky takto nastavených podmínek.

But the moment we admit

Nicméně ve chvíli, kdy si přiznáme,

that information processing is the source of intelligence,

že inteligence pramení ze zpracování informací,

that some appropriate computational system is what the basis of intelligence is,

že vhodně navržený počítačový systém je podstatou inteligence,

and we admit that we will improve these systems continuously,

a až přistoupíme na to, že budeme tyto systémy neustále vylepšovat

and we admit that the horizon of cognition very likely far exceeds

a že horizont poznání nejspíš daleko přesahuje vše, co v současnosti známe,

what we currently know,

then we have to admit

pak si musíme přiznat, že jsme uprostřed procesu vytváření jakéhosi boha.

that we are in the process of building some sort of god.

Now would be a good time

Teď by bylo dobré se ujistit, že s tímto bohem budeme moci žít.

to make sure it's a god we can live with.

Thank you very much.

Díky moc.

(Applause)

(potlesk)