Don't fear superintelligent AI | Grady Booch

Překladatel: Kateřina Jabůrková Korektor: Richard Cvach

When I was a kid, I was the quintessential nerd.

V dětství jsem byl typickým nerdem,

I think some of you were, too.

myslím, že pár z vás taky.

(Laughter)

(smích)

And you, sir, who laughed the loudest, you probably still are.

A vy, pane, který se smějete nejhlasitěji, jím ještě možná jste.

(Laughter)

(smích)

I grew up in a small town in the dusty plains of north Texas,

Vyrůstal jsem v malém městě na prašných pláních severního Texasu,

the son of a sheriff who was the son of a pastor.

syn šerifa, který byl synem kněze.

Getting into trouble was not an option.

Moc rošťáren jsem provádět nemohl.

And so I started reading calculus books for fun.

A tak jsem si z nudy začal číst o integrálech.

(Laughter)

(smích)

You did, too.

Vy také, že?

That led me to building a laser and a computer and model rockets,

To mě dovedlo k postavení modelu laseru a počítače a rakety

and that led me to making rocket fuel in my bedroom.

a to zase k vytvoření raketového paliva v mé ložnici.

Now, in scientific terms,

Ve vědeckých termínech tomu říkáme

we call this a very bad idea.

velmi špatný nápad.

(Laughter)

(smích)

Around that same time,

Ve stejném čase se do kin dostala

Stanley Kubrick's "2001: A Space Odyssey" came to the theaters,

"2001: Vesmírná odysea" Stanleyho Kubricka

and my life was forever changed.

a můj život se navždy změnil.

I loved everything about that movie,

Miloval jsem vše o tom filmu,

especially the HAL 9000.

zejména Hala 9000.

Now, HAL was a sentient computer

HAL byl cítícím počítačem,

designed to guide the Discovery spacecraft

navrženým k navádění vesmírné lodě Discovery

from the Earth to Jupiter.

ze Země na Jupiter.

HAL was also a flawed character,

HAL měl také charakterovou vadu,

for in the end he chose to value the mission over human life.

protože na konci si cenil více mise než lidského života.

Now, HAL was a fictional character,

HAL byl fiktivní postavou,

but nonetheless he speaks to our fears,

nicméně hovoří k našemu strachu,

our fears of being subjugated

strachu z podřízení se

by some unfeeling, artificial intelligence

nějaké necítící, umělé inteligenci,

who is indifferent to our humanity.

která je lhostejná k našemu lidství.

I believe that such fears are unfounded.

Věřím, že tento strach je neopodstatněný.

Indeed, we stand at a remarkable time

Nalézáme se vskutku

in human history,

v pozoruhodném období,

where, driven by refusal to accept the limits of our bodies and our minds,

odmítnutí omezení našich těl a mysli

we are building machines

nás vede ke stavbě výjimečných

of exquisite, beautiful complexity and grace

nádherně komplexních a půvabných strojů,

that will extend the human experience

které rozšíří lidskou zkušenost

in ways beyond our imagining.

způsoby přesahujícími naši představivost.

After a career that led me from the Air Force Academy

Po kariéře, která mne zavedla z letecké akademie

to Space Command to now,

přes Vesmírné velení až do dnešního dne,

I became a systems engineer,

jsem se stal systémovým inženýrem

and recently I was drawn into an engineering problem

a nedávno se nechal vtáhnout do inženýrského problému,

associated with NASA's mission to Mars.

souvisejícího s misí NASA na Mars.

Now, in space flights to the Moon,

Ve vesmírných letech na Měsíc,

we can rely upon mission control in Houston

můžeme spoléhat na řídicí středisko v Houstonu,

to watch over all aspects of a flight.

které dohlíží na všechny aspekty letu.

However, Mars is 200 times further away,

Nicméně Mars je 200krát dále

and as a result it takes on average 13 minutes

a signálu průměrně trvá 13 minut

for a signal to travel from the Earth to Mars.

cestovat ze Země na Mars.

If there's trouble, there's not enough time.

Pokud se objeví problém, není zde dost času.

And so a reasonable engineering solution

A rozumné inženýrské řešení

calls for us to put mission control

nám navrhuje umístit kontrolu mise

inside the walls of the Orion spacecraft.

mezi stěny vesmírné lodi Orion.

Another fascinating idea in the mission profile

Další fascinující myšlenka v profilu mise

places humanoid robots on the surface of Mars

umisťuje humanoidní roboty na povrch Marsu

before the humans themselves arrive,

před příletem samotných lidí,

first to build facilities

aby nejprve postavili zařízení

and later to serve as collaborative members of the science team.

a později sloužili jako členové vědeckého týmu.

Now, as I looked at this from an engineering perspective,

Když se na to dívám pohledem inženýra,

it became very clear to me that what I needed to architect

zdálo se mi jasné, že potřebuji navrhnout

was a smart, collaborative,

malou, spolupracující,

socially intelligent artificial intelligence.

sociálně inteligentní umělou inteligenci.

In other words, I needed to build something very much like a HAL

Jinými slovy jsem potřeboval postavit něco velmi podobného HALovi,

but without the homicidal tendencies.

ale bez vražedných tendencí.

(Laughter)

(smích)

Let's pause for a moment.

Zastavme se na chvilku.

Is it really possible to build an artificial intelligence like that?

Je možné postavit takovou umělou inteligenci?

Actually, it is.

Vlastně ano.

In many ways,

Z mnoha pohledů

this is a hard engineering problem

je to složitý inženýrský problém

with elements of AI,

s prvky AI,

not some wet hair ball of an AI problem that needs to be engineered.

není to žádný otravný AI problém, který potřebuje být vyřešen.

To paraphrase Alan Turing,

Abych parafrázoval Alana Turinga,

I'm not interested in building a sentient machine.

nezajímá mne postavení cítícího stroje.

I'm not building a HAL.

Nestavím HALa.

All I'm after is a simple brain,

Chci jen jednoduchý mozek,

something that offers the illusion of intelligence.

který poskytuje iluzi inteligence.

The art and the science of computing have come a long way

Umění a věda o počítačích podstoupila dlouhou cestu

since HAL was onscreen,

od doby, kdy se HAL objevil na obrazovce

and I'd imagine if his inventor Dr. Chandra were here today,

a kdyby zde byl jeho tvůrce, Dr. Chandra,

he'd have a whole lot of questions for us.

měl by pro nás mnoho otázek.

Is it really possible for us

Je pro nás opravdu možné

to take a system of millions upon millions of devices,

číst datové toky v systému

to read in their data streams,

s miliony zařízení,

to predict their failures and act in advance?

předvídat jejich selhání a jednat v předstihu?

Yes.

Ano.

Can we build systems that converse with humans in natural language?

Můžeme postavit systém, který komunikuje s lidmi přirozeným jazykem?

Yes.

Ano.

Can we build systems that recognize objects, identify emotions,

Můžeme postavit systém, který rozlišuje objekty, identifikuje emoce,

emote themselves, play games and even read lips?

emoce samotné, hraje hry a dokonce odečítá ze rtů?

Yes.

Ano.

Can we build a system that sets goals,

Můžeme postavit systém, který stanovuje cíle,

that carries out plans against those goals and learns along the way?

provádí plány ve vztahu k těm cílům a průběžně se učí?

Yes.

Ano.

Can we build systems that have a theory of mind?

Můžeme postavit systémy, které mají teorii mysli?

This we are learning to do.

Toto se učíme udělat.

Can we build systems that have an ethical and moral foundation?

Můžeme postavit systémy, které mají etické a morální základy?

This we must learn how to do.

To se musíme naučit.

So let's accept for a moment

Přijměme na okamžik to,

that it's possible to build such an artificial intelligence

že je možné postavit takovou umělou inteligenci

for this kind of mission and others.

pro tento typ mise a další.

The next question you must ask yourself is,

Další otázka, kterou si musíme položit,

should we fear it?

zní, měli bychom se jí bát?

Now, every new technology

Každá technologie sebou přináší

brings with it some measure of trepidation.

určitou míru očekávání.

When we first saw cars,

Když jsme poprvé spatřili auta,

people lamented that we would see the destruction of the family.

lidé lamentovali, že uvidíme rozpad rodiny.

When we first saw telephones come in,

Když se objevily telefony,

people were worried it would destroy all civil conversation.

lidé se obávali, že to zničí obyčejnou konverzaci.

At a point in time we saw the written word become pervasive,

V určitém období jsme viděli všudypřítomné psané slovo,

people thought we would lose our ability to memorize.

lidé se obávali ztráty schopnosti pamatovat si.

These things are all true to a degree,

Vše v sobě má zrnko pravdy,

but it's also the case that these technologies

ale je také pravdou, že tyto technologie

brought to us things that extended the human experience

nám přinesly věci významným způsobem

in some profound ways.

rozšiřující lidskou zkušenost.

So let's take this a little further.

Pokročme trochu dále.

I do not fear the creation of an AI like this,

Nebojím se vytvoření takové AI,

because it will eventually embody some of our values.

protože bude ztělesňovat naše hodnoty.

Consider this: building a cognitive system is fundamentally different

Zvažte: vytvoření kognitivního systému je zcela odlišné

than building a traditional software-intensive system of the past.

od vytvoření tradičního softwarového systému minulosti.

We don't program them. We teach them.

Neprogramujeme je. Učíme je.

In order to teach a system how to recognize flowers,

Aby se systém naučil rozpoznávat květiny,

I show it thousands of flowers of the kinds I like.

ukážeme mu tisíce květin, které máme rádi.

In order to teach a system how to play a game --

Abychom naučili systém hrát hru --

Well, I would. You would, too.

Já bych to udělal. Vy taky.

I like flowers. Come on.

Mám rád květiny. No tak.

To teach a system how to play a game like Go,

Abychom naučili hrát systém hru jako Go,

I'd have it play thousands of games of Go,

musel bych hrát tisíce her Go,

but in the process I also teach it

ale v průběhu je také učím,

how to discern a good game from a bad game.

jak rozpoznat dobrou hru od špatné.

If I want to create an artificially intelligent legal assistant,

Pokud chci stvořit uměle inteligentního právního asistenta,

I will teach it some corpus of law

naučím jej část práva,

but at the same time I am fusing with it

ale současně mu dávám

the sense of mercy and justice that is part of that law.

smysl pro soucit a spravedlnost, které jsou součástí práva.

In scientific terms, this is what we call ground truth,

Terminologií vědy to nazýváme základní pravda

and here's the important point:

a zde je to důležité:

in producing these machines,

při vytváření těchto strojů

we are therefore teaching them a sense of our values.

jim učením dáváme smysl pro hodnoty.

To that end, I trust an artificial intelligence

Věřím umělé inteligenci stejně,

the same, if not more, as a human who is well-trained.

ne-li více, jako dobře vyškolené osobě.

But, you may ask,

Můžete se ale zeptat,

what about rogue agents,

a co nezávislí agenti,

some well-funded nongovernment organization?

třeba dobře financované nevládní organizace?

I do not fear an artificial intelligence in the hand of a lone wolf.

Nebojím se umělé inteligence v rukou osamělého vlka.

Clearly, we cannot protect ourselves against all random acts of violence,

Je zřejmé, že se nemůžeme chránit proti všem náhodným násilným činům,

but the reality is such a system

ale realita je systém, vyžadující

requires substantial training and subtle training

hodně a přesný trénink,

far beyond the resources of an individual.

který je mimo možnosti jednotlivců.

And furthermore,

A navíc,

it's far more than just injecting an internet virus to the world,

je to mnohem více než jen vypustit do světa internetový virus,

where you push a button, all of a sudden it's in a million places

který se stisknutím tlačítka ihned objeví na milionech míst

and laptops start blowing up all over the place.

a laptopy začnou všude vybuchovat.

Now, these kinds of substances are much larger,

Tento typ prostředků je mnohem větší

and we'll certainly see them coming.

a určitě je uvidíme přicházet.

Do I fear that such an artificial intelligence

Bojím se, že by takováto umělá inteligence

might threaten all of humanity?

mohla ohrozit celé lidstvo?

If you look at movies such as "The Matrix," "Metropolis,"

Když shlédnete filmy jako "Matrix", "Metropolis"

"The Terminator," shows such as "Westworld,"

"Terminátor", seriály jako "Westworld,"

they all speak of this kind of fear.

všechny hovoří o tomto typu strachu.

Indeed, in the book "Superintelligence" by the philosopher Nick Bostrom,

V knize "Superinteligence" filozofa Nicka Bostroma

he picks up on this theme

vyzvedává toto téma

and observes that a superintelligence might not only be dangerous,

a poznamenává, že superinteligence může být nejenom nebezpečná,

it could represent an existential threat to all of humanity.

ale může znamenat existenční hrozbu celému lidstvu.

Dr. Bostrom's basic argument

Základním argumentem Dr. Bostroma je,

is that such systems will eventually

že takový systém bude nakonec mít

have such an insatiable thirst for information

neukojitelný hlad po informacích,

that they will perhaps learn how to learn

že se nakonec naučí jak se učit

and eventually discover that they may have goals

a zjistí, že mohou mít cíle,

that are contrary to human needs.

které jsou v protikladu s potřebami člověka.

Dr. Bostrom has a number of followers.

Dr. Bostrom má mnoho následovníků.

He is supported by people such as Elon Musk and Stephen Hawking.

Podporují jej lidé jako Elon Musk a Stephen Hawking.

With all due respect

Se vší úctou

to these brilliant minds,

k těmto brilantním mozkům věřím,

I believe that they are fundamentally wrong.

že se zásadně mýlí.

Now, there are a lot of pieces of Dr. Bostrom's argument to unpack,

Je zde mnoho částí argumentů dr. Bostroma k diskusi

and I don't have time to unpack them all,

a já nemám čas se jim všem věnovat,

but very briefly, consider this:

ale jen stručně zvažte toto:

super knowing is very different than super doing.

super vědění je velmi odlišné od super konání.

HAL was a threat to the Discovery crew

HAL byl hrozbou posádce Discovery

only insofar as HAL commanded all aspects of the Discovery.

jen dokud ovládal všechny části Discovery.

So it would have to be with a superintelligence.

Tak by to mohlo být i se superinteligencí.

It would have to have dominion over all of our world.

Musel by to být vládce celého našeho světa.

This is the stuff of Skynet from the movie "The Terminator"

To je Skynet z filmu "Terminátor",

in which we had a superintelligence

ve kterém byla superinteligence,

that commanded human will,

která velela lidské vůli,

that directed every device that was in every corner of the world.

která řídila každé zařízení, v každém koutku světa.

Practically speaking,

Prakticky,

it ain't gonna happen.

to se prostě nestane.

We are not building AIs that control the weather,

Nestavíme AI, které ovládají počasí,

that direct the tides,

řídí vlny,

that command us capricious, chaotic humans.

které řídí nás, rozmarné, chaotické lidi.

And furthermore, if such an artificial intelligence existed,

Navíc pokud by taková umělá inteligence existovala,

it would have to compete with human economies,

bude muset soupeřit s lidskými ekonomikami

and thereby compete for resources with us.

a soupeřit s námi o zdroje.

And in the end --

Nakonec --

don't tell Siri this --

neříkejte to Siri --

vždycky je můžeme odpojit ze zásuvky.

we can always unplug them.

(Laughter)

(smích)

We are on an incredible journey

Jsme na neuvěřitelné cestě

of coevolution with our machines.

koevoluce s našimi stroji.

The humans we are today

Lidé dneška

are not the humans we will be then.

nejsou lidé, kteří budou v budoucnu.

To worry now about the rise of a superintelligence

Obávat se nyní vzestupu superinteligence

is in many ways a dangerous distraction

je v mnoha ohledech nebezpečné rozptýlení,

because the rise of computing itself

protože sám vzestup počítačů

brings to us a number of human and societal issues

sebou přináší mnohé lidské a společenské otázky,

to which we must now attend.

kterým se nyní musíme věnovat.

How shall I best organize society

Jak nejlépe zorganizovat společnost,

when the need for human labor diminishes?

když se zmenší potřeba lidské práce?

How can I bring understanding and education throughout the globe

Jak mohu přinést porozumění a vzdělávání napříč zeměkoulí

and still respect our differences?

a stále respektovat naše odlišnosti?

How might I extend and enhance human life through cognitive healthcare?

Jak mohu rozšířit a podpořit lidský život pomocí kognitivní zdravotní péče?

How might I use computing

Jak mohu použít počítače,

to help take us to the stars?

aby nám pomohly dostat se ke hvězdám?

And that's the exciting thing.

A to je vzrušující.

The opportunities to use computing

Příležitosti využít počítače

to advance the human experience

k lidskému pokroku

are within our reach,

jsou v našem dosahu,

here and now,

zde a nyní,

and we are just beginning.

a to jsme teprve na začátku.

Thank you very much.

Děkuji.

(Applause)

(potlesk)