Can we build AI without losing control over it? | Sam Harris

Tłumaczenie: Lena Gorska Korekta: Rysia Wand

I'm going to talk about a failure of intuition

Będę mówić o porażce intuicji,

that many of us suffer from.

której tak wielu z nas doznaje.

It's really a failure to detect a certain kind of danger.

To niemożność dostrzegania pewnego rodzaju niebezpieczeństwa.

I'm going to describe a scenario

Przedstawię scenariusz,

that I think is both terrifying

który moim zdaniem jest zarówno przerażający,

and likely to occur,

jak i prawdopodobny,

and that's not a good combination,

a to kiepskie połączenie,

as it turns out.

jak się okazuje.

And yet rather than be scared, most of you will feel

A jednak, zamiast strachu, większość z was poczuje,

that what I'm talking about is kind of cool.

że to, o czym mowa, jest nawet fajne.

I'm going to describe how the gains we make

Będę mówić, jak postępy

w tworzeniu sztucznej inteligencji

in artificial intelligence

mogą nas zniszczyć.

could ultimately destroy us.

And in fact, I think it's very difficult to see how they won't destroy us

Tak naprawdę trudno, żeby nas nie zniszczyły

lub nie zainspirowały do samozniszczenia.

or inspire us to destroy ourselves.

And yet if you're anything like me,

Jeśli, podobnie jak ja,

you'll find that it's fun to think about these things.

uważacie, że fajnie jest myśleć o tych sprawach,

And that response is part of the problem.

jesteście częścią problemu.

OK? That response should worry you.

To powinno was martwić.

And if I were to convince you in this talk

Gdybym starał się was przekonać,

that we were likely to suffer a global famine,

że czeka nas globalny głód,

either because of climate change or some other catastrophe,

wynikający ze zmian klimatycznych lub innej katastrofy,

and that your grandchildren, or their grandchildren,

i że wasze prawnuki, bądź ich prawnuki

are very likely to live like this,

mogą tak żyć,

you wouldn't think,

zapewne nie pomyślelibyście:

"Interesting.

"Interesujące.

I like this TED Talk."

Podoba mi się ta prelekcja".

Famine isn't fun.

Głód nie jest zabawny.

Death by science fiction, on the other hand, is fun,

Natomiast śmierć spowodowana science fiction - owszem.

and one of the things that worries me most about the development of AI at this point

W pracach nad SI najbardziej martwi mnie to,

że nasza emocjonalna reakcja jest nieadekwatna

is that we seem unable to marshal an appropriate emotional response

do niebezpieczeństwa, przed jakim stoimy.

to the dangers that lie ahead.

I am unable to marshal this response, and I'm giving this talk.

Sam nie potrafię zdobyć się na taką reakcję, a o niej mówię.

It's as though we stand before two doors.

To tak, jakbyśmy mieli do wyboru dwoje drzwi.

Behind door number one,

Za drzwiami numer jeden

we stop making progress in building intelligent machines.

przestajemy pracować nad budową inteligentnych maszyn.

Our computer hardware and software just stops getting better for some reason.

Ulepszanie sprzętu komputerowego i oprogramowania ustaje.

Now take a moment to consider why this might happen.

Zastanówmy się, co mogłoby być przyczyną.

I mean, given how valuable intelligence and automation are,

Biorąc pod uwagę, jak cenne są inteligencja i automatyka,

we will continue to improve our technology if we are at all able to.

będziemy nadal jak się da ulepszać technologię.

What could stop us from doing this?

Co mogłoby nas powstrzymać?

A full-scale nuclear war?

Wojna atomowa na pełną skalę?

A global pandemic?

Globalna pandemia?

An asteroid impact?

Uderzenie asteroidy?

Justin Bieber becoming president of the United States?

Justin Bieber jako prezydent USA?

(Laughter)

(Śmiech)

The point is, something would have to destroy civilization as we know it.

Coś musiałoby zniszczyć znaną cywilizację.

You have to imagine how bad it would have to be

Tylko wyjątkowo zła sytuacja

to prevent us from making improvements in our technology

uniemożliwiłaby nam dokonywania ulepszeń technologicznych

na stałe,

permanently,

generation after generation.

pokolenie za pokoleniem.

Almost by definition, this is the worst thing

To chyba najgorsza rzecz,

that's ever happened in human history.

jaka mogłaby przydarzyć się ludzkości.

So the only alternative,

Jedyną alternatywą jest to,

and this is what lies behind door number two,

co kryje się za drzwiami numer dwa:

is that we continue to improve our intelligent machines

dalsze udoskonalanie inteligentnych maszyn,

year after year after year.

rok po roku.

At a certain point, we will build machines that are smarter than we are,

W pewnym momencie stworzymy maszyny mądrzejsze od nas,

and once we have machines that are smarter than we are,

a takie maszyny

they will begin to improve themselves.

zaczną ulepszać siebie same.

And then we risk what the mathematician IJ Good called

Dojdziemy do tego, co matematyk IJ Good nazywa

an "intelligence explosion,"

"eksplozją inteligencji",

that the process could get away from us.

a ten proces może wymknąć spod kontroli.

Now, this is often caricatured, as I have here,

Często przedstawiają to takie karykatury,

as a fear that armies of malicious robots

jako obawę

przed atakiem armii złośliwych robotów.

will attack us.

But that isn't the most likely scenario.

Ale to nie jest najbardziej prawdopodobny scenariusz.

It's not that our machines will become spontaneously malevolent.

Maszyny nie staną się nagle złośliwe.

The concern is really that we will build machines

Problemem może być raczej to, że będziemy budować maszyny

that are so much more competent than we are

tak dalece kompetentniejsze od nas,

that the slightest divergence between their goals and our own

że najmniejsza rozbieżność między ich celami i naszymi

could destroy us.

może nas zniszczyć.

Just think about how we relate to ants.

Weźmy nasz stosunek do mrówek.

We don't hate them.

Nie nienawidzimy ich.

We don't go out of our way to harm them.

Nie chcemy im specjalnie zaszkodzić.

In fact, sometimes we take pains not to harm them.

Czasami nawet staramy się im nie zaszkodzić.

We step over them on the sidewalk.

Omijamy je na chodniku.

But whenever their presence

Ale gdy ich obecność

seriously conflicts with one of our goals,

poważnie kłóci się z naszym celem,

let's say when constructing a building like this one,

jak przy budowie budynku,

we annihilate them without a qualm.

niszczymy je bez skrupułów.

The concern is that we will one day build machines

Istnieje obawa, że kiedyś skonstruujemy maszyny,

that, whether they're conscious or not,

świadome, czy też nie,

could treat us with similar disregard.

które potraktują nas z podobnym lekceważeniem.

Now, I suspect this seems far-fetched to many of you.

Pewnie dla wielu z was uzna, że posuwam się za daleko.

I bet there are those of you who doubt that superintelligent AI is possible,

Niektórzy pewnie wątpią, że superinteligentna SI jest możliwa,

much less inevitable.

a co dopiero nieunikniona.

But then you must find something wrong with one of the following assumptions.

Jednak wtedy musicie znaleźć wady następujących założeń.

And there are only three of them.

Założenia są trzy.

Intelligence is a matter of information processing in physical systems.

Inteligencja dotyczy przetwarzania informacji w systemach fizycznych.

Actually, this is a little bit more than an assumption.

Właściwie to więcej niż założenie.

We have already built narrow intelligence into our machines,

Wbudowaliśmy już pewną SI do maszyn

and many of these machines perform

i wiele z nich działa

at a level of superhuman intelligence already.

na poziomie nadludzkiej inteligencji.

And we know that mere matter

Tylko krok może nas dzielić

can give rise to what is called "general intelligence,"

od osiągnięcia czegoś, co nazywane jest "generalną inteligencją".

an ability to think flexibly across multiple domains,

To zdolność elastycznego myślenia na przekroju wielu dziedzin,

because our brains have managed it. Right?

co potrafi ludzki mózg, prawda?

I mean, there's just atoms in here,

Tu w środku są głównie atomy

and as long as we continue to build systems of atoms

i o ile budujemy z atomów systemy,

that display more and more intelligent behavior,

wykazujące coraz bardziej inteligentne zachowanie,

we will eventually, unless we are interrupted,

to, jeśli nam nic nie przeszkodzi,

we will eventually build general intelligence

w końcu uda nam się stworzyć ogólną inteligencję

into our machines.

w maszynach.

It's crucial to realize that the rate of progress doesn't matter,

Trzeba sobie uświadomić, że tempo postępu nie ma znaczenia,

because any progress is enough to get us into the end zone.

bo każde tempo doprowadzi do strefy końcowej.

We don't need Moore's law to continue. We don't need exponential progress.

Nie potrzeba prawa Moore'a ani gwałtownego postępu.

We just need to keep going.

Wystarczy nie przestawać.

The second assumption is that we will keep going.

To drugie założenie: nie przestaniemy.

We will continue to improve our intelligent machines.

Będziemy nadal udoskonalać inteligentne maszyny.

And given the value of intelligence --

A biorąc pod uwagę wartość inteligencji...

I mean, intelligence is either the source of everything we value

Inteligencja jest albo źródłem wszystkiego, co cenimy,

or we need it to safeguard everything we value.

albo zabezpiecza wszystko, co cenimy.

It is our most valuable resource.

Jest naszym najcenniejszym zasobem.

Dlatego nie chcemy się jej pozbywać.

So we want to do this.

We have problems that we desperately need to solve.

Mamy problemy, które rozpaczliwie potrzebują rozwiązania.

We want to cure diseases like Alzheimer's and cancer.

Szukamy leków na chorobę Alzheimera i raka,

We want to understand economic systems. We want to improve our climate science.

chcemy zrozumieć systemy gospodarcze, walczyć ze zmianami klimatycznymi.

So we will do this, if we can.

Zrobimy to, jeśli tylko się da.

The train is already out of the station, and there's no brake to pull.

Pociąg już odjechał, nie ma odwrotu.

Finally, we don't stand on a peak of intelligence,

Daleko nam również do osiągnięcia szczytu inteligencji.

or anywhere near it, likely.

Nawet się do tego nie zbliżamy.

And this really is the crucial insight.

To naprawdę bardzo istotne.

This is what makes our situation so precarious,

Właśnie dlatego sytuacja jest tak niepewna,

and this is what makes our intuitions about risk so unreliable.

a przeczucia co do ryzyka tak zawodne.

Now, just consider the smartest person who has ever lived.

Kto był najmądrzejszym człowiekiem w historii?

On almost everyone's shortlist here is John von Neumann.

Prawie każdy zapewne pomyślał o Johnie von Neumannie.

I mean, the impression that von Neumann made on the people around him,

Neumann za takiego uchodził

and this included the greatest mathematicians and physicists of his time,

nawet wśród największych matematyków i fizyków swoich czasów,

is fairly well-documented.

to dość dobrze udokumentowane.

If only half the stories about him are half true,

Nawet jeśli tylko połowa opowieści o nim jest w połowie prawdą,

nie ma wątpliwości, że był jednym

there's no question

he's one of the smartest people who has ever lived.

z najmądrzejszych ludzi w historii.

So consider the spectrum of intelligence.

Zastanówmy się nad spektrum inteligencji.

Here we have John von Neumann.

Tutaj mamy Johna von Neumanna.

And then we have you and me.

Tutaj nas.

And then we have a chicken.

A tu mamy kurczaka.

(Laughter)

(Śmiech)

Przepraszam, kurczak jest tutaj.

Sorry, a chicken.

(Laughter)

(Śmiech)

There's no reason for me to make this talk more depressing than it needs to be.

Nie ma co przygnębiać tą prelekcją bez potrzeby.

(Laughter)

(Śmiech)

It seems overwhelmingly likely, however, that the spectrum of intelligence

Wydaje się jednak prawdopodobne, że spektrum inteligencji

extends much further than we currently conceive,

rozciąga się znacznie dalej, niż można to sobie wyobrazić.

and if we build machines that are more intelligent than we are,

A jeśli tworzymy maszyny inteligentniejsze od nas,

they will very likely explore this spectrum

pewnie będą chciały

to spektrum poznać na sposoby, jakich nie możemy sobie wyobrazić,

in ways that we can't imagine,

and exceed us in ways that we can't imagine.

i przewyższyć nas na sposoby, jakich nie możemy sobie wyobrazić.

And it's important to recognize that this is true by virtue of speed alone.

Trzeba zdać sobie sprawę,

że prawda tego faktu wynika z samej prędkości postępu.

Right? So imagine if we just built a superintelligent AI

Powiedzmy, że skonstruowano superinteligentną SI,

that was no smarter than your average team of researchers

która nie jest bystrzejsza od przeciętnego zespołu naukowców

at Stanford or MIT.

na Stanford czy MIT.

Well, electronic circuits function about a million times faster

Obwody elektroniczne funkcjonują około miliona razy szybciej

than biochemical ones,

niż biochemiczne,

so this machine should think about a million times faster

zatem maszyna powinna myśleć milion razy szybciej

than the minds that built it.

niż umysły, które je zbudowały.

So you set it running for a week,

Po tygodniu pracy osiągnie intelektualnie to,

and it will perform 20,000 years of human-level intellectual work,

nad czym ludzkość pracowała 20 000 lat,

week after week after week.

i tak tydzień za tygodniem.

How could we even understand, much less constrain,

Jak można pojąć, a tym bardziej ograniczyć,

a mind making this sort of progress?

umysł robiący tego rodzaju postępy?

The other thing that's worrying, frankly,

Inna niepokojąca sprawa.

is that, imagine the best case scenario.

Wyobraźmy sobie najlepszy możliwy scenariusz.

So imagine we hit upon a design of superintelligent AI

Zaprojektowano superinteligentną SI,

która nie budzi obaw jeśli chodzi o bezpieczeństwo.

that has no safety concerns.

We have the perfect design the first time around.

Projekt jest idealny.

It's as though we've been handed an oracle

Prawie jak wyrocznia

that behaves exactly as intended.

spełniająca wszystkie oczekiwania.

Well, this machine would be the perfect labor-saving device.

Idealne rozwiązanie dla oszczędności pracy.

It can design the machine that can build the machine

Może zaprojektować i zbudować urządzenie

that can do any physical work,

do wykonania każdej fizycznej pracy,

powered by sunlight,

zasilane przez światło słoneczne,

more or less for the cost of raw materials.

po kosztach surowców.

So we're talking about the end of human drudgery.

Mowa zatem o końcu ludzkiego znoju,

We're also talking about the end of most intellectual work.

ale też o końcu większości prac intelektualnych.

So what would apes like ourselves do in this circumstance?

Co zatem pozostaje dla człekokształtnych jak my?

Well, we'd be free to play Frisbee and give each other massages.

Będziemy mieć pewnie dużo czasu na grę w frisbee i masaże.

Add some LSD and some questionable wardrobe choices,

Dodać trochę LSD i kiepskie ciuchy

and the whole world could be like Burning Man.

i cały świat będzie jak zlot hipisów.

(Laughter)

(Śmiech)

Now, that might sound pretty good,

To może brzmieć zachęcająco,

but ask yourself what would happen

ale co się stanie

under our current economic and political order?

w obecnym porządku ekonomicznym i politycznym?

It seems likely that we would witness

Prawdopodobnie doświadczymy

a level of wealth inequality and unemployment

nierówności majątkowych i bezrobocia,

that we have never seen before.

na niespotykanym poziomie.

Absent a willingness to immediately put this new wealth

Jeśli zabraknie woli oddania nowo zdobytego bogactwa

to the service of all humanity,

na użytek całej ludzkości,

a few trillionaires could grace the covers of our business magazines

kilku miliarderów będzie zdobić okładki magazynów,

while the rest of the world would be free to starve.

rzucając resztę świata na pastwę losu.

And what would the Russians or the Chinese do

Co zrobiliby Rosjanie czy Chińczycy

if they heard that some company in Silicon Valley

na wieść, że firma w Dolinie Krzemowej

was about to deploy a superintelligent AI?

stworzyła superinteligentną SI?

This machine would be capable of waging war,

Ta maszyna umiałaby przecież prowadzić wojny,

whether terrestrial or cyber,

tak naziemną jak i cybernetyczną,

with unprecedented power.

z niespotykaną dotąd mocą.

To scenariusz typu "zwycięzca bierze wszystko".

This is a winner-take-all scenario.

To be six months ahead of the competition here

6-miesięczna przewaga nad konkurencją w tej dziedzinie

is to be 500,000 years ahead,

równa się przewadze 500 000 lat,

at a minimum.

minimum.

So it seems that even mere rumors of this kind of breakthrough

Nawet zwykłe pogłoski o tego rodzaju przełomie

could cause our species to go berserk.

mogą spowodować panikę.

Now, one of the most frightening things,

Najbardziej przeraża mnie teraz

in my view, at this moment,

are the kinds of things that AI researchers say

sposób, w jaki naukowcy SI

when they want to be reassuring.

starają się nas uspakajać.

And the most common reason we're told not to worry is time.

Najczęstszym argumentem za odrzuceniem obaw jest czas.

This is all a long way off, don't you know.

Że to wszystko bardzo odległe,

This is probably 50 or 100 years away.

że to kwestia 50 lub 100 lat.

One researcher has said,

Jeden naukowiec powiedział,

"Worrying about AI safety

"Martwić się o bezpieczeństwo SI,

is like worrying about overpopulation on Mars."

to jak martwić się o przeludnienie na Marsie ".

To w Dolinie Krzemowej odpowiednik

This is the Silicon Valley version

of "don't worry your pretty little head about it."

"Nie zaprzątaj tym swojej ślicznej główki".

(Laughter)

(Śmiech)

No one seems to notice

Nikt nie zdaje się zauważać,

that referencing the time horizon

że odwoływanie się do horyzontu czasowego

is a total non sequitur.

nie ma żadnego znaczenia.

If intelligence is just a matter of information processing,

Jeśli inteligencja jest tylko kwestią przetwarzania informacji,

and we continue to improve our machines,

a my nadal będziemy udoskonalać maszyny,

we will produce some form of superintelligence.

w końcu stworzymy jakąś formę superinteligencji.

And we have no idea how long it will take us

Nie wiadomo, ile zajmie stworzenie warunków,

to create the conditions to do that safely.

aby to zrobić bezpiecznie.

Let me say that again.

Pozwólcie, że powtórzę.

We have no idea how long it will take us

Nie wiadomo, jak długo potrwa

to create the conditions to do that safely.

stworzenie warunków, aby to zrobić bezpiecznie.

And if you haven't noticed, 50 years is not what it used to be.

Trudno nie zauważyć, że 50 lat ma już inną miarę.

This is 50 years in months.

Oto 50 lat w miesiącach.

This is how long we've had the iPhone.

Oto, jak długo mamy iPhone.

This is how long "The Simpsons" has been on television.

Oto, jak długo "Simpsonowie" lecą w telewizji.

Fifty years is not that much time

Pięćdziesiąt lat to niewiele,

to meet one of the greatest challenges our species will ever face.

by stawić czoła największemu wyzwaniu, jakie czeka nasz gatunek.

Once again, we seem to be failing to have an appropriate emotional response

A my nie umiemy nawet właściwie zareagować na coś,

to what we have every reason to believe is coming.

co niemal na pewno nadchodzi.

The computer scientist Stuart Russell has a nice analogy here.

Informatyk Stuart Russell pięknie to ujął:

He said, imagine that we received a message from an alien civilization,

"Wyobraźmy sobie wiadomość od obcej cywilizacji,

which read:

która brzmi:

"People of Earth,

"Ziemianie,

we will arrive on your planet in 50 years.

dolecimy do waszej planety w ciągu 50 lat.

Get ready."

Przygotujcie się".

And now we're just counting down the months until the mothership lands?

Pewnie zaczęlibyśmy odliczanie do ich przyjazdu,

We would feel a little more urgency than we do.

sprawa byłaby pilna.

Another reason we're told not to worry

Mówią nam, żeby się nie martwić,

is that these machines can't help but share our values

bo maszyny na pewno będą podzielać nasze wartości,

because they will be literally extensions of ourselves.

ponieważ będą dosłownie przedłużeniem nas samych.

They'll be grafted onto our brains,

Wszczepi się nam je do mózgów,

and we'll essentially become their limbic systems.

a my będziemy ich układem limbicznym.

Now take a moment to consider

Weźmy pod uwagę,

that the safest and only prudent path forward,

że najbezpieczniejsze i najrozsądniejsze zalecenie

recommended,

is to implant this technology directly into our brains.

to wszczepić tę technologię bezpośrednio do mózgu.

Now, this may in fact be the safest and only prudent path forward,

Może to rzeczywiście najbezpieczniejszy i najrozsądniejszy sposób,

but usually one's safety concerns about a technology

ale zazwyczaj względy bezpieczeństwa dotyczące technologii

have to be pretty much worked out before you stick it inside your head.

należy wypracować przed umieszczeniem jej w głowie.

(Laughter)

(Śmiech)

The deeper problem is that building superintelligent AI on its own

Większym problemem jest to że, budowa samodzielnej superinteligentnej SI

seems likely to be easier

wydaje się łatwiejsza

than building superintelligent AI

niż budowa superinteligentnej SI

and having the completed neuroscience

i skompletowanie badań neurobiologicznych

that allows us to seamlessly integrate our minds with it.

pozwalających na bezproblemowe sprzężenie jej z umysłem.

And given that the companies and governments doing this work

Zaangażowane przedsiębiorstwa i rządy

are likely to perceive themselves as being in a race against all others,

uważają to za rywalizację,

given that to win this race is to win the world,

gdzie wygrany zyskuje cały świat,

provided you don't destroy it in the next moment,

pod warunkiem, że nie zniszczy wszystkiego w ostatniej chwili,

then it seems likely that whatever is easier to do

więc nie trudno zgadnąć, że to, co łatwiej osiągnąć,

will get done first.

zostanie zrobione w pierwszej kolejności.

Now, unfortunately, I don't have a solution to this problem,

Niestety, nie mam rozwiązania tego problemu.

apart from recommending that more of us think about it.

Zalecałbym jednak zacząć się nad tym zastanawiać.

I think we need something like a Manhattan Project

Potrzeba nam czegoś w rodzaju Projektu Manhattan

on the topic of artificial intelligence.

odnośnie sztucznej inteligencji.

Not to build it, because I think we'll inevitably do that,

Nie chodzi o zbudowanie jej, bo to jest nieuchronne,

ale by zrozumieć, jak uniknąć wyścigu zbrojeń

but to understand how to avoid an arms race

and to build it in a way that is aligned with our interests.

i zbudować ją w sposób zgodny z naszym interesem.

When you're talking about superintelligent AI

Kiedy mowa o superinteligentnej SI,

that can make changes to itself,

która sama może się udoskonalać,

it seems that we only have one chance to get the initial conditions right,

mamy tylko jedną szansę na stworzenie odpowiednich warunków początkowych

and even then we will need to absorb

i nawet wtedy będziemy musieli liczyć się

the economic and political consequences of getting them right.

z konsekwencjami ekonomicznymi i politycznymi tworzenia tych warunków.

But the moment we admit

Ale w momencie, gdy przyznamy

that information processing is the source of intelligence,

że przetwarzanie informacji jest źródłem inteligencji,

that some appropriate computational system is what the basis of intelligence is,

że odpowiedni system obliczeniowy jest podstawą inteligencji

and we admit that we will improve these systems continuously,

i przyznamy, że chcemy te systemy ciągle udoskonalać,

and we admit that the horizon of cognition very likely far exceeds

przyznamy też, że horyzont poznania prawdopodobnie znacznie przekracza

what we currently know,

naszą obecną wiedzę,

będziemy musieli przyznać,

then we have to admit

that we are in the process of building some sort of god.

że będzie to proces tworzenia pewnego rodzaju boga.

Now would be a good time

Teraz jest odpowiedni czas,

to make sure it's a god we can live with.

by upewnić się, że będzie to bóg, z którym da się żyć.

Thank you very much.

Dziękuję bardzo.

(Applause)

(Brawa)