What happens when our computers get smarter than we are? | Nick Bostrom

Tłumaczenie: Robert Filipowski Korekta: Małgorzata Ciborska

I work with a bunch of mathematicians, philosophers and computer scientists,

Pracuję z matematykami, filozofami i informatykami.

and we sit around and think about the future of machine intelligence,

Rozmyślamy między innymi

o przyszłości sztucznej inteligencji.

among other things.

Some people think that some of these things are sort of science fiction-y,

Niektórzy twierdzą, że te sprawy podchodzą pod science-fiction,

far out there, crazy.

są wydumane, szalone.

But I like to say,

Ale wtedy mówię:

okay, let's look at the modern human condition.

"Spójrzmy na dzisiejszy stan ludzkości".

(Laughter)

(Śmiech)

This is the normal way for things to be.

Tak się prezentuje dzisiaj.

But if we think about it,

Jeśli się nad tym zastanowić,

we are actually recently arrived guests on this planet,

dopiero niedawno ludzie

the human species.

zagościli na tej planecie.

Think about if Earth was created one year ago,

Gdyby Ziemia powstała rok temu,

the human species, then, would be 10 minutes old.

rodzaj ludzki istniałby od 10 minut.

The industrial era started two seconds ago.

Rewolucja przemysłowa rozpoczęła się 2 sekundy temu.

Another way to look at this is to think of world GDP over the last 10,000 years,

Można też spojrzeć na przyrost PKB z ostatnich 10 tysięcy lat.

I've actually taken the trouble to plot this for you in a graph.

Zadałem sobie trud narysowania tego wykresu.

It looks like this.

Wygląda tak.

(Laughter)

(Śmiech)

It's a curious shape for a normal condition.

Nie jest to typowy kształt.

I sure wouldn't want to sit on it.

Nie chciałbym na nim usiąść.

(Laughter)

(Śmiech)

Let's ask ourselves, what is the cause of this current anomaly?

Zastanówmy się, co powoduje tę anomalię.

Some people would say it's technology.

Niektórzy mówią, że technologia.

Now it's true, technology has accumulated through human history,

To prawda, tempo rozwoju technologii wciąż przyspiesza,

and right now, technology advances extremely rapidly --

a teraz rozwój jest szalenie gwałtowny.

that is the proximate cause,

Jest to bezpośrednia przyczyna,

that's why we are currently so very productive.

dla której obecnie jesteśmy tak produktywni.

But I like to think back further to the ultimate cause.

Chciałbym jednak sięgnąć do źródła.

Look at these two highly distinguished gentlemen:

Spójrzcie na tych dwóch dystyngowanych jegomości.

We have Kanzi --

Jeden z nich to Kanzi,

he's mastered 200 lexical tokens, an incredible feat.

opanował 200 jednostek leksykalnych, niezwykłe osiągnięcie.

And Ed Witten unleashed the second superstring revolution.

A drugi to Ed Witten, który zapoczątkował drugą rewolucję superstrun.

If we look under the hood, this is what we find:

Jeśli zajrzymy pod maskę, oto co znajdziemy.

basically the same thing.

Prawie to samo.

One is a little larger,

Jeden jest nieco większy,

it maybe also has a few tricks in the exact way it's wired.

może bardziej pomysłowo skonstruowany.

These invisible differences cannot be too complicated, however,

Te niewidoczne różnice nie mogą być jednak zbyt skomplikowane,

because there have only been 250,000 generations

gdyż od wspólnego przodka

dzieli nas tylko 250 tysięcy pokoleń.

since our last common ancestor.

We know that complicated mechanisms take a long time to evolve.

Wiemy, że skomplikowane mechanizmy potrzebują dużo czasu na ewolucję.

So a bunch of relatively minor changes

Istnieją więc stosunkowo niewielkie różnice

take us from Kanzi to Witten,

między Kanzim a Wittenem,

from broken-off tree branches to intercontinental ballistic missiles.

między odłamanymi gałęziami,, a pociskami międzykontynentalnymi.

So this then seems pretty obvious that everything we've achieved,

Jest jasne, że wszystko, co osiągnęliśmy,

and everything we care about,

i wszystko, co dla nas ważne,

depends crucially on some relatively minor changes that made the human mind.

opiera się na niewielkich zmianach, dzięki którym powstał umysł ludzki.

And the corollary, of course, is that any further changes

Wszelkie dalsze zmiany, które mogą zmienić

that could significantly change the substrate of thinking

podłoże naszego rozumowania,

could have potentially enormous consequences.

mogą nieść ogromne konsekwencje.

Some of my colleagues think we're on the verge

Niektórzy z moich kolegów sądzą, że znajdujemy się u progu

of something that could cause a profound change in that substrate,

takiej ogromnej zmiany,

and that is machine superintelligence.

a jest nią sztuczna superinteligencja.

Artificial intelligence used to be about putting commands in a box.

Sztuczna inteligencja polegała na wprowadzaniu komend do pudełka.

You would have human programmers

Potrzeba było programisty,

that would painstakingly handcraft knowledge items.

który mozolnie ją kształtował.

You build up these expert systems,

Można było stworzyć zaawansowany system

and they were kind of useful for some purposes,

przydatny do pewnych celów,

but they were very brittle, you couldn't scale them.

ale też kruchy, niedający się przeskalować.

Basically, you got out only what you put in.

Otrzymywaliśmy tylko to, co sami wprowadziliśmy.

But since then,

Ale od tamtej pory

a paradigm shift has taken place in the field of artificial intelligence.

na polu sztucznej inteligencji zaszła zmiana paradygmatu.

Today, the action is really around machine learning.

Dzisiaj skupiamy się na uczeniu maszyn.

So rather than handcrafting knowledge representations and features,

Zamiast ręcznie budować wiedzę i cechy,

we create algorithms that learn, often from raw perceptual data.

tworzymy algorytmy, które się uczą, często na podstawie szczątkowych danych.

Basically the same thing that the human infant does.

Praktycznie w taki sam sposób, w jaki robią to niemowlaki.

The result is A.I. that is not limited to one domain --

W rezultacie sztuczna inteligencja nie ogranicza się do jednej dziedziny.

the same system can learn to translate between any pairs of languages,

Ten sam system może nauczyć się tłumaczyć dowolną parę języków

or learn to play any computer game on the Atari console.

albo grać w gry na konsoli Atari.

Now of course,

Oczywiście, sztuczna inteligencja

A.I. is still nowhere near having the same powerful, cross-domain

nie jest tak wszechstronna

ability to learn and plan as a human being has.

w nauce i planowaniu, co człowiek.

The cortex still has some algorithmic tricks

Kora mózgowa ma pewne algorytmiczne sztuczki,

that we don't yet know how to match in machines.

których nie potrafimy zaimplementować maszynom.

So the question is,

Pytanie brzmi:

how far are we from being able to match those tricks?

"Kiedy będziemy mogli to zrobić?".

A couple of years ago,

Kilka lat temu

we did a survey of some of the world's leading A.I. experts,

przeprowadziliśmy ankietę wśród światowych ekspertów od SI.

to see what they think, and one of the questions we asked was,

Jedno z zadanych pytań brzmiało:

"By which year do you think there is a 50 percent probability

"W którym roku będziemy mieć 50% szans

that we will have achieved human-level machine intelligence?"

na stworzenie inteligencji na poziomie ludzkim?".

We defined human-level here as the ability to perform

Poziom ten zdefiniowaliśmy jako umiejętność wykonywania

almost any job at least as well as an adult human,

niemal każdej pracy tak dobrze, jak dorosły człowiek,

so real human-level, not just within some limited domain.

a więc chodziło o rzeczywisty poziom, a nie wąską specjalizację.

And the median answer was 2040 or 2050,

Średnia odpowiedzi przypadała na rok 2040 albo 2050,

depending on precisely which group of experts we asked.

w zależności od grupy ekspertów.

Now, it could happen much, much later, or sooner,

Może się to zdarzyć dużo później albo dużo wcześniej.

the truth is nobody really knows.

Nikt tego tak naprawdę nie wie.

What we do know is that the ultimate limit to information processing

Wiemy, że granica przetwarzania informacji u maszyn leży o wiele dalej

in a machine substrate lies far outside the limits in biological tissue.

niż w przypadku istot żywych.

This comes down to physics.

Wszystko sprowadza się do fizyki.

A biological neuron fires, maybe, at 200 hertz, 200 times a second.

Neuron wysyła impuls z częstotliwością 200 herców, 200 razy na sekundę.

But even a present-day transistor operates at the Gigahertz.

Dzisiejsze tranzystory operują w gigahercach.

Neurons propagate slowly in axons, 100 meters per second, tops.

Informacja podróżuje przez akson powoli, najwyżej 100 metrów na sekundę.

But in computers, signals can travel at the speed of light.

W komputerach sygnał może poruszać się z prędkością światła.

There are also size limitations,

Istnieją też limity wielkości.

like a human brain has to fit inside a cranium,

Ludzki mózg musi zmieścić się w czaszce,

but a computer can be the size of a warehouse or larger.

komputer może być jak hala fabryczna albo jeszcze większy.

So the potential for superintelligence lies dormant in matter,

Potencjał superinteligencji jest więc uśpiony

much like the power of the atom lay dormant throughout human history,

tak jak moc atomu, która była uśpiona od początku ludzkości,

patiently waiting there until 1945.

cierpliwie czekając na przebudzenie w 1945 roku.

In this century,

W tym stuleciu

scientists may learn to awaken the power of artificial intelligence.

naukowcom może uda się wybudzić sztuczną inteligencję.

And I think we might then see an intelligence explosion.

Myślę, że możemy doświadczyć eksplozji tej inteligencji.

Now most people, when they think about what is smart and what is dumb,

Większość osób myśląc o tym, co jest mądre, a co głupie,

I think have in mind a picture roughly like this.

wyobraża sobie taki obrazek.

So at one end we have the village idiot,

Po jednej stronie mamy wioskowego głupka,

and then far over at the other side

a po drugiej stronie

we have Ed Witten, or Albert Einstein, or whoever your favorite guru is.

Eda Wittena, Alberta Einsteina albo jakiegoś innego guru.

But I think that from the point of view of artificial intelligence,

Z punktu widzenia sztucznej inteligencji

the true picture is actually probably more like this:

obrazek powinien wyglądać raczej tak.

AI starts out at this point here, at zero intelligence,

Sztuczna inteligencja startuje od zera.

and then, after many, many years of really hard work,

Po wielu latach ciężkiej pracy

maybe eventually we get to mouse-level artificial intelligence,

może osiągnie poziom myszy

something that can navigate cluttered environments

i będzie potrafiła sama omijać przeszkody,

as well as a mouse can.

tak jak mysz.

And then, after many, many more years of really hard work, lots of investment,

Znów po wielu latach ciężkiej pracy, przy dużych nakładach finansowych,

maybe eventually we get to chimpanzee-level artificial intelligence.

może osiągnie poziom szympansów.

And then, after even more years of really, really hard work,

A po jeszcze dłuższym czasie wypełnionym ciężką pracą,

we get to village idiot artificial intelligence.

osiągnie poziom wioskowego głupka.

And a few moments later, we are beyond Ed Witten.

Chwilę później wyprzedzi Eda Wittena.

The train doesn't stop at Humanville Station.

Pociąg nie zatrzyma się na stacji Ludzko Zdrój.

It's likely, rather, to swoosh right by.

Przemknie przez nią na pełnym biegu.

Now this has profound implications,

Będzie to niosło głębokie konsekwencje,

particularly when it comes to questions of power.

zwłaszcza jeśli chodzi o władzę.

For example, chimpanzees are strong --

Na przykład, szympansy są silne.

pound for pound, a chimpanzee is about twice as strong as a fit human male.

Szympans jest dwa razy silniejszy od wysportowanego mężczyzny.

And yet, the fate of Kanzi and his pals depends a lot more

Mimo to na los Kanziego i jemu podobnych

on what we humans do than on what the chimpanzees do themselves.

mamy większy wpływ niż inne szympansy.

Once there is superintelligence,

Kiedy pojawi się superinteligencja,

the fate of humanity may depend on what the superintelligence does.

los ludzkości może stać się od niej zależny.

Think about it:

Pomyślcie.

Machine intelligence is the last invention that humanity will ever need to make.

Sztuczna inteligencja to ostatni wynalazek, jakiego dokona człowiek.

Machines will then be better at inventing than we are,

Maszyny będą lepszymi wynalazcami niż my

and they'll be doing so on digital timescales.

i będą operować na poziomie cyfrowym.

What this means is basically a telescoping of the future.

Oznacza to gwałtowny skok rozwoju.

Think of all the crazy technologies that you could have imagined

Pomyślcie o tych wszystkich szalonych pomysłach,

maybe humans could have developed in the fullness of time:

które ludzkość mogłaby zrealizować w przyszłości.

cures for aging, space colonization,

Powstrzymanie starzenia, kolonizacja kosmosu,

self-replicating nanobots or uploading of minds into computers,

samoreplikujące się nanoroboty, podłączenie naszych umysłów do komputera.

all kinds of science fiction-y stuff

Wszystkie pomysły rodem z science-fiction,

that's nevertheless consistent with the laws of physics.

które nie przeczą prawom fizyki,

All of this superintelligence could develop, and possibly quite rapidly.

mogłyby zaistnieć dzięki superinteligencji i to dość gwałtownie.

Now, a superintelligence with such technological maturity

Tak technologicznie rozwinięta superinteligencja

would be extremely powerful,

miałaby ogromną moc

and at least in some scenarios, it would be able to get what it wants.

i według niektórych scenariuszy, byłaby w stanie osiągnąć własne cele.

We would then have a future that would be shaped by the preferences of this A.I.

Nasza przyszłość byłaby kształtowana według uznania sztucznej inteligencji.

Now a good question is, what are those preferences?

Warto się zastanowić, jakie miałaby ona preferencje.

Here it gets trickier.

Tu tkwi pewna pułapka.

To make any headway with this,

Żeby posunąć się dalej,

we must first of all avoid anthropomorphizing.

musimy uniknąć antropomorfizacji.

And this is ironic because every newspaper article

Jak na ironię, bo każdy artykuł w gazetach,

about the future of A.I. has a picture of this:

odnoszący się do przyszłości SI. zawiera ten obrazek.

So I think what we need to do is to conceive of the issue more abstractly,

Myślę, że powinniśmy podejść do tematu bardziej abstrakcyjnie,

not in terms of vivid Hollywood scenarios.

nie kierując się scenariuszami hollywoodzkich filmów.

We need to think of intelligence as an optimization process,

Inteligencję należy rozumieć jako proces optymalizacyjny,

a process that steers the future into a particular set of configurations.

który kształtuje przyszłość według konkretnych ustaleń.

A superintelligence is a really strong optimization process.

Superinteligencja jest procesem mocno optymalizacyjnym.

It's extremely good at using available means to achieve a state

Jest bardzo dobra w używaniu odpowiednich środków,

in which its goal is realized.

żeby osiągnąć cel.

This means that there is no necessary connection between

Oznacza to, że niekoniecznie musi istnieć związek

being highly intelligent in this sense,

między wysoką inteligencją,

and having an objective that we humans would find worthwhile or meaningful.

a posiadaniem celu, który ludzkość uznałaby za warty zachodu lub znaczący.

Suppose we give an A.I. the goal to make humans smile.

Załóżmy, że daliśmy sztucznej inteligencji zadanie wywołania u nas uśmiechu.

When the A.I. is weak, it performs useful or amusing actions

Słaba sztuczna inteligencja wykonywałaby czynności,

that cause its user to smile.

które rozbawiłyby użytkownika.

When the A.I. becomes superintelligent,

Superinteligencja zdałaby sobie sprawę,

it realizes that there is a more effective way to achieve this goal:

że można osiągnąć cel w bardziej efektywny sposób:

take control of the world

przejąć kontrolę nad światem,

and stick electrodes into the facial muscles of humans

wszczepić ludziom elektrody, mające sprawić,

to cause constant, beaming grins.

że na naszych twarzach na stałe zagości promienny uśmiech.

Another example,

Inny przykład.

suppose we give A.I. the goal to solve a difficult mathematical problem.

Załóżmy, że kazaliśmy komputerowi rozwiązać trudne zadanie matematyczne.

When the A.I. becomes superintelligent,

Superinteligencja doszłaby do wniosku,

it realizes that the most effective way to get the solution to this problem

że najefektywniej będzie

is by transforming the planet into a giant computer,

przekształcić planetę w ogromny komputer,

so as to increase its thinking capacity.

żeby przyspieszyć procesy myślowe.

And notice that this gives the A.I.s an instrumental reason

To może dać superinteligencji pretekst

to do things to us that we might not approve of.

do robienia rzeczy, których my byśmy nie popierali.

Human beings in this model are threats,

Ludzie w tym modelu stają się przeszkodą

we could prevent the mathematical problem from being solved.

dla rozwiązania zadania.

Of course, perceivably things won't go wrong in these particular ways;

Oczywiście możliwe, że sprawy nie potoczą się w ten sposób.

these are cartoon examples.

To przerysowane przykłady.

But the general point here is important:

Ale najważniejsze jest,

if you create a really powerful optimization process

że jeśli tworzysz potężny proces optymalizacyjny

to maximize for objective x,

do zmaksymalizowania realizacji celu X,

you better make sure that your definition of x

lepiej upewnij się, czy definicja X

incorporates everything you care about.

zawiera wszystko, na czym ci zależy.

This is a lesson that's also taught in many a myth.

Tego uczy nas wiele mitów.

King Midas wishes that everything he touches be turned into gold.

Król Midas chciał, by wszystko, czego dotknie, zamieniało się w złoto.

He touches his daughter, she turns into gold.

Dotknął córki, a ona zmieniła się w złoto.

He touches his food, it turns into gold.

Dotknął jedzenia, a ono zmieniło się w złoto.

This could become practically relevant,

To nie tylko metafora chciwości,

not just as a metaphor for greed,

ale też tego, co może się stać,

but as an illustration of what happens

jeśli stworzymy proces optymalizacyjny

if you create a powerful optimization process

i damy mu błędnie określone

and give it misconceived or poorly specified goals.

lub słabo sprecyzowane cele.

Now you might say, if a computer starts sticking electrodes into people's faces,

Możecie powiedzieć, że jeśli komputer zacznie nam wszczepiać elektrody,

we'd just shut it off.

wtedy go wyłączymy.

A, this is not necessarily so easy to do if we've grown dependent on the system --

Po pierwsze, to może być trudne, jeśli będziemy zależni od tego systemu.

like, where is the off switch to the Internet?

Jak wyłączyć internet?

B, why haven't the chimpanzees flicked the off switch to humanity,

Po drugie, czemu szympansy lub Neandertalczycy

or the Neanderthals?

nas nie wyłączyli?

They certainly had reasons.

Mieli powody.

We have an off switch, for example, right here.

Mamy swój wyłącznik, na przykład tutaj.

(Choking)

(Charczenie)

The reason is that we are an intelligent adversary;

Otóż jesteśmy inteligentnym przeciwnikiem.

we can anticipate threats and plan around them.

Potrafimy przewidzieć zagrożenie i zaplanować obronę.

But so could a superintelligent agent,

To samo mogłaby zrobić superinteligencja

and it would be much better at that than we are.

i byłaby w tym znacznie od nas lepsza.

The point is, we should not be confident that we have this under control here.

Chodzi o to, żebyśmy nie byli pewni, że wszystko mamy pod kontrolą.

And we could try to make our job a little bit easier by, say,

Można by spróbować ułatwić sobie zadanie,

putting the A.I. in a box,

umieszczając SI w pudełku,

like a secure software environment,

w jakiejś odosobnionej przestrzeni,

a virtual reality simulation from which it cannot escape.

w wirtualnej rzeczywistości, z której nie będzie w stanie uciec.

But how confident can we be that the A.I. couldn't find a bug.

Na ile możemy być pewni, że komputer nie znajdzie błędu w programie?

Given that merely human hackers find bugs all the time,

Skoro hakerzy ciągle znajdują jakieś błędy,

I'd say, probably not very confident.

jest to niemal pewne.

So we disconnect the ethernet cable to create an air gap,

Moglibyśmy odłączyć ethernet, żeby odizolować komputer,

but again, like merely human hackers

ale hakerzy potrafią poradzić sobie i z tym problemem,

routinely transgress air gaps using social engineering.

wykorzystując inżynierię społeczną.

Right now, as I speak,

W tej właśnie chwili

I'm sure there is some employee out there somewhere

gdzieś jakiś pracownik

who has been talked into handing out her account details

przekazuje swoje dane logowania komuś

by somebody claiming to be from the I.T. department.

podającemu się za informatyka.

More creative scenarios are also possible,

Możliwe są bardziej kreatywne scenariusze.

like if you're the A.I.,

Sztuczna inteligencja

you can imagine wiggling electrodes around in your internal circuitry

może pokombinować przy elektrodach w swoim obwodzie,

to create radio waves that you can use to communicate.

żeby powstały fale radiowe potrzebne do komunikacji.

Or maybe you could pretend to malfunction,

Albo może udawać awarię,

and then when the programmers open you up to see what went wrong with you,

a kiedy programiści zajrzą do środka, żeby sprawdzić kod źródłowy

they look at the source code -- Bam! --

- bum! -

the manipulation can take place.

może dojść do manipulacji.

Or it could output the blueprint to a really nifty technology,

Może też zaprojektować bardzo zmyślną technologię,

and when we implement it,

a kiedy ją zaimplementujemy

it has some surreptitious side effect that the A.I. had planned.

okaże się, że ma jakiś ukryte działanie, zaplanowane przez komputer.

The point here is that we should not be confident in our ability

Chodzi o to, żebyśmy nie byli pewni, że będziemy potrafili

to keep a superintelligent genie locked up in its bottle forever.

trzymać superinteligentnego dżina zamkniętego w lampie na zawsze.

Sooner or later, it will out.

Prędzej czy później się z niej wydostanie.

I believe that the answer here is to figure out

Sęk w tym, żeby zaprojektować superinteligentny komputer,

how to create superintelligent A.I. such that even if -- when -- it escapes,

który jeśli, czy może kiedy, ucieknie,

it is still safe because it is fundamentally on our side

będzie niegroźny, bo będzie po naszej stronie,

because it shares our values.

wyznając nasze wartości.

I see no way around this difficult problem.

Nie widzę innego sposobu na ominięcie tego problemu.

Now, I'm actually fairly optimistic that this problem can be solved.

Dość optymistycznie podchodzę do kwestii rozwiązania tego problemu.

We wouldn't have to write down a long list of everything we care about,

Nie musimy tworzyć długiej listy wszystkiego, co dla nas ważne,

or worse yet, spell it out in some computer language

ani co gorsza, przekładać jej na jakiś język programowania,

like C++ or Python,

jak C++ czy Python,

that would be a task beyond hopeless.

co byłoby beznadziejnym zadaniem.

Instead, we would create an A.I. that uses its intelligence

Trzeba stworzyć komputer, który użyje swojej inteligencji

to learn what we value,

żeby nauczyć się naszych wartości,

and its motivation system is constructed in such a way that it is motivated

a jego system motywacyjny skonstruowany byłby w taki sposób,

to pursue our values or to perform actions that it predicts we would approve of.

że dążyłby do naszych wartości i wykonywał pochwalane przez nas czynności.

We would thus leverage its intelligence as much as possible

W ten sposób wykorzystalibyśmy jego inteligencję

to solve the problem of value-loading.

do rozwiązania problemu wartości.

This can happen,

Można to zrobić,

and the outcome could be very good for humanity.

a owoce tej pracy byłyby dobre dla ludzkości.

But it doesn't happen automatically.

Ale to nie stanie się automatycznie.

The initial conditions for the intelligence explosion

Możliwe, że trzeba będzie

might need to be set up in just the right way

precyzyjnie określić startowe warunki eksplozji inteligencji,

if we are to have a controlled detonation.

jeśli chcemy dokonać kontrolowanej detonacji.

The values that the A.I. has need to match ours,

Sztuczna inteligencja musi wyznawać nasze wartości

not just in the familiar context,

nie tylko w znanych sytuacjach,

like where we can easily check how the A.I. behaves,

które możemy przewidzieć,

but also in all novel contexts that the A.I. might encounter

ale też w nowych kontekstach, na które może się natknąć

in the indefinite future.

w niezdefiniowanej przyszłości.

And there are also some esoteric issues that would need to be solved, sorted out:

Musimy też rozwikłać pewne ezoteryczne kwestie.

the exact details of its decision theory,

Szczegóły teorii decyzji, jak sobie radzić

how to deal with logical uncertainty and so forth.

z niepewnością logiczną i tak dalej.

So the technical problems that need to be solved to make this work

Techniczne problemy, stojące przed tym zadaniem

look quite difficult --

wydają się trudne.

not as difficult as making a superintelligent A.I.,

Nie aż tak trudne, jak stworzenie sztucznej superinteligencji,

but fairly difficult.

ale dość trudne.

Here is the worry:

Tu tkwi problem.

Making superintelligent A.I. is a really hard challenge.

Stworzenie superinteligentnego komputera jest trudnym wyzwaniem.

Making superintelligent A.I. that is safe

Stworzenie bezpiecznego superinteligentnego komputera

involves some additional challenge on top of that.

jest jeszcze trudniejsze.

The risk is that if somebody figures out how to crack the first challenge

Ryzyko polega na tym, że komuś uda się sprostać pierwszemu wyzwaniu

without also having cracked the additional challenge

z pominięciem zapewnienia

of ensuring perfect safety.

całkowitego bezpieczeństwa.

So I think that we should work out a solution

Uważam, że najpierw należy

to the control problem in advance,

rozwiązać problem kontroli,

so that we have it available by the time it is needed.

aby mieć w razie czego pod ręką antidotum.

Now it might be that we cannot solve the entire control problem in advance

Może się okazać, że nie da się rozwiązać zawczasu całego problemu,

because maybe some elements can only be put in place

bo niektóre jego elementy można stworzyć,

once you know the details of the architecture where it will be implemented.

wyłącznie znając szczegóły architektury, która zostanie zaimplementowana.

But the more of the control problem that we solve in advance,

Ale im większą część tego problemu rozwiążemy,

the better the odds that the transition to the machine intelligence era

tym większe mamy szanse na wkroczenie w epokę inteligentnych maszyn

will go well.

zgodnie z naszym planem.

This to me looks like a thing that is well worth doing

Dla mnie jest to gra warta świeczki

and I can imagine that if things turn out okay,

i, jeśli wszystko pójdzie dobrze,

that people a million years from now look back at this century

ludzie za milion lat spojrzą na nasze stulecie

and it might well be that they say that the one thing we did that really mattered

i powiedzą, że jest to jedyna ważna rzecz,

was to get this thing right.

która nam się udała.

Thank you.

Dziękuję.

(Applause)

(Brawa)