What happens when our computers get smarter than we are? | Nick Bostrom

Traducător: Doina Zamfirescu Corector: Matei Sterian

I work with a bunch of mathematicians, philosophers and computer scientists,

Lucrez cu matematicieni, filozofi și cercetători IT

and we sit around and think about the future of machine intelligence,

și ne gândim

la viitorul inteligenței artificiale, printre altele.

among other things.

Some people think that some of these things are sort of science fiction-y,

Unii cred că unele dintre aceste lucruri sunt științifico-fantastice,

far out there, crazy.

departe de noi, nebunești.

But I like to say,

Dar mie îmi place să zic:

okay, let's look at the modern human condition.

OK, hai să vedem condiția omului modern.

(Laughter)

(Râsete)

This is the normal way for things to be.

Asta e normalul.

But if we think about it,

Dar de fapt

we are actually recently arrived guests on this planet,

suntem niște oaspeți relativ recenți pe această planetă

the human species.

ca specie umană.

Think about if Earth was created one year ago,

Gândiți-vă, dacă Pământul a fi fost creat în urmă cu un an,

the human species, then, would be 10 minutes old.

specia umană ar fi existat de doar 10 minute.

The industrial era started two seconds ago.

Epoca Industrială ar fi început de doar două secunde.

Another way to look at this is to think of world GDP over the last 10,000 years,

Am putea analiza aceasta și din prisma PIB-ului global din ultimii 10 000 de ani.

I've actually taken the trouble to plot this for you in a graph.

V-am făcut și un grafic.

It looks like this.

Arată așa.

(Laughter)

(Râsete)

It's a curious shape for a normal condition.

Are o formă ciudată pentru o situație normală.

I sure wouldn't want to sit on it.

Eu unul nu m-aș așeza pe el.

(Laughter)

(Râsete)

Hai să ne punem întrebarea: care ar fi cauza acestei anomalii?

Let's ask ourselves, what is the cause of this current anomaly?

Some people would say it's technology.

Unii ar zice că ar fi tehnologia.

Now it's true, technology has accumulated through human history,

Adevărat, în decursul istoriei, umanitatea a acumulat multă tehnologie

and right now, technology advances extremely rapidly --

și, în acest moment, tehnologia avansează extrem de rapid.

that is the proximate cause,

Aceasta e cauza imediată,

that's why we are currently so very productive.

de aceea suntem atât de productivi.

But I like to think back further to the ultimate cause.

Dar îmi place să gândesc mai departe, la cauza primară.

Look at these two highly distinguished gentlemen:

Priviți-i pe acești domni distinși.

We have Kanzi --

Îl avem pe Kanzi,

he's mastered 200 lexical tokens, an incredible feat.

el a stăpânit 200 de semne lexicale, o ispravă nemaipomenită.

Și pe Ed Witten care a declanșat a doua revoluție a superstringurilor.

And Ed Witten unleashed the second superstring revolution.

If we look under the hood, this is what we find:

Dacă „deschidem capota”, iată ce găsim:

basically the same thing.

în esență același lucru.

One is a little larger,

Unul dintre ele e ceva mai mare,

it maybe also has a few tricks in the exact way it's wired.

posibil cu câteva trucuri în plus în privința modului de montare.

These invisible differences cannot be too complicated, however,

Aceste diferențe invizibile, totuși, nu pot fi prea complicate

because there have only been 250,000 generations

pentru că s-au perindat doar 250 000 de generații

since our last common ancestor.

de la ultimul nostru strămoș comun

We know that complicated mechanisms take a long time to evolve.

și știm că mecanismele complicate durează mult până evoluează.

Așa că o mână de schimbări minore

So a bunch of relatively minor changes

take us from Kanzi to Witten,

ne-au dus de la Kanzi la Witten,

from broken-off tree branches to intercontinental ballistic missiles.

de la crengi rupte la rachete balistice intercontinentale.

So this then seems pretty obvious that everything we've achieved,

Atunci pare destul de evident că tot ce am realizat

and everything we care about,

și toate cele de care ne pasă depind radical

depends crucially on some relatively minor changes that made the human mind.

de schimbări relativ minore făcute de mintea umană.

And the corollary, of course, is that any further changes

Iar corolarul este, desigur, că orice viitoare schimbare

that could significantly change the substrate of thinking

ce ar putea schimba substanțial substratul gândirii

could have potentially enormous consequences.

ar putea avea consecințe uriașe.

Some of my colleagues think we're on the verge

Unii colegi cred că suntem pe cale

of something that could cause a profound change in that substrate,

de a produce ceva ce ar putea cauza o schimbare profundă a acestui substrat,

and that is machine superintelligence.

aceasta fiind superinteligența artificială.

Artificial intelligence used to be about putting commands in a box.

Inteligența artificială era desemnată ca fiind o cutie în care se pun comenzi.

Trebuiau să existe programatori umani

You would have human programmers

that would painstakingly handcraft knowledge items.

care să modeleze din greu părțile de cunoaștere.

You build up these expert systems,

Se realizează niște sisteme expert

and they were kind of useful for some purposes,

care vor fi de folos în anumit scop,

but they were very brittle, you couldn't scale them.

dar care sunt foarte firave, nu se pot extinde.

Basically, you got out only what you put in.

În principiu, primești de la ele doar ce ai programat.

But since then,

De atunci, însă,

a paradigm shift has taken place in the field of artificial intelligence.

s-a produs o schimbare în paradigmă în inteligența artificială.

Today, the action is really around machine learning.

Acum acțiunea se petrece în jurul învățării sistemelor artificiale.

So rather than handcrafting knowledge representations and features,

În loc să realizăm reprezentări și caracteristici ale cunoașterii,

we create algorithms that learn, often from raw perceptual data.

creăm algoritmi de învățare adesea pe bază de date perceptuale brute.

Basically the same thing that the human infant does.

În principiu, lucru similar cu ceea ce face un copil.

The result is A.I. that is not limited to one domain --

Rezultatul este o I.A. ce nu se limitează la un domeniu,

the same system can learn to translate between any pairs of languages,

același sistem putând să învețe să traducă între oricare două limbi

or learn to play any computer game on the Atari console.

sau să învețe să joace orice joc pe calculator pe o consolă Atari.

Now of course,

Desigur,

A.I. is still nowhere near having the same powerful, cross-domain

I.A. nu are nici pe departe puterea,

abilitatea transdisciplinară a omului de a planifica și învăța.

ability to learn and plan as a human being has.

The cortex still has some algorithmic tricks

Cortexul are încă niște trucuri de algoritm

that we don't yet know how to match in machines.

pe care încă nu știm cum să le transpunem în mecanisme.

So the question is,

Se pune deci întrebarea

how far are we from being able to match those tricks?

cât de de departe suntem de momentul în care putem face asta.

A couple of years ago,

Cu câțiva ani în urmă,

we did a survey of some of the world's leading A.I. experts,

am făcut un sondaj printre cei mai de seamă experți în I.A.

to see what they think, and one of the questions we asked was,

pentru a vedea ce cred ei și una din întrebări a fost:

"By which year do you think there is a 50 percent probability

„Până în ce an credeți că vom ajunge la probabilitatea de 50%

that we will have achieved human-level machine intelligence?"

de a realizare inteligența artificiala la nivelul omului?”

We defined human-level here as the ability to perform

Prin „nivelul omului” am înțeles capacitatea de a presta

almost any job at least as well as an adult human,

aproape orice sarcină cel puțin la nivelul unui adult,

so real human-level, not just within some limited domain.

deci nivel uman general, nu doar limitat la un domeniu restrâns.

And the median answer was 2040 or 2050,

Răspunsul mediu a fost 2040 sau 2050,

depending on precisely which group of experts we asked.

în funcție de grupul de experți chestionați.

Now, it could happen much, much later, or sooner,

S-ar putea întâmpla mult mai târziu sau mai devreme,

the truth is nobody really knows.

adevărul e că nimeni nu știe.

What we do know is that the ultimate limit to information processing

Ceea ce știm e că limita superioară a procesării informației

in a machine substrate lies far outside the limits in biological tissue.

într-un mediu artificial e mult mai departe de limitele noastre biologice.

This comes down to physics.

Totul se reduce la fizică.

A biological neuron fires, maybe, at 200 hertz, 200 times a second.

Neuronul transmite la vreo 200 de herți, de 200 de ori pe secundă.

But even a present-day transistor operates at the Gigahertz.

Dar chiar și acum, un tranzistor operează în gigaherți.

Neurons propagate slowly in axons, 100 meters per second, tops.

Impulsurile se propagă prin axoni încet,

cu cel mult 100 de metri pe secundă.

But in computers, signals can travel at the speed of light.

Dar în calculatoare semnalele pot circula cu viteza luminii.

There are also size limitations,

Există și limitări date de volum,

like a human brain has to fit inside a cranium,

creierul uman trebuie să încapă în cutia craniană,

but a computer can be the size of a warehouse or larger.

dar un calculator poate fi mare cât un depozit sau mai mare.

So the potential for superintelligence lies dormant in matter,

Deci potențialul de superinteligență e în stare latentă în materie,

much like the power of the atom lay dormant throughout human history,

la fel ca puterea atomului care a fost în stare latentă

în toată istoria umanității,

așteptând cu răbdare până în 1945.

patiently waiting there until 1945.

In this century,

În acest secol,

scientists may learn to awaken the power of artificial intelligence.

oamenii de știință ar putea să trezească puterea inteligenței artificiale.

And I think we might then see an intelligence explosion.

Și cred că atunci am putea fi martorii unei explozii de inteligență.

Now most people, when they think about what is smart and what is dumb,

Majoritatea oamenilor, gândindu-se la cine e deștept și cine prost,

I think have in mind a picture roughly like this.

cred că au în cap ceva de genul acesta.

So at one end we have the village idiot,

La o extremitate avem prostul satului,

and then far over at the other side

departe, la cealaltă extremitate,

we have Ed Witten, or Albert Einstein, or whoever your favorite guru is.

pe Ed Witten, sau Albert Einstein, sau oricine altcineva ar fi favoritul.

But I think that from the point of view of artificial intelligence,

Dar eu zic că, din punctul de vedere al inteligenței artificiale,

the true picture is actually probably more like this:

schema este, de fapt, mai mult așa:

AI starts out at this point here, at zero intelligence,

I.A. începe în acest punct, la inteligență zero,

and then, after many, many years of really hard work,

apoi, după foarte mulți ani de muncă asiduă,

maybe eventually we get to mouse-level artificial intelligence,

poată că inteligența artificială ajunge la nivelul șoarecelui,

something that can navigate cluttered environments

ceva ce poate naviga într-un mediu haotic la fel de bine cum poate un șoarece.

as well as a mouse can.

And then, after many, many more years of really hard work, lots of investment,

Iar apoi, după alți mulți ani de muncă asiduă, cu multe investiții,

maybe eventually we get to chimpanzee-level artificial intelligence.

poate că inteligența artificială ajunge la nivelul cimpanzeului.

And then, after even more years of really, really hard work,

Iar apoi, după și mai mulți ani de muncă asiduă,

ajungem la inteligența artificială a prostului satului.

we get to village idiot artificial intelligence.

And a few moments later, we are beyond Ed Witten.

Și după câteva momente suntem dincolo de Ed Witten.

The train doesn't stop at Humanville Station.

Trenul nu oprește la „Gara Omului”.

Din contră, probabil va trece în viteză.

It's likely, rather, to swoosh right by.

Now this has profound implications,

Aceasta are implicații serioase,

particularly when it comes to questions of power.

mai ales când vine vorba de probleme de putere.

For example, chimpanzees are strong --

De exemplu, cimpanzeii sunt puternici:

pound for pound, a chimpanzee is about twice as strong as a fit human male.

la kilograme, cimpanzeul e de vreo 2 ori mai puternic decât un bărbat sănătos.

And yet, the fate of Kanzi and his pals depends a lot more

Totuși, soarta lui Kanzi și a celor ca el depinde cu mult mai mult

on what we humans do than on what the chimpanzees do themselves.

de ce facem noi, oamenii, decât de ce fac semenii cimpanzei.

Once there is superintelligence,

Cu apariția superinteligenței,

the fate of humanity may depend on what the superintelligence does.

soarta umanității poate depinde de ce face superinteligența.

Think about it:

Gândiți-vă:

Machine intelligence is the last invention that humanity will ever need to make.

inteligența artificială e ultima invenție pe care va trebui s-o facă umanitatea.

Machines will then be better at inventing than we are,

Căci după aceea mașinile vor fi mai bune la inventat decât noi

and they'll be doing so on digital timescales.

și vor face asta la scară digitală.

What this means is basically a telescoping of the future.

Aceasta înseamnă, de fapt, telescopizarea viitorului.

Think of all the crazy technologies that you could have imagined

Luați toate tehnologiile nebunești pe care vi le-ați putea imagina,

maybe humans could have developed in the fullness of time:

pe care oamenii le-ar putea realiza în timp:

cures for aging, space colonization,

oprirea îmbătrânirii, colonizarea spațiului cosmic,

self-replicating nanobots or uploading of minds into computers,

nanoroboți auto-replicativi sau încărcarea minții în calculator,

all kinds of science fiction-y stuff

tot felul de chestii SF

that's nevertheless consistent with the laws of physics.

care sunt totuși în concordanță cu legile fizicii.

Pe toate astea superinteligența le poate realiza, și încă foarte repede.

All of this superintelligence could develop, and possibly quite rapidly.

Now, a superintelligence with such technological maturity

Superinteligența de o astfel de maturitate tehnologică

ar fi extrem de puternică

would be extremely powerful,

and at least in some scenarios, it would be able to get what it wants.

și, cel puțin în unele scenarii, ar putea obține ce vrea.

We would then have a future that would be shaped by the preferences of this A.I.

Atunci am avea viitorul modelat de preferințele acesteia.

Now a good question is, what are those preferences?

O întrebare bună este: care ar fi aceste preferințe?

Here it gets trickier.

Aici e mai cu schepsis.

To make any headway with this,

Pentru a avansa cu acest gând,

we must first of all avoid anthropomorphizing.

în primul rând trebuie să evităm antropomorfizarea.

And this is ironic because every newspaper article

Iar asta e ironic pentru că orice articol de ziar

about the future of A.I. has a picture of this:

despre viitorul I.A. are o poză ca asta:

So I think what we need to do is to conceive of the issue more abstractly,

Cred că trebuie să concepem chestiunea mai abstract,

not in terms of vivid Hollywood scenarios.

nu în termenii colorați ai scenariilor hollywoodiene.

We need to think of intelligence as an optimization process,

Trebuie să ne gândim la inteligență ca un proces de optimizare,

a process that steers the future into a particular set of configurations.

un proces ce îndreaptă viitorul într-un anumit set de configurații.

A superintelligence is a really strong optimization process.

Superinteligența ca proces de optimizare foarte puternic.

It's extremely good at using available means to achieve a state

Extrem de bună pentru a folosi mijloacele existente

pentru a realiza o stare în care obiectivele ei sunt atinse.

in which its goal is realized.

This means that there is no necessary connection between

Aceasta înseamnă că nu există neapărat legătură

între a fi foarte inteligent în acest sens

being highly intelligent in this sense,

and having an objective that we humans would find worthwhile or meaningful.

și a avea un obiectiv pe care noi, oamenii, l-am considera util și cu sens.

Suppose we give an A.I. the goal to make humans smile.

Să zicem că îi dăm unei I.A. ca obiectiv să-i facă pe oameni să zâmbească.

When the A.I. is weak, it performs useful or amusing actions

Când I.A. e slabă, acționează util sau amuzant

that cause its user to smile.

ceea ce îl face pe utilizator să zâmbească.

When the A.I. becomes superintelligent,

Când I.A. devine superinteligentă,

it realizes that there is a more effective way to achieve this goal:

își dă seama că există o cale mai eficientă pentru a atinge acest scop:

take control of the world

preia controlul asupra lumii

and stick electrodes into the facial muscles of humans

și implantează electrozi în mușchii faciali ai oamenilor

to cause constant, beaming grins.

pentru a obține rânjete strălucitoare constante.

Another example,

Alt exemplu:

suppose we give A.I. the goal to solve a difficult mathematical problem.

dăm I.A. ca obiectiv să rezolve o problemă de matematică grea.

When the A.I. becomes superintelligent,

Când I.A. devine superinteligentă,

it realizes that the most effective way to get the solution to this problem

își dă seama că modul cel mai eficient pentru a găsi soluția problemei

este transformarea planetei într-un calculator gigant

is by transforming the planet into a giant computer,

so as to increase its thinking capacity.

pentru a-i crește capacitatea de gândire.

And notice that this gives the A.I.s an instrumental reason

Luați seamă că aceasta dă I.A.-ului rațiunea instrumentală

to do things to us that we might not approve of.

pentru a ne face lucruri cu care nu suntem de acord.

Human beings in this model are threats,

În acest caz, oamenii sunt o amenințare,

we could prevent the mathematical problem from being solved.

am putea să împiedicăm rezolvarea problemei de matematică.

Of course, perceivably things won't go wrong in these particular ways;

Desigur, se vede că lucrurile nu vor degenera chiar astfel;

these are cartoon examples.

acestea sunt exemple exagerate.

But the general point here is important:

Dar esența lor e importantă:

if you create a really powerful optimization process

dacă vrei să realizezi un proces de optimizare puternic

to maximize for objective x,

pentru a maximiza atingerea obiectivului x,

you better make sure that your definition of x

ar fi bine să te asiguri că definiția acelui x

incorporates everything you care about.

încorporează tot ce contează pentru tine.

This is a lesson that's also taught in many a myth.

E un motiv ce apare și în multe legende.

King Midas wishes that everything he touches be turned into gold.

Regele Midas vroia ca tot ce atinge să se transforme în aur.

He touches his daughter, she turns into gold.

Și-a atins fiica, s-a transformat în aur.

He touches his food, it turns into gold.

S-a atins de mâncare, s-a transformat în aur.

This could become practically relevant,

Aceasta poate fi relevant în practică,

not just as a metaphor for greed,

nu doar ca o metaforă a lăcomiei,

but as an illustration of what happens

ci și pentru a ilustra ce se întâmplă

if you create a powerful optimization process

dacă realizezi un proces de optimizare puternic,

and give it misconceived or poorly specified goals.

cu obiectivele concepute eronat sau insuficient de detaliate.

Now you might say, if a computer starts sticking electrodes into people's faces,

Ați putea zice că dacă un calculator începe să implanteze electrozi în oameni

we'd just shut it off.

nu avem decât să îl închidem.

A, this is not necessarily so easy to do if we've grown dependent on the system --

A, poate să nu fie chiar așa de ușor dacă suntem dependenți de sistem –

like, where is the off switch to the Internet?

de unde se poate stinge Internetul?

B, why haven't the chimpanzees flicked the off switch to humanity,

B, de ce nu au apăsat cimpanzeii pe întrerupătorul umanității?

or the Neanderthals?

Sau neanderthalienii?

They certainly had reasons.

Cu siguranță aveau motive să o facă.

We have an off switch, for example, right here.

Avem un întrerupător, de exemplu aici.

(Choking)

(Se sugrumă)

The reason is that we are an intelligent adversary;

Motivul e că suntem un adversar inteligent;

we can anticipate threats and plan around them.

putem anticipa pericolul și putem să-l preîntâmpinăm.

But so could a superintelligent agent,

Dar la fel ar fi și un agent superinteligent

and it would be much better at that than we are.

și ar fi mult mai bun decât noi.

The point is, we should not be confident that we have this under control here.

Faza e că nu ar trebui să credem că deținem controlul aici.

And we could try to make our job a little bit easier by, say,

Am putea încerca, pentru a ne ușura un pic treaba,

putting the A.I. in a box,

să zicem să punem I.A. într-o cutie,

like a secure software environment,

de pildă un mediu de soft securizat,

a virtual reality simulation from which it cannot escape.

o simulare de realitate virtuală din care nu poate scăpa.

But how confident can we be that the A.I. couldn't find a bug.

Dar cât de siguri putem fi că I.A. nu găsește un virus.

Given that merely human hackers find bugs all the time,

Dat fiind că simplii hackeri umani găsesc tot timpul viruși,

I'd say, probably not very confident.

aș zice că, probabil, nu foarte siguri.

So we disconnect the ethernet cable to create an air gap,

Sau deconectăm cablul ethernet pentru a crea o întrerupere.

but again, like merely human hackers

Dar, la fel, simplii hackeri umani

trec adesea peste întreruperi, prin inginerie socială.

routinely transgress air gaps using social engineering.

Right now, as I speak,

Chiar în acest moment,

I'm sure there is some employee out there somewhere

sunt sigur că există un angajat pe undeva

who has been talked into handing out her account details

care este păcălit să-și dea datele de cont

by somebody claiming to be from the I.T. department.

de către cineva care se dă drept funcționar la departamentul I.T.

More creative scenarios are also possible,

Există și alte scenarii creative posibile

like if you're the A.I.,

cum ar fi: dacă ești I.A.

you can imagine wiggling electrodes around in your internal circuitry

ți-ai putea imagina să-ți pui electrozi în circuitul intern propriu

to create radio waves that you can use to communicate.

pentru a crea unde radio pe care să le folosești pentru comunicare.

Sau poate te-ai putea preface că nu funcționezi corect

Or maybe you could pretend to malfunction,

and then when the programmers open you up to see what went wrong with you,

și apoi, când programatorii te deschid să vadă care-i baiul cu tine,

they look at the source code -- Bam! --

se uită la codul-sursă – pac! –

the manipulation can take place.

poate avea loc manipularea.

Or it could output the blueprint to a really nifty technology,

Sau ar putea produce planul unei tehnologii mișto

and when we implement it,

și, când să o implementăm,

it has some surreptitious side effect that the A.I. had planned.

ea are niște efecte secundare ascunse pe care le-a gândit I.A.

The point here is that we should not be confident in our ability

Concluzia este că nu ar trebui să avem prea mare încredere

to keep a superintelligent genie locked up in its bottle forever.

că putem ține duhul superinteligent închis în sticla sa pentru totdeauna.

Sooner or later, it will out.

Mai degrabă sau mai târziu, va ieși.

I believe that the answer here is to figure out

Cred că aici răspunsul este să găsim modalitatea

how to create superintelligent A.I. such that even if -- when -- it escapes,

de a crea o I.A. superinteligentă care, chiar și după ce scapă,

it is still safe because it is fundamentally on our side

e totuși sigură, pentru că în mod fundamental e de partea noastră,

because it shares our values.

pentru că are valorile noastre.

I see no way around this difficult problem.

Nu văd altă cale de rezolvare a acestei probleme dificile.

Now, I'm actually fairly optimistic that this problem can be solved.

Sunt încrezător că putem rezolva această problemă.

We wouldn't have to write down a long list of everything we care about,

Nu ar trebui să facem o listă lungă cu toate lucrurile la care ținem

or worse yet, spell it out in some computer language

sau, mai rău, să le traducem într-un limbaj mașină

like C++ or Python,

ca C++ sau Python.

that would be a task beyond hopeless.

Asta ar fi o sarcină absolut imposibilă.

Instead, we would create an A.I. that uses its intelligence

În loc de asta, ar trebui să creăm o I.A. ce-și folosește propria inteligență

to learn what we value,

pentru a ne învăța valorile,

and its motivation system is constructed in such a way that it is motivated

iar sistemul ei de motivare să fie construit astfel încât

să fie motivată să ne urmeze valorile

to pursue our values or to perform actions that it predicts we would approve of.

sau să facă acțiuni la care se poate aștepta să aibă aprobarea noastră.

We would thus leverage its intelligence as much as possible

Astfel am avea, pe cât posibil, o pârghie asupra inteligenței

to solve the problem of value-loading.

în rezolvarea problemei valorilor încărcate.

This can happen,

Se poate realiza,

and the outcome could be very good for humanity.

iar rezultatul ar fi foarte bun pentru umanitate.

But it doesn't happen automatically.

Dar asta nu se întâmplă automat.

The initial conditions for the intelligence explosion

Condițiile inițiale pentru explozia de inteligență

might need to be set up in just the right way

ar trebui setate corespunzător

if we are to have a controlled detonation.

dacă vrem să avem o explozie controlată.

The values that the A.I. has need to match ours,

Valorile I.A. trebuie să fie potrivite cu ale noastre,

not just in the familiar context,

nu doar în contextul obișnuit,

like where we can easily check how the A.I. behaves,

când putem verifica ușor comportamentul I.A.

but also in all novel contexts that the A.I. might encounter

ci și în situațiile noi în care se va putea afla I.A.

in the indefinite future.

într-un viitor nedefinit.

And there are also some esoteric issues that would need to be solved, sorted out:

Există și aspecte ezoterice ce vor trebui rezolvate, clarificate:

the exact details of its decision theory,

detaliile exacte ale teoriei deciziilor,

how to deal with logical uncertainty and so forth.

cum să trateze incertitudinea logică etc.

So the technical problems that need to be solved to make this work

Problemele tehnice de rezolvat pentru ca aceasta să funcționeze

look quite difficult --

par destul de dificile.

not as difficult as making a superintelligent A.I.,

Nu chiar așa de dificile ca realizarea I.A. superinteligente,

but fairly difficult.

dar destul de dificile.

Here is the worry:

Iată ce mă îngrijorează:

Making superintelligent A.I. is a really hard challenge.

realizarea I.A. superinteligente e o mare provocare.

Making superintelligent A.I. that is safe

Realizarea I.A. superinteligente care este sigură

involves some additional challenge on top of that.

implică probleme suplimentare.

The risk is that if somebody figures out how to crack the first challenge

Riscul e ca cineva să reușească să rezolve prima provocare

without also having cracked the additional challenge

fără a găsi calea rezolvării problemelor suplimentare

of ensuring perfect safety.

de asigurare a unei siguranțe perfecte.

So I think that we should work out a solution

Cred că ar trebui să găsim o soluție

to the control problem in advance,

pentru a controla problema în avans,

so that we have it available by the time it is needed.

pentru a o avea când va fi nevoie.

Now it might be that we cannot solve the entire control problem in advance

S-ar putea să nu putem rezolva problema controlului total în avans

because maybe some elements can only be put in place

pentru că poate unele elemente pot fi puse la locul lor

once you know the details of the architecture where it will be implemented.

doar cunoscând detaliile arhitecturii locului de implementare.

But the more of the control problem that we solve in advance,

Dar cu cât rezolvăm mai mult în avans problema controlului,

the better the odds that the transition to the machine intelligence era

cu atât sunt mai mari șansele ca trecerea la era inteligenței artificiale

will go well.

să decurgă lin.

This to me looks like a thing that is well worth doing

Mi se pare un lucru ce merită făcut

and I can imagine that if things turn out okay,

și pot să îmi imaginez că, dacă iese bine,

that people a million years from now look back at this century

oamenii, peste un milion de ani, privind înapoi la acest secol,

and it might well be that they say that the one thing we did that really mattered

ar putea foarte bine zice că singurul lucru important făcut de noi

was to get this thing right.

a fost că am făcut aceasta bine.

Thank you.

Mulțumesc.

(Aplauze)

(Applause)