Can we build AI without losing control over it? | Sam Harris

Traducător: Lorena Ciutacu Corector: Mirel-Gabriel Alexa

I'm going to talk about a failure of intuition

Voi vorbi despre o greșeală de intuiție

that many of us suffer from.

de care mulți dintre noi suferim.

It's really a failure to detect a certain kind of danger.

E greșeala de a detecta un anumit tip de pericol.

I'm going to describe a scenario

Voi descrie un scenariu

that I think is both terrifying

care cred că e înfricoșător

and likely to occur,

și probabil să se întâmple,

and that's not a good combination,

iar asta nu e o combinație bună

as it turns out.

după cum se pare.

And yet rather than be scared, most of you will feel

Totuși, în loc să fiți speriați, majoritatea dintre voi

that what I'm talking about is kind of cool.

vor considera că e interesant.

I'm going to describe how the gains we make

Voi descrie cum progresele pe care le facem

in artificial intelligence

în inteligența artificială (IA)

ne-ar putea distruge în final.

could ultimately destroy us.

And in fact, I think it's very difficult to see how they won't destroy us

De fapt, cred că e foarte greu să vedem cum nu ne vor distruge

or inspire us to destroy ourselves.

sau să ne inspire să ne distrugem.

And yet if you're anything like me,

Dar dacă sunteți ca mine,

you'll find that it's fun to think about these things.

veți crede că e amuzant să te gândești la astfel de lucruri.

And that response is part of the problem.

Acest răspuns e parte din problemă.

OK? That response should worry you.

Această reacție ar trebui să vă îngrijoreze.

And if I were to convince you in this talk

Dacă v-aș convinge cu discursul meu

that we were likely to suffer a global famine,

că ar fi probabil să suferim o foamete globală,

either because of climate change or some other catastrophe,

fie din cauza schimbării climatice ori a altei catastrofe,

and that your grandchildren, or their grandchildren,

și că nepoții voștri sau nepoții lor

are very likely to live like this,

foarte probabil vor trăi așa,

you wouldn't think,

nu v-ați gândi:

"Interesting.

„Interesant.

I like this TED Talk."

Îmi place discursul ăsta.”

Famine isn't fun.

Foametea nu e amuzantă.

Death by science fiction, on the other hand, is fun,

Moartea cauzată de science-fiction, pe de altă parte, e amuzantă,

and one of the things that worries me most about the development of AI at this point

iar ce mă îngrijorează cel mai mult despre dezvoltarea IA în prezent

is that we seem unable to marshal an appropriate emotional response

e că părem incapabili să avem o reacție emoțională adecvată

to the dangers that lie ahead.

pentru pericolului din fața noastră.

I am unable to marshal this response, and I'm giving this talk.

Eu nu pot avea un răspuns adecvat, și țin acest discurs.

It's as though we stand before two doors.

E ca și cum am avea două uși în față.

Behind door number one,

În spatele primei uși

we stop making progress in building intelligent machines.

încetăm să progresăm în construirea mașinăriilor inteligente.

Our computer hardware and software just stops getting better for some reason.

Software-ul și hardware-ul nu se mai îmbunătățesc.

Now take a moment to consider why this might happen.

Acum gândiți-vă de ce s-ar întâmpla asta.

I mean, given how valuable intelligence and automation are,

Știind cât de importante sunt inteligența și automatizarea,

we will continue to improve our technology if we are at all able to.

vom continua să îmbunătățim tehnologia cât putem.

What could stop us from doing this?

Ce ne-ar opri să facem asta?

A full-scale nuclear war?

Un război nuclear la scară mare?

A global pandemic?

O pandemie globală?

An asteroid impact?

Un impact cu un asteroid?

Justin Bieber becoming president of the United States?

Justin Bieber devenind președintele SUA?

(Laughter)

(Râsete)

The point is, something would have to destroy civilization as we know it.

Ideea e că ceva ar trebui să distrugă civilizația pe care o știm noi.

You have to imagine how bad it would have to be

Imaginați-vă cât de rău ar trebui să fie

to prevent us from making improvements in our technology

încât să ne împiedice să mai facem îmbunătățiri în tehnologie

permanently,

permanent,

generation after generation.

generație după generație.

Almost by definition, this is the worst thing

Aproape prin definiție, ăsta e cel mai rău lucru

that's ever happened in human history.

care s-a întâmplat în istoria umană.

So the only alternative,

Deci singura alternativă,

and this is what lies behind door number two,

și asta e după a doua ușă,

is that we continue to improve our intelligent machines

e să îmbunătățim în continuare mașinăriile inteligente

year after year after year.

an după an după an.

At a certain point, we will build machines that are smarter than we are,

La un moment dat, vom construi mașinării mai inteligente decât noi

and once we have machines that are smarter than we are,

și odată ce avem mașinării mai inteligente decât noi,

they will begin to improve themselves.

ele vor începe să se îmbunătățească.

And then we risk what the mathematician IJ Good called

Apoi există riscul numit de matematicianul IJ Good

an "intelligence explosion,"

o „explozie de inteligență”,

that the process could get away from us.

procesul ne-ar putea scăpa de sub control.

Now, this is often caricatured, as I have here,

Scenariul ăsta e caricaturizat adesea

as a fear that armies of malicious robots

ca o frică față de o armată de roboți răzbunători

will attack us.

care ne vor ataca.

But that isn't the most likely scenario.

Dar nu ăsta e scenariul cel mai probabil.

It's not that our machines will become spontaneously malevolent.

Mașinăriile noastre nu vor deveni brusc răzbunătoare.

The concern is really that we will build machines

Îngrijorarea e că vom construi mașinării

that are so much more competent than we are

care sunt mult mai competente decât noi

that the slightest divergence between their goals and our own

astfel că cea mai mică divergență între scopurile lor și ale noastre

could destroy us.

ne-ar putea distruge.

Just think about how we relate to ants.

Gândiți-vă cum ne purtăm cu furnicile.

We don't hate them.

Nu le urâm.

We don't go out of our way to harm them.

Nu ne străduim să le rănim.

In fact, sometimes we take pains not to harm them.

De fapt, uneori ne străduim să nu le rănim.

We step over them on the sidewalk.

Le ocolim pe trotuar.

But whenever their presence

Dar oricând prezența lor

seriously conflicts with one of our goals,

intră în conflict cu un scop de-al nostru,

let's say when constructing a building like this one,

să zicem să construim o clădire ca asta,

we annihilate them without a qualm.

le anihilăm fără remușcări.

The concern is that we will one day build machines

Îngrijorarea e că într-o zi vom construi mașinării

that, whether they're conscious or not,

care, conștiente sau nu,

could treat us with similar disregard.

ne-ar putea trata cu o nepăsare asemănătoare.

Now, I suspect this seems far-fetched to many of you.

Cred că asta vi se pare exagerat,

I bet there are those of you who doubt that superintelligent AI is possible,

pariez că unii dintre voi se îndoiesc că IA superinteligentă e posibilă,

much less inevitable.

cu atât mai puțin inevitabilă.

But then you must find something wrong with one of the following assumptions.

Dar atunci trebuie să găsiți ceva greșit în una din următoarele presupuneri.

And there are only three of them.

Sunt doar trei.

Intelligence is a matter of information processing in physical systems.

Inteligența e o problemă de procesare a informației în sisteme fizice.

Actually, this is a little bit more than an assumption.

De fapt, asta e mai mult decât o presupunere.

We have already built narrow intelligence into our machines,

Deja am construit inteligență îngustă în mașinăriile noastre

and many of these machines perform

și multe dintre ele funcționează deja

at a level of superhuman intelligence already.

la un nivel de inteligență suprauman.

And we know that mere matter

Știm că simpla materie

can give rise to what is called "general intelligence,"

poate da naștere așa-numitei „inteligență generală”,

an ability to think flexibly across multiple domains,

o abilitate de a gândi flexibil în diverse domenii

because our brains have managed it. Right?

deoarece creierele noastre sunt capabile de asta. Corect?

I mean, there's just atoms in here,

Sunt doar atomi aici

and as long as we continue to build systems of atoms

și atâta vreme cât continuăm să construim sisteme de atomi

that display more and more intelligent behavior,

care prezintă comportament din ce în ce mai inteligent,

we will eventually, unless we are interrupted,

într-un final, dacă nu suntem întrerupți,

we will eventually build general intelligence

vom construi inteligență generală

into our machines.

în mașinăriile noastre.

It's crucial to realize that the rate of progress doesn't matter,

E crucial să realizăm că rata progresului nu contează

because any progress is enough to get us into the end zone.

deoarece orice progres e îndeajuns să ne aducă la capăt de drum.

We don't need Moore's law to continue. We don't need exponential progress.

Nu ne trebuie legea lui Moore să continuăm, nici progres exponențial.

We just need to keep going.

Trebuie doar să continuăm.

The second assumption is that we will keep going.

A doua presupunere e că vom continua.

We will continue to improve our intelligent machines.

Vom continua să îmbunătățim mașinăriile inteligente.

And given the value of intelligence --

Dată fiind valoarea inteligenței --

I mean, intelligence is either the source of everything we value

inteligența fie e sursa a tot ce valorăm,

or we need it to safeguard everything we value.

fie ne trebuie ca să protejăm tot ce prețuim.

It is our most valuable resource.

E resursa noastră cea mai prețioasă.

So we want to do this.

Deci asta vrem să facem.

We have problems that we desperately need to solve.

Avem probleme pe care trebuie să le rezolvăm urgent.

We want to cure diseases like Alzheimer's and cancer.

Vrem să vindecăm boli ca Alzheimer și cancer.

We want to understand economic systems. We want to improve our climate science.

Vrem să înțelegem sisteme economice. Vrem să îmbunătățim știința climatică.

So we will do this, if we can.

Vom face asta dacă putem.

The train is already out of the station, and there's no brake to pull.

Trenul a plecat deja din stație și nu are frâne.

Finally, we don't stand on a peak of intelligence,

În final, nu stăm în vârful inteligenței

or anywhere near it, likely.

sau oriunde lângă el.

And this really is the crucial insight.

Asta e o informație crucială.

This is what makes our situation so precarious,

Asta ne face situația atât de precară

and this is what makes our intuitions about risk so unreliable.

și de aceea nu ne putem baza pe intuițiile noastre despre risc.

Now, just consider the smartest person who has ever lived.

Acum gândiți-vă la persoana cea mai deșteaptă.

On almost everyone's shortlist here is John von Neumann.

În topul tuturor e John von Neumann.

I mean, the impression that von Neumann made on the people around him,

Impresia pe care a lăsat-o von Neumann celor din jurul său,

and this included the greatest mathematicians and physicists of his time,

inclusiv celor mai mari matematicieni și fizicieni,

is fairly well-documented.

e bine documentată.

If only half the stories about him are half true,

Dacă doar jumătate din poveștile despre el sunt pe jumătate adevărate,

there's no question

nu încape îndoială

he's one of the smartest people who has ever lived.

că e unul din cei mai deștepți oameni vreodată.

So consider the spectrum of intelligence.

Gândiți-vă la spectrul inteligenței.

Here we have John von Neumann.

Îl avem pe John von Neumann,

And then we have you and me.

apoi suntem eu și voi,

And then we have a chicken.

apoi o găină.

(Laughter)

(Râsete)

Sorry, a chicken.

Scuze, o găină.

(Laughter)

(Râsete)

There's no reason for me to make this talk more depressing than it needs to be.

Nu e nevoie să fac discursul mai deprimant decât e deja.

(Laughter)

(Râsete)

It seems overwhelmingly likely, however, that the spectrum of intelligence

E copleșitor de probabil că spectrul inteligenței

extends much further than we currently conceive,

se extinde mult după cât putem noi percepe

and if we build machines that are more intelligent than we are,

și dacă construim mașinării mai inteligente decât noi,

they will very likely explore this spectrum

probabil vor explora acest spectru

in ways that we can't imagine,

în moduri pe care nu le putem imagina

and exceed us in ways that we can't imagine.

și ne depășesc în moduri inimaginabile.

And it's important to recognize that this is true by virtue of speed alone.

E important să recunoaștem că e adevărat în virtutea vitezei.

Right? So imagine if we just built a superintelligent AI

Imaginați-vă dacă am construi o IA superinteligentă

that was no smarter than your average team of researchers

care n-ar fi mai inteligentă decât echipa medie de cercetători

at Stanford or MIT.

de la Stanford sau MIT.

Well, electronic circuits function about a million times faster

Circuitele electronice funcționează de un milion de ori mai rapid

than biochemical ones,

decât cele biochimice,

so this machine should think about a million times faster

deci mașinăria ar trebui să gândească de un milion de ori mai rapid

than the minds that built it.

decât mințile care au construit-o.

So you set it running for a week,

Dacă o pornești pentru o săptămână

and it will perform 20,000 years of human-level intellectual work,

va face 20.000 de ani de muncă intelectuală la nivel uman,

week after week after week.

săptămână după săptămână.

How could we even understand, much less constrain,

Cum am putea să înțelegem, darămite să constrângem

a mind making this sort of progress?

o minte care face astfel de progrese?

The other thing that's worrying, frankly,

Celălalt lucru îngrijorător e următorul:

is that, imagine the best case scenario.

imaginați-vă cel mai bun scenariu posibil.

So imagine we hit upon a design of superintelligent AI

Imaginați-vă că dăm peste un design de IA superinteligentă

care nu are probleme de siguranță.

that has no safety concerns.

We have the perfect design the first time around.

Avem designul perfect din prima încercare.

It's as though we've been handed an oracle

E ca și cum ne-ar fi dat un oracol

that behaves exactly as intended.

care se comportă așa cum vrem.

Well, this machine would be the perfect labor-saving device.

Această mașinărie ar fi aparatul perfect de economisire a forței de muncă.

It can design the machine that can build the machine

Poate crea mașinăria care poate construi mașinăria

that can do any physical work,

care poate face orice muncă fizică,

powered by sunlight,

folosind energie solară,

more or less for the cost of raw materials.

aproape la costul materiilor prime.

So we're talking about the end of human drudgery.

Vorbim despre sfârșitul corvoadei umane.

We're also talking about the end of most intellectual work.

E și despre sfârșitul majorității muncii intelectuale.

So what would apes like ourselves do in this circumstance?

Ce ar face maimuțe ca noi în aceste circumstanțe?

Well, we'd be free to play Frisbee and give each other massages.

Am fi liberi să jucăm frisbee și să ne facem masaje.

Add some LSD and some questionable wardrobe choices,

Adăugați niște LSD și niște haine ciudate

and the whole world could be like Burning Man.

și toată lumea ar putea fi ca la Burning Man.

(Laughter)

(Râsete)

Now, that might sound pretty good,

Asta sună destul de bine,

but ask yourself what would happen

dar întrebați-vă ce s-ar întâmpla

under our current economic and political order?

în ordinea economică și politică actuală?

It seems likely that we would witness

Pare probabil că vom fi martorii

a level of wealth inequality and unemployment

unui nivel de inegalitate de avere și șomaj nemaivăzut.

that we have never seen before.

Absent a willingness to immediately put this new wealth

Fără voința de a pune această nouă avere

to the service of all humanity,

în serviciul umanității,

a few trillionaires could grace the covers of our business magazines

câțiva miliardari ar zâmbi pe copertele revistelor de afaceri

while the rest of the world would be free to starve.

în timp ce restul lumii ar muri de foame.

And what would the Russians or the Chinese do

Și ce ar face rușii sau chinezii

if they heard that some company in Silicon Valley

dacă ar auzi că o companie din Silicon Valley

was about to deploy a superintelligent AI?

ar fi pe cale să lanseze o IA superinteligentă?

This machine would be capable of waging war,

Această mașinărie ar fi capabilă să ducă un război,

whether terrestrial or cyber,

terestru sau cibernetic,

with unprecedented power.

cu o putere nemaivăzută.

E un scenariu în care câștigătorul ia tot.

This is a winner-take-all scenario.

To be six months ahead of the competition here

Să fii cu șase luni înaintea competiției

is to be 500,000 years ahead,

înseamnă să fii cu 500.000 de ani înainte,

at a minimum.

cel puțin.

So it seems that even mere rumors of this kind of breakthrough

Se pare că doar zvonurile despre acest fel de descoperire

could cause our species to go berserk.

ar putea să înnebunească specia noastră.

Now, one of the most frightening things,

Unul din cele mai înfricoșătoare lucruri

in my view, at this moment,

în acest moment, după părerea mea,

are the kinds of things that AI researchers say

sunt lucrurile pe care le spun cercetătorii IA

when they want to be reassuring.

când vor să ne liniștească.

And the most common reason we're told not to worry is time.

Cel mai comun motiv să nu ne îngrijorăm e timpul.

This is all a long way off, don't you know.

Se va întâmpla peste mult timp.

This is probably 50 or 100 years away.

Probabil peste 50 sau 100 de ani.

One researcher has said,

Un cercetător a spus:

"Worrying about AI safety

„Să vă îngrijorați din cauza IA

is like worrying about overpopulation on Mars."

e ca și cum v-ați îngrijora de suprapopulare pe Marte.”

This is the Silicon Valley version

Asta e versiunea de Silicon Valley

of "don't worry your pretty little head about it."

de „nu-ți bate căpșorul cu asta”.

(Laughter)

(Râsete)

No one seems to notice

Nimeni nu pare să observe

that referencing the time horizon

că referința la acea perioadă de timp

is a total non sequitur.

nu e logică.

If intelligence is just a matter of information processing,

Dacă inteligența e doar o problemă de procesare a informației

and we continue to improve our machines,

și noi continuăm să îmbunătățim mașinăriile,

we will produce some form of superintelligence.

vom produce o formă de superinteligență.

And we have no idea how long it will take us

Nu avem idee cât ne va lua

to create the conditions to do that safely.

să creăm condițiile de siguranță pentru asta.

Let me say that again.

Lăsați-mă să repet.

We have no idea how long it will take us

Nu avem idee cât ne va lua

to create the conditions to do that safely.

să creăm condițiile de siguranță pentru asta.

And if you haven't noticed, 50 years is not what it used to be.

Dacă nu ați observat, 50 de ani nu mai sunt ce-au fost.

This is 50 years in months.

Iată 50 de ani în luni.

This is how long we've had the iPhone.

De atâta timp avem iPhone.

This is how long "The Simpsons" has been on television.

De atâta timp The Simpsons rulează la televizor.

Fifty years is not that much time

50 de ani nu e un timp lung

to meet one of the greatest challenges our species will ever face.

pentru a rezolva una din cele mai mari provocări ale speciei noastre.

Once again, we seem to be failing to have an appropriate emotional response

Încă o dată, se pare că eșuăm să avem o reacție emoțională adecvată

to what we have every reason to believe is coming.

la ce va veni, foarte probabil.

The computer scientist Stuart Russell has a nice analogy here.

Informaticianul Stuart Russell are o analogie bună.

He said, imagine that we received a message from an alien civilization,

A spus: să ne imaginăm că am primit un mesaj de la o civilizație extraterestră

which read:

care zice:

"People of Earth,

„Oameni de pe Pământ,

we will arrive on your planet in 50 years.

vom veni pe planeta voastră în 50 de ani.

Get ready."

Pregătiți-vă.”

And now we're just counting down the months until the mothership lands?

Acum rămânem să numărăm lunile până aterizează nava?

We would feel a little more urgency than we do.

Am simți nevoia să facem ceva mai urgent.

Another reason we're told not to worry

Alt motiv pentru care ni se spune să nu ne îngrijorăm

is that these machines can't help but share our values

e că aceste mașinării pot să aibă doar aceleași valori ca noi

because they will be literally extensions of ourselves.

deoarece vor fi practic extensiile noastre.

They'll be grafted onto our brains,

Vor fi în creierele noastre

and we'll essentially become their limbic systems.

și noi vom deveni practic sistemele lor limbice.

Now take a moment to consider

Să ne gândim un moment

that the safest and only prudent path forward,

la calea de viitor cea mai sigură și prudentă,

recommended,

recomandată,

is to implant this technology directly into our brains.

e să implantăm tehnologia direct în creierele noastre.

Now, this may in fact be the safest and only prudent path forward,

Asta ar fi calea de viitor cea mai sigură și prudentă,

dar de obicei măsurile de siguranță ale unei tehnologii

but usually one's safety concerns about a technology

have to be pretty much worked out before you stick it inside your head.

trebuie să fie clarificate înainte de a ți-o pune în creier.

(Laughter)

(Râsete)

The deeper problem is that building superintelligent AI on its own

Problema mai delicată e că construcția unei IA superinteligente

seems likely to be easier

pare mai ușoară

than building superintelligent AI

decât a unei IA superinteligente

and having the completed neuroscience

și neuroștiința completă

that allows us to seamlessly integrate our minds with it.

care ne ajută să ne integrăm mintea cu aceasta.

And given that the companies and governments doing this work

Dat fiind că guvernele și companiile care lucrează la asta

are likely to perceive themselves as being in a race against all others,

probabil se cred într-o cursă împotriva tuturor,

given that to win this race is to win the world,

și câștigarea cursei înseamnă câștigarea lumii,

provided you don't destroy it in the next moment,

dacă nu o distrugem în clipa următoare,

then it seems likely that whatever is easier to do

pare probabil că ce e mai ușor de făcut

will get done first.

va fi făcut mai întâi.

Now, unfortunately, I don't have a solution to this problem,

Din păcate, nu am o soluție la această problemă,

apart from recommending that more of us think about it.

alta decât să vă recomand să vă gândiți la asta.

I think we need something like a Manhattan Project

Cred că ne trebuie un fel de Manhattan Project

on the topic of artificial intelligence.

pe subiectul IA.

Not to build it, because I think we'll inevitably do that,

Nu s-o construim, deoarece cred că inevitabil o vom face,

but to understand how to avoid an arms race

ci să înțelegem cum să evităm cursa înarmărilor

and to build it in a way that is aligned with our interests.

și să o construim într-un fel corespunzător valorilor noastre.

When you're talking about superintelligent AI

Când vorbiți despre IA superinteligentă,

that can make changes to itself,

care se poate schimba pe sine,

it seems that we only have one chance to get the initial conditions right,

se pare că avem doar o șansă să alegem condițiile inițiale corecte

and even then we will need to absorb

și chiar și atunci va trebui să absorbim

the economic and political consequences of getting them right.

consecințele economice și politice ale alegerii corecte.

But the moment we admit

Dar momentul în care admitem

that information processing is the source of intelligence,

că procesarea informației e sursa inteligenței,

that some appropriate computational system is what the basis of intelligence is,

că un sistem computațional adecvat e baza inteligenței,

and we admit that we will improve these systems continuously,

și admitem că vom îmbunătăți continuu aceste sisteme

and we admit that the horizon of cognition very likely far exceeds

și admitem că orizontul cogniției foarte probabil depășește

what we currently know,

ce știm noi acum,

then we have to admit

atunci trebuie să admitem

that we are in the process of building some sort of god.

că suntem în procesul de creare a unui fel de zeu.

Now would be a good time

Acum ar fi momentul potrivit

to make sure it's a god we can live with.

să ne asigurăm că e un zeu cu care putem trăi.

Thank you very much.

Vă mulțumesc mult.

(Applause)

(Aplauze)