The danger of AI is weirder than you think | Janelle Shane

Traducător: Danut Vornicu Corector: Mirel-Gabriel Alexa

So, artificial intelligence

Deci, inteligența artificială

is known for disrupting all kinds of industries.

e cunoscută pentru perturbarea multor tipurilor de industrii.

What about ice cream?

Dar cum rămâne cu înghețata?

What kind of mind-blowing new flavors could we generate

Ce fel de arome năucitoare noi am putea să generăm

with the power of an advanced artificial intelligence?

cu puterea unei inteligențe artificiale avansate?

So I teamed up with a group of coders from Kealing Middle School

Am făcut echipă cu un grup de programatori de la Kealing Middle School

to find out the answer to this question.

pentru a afla răspunsul la această întrebare.

They collected over 1,600 existing ice cream flavors,

Au colectat peste 1.600 de arome existente de înghețată,

and together, we fed them to an algorithm to see what it would generate.

pe care le-am introdus într-un algoritm pentru a vedea ce va genera.

And here are some of the flavors that the AI came up with.

Iată câteva dintre aromele pe care le-a generat IA.

[Pumpkin Trash Break]

[Gunoi de Dovleac Crăpat]

(Laughter)

(Râsete)

[Peanut Butter Slime]

[Mocirlă de Unt de Arahide]

[Strawberry Cream Disease]

[Boală de Cremă de Căpșuni]

(Laughter)

(Râsete)

These flavors are not delicious, as we might have hoped they would be.

Aceste arome nu sunt delicioase, așa cum am fi sperat că vor fi.

So the question is: What happened?

Deci, întrebarea e: ce s-a întâmplat?

What went wrong?

Ce a mers rău?

Is the AI trying to kill us?

Încearcă IA să ne omoare?

Or is it trying to do what we asked, and there was a problem?

Sau încearcă să facă ceea ce i-am cerut, dar a existat o problemă?

In movies, when something goes wrong with AI,

În filme, când ceva nu merge bine cu IA,

it's usually because the AI has decided

este de obicei pentru că IA a decis

that it doesn't want to obey the humans anymore,

că nu mai vrea să se supună oamenilor,

and it's got its own goals, thank you very much.

și are propriile ei obiective, mulțumesc foarte mult.

In real life, though, the AI that we actually have

În viața reală însă, IA pe care o avem de fapt

is not nearly smart enough for that.

nu este destul de inteligentă pentru asta.

It has the approximate computing power

Are puterea de calcul aproximativă

of an earthworm,

cu a unui vierme de pământ,

or maybe at most a single honeybee,

sau poate cel mult cu a unei singure albine,

and actually, probably maybe less.

și de fapt, probabil poate mai puțin.

Like, we're constantly learning new things about brains

Învățăm constant lucruri noi despre creier

that make it clear how much our AIs don't measure up to real brains.

care clarifică faptul că IA nu poate concura cu creierele reale.

So today's AI can do a task like identify a pedestrian in a picture,

IA curentă poate realiza identificarea unui pieton dintr-o imagine,

but it doesn't have a concept of what the pedestrian is

dar nu are un concept despre ce este pietonul

beyond that it's a collection of lines and textures and things.

dincolo de faptul că este o colecție de linii, texturi și lucruri.

It doesn't know what a human actually is.

Nu știe ce este de fapt un om.

So will today's AI do what we ask it to do?

Deci, IA din zilele noastre va face ceea ce îi cerem să facă?

It will if it can,

O va face dacă va putea,

but it might not do what we actually want.

dar s-ar putea să nu facă ceea ce ne dorim de fapt.

So let's say that you were trying to get an AI

Deci, să spunem că încercați să faceți IA

to take this collection of robot parts

să ia aceste părți ale unui robot

and assemble them into some kind of robot to get from Point A to Point B.

și să le asambleze într-un fel de robot pentru a merge din punctul A în punctul B.

Now, if you were going to try and solve this problem

Dacă ați încerca să rezolvați această problemă

by writing a traditional-style computer program,

prin scrierea unui program în stil tradițional,

you would give the program step-by-step instructions

îi veți da programului instrucțiuni pas cu pas,

on how to take these parts,

despre cum să ia aceste părți,

how to assemble them into a robot with legs

cum să le asambleze într-un robot cu picioare

and then how to use those legs to walk to Point B.

și apoi cum să folosească acele picioare pentru a merge până în punctul B.

But when you're using AI to solve the problem,

Dar când utilizați IA pentru a rezolva problema,

it goes differently.

e diferit.

You don't tell it how to solve the problem,

Nu îi spuneți cum să rezolve problema,

you just give it the goal,

îi dați doar obiectivul,

and it has to figure out for itself via trial and error

și trebuie să-și dea seama singură prin încercări și greșeli

how to reach that goal.

cum să atingă acel obiectiv.

And it turns out that the way AI tends to solve this particular problem

Și se dovedește că modul în care IA tinde să rezolve această problemă specifică

is by doing this:

este făcând astfel:

it assembles itself into a tower and then falls over

le asamblează într-un turn care apoi cade

and lands at Point B.

și aterizează în punctul B.

And technically, this solves the problem.

Și practic, asta rezolvă problema.

Technically, it got to Point B.

Practic, a ajuns în punctul B.

The danger of AI is not that it's going to rebel against us,

Pericolul IA nu este că se va revolta împotriva noastră,

it's that it's going to do exactly what we ask it to do.

ci că va face exact ceea ce îi cerem să facă.

So then the trick of working with AI becomes:

Atunci întrebarea devine:

How do we set up the problem so that it actually does what we want?

cum să formulăm problema astfel încât să facă exact ce ne dorim?

So this little robot here is being controlled by an AI.

Deci, acest mic robot de aici este controlat de IA.

The AI came up with a design for the robot legs

IA a creat un design pentru picioarele robotului

and then figured out how to use them to get past all these obstacles.

și apoi a înțeles cum să le folosească pentru a trece peste toate obstacolele.

But when David Ha set up this experiment,

Dar când David Ha a creat acest experiment,

he had to set it up with very, very strict limits

a trebuit să-l stabilească cu limite foarte, foarte stricte

on how big the AI was allowed to make the legs,

despre cât de mari i-a fost permis IA să facă picioarele,

because otherwise ...

pentru că altfel...

(Laughter)

(Râsete)

And technically, it got to the end of that obstacle course.

Și tehnic vorbind, a ajuns la sfârșitul acelei curse cu obstacole.

So you see how hard it is to get AI to do something as simple as just walk.

Vedeți cât de greu e să faceți IA să facă ceva simplu ca mersul.

So seeing the AI do this, you may say, OK, no fair,

Deci, văzând că IA face asta, e posibil să spuneți: bine, dar nu e corect.

you can't just be a tall tower and fall over,

Nu poate fi înalt cât un turn și doar să cadă,

you have to actually, like, use legs to walk.

trebuie să-și folosească picioarele pentru a merge.

And it turns out, that doesn't always work, either.

Și se pare că nici asta nu funcționează întotdeauna.

This AI's job was to move fast.

Scopul acestei IA a fost să se miște repede.

They didn't tell it that it had to run facing forward

Nu i-au spus că trebuie să meargă înainte

or that it couldn't use its arms.

sau că nu-și putea folosi brațele.

So this is what you get when you train AI to move fast,

Asta obțineți atunci când antrenați IA pentru a se deplasa rapid,

you get things like somersaulting and silly walks.

obțineți tumbe sau mers ciudat.

It's really common.

Este ceva foarte comun.

So is twitching along the floor in a heap.

La fel e și târâirea de-a lungul podelei.

(Laughter)

(Râsete)

So in my opinion, you know what should have been a whole lot weirder

În opinia mea, ce ar putea fi mult mai ciudat

is the "Terminator" robots.

sunt roboții „Terminator”.

Hacking "The Matrix" is another thing that AI will do if you give it a chance.

Spargerea „Matrix-ului” e un alt lucru pe care IA îl va face dacă-i dați șansa.

So if you train an AI in a simulation,

Deci, dacă antrenați o IA într-o simulare,

it will learn how to do things like hack into the simulation's math errors

va învăța să facă lucruri precum folosirea erorilor matematice ale simulării

and harvest them for energy.

și să le recolteze pentru energie.

Or it will figure out how to move faster by glitching repeatedly into the floor.

Sau va învăța cum să se miște mai repede aruncându-se în mod repetat pe podea.

When you're working with AI,

Când lucrați cu IA,

it's less like working with another human

e mai puțin ca și cum ați lucra cu alt om

and a lot more like working with some kind of weird force of nature.

și mai mult ca și cum ați lucra cu un fel de forță ciudată a naturii.

And it's really easy to accidentally give AI the wrong problem to solve,

Și e foarte ușor să-i dați IA problema greșită spre rezolvare,

and often we don't realize that until something has actually gone wrong.

și de multe ori nu ne dăm seama de asta până când ceva nu a mers greșit.

So here's an experiment I did,

Iată un experiment pe care l-am făcut,

where I wanted the AI to copy paint colors,

unde am vrut ca IA să copieze culorile,

to invent new paint colors,

și să inventeze noi culori,

given the list like the ones here on the left.

având în vedere o listă precum cea din stânga.

And here's what the AI actually came up with.

Și iată cu ce a venit IA.

[Sindis Poop, Turdly, Suffer, Gray Pubic]

[Sindis Poop, Turdly, Suffer, Grey Pubic]

(Laughter)

(Râsete)

So technically,

Deci tehnic,

it did what I asked it to.

a făcut ceea ce i-am cerut.

I thought I was asking it for, like, nice paint color names,

Am crezut că i-am cerut, nume frumoase de culori,

but what I was actually asking it to do

dar ceea ce i-am cerut de fapt

was just imitate the kinds of letter combinations

a fost doar să imite tipurile de combinații de litere

that it had seen in the original.

pe care le văzuse în original.

And I didn't tell it anything about what words mean,

Și nu i-am spus nimic despre ce înseamnă acele cuvinte,

or that there are maybe some words

sau că există poate câteva cuvinte

that it should avoid using in these paint colors.

cărora ar trebui să le evite utilizarea în aceste culori.

So its entire world is the data that I gave it.

Deci întreaga ei lume sunt datele pe care i le-am dat.

Like with the ice cream flavors, it doesn't know about anything else.

Ca și în cazul aromelor de înghețată, nu știe nimic altceva.

So it is through the data

Deci, prin intermediul datelor

that we often accidentally tell AI to do the wrong thing.

deseori îi spunem accidental IA să facă un lucru greșit.

This is a fish called a tench.

Acesta este un pește numit lin.

And there was a group of researchers

Și a existat un grup de cercetători

who trained an AI to identify this tench in pictures.

care au instruit IA pentru a identifica acest lin în imagini.

But then when they asked it

Dar atunci când au întrebat-o

what part of the picture it was actually using to identify the fish,

ce parte a imaginii folosea pentru identificarea peștilor,

here's what it highlighted.

iată ce a răspuns.

Yes, those are human fingers.

Da, acestea sunt degete umane.

Why would it be looking for human fingers

De ce ar fi căutat degete umane

if it's trying to identify a fish?

dacă încearcă să identifice un pește?

Well, it turns out that the tench is a trophy fish,

Ei bine, s-a descoperit că lin-ul este un pește trofeu,

and so in a lot of pictures that the AI had seen of this fish

și astfel, într-o mulțime de poze pe care IA le-a văzut cu acest pește

during training,

în timpul antrenamentului,

the fish looked like this.

peștele arăta așa.

(Laughter)

(Râsete)

And it didn't know that the fingers aren't part of the fish.

Și nu știa că degetele nu fac parte din pește.

So you see why it is so hard to design an AI

Așa că vedeți de ce e atât de greu să construiești o IA

that actually can understand what it's looking at.

care poate înțelege ce privește.

And this is why designing the image recognition

De asta realizarea recunoașterii imaginilor

in self-driving cars is so hard,

în mașinile fără șofer e atât de grea,

and why so many self-driving car failures

și de ce atâtea defecțiuni ale autovehiculului

are because the AI got confused.

au loc pentru că IA s-a zăpăcit.

I want to talk about an example from 2016.

Vreau să vorbesc despre un exemplu din 2016.

There was a fatal accident when somebody was using Tesla's autopilot AI,

A avut loc un accident mortal când cineva a folosit o Tesla pilotată de o IA,

but instead of using it on the highway like it was designed for,

dar în loc să o folosească pe autostradă așa cum a fost proiectată,

they used it on city streets.

au folosit-o pe străzile orașului.

And what happened was,

Și ce s-a întâmplat a fost

a truck drove out in front of the car and the car failed to brake.

că un camion a trecut prin fața mașinii, iar mașina nu a frânat.

Now, the AI definitely was trained to recognize trucks in pictures.

IA a fost cu siguranță instruită să recunoască camioanele în imagini.

But what it looks like happened is

Dar ceea ce pare să se fi întâmplat

the AI was trained to recognize trucks on highway driving,

e că IA a fost instruită să recunoască camioanele pe autostradă,

where you would expect to see trucks from behind.

unde te-ai aștepta să vezi camioanele din spate.

Trucks on the side is not supposed to happen on a highway,

Venirea camioanelor din lateral nu e de așteptat pe o autostradă,

and so when the AI saw this truck,

și atunci când IA a văzut acest camion,

it looks like the AI recognized it as most likely to be a road sign

l-a recunoscut ca fiind cel mai probabil un semn rutier

and therefore, safe to drive underneath.

și, prin urmare, în regulă să treci pe sub el.

Here's an AI misstep from a different field.

Iată o greșeală a IA dintr-un alt domeniu.

Amazon recently had to give up on a résumé-sorting algorithm

Recent Amazon a trebuit să renunțe la un algoritm de sortare a CV-urilor

that they were working on

cu care lucrau

when they discovered that the algorithm had learned to discriminate against women.

când au descoperit că algoritmul învățase să discrimineze femeile.

Ceea ce s-a întâmplat a fost că au instruit-o pe exemple de CV-uri

What happened is they had trained it on example résumés

of people who they had hired in the past.

ale oamenilor pe care îi angajaseră în trecut.

And from these examples, the AI learned to avoid the résumés of people

Și din aceste exemple, IA a învățat să evite CV-urile persoanelor

who had gone to women's colleges

care au învățat în licee de fete

or who had the word "women" somewhere in their resume,

sau cele care aveau cuvântul „femeie” undeva în CV-ul lor,

as in, "women's soccer team" or "Society of Women Engineers."

ca în „echipa de fotbal feminin” sau „Societatea Femeilor Inginer.”

The AI didn't know that it wasn't supposed to copy this particular thing

IA nu știa că nu trebuia să copieze acest lucru

that it had seen the humans do.

așa cum i-a văzut pe oameni că fac.

And technically, it did what they asked it to do.

Și tehnic, a făcut ce i-au cerut să facă.

They just accidentally asked it to do the wrong thing.

I-au cerut din greșeală să facă un lucru greșit.

And this happens all the time with AI.

Și acest lucru se întâmplă tot timpul cu IA.

AI can be really destructive and not know it.

IA poate fi cu adevărat distructivă fără să știe.

So the AIs that recommend new content in Facebook, in YouTube,

Deci, IA care recomandă conținut nou pe Facebook, pe YouTube,

they're optimized to increase the number of clicks and views.

e optimizată pentru a crește numărul de clicuri și vizualizări.

And unfortunately, one way that they have found of doing this

Și, din păcate, un mod prin care fac asta

is to recommend the content of conspiracy theories or bigotry.

e prin recomandarea unui conținut conspiraționist sau bigot.

The AIs themselves don't have any concept of what this content actually is,

IA în sine nu înțelege ce e acest conținut,

and they don't have any concept of what the consequences might be

și nu, nu înțelege nici care ar putea fi consecințele

of recommending this content.

recomandării acestui tip de conținut.

So, when we're working with AI,

Deci, atunci când lucrăm cu IA,

it's up to us to avoid problems.

depinde de noi să evităm probleme.

And avoiding things going wrong,

Și evitând ca lucrurile să nu meargă bine,

that may come down to the age-old problem of communication,

asta ar putea să ne ducă la vechea problemă de comunicare,

where we as humans have to learn how to communicate with AI.

unde noi, ca oameni, trebuie să învățăm cum să comunicăm cu IA.

We have to learn what AI is capable of doing and what it's not,

Trebuie să învățăm ce e capabilă să facă IA și ce nu e,

and to understand that, with its tiny little worm brain,

și să înțelegem că având un creier mic de vierme,

AI doesn't really understand what we're trying to ask it to do.

IA nu înțelege cu adevărat ce încercăm să-i cerem să facă.

So in other words, we have to be prepared to work with AI

Deci, cu alte cuvinte, trebuie să fim pregătiți să lucrăm cu IA

that's not the super-competent, all-knowing AI of science fiction.

care nu e acea IA super competentă, atotștiutoare a științifico-fantasticului.

We have to be prepared to work with an AI

Trebuie să ne pregătim să lucrăm cu IA

that's the one that we actually have in the present day.

pe care o avem de fapt în zilele noastre.

And present-day AI is plenty weird enough.

Iar IA actuală este destul de ciudată.

Thank you.

Vă mulțumesc!

(Applause)

(Aplauze)