The danger of AI is weirder than you think | Janelle Shane

Traduttore: Simona Donda Revisore: Silvia Allone

So, artificial intelligence

L’intelligenza artificiale è notoriamente capace

is known for disrupting all kinds of industries.

di sconvolgere tutte le industrie in cui entra in azione.

What about ice cream?

Che ne dite di applicarla al gelato?

What kind of mind-blowing new flavors could we generate

Che razza di nuovi, strabilianti sapori potremmo generare

with the power of an advanced artificial intelligence?

sfruttando un’intelligenza artificiale avanzata?

Ho collaborato con dei programmatori della Kealing Middle School

So I teamed up with a group of coders from Kealing Middle School

to find out the answer to this question.

per trovare la risposta a questa domanda.

They collected over 1,600 existing ice cream flavors,

Hanno raccolto oltre 1.600 gusti di gelato esistenti,

and together, we fed them to an algorithm to see what it would generate.

che abbiamo inserito in un algoritmo per vedere cosa avrebbe generato.

And here are some of the flavors that the AI came up with.

Ecco alcuni dei gusti creati dall’IA:

[Merenda di spazzatura alla zucca]

[Pumpkin Trash Break]

(Laughter)

(Risate)

[Peanut Butter Slime]

[Melma al burro di arachidi]

[Malattia alla crema di fragole]

[Strawberry Cream Disease]

(Laughter)

(Risate)

These flavors are not delicious, as we might have hoped they would be.

Non proprio le suggestioni invitanti che speravamo di ricevere.

So the question is: What happened?

La domanda sorge spontanea: cos’è successo?

What went wrong?

Che cosa è andato storto?

Is the AI trying to kill us?

L’IA sta cercando di ucciderci?

Or is it trying to do what we asked, and there was a problem?

O ha fatto quello che abbiamo chiesto, e si è verificato un problema?

In movies, when something goes wrong with AI,

Nei film, quando qualcosa va storto con l’IA,

it's usually because the AI has decided

di solito è perché l’IA stessa ha deciso

that it doesn't want to obey the humans anymore,

che non vuole più obbedire agli umani,

and it's got its own goals, thank you very much.

ma perseguire i propri obiettivi, e al diavolo tutti!

In real life, though, the AI that we actually have

Tuttavia, nella vita reale, l’IA di cui effettivamente disponiamo

is not nearly smart enough for that.

non è così intelligente da poterlo fare.

It has the approximate computing power

Ha approssimativamnte la potenza di calcolo di un lombrico,

of an earthworm,

or maybe at most a single honeybee,

o al massimo di una singola ape,

and actually, probably maybe less.

probabilmente anche meno.

Like, we're constantly learning new things about brains

Scopriamo continuamente cose nuove sul cervello umano,

that make it clear how much our AIs don't measure up to real brains.

che possiamo tranquillamente affermare non essere all’altezza di un’IA.

So today's AI can do a task like identify a pedestrian in a picture,

L’IA di oggi, quindi, identifica un pedone in una foto,

but it doesn't have a concept of what the pedestrian is

ma non ha idea di cosa sia un pedone

beyond that it's a collection of lines and textures and things.

al di là di un insieme di linee, trame ed altro.

It doesn't know what a human actually is.

Di fatto, non sa cosa sia un essere umano.

So will today's AI do what we ask it to do?

Quindi l’IA di oggi farà quello che le chiediamo di fare?

It will if it can,

Lo farà se potrà,

but it might not do what we actually want.

ma potrebbe non fare ciò che davvero vogliamo.

So let's say that you were trying to get an AI

Mettiamo che stiate cercando di indurre un'IA

to take this collection of robot parts

a prendere questo insieme di parti di robot

and assemble them into some kind of robot to get from Point A to Point B.

e assemblarli in una specie di robot per andare dal punto A al punto B.

Now, if you were going to try and solve this problem

Se voleste provare a risolvere questo problema

scrivendo un programma informatico in stile tradizionale,

by writing a traditional-style computer program,

you would give the program step-by-step instructions

fornireste al programma istruzioni dettagliate

on how to take these parts,

su come prendere queste parti,

how to assemble them into a robot with legs

assemblarle in un robot con le gambe

and then how to use those legs to walk to Point B.

e infine usare queste gambe per raggiungere il punto B.

But when you're using AI to solve the problem,

Ma quando usate l’IA per risolvere il problema,

it goes differently.

le cose vanno diversamente.

Non le spiegate come risolvere il problema:

You don't tell it how to solve the problem,

you just give it the goal,

le date solo l'obiettivo,

and it has to figure out for itself via trial and error

e sarà lei a capire da sola, attraverso tentativi ed errori,

how to reach that goal.

come raggiungere quell’obiettivo.

And it turns out that the way AI tends to solve this particular problem

Si scopre così che l’IA tende a risolvere questo particolare problema

is by doing this:

facendo così:

it assembles itself into a tower and then falls over

assembla se stessa in una torre, fino a cadere e atterrare sul punto B.

and lands at Point B.

And technically, this solves the problem.

Tecnicamente, questo risolve il problema.

Technically, it got to Point B.

Teoricamente, ha raggiunto il punto B.

The danger of AI is not that it's going to rebel against us,

La minaccia dell’IA non è data dal fatto che questa possa ribellarsi a noi,

it's that it's going to do exactly what we ask it to do.

ma piuttosto che faccia esattamente quello che le chiediamo di fare.

So then the trick of working with AI becomes:

Per lavorare con l’IA, quindi, la vera questione diventa:

How do we set up the problem so that it actually does what we want?

come possiamo impostare il problema in modo che faccia ciò che vogliamo?

So this little robot here is being controlled by an AI.

Questo piccolo robot è controllato da un’intelligenza artificiale.

The AI came up with a design for the robot legs

L’IA ha elaborato una struttura per le gambe del robot

and then figured out how to use them to get past all these obstacles.

e ha immaginato come muoverle per farle superare tutti quegli ostacoli.

But when David Ha set up this experiment,

Ma quando David Ha ha avviato questo esperimento,

he had to set it up with very, very strict limits

ha dovuto stabilire dei limiti severissimi

on how big the AI was allowed to make the legs,

entro i quali all’IA era permesso realizzare le gambe,

because otherwise ...

perché altrimenti...

(Laughter)

(Risate)

And technically, it got to the end of that obstacle course.

E tecnicamente, è arrivata alla fine di quella corsa ad ostacoli.

So you see how hard it is to get AI to do something as simple as just walk.

Vedete quanto è difficile far fare all’IA una cosa semplice come camminare.

So seeing the AI do this, you may say, OK, no fair,

Vedendo l’IA fare tutto questo, potreste pensare: "Ok, non va bene,

you can't just be a tall tower and fall over,

non puoi pensare di essere una torre alta e cadere;

you have to actually, like, use legs to walk.

devi usare le gambe per camminare.

And it turns out, that doesn't always work, either.

Ma a quanto pare, neanche questo sempre funziona.

This AI's job was to move fast.

Il compito di questa IA era muoversi velocemente.

Non le hanno detto che doveva correre guardando avanti,

They didn't tell it that it had to run facing forward

or that it couldn't use its arms.

o che non poteva utilizzare le braccia.

So this is what you get when you train AI to move fast,

Questo è ciò che ottenete se istruite l’IA a muoversi velocemente,

you get things like somersaulting and silly walks.

cose tipo capriole o camminate strambe.

It's really common.

È molto frequente.

So is twitching along the floor in a heap.

Lo è anche ammucchiarsi sul pavimento muovendosi a scatti.

(Laughter)

(Risate)

Quindi, secondo me, sapete cosa sarebbe stato ancora più strano?

So in my opinion, you know what should have been a whole lot weirder

Il robot “Terminator”.

is the "Terminator" robots.

Hacking "The Matrix" is another thing that AI will do if you give it a chance.

Modificare “The Matrix” è un’altra cosa che l’IA farà, potendo.

So if you train an AI in a simulation,

Se addestrate un’IA in una simulazione,

it will learn how to do things like hack into the simulation's math errors

imparerà ad accedere agli errori di matematica della simulazione

and harvest them for energy.

e a farne tesoro per avere energia.

Or it will figure out how to move faster by glitching repeatedly into the floor.

Oppure capirà come andare più veloce muovendosi a scatti sul pavimento.

When you're working with AI,

Lavorare con l’IA

è diverso dal lavorare con un altro essere umano:

it's less like working with another human

and a lot more like working with some kind of weird force of nature.

e più simile al lavorare con una strana forza della natura.

And it's really easy to accidentally give AI the wrong problem to solve,

È molto facile darle accidentalmente il problema sbagliato da risolvere,

and often we don't realize that until something has actually gone wrong.

e spesso non ce ne rendiamo conto finché qualcosa non va storto.

Ecco un esperimento che ho fatto,

So here's an experiment I did,

where I wanted the AI to copy paint colors,

in cui volevo che l’IA copiasse i colori della vernice,

to invent new paint colors,

per inventarne di nuovi,

given the list like the ones here on the left.

prendendoli dalla lista di quelli qui a sinistra.

And here's what the AI actually came up with.

Ed ecco quello che l’IA ha effettivamente creato:

[Sindis Poop, Turdly, Suffer, Gray Pubic]

"Pupù Sindhi, Merdolino, Sofferenza, Grigio Pubico"

(Laughter)

(Risate)

Quindi, tecnicamente,

So technically,

it did what I asked it to.

ha fatto quello che le ho chiesto.

I thought I was asking it for, like, nice paint color names,

Io pensavo di averle chiesto dei nomi di colori di vernice carini,

but what I was actually asking it to do

ma in realtà quello che stavo chiedendo

was just imitate the kinds of letter combinations

era solo di imitare il tipo di combinazioni di lettere

that it had seen in the original.

che aveva visto nell’originale.

And I didn't tell it anything about what words mean,

Non le ho detto nulla sul significato delle parole,

or that there are maybe some words

o che ci siano forse delle parole

that it should avoid using in these paint colors.

che dovrebbe evitare di utilizzare per questi colori di vernice.

So its entire world is the data that I gave it.

Perciò, le informazioni che le ho dato rappresentano tutto il suo mondo.

Like with the ice cream flavors, it doesn't know about anything else.

Come con i gusti del gelato, l'IA non conosce nient’altro.

So it is through the data

È con le informazioni

that we often accidentally tell AI to do the wrong thing.

che spesso istruiamo l’IA, senza volerlo, a fare la cosa sbagliata.

This is a fish called a tench.

Questo è un pesce chiamato tinca.

And there was a group of researchers

C’è stato un gruppo di ricercatori

who trained an AI to identify this tench in pictures.

che ha addestrato un’IA a riconoscere questa tinca nelle foto.

But then when they asked it

Ma quando le hanno chiesto

what part of the picture it was actually using to identify the fish,

quale parte dell'immagine stesse usando per identificare il pesce,

here's what it highlighted.

questo è quello che ha evidenziato.

Yes, those are human fingers.

Sì, quelle sono dita umane.

Why would it be looking for human fingers

Perché dovrebbe cercare dita umane, se sta cercando di identificare un pesce?

if it's trying to identify a fish?

Well, it turns out that the tench is a trophy fish,

Beh, è emerso che la tinca è un trofeo di pesca,

and so in a lot of pictures that the AI had seen of this fish

e in molte delle immagini di tinca usate per allenare l’IA

during training,

the fish looked like this.

il pesce appariva così.

(Laughter)

(Risate)

And it didn't know that the fingers aren't part of the fish.

E non sapeva che le dita non facessero parte del pesce.

So you see why it is so hard to design an AI

Capite quindi quanto è difficile progettare un'IA

that actually can understand what it's looking at.

che riesca davvero a comprendere cosa sta guardando.

And this is why designing the image recognition

Per questo progettare il riconoscimento delle immagini,

in self-driving cars is so hard,

in automobili a guida autonoma, è così difficile;

and why so many self-driving car failures

e per questo tanti insuccessi delle auto senza conducente

are because the AI got confused.

sono dovuti al fatto che l’IA si confonde.

I want to talk about an example from 2016.

Vorrei citare un esempio del 2016.

There was a fatal accident when somebody was using Tesla's autopilot AI,

Ci fu un incidente mortale durante l’uso del pilota automatico di una Tesla;

but instead of using it on the highway like it was designed for,

invece di usarlo in autostrada, per cui era stato progettato,

they used it on city streets.

fu usato per le strade di città.

And what happened was,

Un camion sbucò di fronte all’auto, e questa non frenò.

a truck drove out in front of the car and the car failed to brake.

Now, the AI definitely was trained to recognize trucks in pictures.

L’IA era stata sicuramente istruita a riconoscere i camion nelle immagini.

But what it looks like happened is

Ma a quanto pare,

the AI was trained to recognize trucks on highway driving,

l’IA era stata istruita a riconoscere i camion in autostrada,

where you would expect to see trucks from behind.

dove ci si aspetta di vedere i camion arrivare da dietro, non di lato.

Trucks on the side is not supposed to happen on a highway,

and so when the AI saw this truck,

E così, quando l’IA ha visto il camion,

it looks like the AI recognized it as most likely to be a road sign

sembra che l’abbia identificato come più simile ad un cartello stradale,

and therefore, safe to drive underneath.

sicura di potergli passare sotto.

Ecco un altro passo falso dell’IA, in un altro settore.

Here's an AI misstep from a different field.

Amazon recently had to give up on a résumé-sorting algorithm

Amazon ha recentemente rinunciato a un algoritmo di selezione di curricula,

that they were working on

su cui stava lavorando,

when they discovered that the algorithm had learned to discriminate against women.

quando ha scoperto che l’algoritmo aveva imparato a discriminare le donne.

Si è scoperto che l’avevano istruito basandosi su modelli di curricula

What happened is they had trained it on example résumés

of people who they had hired in the past.

di persone assunte in passato.

And from these examples, the AI learned to avoid the résumés of people

Da questi esempi, l’IA ha imparato ad evitare i cv

delle persone che avevano frequentato università femminili,

who had gone to women's colleges

or who had the word "women" somewhere in their resume,

o che avevano la parola "donne" da qualche parte nei loro cv,

as in, "women's soccer team" or "Society of Women Engineers."

come in "Squadra di Calcio delle Donne" o "Società delle Donne Ingegnere".

The AI didn't know that it wasn't supposed to copy this particular thing

L’IA non sapeva di dover correggere questa discriminazione appresa da noi.

that it had seen the humans do.

And technically, it did what they asked it to do.

Tecnicamente, ha fatto quello che le hanno chiesto di fare.

Le hanno semplicemente chiesto, per caso, di fare la cosa sbagliata.

They just accidentally asked it to do the wrong thing.

And this happens all the time with AI.

E questo accade di continuo, con l’IA.

L’IA può essere davvero dannosa senza rendersene conto.

AI can be really destructive and not know it.

So the AIs that recommend new content in Facebook, in YouTube,

Perciò le IA che raccomandano nuovi contenuti su Facebook, su YouTube,

they're optimized to increase the number of clicks and views.

sono ottimizzate per accrescere il numero di click e visualizzazioni.

And unfortunately, one way that they have found of doing this

E un modo che hanno trovato per riuscirci, sfortunatamente,

is to recommend the content of conspiracy theories or bigotry.

è di raccomandare i contenuti di complottismo e bigottismo.

The AIs themselves don't have any concept of what this content actually is,

Le IA stesse non hanno alcuna idea di cosa sia realmente quel contenuto,

and they don't have any concept of what the consequences might be

e non hanno alcuna idea di quali possano essere le conseguenze,

of recommending this content.

nel raccomandarlo.

So, when we're working with AI,

Quando lavoriamo con un’IA, quindi,

it's up to us to avoid problems.

sta a noi evitare i problemi.

And avoiding things going wrong,

Ed evitare che le cose vadano male,

that may come down to the age-old problem of communication,

il che in sostanza ci riporta all'annoso problema della comunicazione,

where we as humans have to learn how to communicate with AI.

per cui noi umani dobbiamo imparare a comunicare con l’IA.

We have to learn what AI is capable of doing and what it's not,

Dobbiamo imparare cosa l’IA sa fare bene e cosa no

and to understand that, with its tiny little worm brain,

e capire che, con il suo minuscolo cervello da vermiciattolo,

AI doesn't really understand what we're trying to ask it to do.

l’IA non capisce che cosa le stiamo chiedendo di fare.

So in other words, we have to be prepared to work with AI

Dobbiamo imparare, in altre parole, a saper lavorare con l’IA "vera",

that's not the super-competent, all-knowing AI of science fiction.

che non è l’IA super competente e onnisciente della fantascienza.

We have to be prepared to work with an AI

Dobbiamo essere preparati a lavorare con l’IA che abbiamo oggi.

that's the one that we actually have in the present day.

And present-day AI is plenty weird enough.

E allo stato attuale, l'IA è già bizzarra a sufficienza.

Thank you.

Grazie.

(Applause)

(Applausi)