Entertainment Is Getting an AI Upgrade | Kylan Gibbs | TED

Traduttore: Federica Giannetta Revisore: Gabriella Patricola

When I was ten,

A 10 anni

I spent a lot of time playing with my Spider-Man action figures.

passavo tanto tempo a giocare con le mie bambole di Spider-Man.

I would have done anything for them to come to life.

Avrei fatto qualunque cosa perché prendessero vita.

I honestly would take Gandalf over any therapist,

Portavo con me Gandalf dallo psicologo,

but it's been pretty hard to connect with the guy

ma era difficile riconnettermi con lui

since I long ago finished all of Tolkien's works and movies.

avendo finito tutte le opere di Tolkien tempo prima.

Why is it that we have to say goodbye on the final page?

Perché dobbiamo dirci addio all’ultima pagina?

We may not need to.

Forse non dobbiamo più.

Stories are changing,

Le storie stanno cambiando,

moving from static sketches and scripted narratives

passando da sketch monotoni e da narrazioni da copione

to living worlds and characters.

a mondi e personaggi viventi.

AI agents are changing the way we can tell stories.

Gli agenti di IA stanno cambiando il modo di raccontare storie.

These agents aren't just chat bots,

Questi agenti non sono solo chat bot,

they're any autonomous system that can take a directive or task

ma sistemi autonomi che possono eseguire ordini o mansioni

and accomplish it without human intervention.

senza l’intervento umano.

Virtual assistants like a ChatGPT,

Assistenti virtuali come ChatGPT,

autonomous vehicles like a Waymo or Tesla,

veicoli autonomi come Waymo e Tesla,

robots moving boxes in an Amazon warehouse.

i robot nei magazzini di Amazon.

These are all agents,

Sono tutti agenti,

but now they're changing storytelling too.

ma stanno cambiando il modo di raccontare storie.

We can bring together the active participation of video games

Possiamo unire la partecipazione attiva dei videogiochi

with a much more natural social form of interaction,

a una forma d’interazione molto più naturale e sociale,

enabled by AI agents.

grazie agli agenti di IA.

I want to show you a hint of what I mean.

Voglio farvi vedere cosa intendo.

Characters that come to life with their own personality,

I personaggi prendono vita con la loro personalità,

styles, voices and expression,

il loro stile, voci ed espressioni,

while still being able to interact with one another,

mantenendo la loro capacità di interagire tra di loro,

the audience and the environment.

con il pubblico e l’ambiente.

These interactions that you're going to see are not scripted,

Le interazioni che vedrete non vengono da un copione,

many of them filmed over the last few days

molte sono state girate qualche giorno fa

here at TED and in Vancouver.

qui a Vancouver.

Anyways, meet Caleb.

Comunque, questo è Caleb.

(Video) Caleb: Oh, hey, Grandma.

Ciao, nonna.

Welcome to my secret attic hideout.

Benvenuta al mio nascondiglio segreto.

Grandma: What's Mr. Moose doing there?

Cosa ci fa lì il signor Alce?

Caleb: That's actually Brother Moose, not Mr. Moose.

In realtà Fratello Alce, non il signor Alce.

He's like, the wise old moose who gives me advice and stuff.

È l’alce vecchia e saggia che mi dà consigli e cose così.

Oh, by the way, thanks for showing me your old superhero action figure, Grandma.

Ah, comunque,

grazie per avermi fatto vedere la tua vecchia action figure, nonna.

It's, like, totally awesome.

È pazzesca.

What's its name?

Come si chiama?

Grandma: Mighty Squirrel.

Super Scoiattolo.

Caleb: Really?

Davvero?

Grandma: Yes.

- Sì. - Wow, è fantastico.

Caleb: Wow, that's so awesome.

A squirrel with super powers.

Uno scoiattolo coi superpoteri.

That's nuts.

Mica noccioline.

Capito?

Get it?

Nuts?

Noccioline.

Like what squirrels eat.

Quelle che mangiano gli scoiattoli.

I bet Mighty Squirrel had some epic battles with evil acorns.

Scommetto che ha avuto degli scontri epici contro le ghiande cattive.

Kylan Gibbs: By having that real-time responsiveness,

Con la sua reattività in tempo reale,

Caleb makes the audience feel seen and heard,

lo spettatore con Caleb si sente ascoltato,

as if they're all inhabiting the shared space.

come se fossero nello stesso posto.

And it isn't just any audience, that's actually my amazing grandma.

Non era uno spettatore qualsiasi, era la mia fantastica nonna.

The characters can also come together with one another

I personaggi possono interagire l’uno con l’altro,

and take ideas from the audience and improvise new content on the fly.

prendere idee dallo spettatore e improvvisare dialoghi sul momento.

(Toy robot beeping)

(Il giocattolo robot suona)

(Video) Robot: Ready for action!

- Pronto all’azione! - Wow!

Caleb: Whoa!

Robot: Oof! That didn't go well.

Uffa, non è andata bene.

My arm is acting up.

Il mio braccio fa i capricci.

Villains, beware!

Cattivi, state attenti!

Ops.

Oops.

Caleb: Grandma, can we fix the Mighty Squirrel's arm?

Nonna, possiamo aggiustare il braccio di Super Scoiattolo?

Grandma: Sure.

Certo.

Pick it up and put it back on his arm.

Raccoglilo e rimettilo a posto.

Caleb: Yeah.

Sì. Adesso ti aggiusto, Super Scoiattolo.

I'll fix you up, Mighty Squirrel.

Your arm is broken.

Il tuo braccio si è rotto.

Grandma: He got it caught in a washing machine.

Gli si è rotto nella lavatrice.

Caleb: Ha, ha! You fought against the evil washing machine,

Hai combattuto contro la lavatrice cattiva, Fiore Magico.

Magic flower.

How did the action figure break its arm?

Come ha fatto la bambola a rompersi il braccio?

Grandma: He fell in some water full of alligators.

È caduta in acque piene di alligatori.

Robot: Oh, you know, just your average superhero stuff.

Sai, cose che fanno i supereroi.

I was on a mission to save a city from a giant alligator,

Ero in missione per salvare la città da un gigantesco alligatore

and I fell into the water.

e sono caduto in acqua.

But don't worry, I still saved the day.

Ma non preoccuparti, la missione è comunque riuscita.

KG: Each of these characters has their own internal reasoning and motivations,

Ogni personaggio fa dei propri ragionamenti,

but they actually take those ideas from my grandma

ma prendono quelle idee da mia nonna

and then create new content in real time.

per poi creare contenuti nuovi in tempo reale.

They can even allow the audience to shape the overall story arc

Permettono allo spettatore di dare forma all’arco narrativo

and conclusion of the experience.

e alla conclusione dell’esperienza.

(Video) Robot: Prepare yourselves

Preparatevi, Super Scoiattolo sta per decollare.

for the Mighty Squirrel is about to take flight.

Wow!

Caleb: Haha.

Robot: Grandma, do you have anything to help me take flight again?

Nonna, hai qualcosa con cui aiutarmi per volare di nuovo?

Grandma: There is an eagle outside on a tree.

Fuori su un albero c’è un’aquila.

Robot: An eagle, you say?

Un’aquila, dici?

Perfect.

Perfetto.

Time to spread my wings and soar through the skies.

È il momento di spiegare le ali e volare per i cieli.

Caleb: Whoa, Mighty Squirrel,

Wow, Super Scoiattolo,

you're going to be the coolest flying superhero ever.

sarai il supereroe volante più fico di tutti i tempi.

E combatteremo contro i cattivi più cattivi.

And we'll have epic battles with the evil villains.

KG: OK, so I’m mainly just jealous

Sono geloso che Caleb possa avere l’esperienza che volevo da bambino.

that Caleb is getting to have the experience

I always wanted as a child.

Ma mi piace vedere come prende la storia, la mette in mano allo spettatore

But I also love seeing how he takes the story,

puts it in the audience’s hands

and turns it into a canvas for their imagination.

e la trasforma in una tela bianca.

This is, of course, a tiny slice of what's possible,

Ovviamente questo è solo un assaggio di tutte le possibilità,

with there already being other AI-enabled games and experiences that exist today.

poiché oggi esistono altri videogiochi che utilizzano l’IA.

Most exciting for me is a brand new genre we're seeing emerge

Il più emozionante per me è un nuovo genere emergente

that takes social interaction and conversation

che prende le interazioni e le conversazioni sociali

and puts it as the core mechanic of the experience.

e le mette al centro delle meccaniche dell’esperienza.

So let's say instead of jump and shoot,

Ad esempio, invece di saltare e sparare bisogna usare le proprie abilità sociali

you actually have to use your social skills

to navigate complex social scenarios

per muoversi negli scenari e fare da mediatori nei conflitti.

and mediate conflicts.

That's how you win the game.

E così si finisce il gioco.

I would definitely have benefited more from that type of game

Avrei sfruttato meglio un gioco simile, invece di quelli a cui giocavo da piccolo.

than the ones I was playing when I was a teenager.

E non è un discorso che si limita ai videogiochi.

And it's not just pure games per se.

Imagine I had an AI tutor who texted me to remind me of a session

Immaginate un’IA tutor che vi avvisa per ricordarvi di una sessione

and then jumped with me into a virtual world,

e poi viene con voi in un mondo virtuale,

walking through the emperor’s chambers in ancient China,

camminando per le stanze dell’imperatore della Cina antica

casually switching between English and Chinese

passando dall’inglese al cinese in un lampo

as we reviewed last week's history lesson.

come abbiamo visto nella lezione di storia.

Or, as my family and I sat down to watch our favorite reality TV show

O mentre guardo con la mia famiglia un reality show o una partita in TV,

or sports game,

the agent could actually see

l’agente potrebbe vedere la performance in tempo reale

the ongoing performance in real-time using vision

and add hilarious commentary in the background.

e aggiungere commenti divertenti in sottofondo.

Games, though, are unique because they already take us from passive observer

I giochi però sono speciali perché ci portano da osservatori passivi

and turn us into an active participant.

a partecipatori attivi.

When I get really deep into a game,

Quando sono preso da un gioco,

especially an immersive role-playing games like a Final Fantasy VII,

come in giochi di ruolo tipo Final Fantasy VII,

Baldur’s Gate 3 o Elden Ring-

Baldur's Gate 3 or Elden Ring --

Sì, sono patito di RPG-

yes, I'm a massive role-playing game geek --

At some point it feels like I'm in the story,

a un certo punto mi sento parte della storia,

but there's still something missing.

ma c’è ancora qualcosa che manca.

The core mechanics of these experiences --

le meccaniche di base di questi giochi-

jump and shoot, hack and slash, point and click,

combattimenti corpo a corpo, punta e clicca-

feel so distant from the natural ways

sono distanti dal modo in cui interagisco con le persone e le cose nella vita reale.

that I interact with people and things in my own life.

And so as immersed as I get in these experiences,

Per quanto possa essere immerso in questi giochi,

mi sento bloccato nei confini stabiliti dagli sviluppatori

it kind of feels like I'm stuck on these rails set up by the developer

e guidato da un punto stabilito all’altro a seconda dei pulsanti che premo.

and nudged along from scripted point to scripted point

based on the buttons that I press.

And immersion requires a sense of real-time responsiveness,

E l’immersione richiede reattività in tempo reale,

a sense that there's a consequence that is immediate and lasting

un senso che è una conseguenza immediata, duratura

and unique to the choices and actions that I take.

e legata alle scelte e alle azioni che compio.

However, until now, it's been extremely difficult to pre-script

Finora è stato difficile scrivere ogni singola combinazione di conseguenze

every combination of consequences

to every permutation of player behaviors.

delle varianti di comportamento del giocatore.

Gli agenti superano quest’ostacolo.

Agents overcome this though.

Just check out how Caleb handles some unexpected scenarios here at TED.

Guardate come Caleb gestisce certi scenari inaspettati.

(Video) Robot: Villains, beware!

Cattivi, fate attenzione!

Caleb: Grandma, do you remember how his arm got broken?

Nonna, ti ricordi come si è rotto il braccio?

Person 1: He got in a fight with a gerbil.

Ha combattuto contro un gerbillo.

Caleb: That's like, the tiniest animal ever.

Ma è l’animale più piccolo del mondo.

Person 1: Let's just say the gerbil won the fight.

Diciamo che il gerbillo ha vinto.

Caleb: I bet the gerbil had some secret karate moves or something.

Scommetto che il gerbillo avesse delle ottime mosse di karate.

Do you remember how his arm got broken?

Ti ricordi come si è rotto il braccio?

Person 2: I do, he was at this conference one day,

Sì, un giorno era a una conferenza,

and he did the ocean plunge and a shark came and ate it.

si è tuffato nell’oceano e uno squalo se l’è mangiato.

I supereroi attraggono sempre l’attenzione degli squali.

Robot: Superheroes are always attracting the attention of sharks.

But don't worry, I gave that shark a run for its money.

Ma non ti preoccupare, gli ho dato filo da torcere.

Caleb: Uncle, do you remember how his arm got broken?

Zio, ti ricordi come si è rotto il braccio?

Person 3: He was doing gardening.

Stava facendo giardinaggio.

Robot: Defending gardens from evil produce is my specialty.

Difendere i giardini dai cattivi è la mia specialità.

Person 3: That's cool.

Che fico.

Caleb: That's not as cool as battling mechanical minions.

Non quanto combattere contro dei minion meccanici.

Person 3: True.

Vero.

(Laughter)

(Risate)

KG: So it’s not just these stand-alone characters we want to bring to life,

Non vogliamo dar vita solo a questi personaggi indipendenti,

but fully agentic, interconnected worlds

ma anche a mondi interconnessi in cui fare una scelta in un determinato punto

where a choice at one point

might have dramatic consequences somewhere down the line,

potrebbe avere conseguenze enormi in un altro punto.

and the unique content produced for each user

Il contenuto esclusivo prodotto per ogni utente

is still grounded in a shared lore and experience

è ancora legato a una storia e a un’esperienza comune,

so that we have that shared social context

in modo da avere quel contesto sociale comune

that we all need from media.

di cui abbiamo bisogno per i media.

My company Inworld helps entertainment houses and game studios

La mia compagnia Inworld aiuta le aziende d’intrattenimento e di videogiochi

to build these agents for the next generation of media.

a creare questi agenti per la next gen dei media.

And when we begin to build a character like Caleb, we start with the brain,

E quando creiamo un personaggio come Caleb, partiamo dal cervello,

in modo simile a quando si insegna a un attore a improvvisare.

which is crafted in a similar way

to instructing an extremely capable improv actor.

We start by training custom machine-learning models

Iniziamo formando i modelli di machine-learning

that give him a lay of the land, understanding the lore, vocabulary

che gli daranno uno scheletro,

facendogli capire storia, vocabolario e grammatica adatti all’esperienza.

and grammar appropriate for the experience.

And then we actually go in and we tweak his persona,

Poi iniziamo a creare la sua persona,

his unique personality, motivations, his flaws and biases.

con personalità, motivazioni, difetti e preferenze.

We actually craft his dialogue style and voice,

Modelliamo lo stile dei suoi dialoghi, il suo stile e la sua voce,

the way he verbally expresses himself.

il modo in cui si esprime verbalmente.

We build a unique emotional profile,

Creiamo un profilo emotivo esclusivo,

the way he feels, his social tendencies and relationship habits,

i suoi sentimenti, le tendenze sociali e le abitudini relazionali,

and then we preload a bunch of knowledge and memories

e poi carichiamo qualche conoscenza e ricordo

that give him that robust backstory.

in modo da dargli una storia.

Then we actually craft his internal reasoning and mental state,

Poi creiamo il suo stato mentale e i suoi ragionamenti,

kind of the conditions under which he feels certain things

le condizioni sotto le quali sente alcune cose

or takes certain behaviors.

o assume certi comportamenti.

We then decide how he actually gestures and animates those behaviors,

Poi decidiamo come gesticola e anima quei comportamenti.

and then that completes the brain, which we actually take

Così il suo cervello sarà completo per essere collegato

and we attach to an avatar within a virtual world or game engine,

a un avatar all’interno di un mondo virtuale o un motore di gioco,

effectively bringing it to life.

dandogli vita.

And then we're ready to play and we're playing the experience.

Poi siamo pronti per giocare con quest’esperienza

There's kind of an overarching narrative agent

che è un agente narrativo onnicomprensivo

that acts like an AI director,

che si comporta come un regista-IA

managing or even generating the storyline in real time

gestendo o generando la storia in tempo reale

and ensuring that all the characters and entities

e assicurandosi che tutti i personaggi e le entità

cohere to their proper places within the story and context.

aderiscano ai loro ruoli all’interno della storia e del contesto.

For specific character like Caleb,

Per personaggi come Caleb,

when he's interacting with the world and characters,

quando interagisce col mondo e i personaggi

he does so in a similar way to how we as humans do

lo fa in modo simile agli umani

con comprensione, cognizione e comportamenti.

with perception, cognition and behavior.

Perception is the multimodal sensory input flowing in,

La percezione è l’input sensoriale multimodale,

the understanding of the world and context and people and objects within it.

la comprensione di mondo, contesto, persone e oggetti al suo interno.

And then with cognition, he processes that input,

Infine con la cognizione esamina quell’input,

kind of like the internal processing of our minds.

un po’ come i processi interni delle nostre menti;

He filters out irrelevant information to make sure everything is safe

filtra le informazioni irrilevanti per assicurarsi che la storia sia corretta;

and narrative aligned.

He extracts out important signals like sentiment, intent, emotional cues.

estrae segnali importanti come sentimenti, intenzioni, segnali emotivi;

He retrieves relevant memories from his past

cerca ricordi rilevanti del suo passato e ne genera di nuovi sul momento.

and even generates new ones on the fly.

Finally reasoning over what to do both verbally and non-verbally.

Infine ragiona su cosa fare verbalmente e non verbalmente.

And finally with behavior, he actually generates his responses.

E infine col comportamento genera le sue risposte.

He decides what to say and how to say it,

Decide cosa dire e come dirlo, che espressioni facciali usare,

what facial and body gestures to use,

what actions to take,

le azioni da fare e le persone e gli oggetti con cui interagire.

and people and objects to interact with.

And that's what brings the character to life.

E così il personaggio prende vita.

And so, as amazed as I am by all these task-focused applications of AI

Sono così affascinato da tutto questo

that are coming out,

the more I work with studios and creatives,

che più lavoro con gli studi e coi creativi,

the more excited I am for the potential

più sono emozionato per le possibilità degli agenti

for these agents to extend human creative potential,

di estendere il potenziale creativo umano,

and for them to allow audiences to step beyond the script.

perché possano permettere al pubblico di andare oltre al copione

For them to give audiences agency

e perché possano permettergli

and allow them to co-create experiences that stem from their own imagination.

di creare insieme delle esperienze che originano dalla loro immaginazione.

To finish it off, here's a few funny takes from here at TED,

Prima di finire, vi faccio vedere alcune clip divertenti

starting with Polly, whose son is actually named Caleb.

partendo da Polly, che ha un figlio che si chiama Caleb.

(Video) Person 4: Are you ready to play [unclear] Caleb?

Sei pronto a giocare, Caleb?

Certo, nonna.

Caleb: Absolutely, grandma.

Let's dive into some epic superhero adventures together.

Tuffiamoci in un’avventura da supereroi epica.

Person 4: Let's do it.

Andiamo.

Person 5: Can you hear me?

Mi senti?

Caleb: Of course I can hear you, silly.

Certo che ti sento, sciocchina.

I love playing basketball.

Amo giocare a basket.

Person 3: Oh, wow. And which is your favorite basketball player?

Oh, wow. E chi è il tuo cestista preferito?

Caleb: Definitely LeBron James.

LeBron James, senza dubbio.

Person 3: Sure.

Ovvio.

Caleb: Thanks for showing me your old superhero action figure.

Grazie per avermi fatto vedere la tua vecchia bambola supereroe.

Person 1: You mean the man in his underwear?

Dici l’uomo in calzamaglia?

Caleb: Haha, yeah.

Sì.

He's like a tough guy in his undies ready to save the world.

È un tipo tosto in calzamaglia pronto a salvare il mondo.

Come si chiama?

What's its name?

Person 6: Johnny May Rotten Bad.

Johnny il Marcio.

Caleb: Uncle, you're so silly.

Zio, sei proprio scemo.

(Laughter)

(Risate)

Does he have, like, a guitar for a weapon?

Ha una chitarra come arma?

Person 6: He sure does.

Sicuramente.

Caleb: No way.

Non ci credo.

Person 6: Way.

Credici.

Caleb: No way.

Non ci credo.

Person 6: Way.

Credici.

Caleb: Does he zap bad guys with his electric powers?

Dà la scossa ai nemici con i suoi poteri elettrici?

Person 7: No, no, no, no, no.

No, gli dà la scossa e poi gli dà amore.

He zaps people and gives them love.

He’s a nice superhero.

È un supereroe buono.

Caleb: Wow, that's different.

Wow, è diverso.

He uses love to fight the bad guys.

Usa l’amore per combattere coi cattivi.

Person 7: Yeah, and guess what?

Sì, e indovina.

Che fico.

Caleb: That's so cool.

Vince sempre.

Person 7: He always wins.

(Applause)

(Applausi)

KG: So it seems like there’s a pretty solid chance

Dopotutto sembra che ci siano buone probabilità

my Spider-Man action figures could come to life after all.

che le mie bambole di Spider-Man prendano vita.

Thank you.

Grazie.

(Applause)

(Applausi)