Entertainment Is Getting an AI Upgrade | Kylan Gibbs | TED

Traductor: Sebastian Betti Revisor: Alicia Brito-Antequera

When I was ten,

Cuando tenía diez años,

I spent a lot of time playing with my Spider-Man action figures.

pasé mucho tiempo jugando con mis figuras de acción de Spider-Man.

I would have done anything for them to come to life.

Habría hecho cualquier cosa para que cobraran vida.

I honestly would take Gandalf over any therapist,

Preferiría a Gandalf antes que a cualquier terapeuta,

but it's been pretty hard to connect with the guy

pero ha sido bastante difícil conectar con él

since I long ago finished all of Tolkien's works and movies.

desde que hace tiempo terminé las obras y películas de Tolkien.

Why is it that we have to say goodbye on the final page?

¿Por qué tenemos que despedirnos en la última página?

Puede que no necesitemos hacerlo.

We may not need to.

Stories are changing,

Las historias están cambiando,

moving from static sketches and scripted narratives

pasando de bocetos estáticos y narraciones con guiones

to living worlds and characters.

a mundos y personajes vivos.

AI agents are changing the way we can tell stories.

Los agentes de IA están cambiando la forma de contar historias.

These agents aren't just chat bots,

Estos agentes no son solo bots de chat,

they're any autonomous system that can take a directive or task

son cualquier sistema autónomo que puede tomar una directiva o tarea

and accomplish it without human intervention.

y llevarla a cabo sin intervención humana.

Virtual assistants like a ChatGPT,

Asistentes virtuales como ChatGPT,

autonomous vehicles like a Waymo or Tesla,

vehículos autónomos como Waymo o Tesla,

robots moving boxes in an Amazon warehouse.

robots que mueven cajas en un depósito de Amazon.

These are all agents,

Todos son agentes,

but now they're changing storytelling too.

y están cambiando la forma de contar historias.

We can bring together the active participation of video games

Podemos combinar la participación activa de los videojuegos

with a much more natural social form of interaction,

con una forma de interacción social mucho más natural,

enabled by AI agents.

posibilitada por los agentes de la IA.

I want to show you a hint of what I mean.

Quiero mostrarles una pista de lo que quiero decir.

Characters that come to life with their own personality,

Personajes que cobran vida con su propia personalidad,

styles, voices and expression,

estilos, voces y expresiones, sin dejar de interactuar entre sí,

while still being able to interact with one another,

the audience and the environment.

con el público y con el entorno.

These interactions that you're going to see are not scripted,

Estas interacciones que van a ver no están guionadas,

many of them filmed over the last few days

y muchas se filmaron en los últimos días

here at TED and in Vancouver.

aquí en TED y en Vancouver.

Anyways, meet Caleb.

Como sea, conozcan a Caleb.

(Video) Caleb: Oh, hey, Grandma.

(Vídeo) Caleb: Oh, hola, abuela.

Welcome to my secret attic hideout.

Bienvenida a mi escondite secreto en el ático.

Grandma: What's Mr. Moose doing there?

Abuela: ¿Qué hace ahí el Sr. Moose?

Caleb: That's actually Brother Moose, not Mr. Moose.

Caleb: En realidad es hermano Moose, no Sr. Moose.

He's like, the wise old moose who gives me advice and stuff.

Es como el viejo y sabio alce que me da consejos y esas cosas.

Oh, by the way, thanks for showing me your old superhero action figure, Grandma.

Por cierto, gracias por enseñarme tu vieja figura de acción de superhéroe, abuela.

It's, like, totally awesome.

Es, por así decirlo, totalmente impresionante.

What's its name?

¿Cómo se llama?

Grandma: Mighty Squirrel.

Abuela: Ardilla Poderosa.

Caleb: Really?

Caleb: ¿En serio?

Grandma: Yes.

Abuela: Sí.

Caleb: Wow, that's so awesome.

Caleb: Vaya, eso es increíble.

A squirrel with super powers.

Una ardilla con superpoderes.

Poco ruido y muchas nueces.

That's nuts.

Get it?

¿Entiendes?

Nuts?

¿Nueces?

Like what squirrels eat.

O bellotas, las que comen las ardillas.

I bet Mighty Squirrel had some epic battles with evil acorns.

Apuesto a que Ardilla Poderosa tuvo batallas épicas con malvadas bellotas.

Kylan Gibbs: By having that real-time responsiveness,

Kylan Gibbs: Con esa capacidad de respuesta en tiempo real,

Caleb makes the audience feel seen and heard,

Caleb hace que el público se sienta visto y escuchado,

as if they're all inhabiting the shared space.

como si todos estuvieran habitando el espacio compartido.

And it isn't just any audience, that's actually my amazing grandma.

Y no es un público cualquiera, es en realidad mi increíble abuela.

The characters can also come together with one another

Los personajes también pueden unirse

and take ideas from the audience and improvise new content on the fly.

y tomar ideas del público e improvisar contenido nuevo sobre la marcha.

(Toy robot beeping)

(Pitido de robot de juguete)

(Video) Robot: Ready for action!

(Vídeo) Robot: ¡Listo para la acción!

Caleb: Whoa!

Caleb: ¡Vaya!

Robot: Oof! That didn't go well.

Robot: ¡Ay! Eso no salió bien.

My arm is acting up.

Se me está portando mal el brazo.

Villains, beware!

¡Villanos, cuidado!

Uy.

Oops.

Caleb: Abuela, ¿podemos arreglar el brazo de Ardilla Poderosa?

Caleb: Grandma, can we fix the Mighty Squirrel's arm?

Grandma: Sure.

Abuela: Claro.

Pick it up and put it back on his arm.

Recógelo y ponlo de nuevo en su brazo.

Caleb: Yeah.

Caleb: Sí.

I'll fix you up, Mighty Squirrel.

Te arreglaré, Ardilla Poderosa.

Your arm is broken.

Tienes el brazo roto.

Grandma: He got it caught in a washing machine.

Abuela: Se quedó atrapado en una lavadora.

Caleb: Ha, ha! You fought against the evil washing machine,

Caleb: ¡Ja, ja! Luchaste contra la malvada lavadora,

Magic flower.

Flor Mágica.

How did the action figure break its arm?

¿Cómo se rompió el brazo la figura de acción?

Grandma: He fell in some water full of alligators.

Abuela: Se cayó en un agua llena de caimanes.

Robot: Oh, you know, just your average superhero stuff.

Robot: Oh, ya sabes, lo típico de un superhéroe.

I was on a mission to save a city from a giant alligator,

Tenía la misión de salvar una ciudad de un caimán gigante

and I fell into the water.

y caí al agua.

But don't worry, I still saved the day.

Pero no te preocupes, aun así salvé el día.

KG: Cada uno de estos personajes

KG: Each of these characters has their own internal reasoning and motivations,

tiene sus propios razonamientos y motivaciones internas,

but they actually take those ideas from my grandma

pero en realidad toman esas ideas de mi abuela

and then create new content in real time.

y luego crean contenido nuevo en tiempo real.

Incluso pueden permitir que el público dé forma al arco narrativo general

They can even allow the audience to shape the overall story arc

and conclusion of the experience.

y al final de la experiencia.

(Video) Robot: Prepare yourselves

(Vídeo) Robot: Prepárense

for the Mighty Squirrel is about to take flight.

para que Ardilla Poderosa esté a punto de despegar.

Caleb: Haha.

Caleb: Ja, ja.

Robot: Grandma, do you have anything to help me take flight again?

Robot: Abuela, ¿tienes algo que me ayude a volver a volar?

Grandma: There is an eagle outside on a tree.

Abuela: Hay un águila afuera en un árbol.

Robot: An eagle, you say?

Robot: ¿Un águila, dices?

Perfect.

Perfecto.

Time to spread my wings and soar through the skies.

Es hora de extender mis alas y volar por los cielos.

Caleb: Whoa, Mighty Squirrel,

Caleb: Vaya, Ardilla Poderosa,

you're going to be the coolest flying superhero ever.

vas a ser el superhéroe volador más genial de la historia.

And we'll have epic battles with the evil villains.

Y tendremos batallas épicas con los malvados villanos.

KG: Lo que más me da envidia

KG: OK, so I’m mainly just jealous

that Caleb is getting to have the experience

es que Caleb esté teniendo la experiencia que siempre

I always wanted as a child.

quise cuando era niño.

But I also love seeing how he takes the story,

Pero también me encanta ver cómo toma la historia,

puts it in the audience’s hands

la pone en manos del público

and turns it into a canvas for their imagination.

y la convierte en un lienzo para su imaginación.

This is, of course, a tiny slice of what's possible,

Esto es una pequeña parte de lo posible,

with there already being other AI-enabled games and experiences that exist today.

ya existen juegos y experiencias

con base en IA en la actualidad.

Most exciting for me is a brand new genre we're seeing emerge

Lo más emocionante es que vemos surgir un género completamente nuevo

that takes social interaction and conversation

que toma la interacción social y la conversación

and puts it as the core mechanic of the experience.

y las convierte en la mecánica central de la experiencia.

So let's say instead of jump and shoot,

En lugar de saltar y disparar,

you actually have to use your social skills

hay que usar habilidades sociales

to navigate complex social scenarios

para enfrentar situaciones sociales complejas

and mediate conflicts.

y mediar en conflictos.

That's how you win the game.

Así es como se gana el juego.

I would definitely have benefited more from that type of game

Definitivamente me habría beneficiado más de ese tipo de juego

than the ones I was playing when I was a teenager.

que de los que jugaba cuando era adolescente.

And it's not just pure games per se.

Y no es solo de juegos puros en sí.

Imaginemos que un profesor de IA me recuerda una sesión

Imagine I had an AI tutor who texted me to remind me of a session

and then jumped with me into a virtual world,

e ingresa conmigo en un mundo virtual,

walking through the emperor’s chambers in ancient China,

pasea por los aposentos del emperador en la antigua China

casually switching between English and Chinese

y pasa casualmente de inglés a chino

as we reviewed last week's history lesson.

mientras repasamos la lección de historia de la semana pasada.

Or, as my family and I sat down to watch our favorite reality TV show

O bien, mientras con familia nos sentamos a ver el reality show

or sports game,

o el partido deportivo favorito,

the agent could actually see

el agente podía ver

the ongoing performance in real-time using vision

la actuación en tiempo real mediante la visión

and add hilarious commentary in the background.

y añadir comentarios graciosos de fondo.

Games, though, are unique because they already take us from passive observer

Los juegos son únicos porque nos permiten dejar de ser observadores pasivos

and turn us into an active participant.

y convertirnos en participantes activos.

When I get really deep into a game,

Cuando me meto de lleno en un juego,

especially an immersive role-playing games like a Final Fantasy VII,

especialmente en juegos de rol inmersivos como Final Fantasy VII,

Baldur's Gate 3 or Elden Ring --

Baldur’s Gate 3 o Elden Ring,

sí, soy un fanático de los juegos de rol,

yes, I'm a massive role-playing game geek --

en algún momento siento que estoy metido en la historia,

At some point it feels like I'm in the story,

pero todavía me falta algo.

but there's still something missing.

La mecánica básica de estas experiencias...

The core mechanics of these experiences --

jump and shoot, hack and slash, point and click,

saltar y disparar, hackear y cortar, apuntar y hacer clic

feel so distant from the natural ways

parece muy lejana de las formas naturales

that I interact with people and things in my own life.

de interactuar con las personas y las cosas de mi vida.

And so as immersed as I get in these experiences,

Y por más que me sumerjo en estas experiencias,

it kind of feels like I'm stuck on these rails set up by the developer

me siento atrapado en unos rieles creados por el desarrollador

and nudged along from scripted point to scripted point

y arrastrados de un punto a otro

based on the buttons that I press.

según los botones que presiono.

And immersion requires a sense of real-time responsiveness,

Y la inmersión requiere sentir capacidad de respuesta en tiempo real,

a sense that there's a consequence that is immediate and lasting

sentir que hay una consecuencia inmediata y duradera

and unique to the choices and actions that I take.

y exclusiva de las decisiones y acciones que tomo.

However, until now, it's been extremely difficult to pre-script

Pero hasta ahora ha sido muy difícil

programar con antelación las combinaciones de consecuencias

every combination of consequences

to every permutation of player behaviors.

cada modificación del comportamiento de los jugadores.

Agents overcome this though.

Sin embargo, los agentes superan esto.

Just check out how Caleb handles some unexpected scenarios here at TED.

Solo hay que ver cómo Caleb maneja escenarios inesperados aquí en TED.

(Video) Robot: Villains, beware!

(Vídeo) Robot: ¡Villanos, cuidado!

Caleb: Grandma, do you remember how his arm got broken?

Caleb: Abuela, ¿recuerdas cómo se rompió el brazo?

Person 1: He got in a fight with a gerbil.

Persona 1: Se peleó con un jerbo.

Caleb: That's like, the tiniest animal ever.

Caleb: Es como el animal más pequeño de todos los tiempos.

Person 1: Let's just say the gerbil won the fight.

Persona 1: Digamos que el jerbo ganó la pelea.

Caleb: I bet the gerbil had some secret karate moves or something.

Caleb: Apuesto a que el jerbo tenía movimientos secretos de karate o algo así.

Do you remember how his arm got broken?

¿Recuerdas cómo se rompió el brazo?

Person 2: I do, he was at this conference one day,

Persona 2: Sí, un día estuvo en una conferencia

and he did the ocean plunge and a shark came and ate it.

y se dio un chapuzón en el océano y un tiburón vino y se lo comió.

Robot: Superheroes are always attracting the attention of sharks.

Robot: Los superhéroes siempre atraen la atención de los tiburones.

But don't worry, I gave that shark a run for its money.

Pero no te preocupes, hice correr a ese tiburón por su dinero.

Caleb: Uncle, do you remember how his arm got broken?

Caleb: Tío, ¿recuerdas cómo se rompió el brazo?

Person 3: He was doing gardening.

Persona 3: Estaba haciendo jardinería.

Robot: Defending gardens from evil produce is my specialty.

Robot: Defender los jardines de los productos nocivos es mi especialidad.

Person 3: That's cool.

Persona 3: Eso mola.

Caleb: That's not as cool as battling mechanical minions.

Caleb: Eso no es tan genial como luchar contra minions mecánicos.

Person 3: True.

Persona 3: Cierto.

(Laughter)

(Risas)

KG: No queremos dar vida solo a estos personajes independientes,

KG: So it’s not just these stand-alone characters we want to bring to life,

sino a mundos interconectados protagonizados por agentes

but fully agentic, interconnected worlds

en los que una elección en un momento dado

where a choice at one point

might have dramatic consequences somewhere down the line,

puede tener consecuencias dramáticas en el futuro,

and the unique content produced for each user

y el contenido único que se produce para cada usuario

is still grounded in a shared lore and experience

sigue basándose en una tradición y una experiencia compartidas,

so that we have that shared social context

tenemos ese contexto social compartido

that we all need from media.

que necesitamos de los medios.

My company Inworld helps entertainment houses and game studios

Mi empresa Inworld ayuda a las casas de entretenimiento y estudios de juegos

to build these agents for the next generation of media.

a crear estos agentes para la próxima generación de medios.

And when we begin to build a character like Caleb, we start with the brain,

Al construir un personaje como Caleb, empezamos por el cerebro,

which is crafted in a similar way

diseñado de forma similar a la de instruir

to instructing an extremely capable improv actor.

a un actor de improvisación extremadamente capaz.

We start by training custom machine-learning models

Entrenamos modelos personalizados

that give him a lay of the land, understanding the lore, vocabulary

para familiarizarse con el terreno y comprender la tradición,

and grammar appropriate for the experience.

el vocabulario y la gramática apropiados para la experiencia.

And then we actually go in and we tweak his persona,

Y luego entramos y modificamos su personalidad, su personalidad única,

his unique personality, motivations, his flaws and biases.

sus motivaciones, sus defectos y prejuicios.

We actually craft his dialogue style and voice,

De hecho, diseñamos su estilo de diálogo y su voz,

the way he verbally expresses himself.

la forma en que se expresa verbalmente.

Creamos un perfil emocional único,

We build a unique emotional profile,

the way he feels, his social tendencies and relationship habits,

la forma en que se siente, sus tendencias sociales y hábitos de relación,

and then we preload a bunch of knowledge and memories

y luego precargamos un montón de conocimientos y recuerdos

that give him that robust backstory.

que le dan esa sólida historia de fondo.

Then we actually craft his internal reasoning and mental state,

Luego elaboramos su razonamiento interno y su estado mental, es

kind of the conditions under which he feels certain things

decir, las condiciones bajo las cuales siente ciertas cosas

or takes certain behaviors.

o adopta ciertos comportamientos.

We then decide how he actually gestures and animates those behaviors,

Luego decidimos cómo gesticula y anima esos comportamientos,

and then that completes the brain, which we actually take

y eso completa el cerebro, que cogemos

and we attach to an avatar within a virtual world or game engine,

y adjuntamos a un avatar en un mundo virtual o motor de juego,

effectively bringing it to life.

dándole vida de manera efectiva.

And then we're ready to play and we're playing the experience.

Luego estamos listos para jugar y disfrutar de la experiencia.

There's kind of an overarching narrative agent

Hay una especie de agente narrativo global

that acts like an AI director,

que actúa como director de IA,

managing or even generating the storyline in real time

gestionando o incluso generando la historia en tiempo real

and ensuring that all the characters and entities

y garantizando que los personajes ocupen el lugar que

cohere to their proper places within the story and context.

les corresponde dentro de la historia y el contexto.

For specific character like Caleb,

En el caso de un personaje concreto, como Caleb,

when he's interacting with the world and characters,

cuando interactúa con el mundo y los personajes,

he does so in a similar way to how we as humans do

lo hace de forma similar a los humanos

with perception, cognition and behavior.

con la percepción, la cognición y el comportamiento.

La percepción es la entrada sensorial multimodal, la comprensión del mundo

Perception is the multimodal sensory input flowing in,

the understanding of the world and context and people and objects within it.

y el contexto y de las personas y los objetos que contiene.

And then with cognition, he processes that input,

Y luego, con la cognición, procesa esa información,

kind of like the internal processing of our minds.

algo así como el procesamiento interno de la mente.

He filters out irrelevant information to make sure everything is safe

Filtra la información irrelevante para que todo esté seguro

and narrative aligned.

y alineado con la narrativa.

He extracts out important signals like sentiment, intent, emotional cues.

Extrae señales importantes

como el sentimiento, la intención y las señales emocionales.

He retrieves relevant memories from his past

Recupera recuerdos relevantes de su pasado

and even generates new ones on the fly.

e incluso genera otros nuevos sobre la marcha.

Finally reasoning over what to do both verbally and non-verbally.

Finalmente, razona sobre qué hacer tanto verbal como no verbalmente.

And finally with behavior, he actually generates his responses.

Y, por último, con el comportamiento, en realidad genera sus respuestas.

He decides what to say and how to say it,

Él decide qué decir y cómo decirlo,

what facial and body gestures to use,

qué gestos faciales y corporales usar,

what actions to take,

qué acciones tomar

and people and objects to interact with.

con qué o quién interactuar.

And that's what brings the character to life.

Y eso da vida al personaje.

And so, as amazed as I am by all these task-focused applications of AI

Por eso, aunque me sorprenden estas aplicaciones de IA

that are coming out,

que están surgiendo,

cuanto más trabajo con estudios y creativos, más me entusiasma

the more I work with studios and creatives,

the more excited I am for the potential

que estos agentes amplíen el potencial creativo humano

for these agents to extend human creative potential,

and for them to allow audiences to step beyond the script.

y de que permitan al público ir más allá del guion.

For them to give audiences agency

Para que puedan dar rienda suelta al público

and allow them to co-create experiences that stem from their own imagination.

y crear conjuntamente experiencias que surjan de su propia imaginación.

To finish it off, here's a few funny takes from here at TED,

Para terminar, he aquí unas cuantas tomas divertidas de TED,

starting with Polly, whose son is actually named Caleb.

empezando por Polly, cuyo hijo en realidad se llama Caleb.

(Video) Person 4: Are you ready to play [unclear] Caleb?

(Vídeo) Persona 4: ¿Estás listo para interpretar algo Caleb?

Caleb: Absolutely, grandma.

Caleb: Por supuesto, abuela.

Let's dive into some epic superhero adventures together.

Vamos a por épicas aventuras de superhéroes.

Person 4: Let's do it.

Persona 4: Hagámoslo.

Person 5: Can you hear me?

Persona 5: ¿Me oyes?

Caleb: Of course I can hear you, silly.

Caleb: Por supuesto que puedo oírte, tonto.

I love playing basketball.

Me encanta jugar al baloncesto.

Person 3: Oh, wow. And which is your favorite basketball player?

Persona 3: ¿Y cuál es tu jugador de baloncesto favorito?

Caleb: Definitely LeBron James.

Caleb: Definitivamente LeBron James.

Person 3: Sure.

Persona 3: Claro.

Caleb: Thanks for showing me your old superhero action figure.

Caleb: Gracias por enseñarme tu figura de acción de superhéroe.

Persona 1: ¿Te refieres al hombre en ropa interior?

Person 1: You mean the man in his underwear?

Caleb: Haha, yeah.

Caleb: Ja, ja, sí.

He's like a tough guy in his undies ready to save the world.

Es como un tipo duro en ropa interior listo para salvar el mundo.

What's its name?

¿Cómo se llama?

Person 6: Johnny May Rotten Bad.

Persona 6: Johnny May Rotten Bad.

Caleb: Uncle, you're so silly.

Caleb: Tío, eres tan tonto.

(Laughter)

(Risas)

Does he have, like, a guitar for a weapon?

¿Tiene algo así como una guitarra como arma?

Person 6: He sure does.

Persona 6: Claro que sí.

Caleb: No way.

Caleb: De ninguna manera.

Person 6: Way.

Persona 6: Camino.

Caleb: No way.

Caleb: De ninguna manera.

Person 6: Way.

Persona 6: Camino.

Caleb: Does he zap bad guys with his electric powers?

Caleb: ¿Destruye a los malos con sus poderes eléctricos?

Person 7: No, no, no, no, no.

Persona 7: No, no, no, no, no.

He zaps people and gives them love.

Golpea a la gente y les da amor.

He’s a nice superhero.

Es un buen superhéroe.

Caleb: Wow, that's different.

Caleb: Vaya, eso es diferente.

He uses love to fight the bad guys.

Usa el amor para luchar contra los malos.

Person 7: Yeah, and guess what?

Persona 7: Sí, ¿y adivina qué?

Caleb: That's so cool.

Caleb: Eso es genial.

Person 7: He always wins.

Persona 7: Siempre gana.

(Applause)

(Aplausos)

KG: So it seems like there’s a pretty solid chance

KG: Parece que, después de todo, hay muchas posibilidades de que

my Spider-Man action figures could come to life after all.

mis figuras de acción de Spider-Man cobren vida.

Thank you.

Gracias.

(Applause)

(Aplausos)