The Dark Side of Competition in AI | Liv Boeree | TED

Traductor: Sebastian Betti Revisor: Anna Sobota

Competition.

La competición es una parte fundamental de la naturaleza humana.

It's a fundamental part of human nature.

I was a professional poker player for 10 years,

He sido jugadora profesional de póquer durante 10 años,

so I've very much seen all the good, bad and ugly ways it can manifest.

así que he visto todas las formas buenas, y malas en las que puede manifestarse.

When it's done right,

Cuando se hace bien,

puede llevarnos a hazañas increíbles en el ámbito del deporte y la innovación,

it can drive us to incredible feats in sports and innovation,

como cuando las empresas automovilísticas compiten

like when car companies compete over who can build the safest cars

por quién puede fabricar los coches más seguros

o los paneles solares más eficientes.

or the most efficient solar panels.

Todos estos son ejemplos de competencia sana,

Those are all examples of healthy competition,

porque, si bien las empresas individuales pueden ir y venir,

because even though individual companies might come and go,

a la larga, el juego entre ellas crea resultados

in the long run,

the game between them creates win-win outcomes

los que todos salen ganando y, al final, todos se benefician.

where everyone benefits in the end.

But sometimes competition is not so great

Pero a veces la competencia no es tan genial

and can create lose-lose outcomes where everyone's worse off than before.

y puede generar resultados en los que todos pierden,

en los que todos están peor que antes.

Take these AI beauty filters, for example.

Tomemos, por ejemplo, estos filtros de belleza de IA.

As you can see, they're a very impressive technology.

Como puedes ver, son una tecnología muy impresionante.

They can salvage almost any picture.

Pueden salvar casi cualquier imagen.

Pueden incluso embellecer a Angelina y Margot.

They can even make Angelina and Margot more beautiful.

So they're very handy,

Por eso son muy útiles, especialmente para las personas influyentes

especially for influencers who, now, at the click of a button,

que, con solo hacer clic en un botón,

can transform into the most beautiful Hollywood versions of themselves.

pueden transformarse en las versiones más hermosas de Hollywood de sí mismas.

But handy doesn't always mean healthy.

Pero práctico no siempre significa saludable.

And I've personally noticed how quickly these things can train you

Y personalmente me he dado cuenta de lo rápido que estas cosas

to hate your natural face.

pueden hacer que odies tu rostro natural.

And there's growing evidence that they're creating issues

Y cada vez hay más pruebas de que están creando problemas

like body dysmorphia, especially in young people.

como la dismorfia corporal, especialmente en los jóvenes.

Nonetheless, these things are now endemic to social media

Sin embargo, estas cosas ahora son endémicas en las redes sociales

because the nature of the game demands it.

porque la naturaleza del juego así lo exige.

Se incentiva a las plataformas a ofrecerlas,

The platforms are incentivized to provide them

ya que imágenes más atractivas

because hotter pictures means more hijacked limbic systems,

implican más sistemas límbicos secuestrados,

which means more scrolling and thus more ad revenue.

más scrolling

y, por ende, más ingresos por publicidad.

And users are incentivized to use them

Además, se incentiva a los usuarios a utilizarlas

because hotter pictures get you more followers.

porque imágenes más atractivas generan más seguidores.

But this is a trap,

Pero esto es una trampa,

because once you start using these things,

porque una vez que empiezas a usar estas cosas,

it's really hard to go back.

es muy difícil volver atrás.

Plus, you don't even get a competitive advantage from them anymore

Además, ya ni siquiera obtienes una ventaja competitiva

because everyone else is already using them too.

porque todos los demás ya los están usando.

So influencers are stuck using these things

Por lo tanto, las personas influyentes se limitan a usar estas cosas

with all the downsides

con todas las desventajas

and very little upside.

y muy pocas ventajas.

A lose-lose game.

Un juego en el que todos pierden.

A similar kind of trap is playing out in our news media right now,

Un tipo de trampa similar se está produciendo

en nuestros medios de comunicación ahora mismo,

but with much worse consequences.

pero con consecuencias mucho peores.

You'd think since the internet came along

Con la llegada de Internet, se podría pensar

that the increased competition between news outlets

que el aumento de la competencia entre los medios de comunicación

would create a sort of positive spiral,

crearía una especie de espiral positiva, como una carrera hacia la cima

like a race to the top of nuanced, impartial, accurate journalism.

del periodismo matizado, imparcial y preciso.

Instead, we're seeing a race to the bottom of clickbait and polarization,

En lugar de eso, asistimos a una carrera hacia abajo

de noticias capciosas y polarización,

en la que incluso los periódicos más respetables

where even respectable papers are increasingly leaning

recurren a este tipo de tácticas vulgares y parciales

into these kind of low-brow partisan tactics.

comúnmente asociadas con la política partidista

Again, this is due to crappy incentives.

Una vez más, esto se debe a los pésimos incentivos.

Today, we no longer just read our news.

Hoy, ya no nos limitamos a leer nuestras noticias.

We interact with it by sharing and commenting.

Interactuamos con ellas compartiéndolo y comentándolo.

Y los titulares que provocan emociones como el miedo o la ira

And headlines that trigger emotions like fear or anger

tienen muchas más probabilidades de hacerse virales

are far more likely to go viral than neutral or positive ones.

que los neutrales o positivos.

En muchos sentidos, los editores de noticias

So in many ways, news editors are in a similar kind of trap

caen en una trampa similar a la de las personas influyentes,

as the influencers,

where, the more their competitors lean into clickbaity tactics,

que, cuanto más se inclinan sus competidores

por las tácticas de noticas capciosas

the more they have to as well.

más tienen que hacerlo ellos también.

Otherwise, their stories just get lost in the noise.

De lo contrario, sus historias simplemente se pierden en el ruido.

But this is terrible for everybody,

Pero esto es terrible para todos,

because now the media get less trust from the public,

porque el público ahora confía menos en los medios de comunicación

but also it becomes harder and harder for anyone to discern truth from fiction,

pero también se hace cada vez más difícil para cualquiera

distinguir la verdad de la ficción,

which is a really big problem for democracy.

lo cual es un gran problema para la democracia.

Now, this process of competition gone wrong

Ahora bien, este proceso de competencia que ha fracasado

is actually the driving force behind so many of our biggest issues.

es en realidad la fuerza impulsora

de muchos de nuestros problemas más importantes.

La contaminación plástica,

Plastic pollution,

la deforestación,

deforestation,

antibiotic overuse in farming,

el uso excesivo de antibióticos en la ganadería,

arms races,

las carreras de armamentos

greenhouse gas emissions.

y las emisiones de gases de efecto invernadero.

These are all a result of crappy incentives,

Todo esto es el resultado de unos pésimos incentivos,

of poorly designed games that push their players --

de juegos mal diseñados que obligan a sus jugadores,

sean personas, empresas o gobiernos, a adoptar estrategias y tácticas

be them people, companies or governments --

into taking strategies and tactics that defer costs and harms to the future.

que aplacen los costos y los daños para el futuro.

And what's so ridiculous is that most of the time,

Y lo más ridículo es que la mayoría de las veces,

these guys don't even want to be doing this.

estos tipos ni siquiera quieren hacer esto.

You know, it's not like packaging companies

No es que las empresas de envasado quieran llenar los océanos de plástico

want to fill the oceans with plastic

or farmers want to worsen antibiotic resistance.

o que los ganaderos quieran empeorar la resistencia a los antibióticos.

But they’re all stuck in the same dilemma of:

Pero todas están atrapadas en el mismo dilema:

"If I don't use this tactic,

«Si no uso esta táctica,

I’ll get outcompeted by all the others who do.

me superarán los demás que sí la usen.

So I have to do it, too.”

Así que yo también tengo que hacerlo».

This is the mechanism we need to fix as a civilization.

Este es el mecanismo que necesitamos arreglar como civilización.

And I know what you're probably all thinking, "So it's capitalism."

Y sé que todos estarán pensando: «Así es el capitalismo».

No, it's not capitalism.

No, no es el capitalismo.

Which, yes, can cause problems,

Lo cual, sí, puede causar problemas,

but it can also solve them and has been fantastic in general.

pero también puede solucionarlos y, en general, ha sido fantástico.

It's something much deeper.

Es algo mucho más profundo.

It's a force of misaligned incentives of game theory itself.

Es una fuerza de incentivos desalineados de la propia teoría de juegos.

So a few years ago, I retired from poker,

Hace unos años me retiré del póquer,

in part because I wanted to understand this mechanism better.

en parte porque quería entender mejor este mecanismo.

Because it takes many different forms, and it goes by many different names.

Porque adopta muchas formas diferentes y tiene muchos nombres diferentes.

[juegos de suma negativa,

These are just some of those names.

trampas multipolares, equilibrio de Nash inadecuado, etc.]

You can see they're a little bit abstract and clunky, right?

Puedes ver que son un poco abstractos y torpes, ¿verdad?

They don't exactly roll off the tongue.

No salen exactamente de la lengua.

And given how insidious and connected all of these problems are,

Y dado lo insidiosos y conectados que están todos estos problemas,

it helps to have a more visceral way of recognizing them.

ayuda tener una forma más visceral de reconocerlos.

Así que probablemente esta sea la única vez

So this is probably the only time

you're going to hear about the Bible at this conference.

que oirás hablar de la Biblia en esta conferencia.

But I want to tell you a quick story from it,

Pero quiero contarles una breve historia basada en ella,

because allegedly, back in the Canaanite days,

porque supuestamente, en los días cananeos,

there was a cult who wanted money and power so badly,

había una secta que deseaba tanto el dinero y el poder que

they were willing to sacrifice their literal children for it.

estaban dispuestos a sacrificar literalmente a sus hijos por ello.

And they did this by burning them alive in an effigy

Y lo hicieron quemándolos vivos en una efigie

of a God that they believed would then reward them

de un dios que, según ellos,

for this ultimate sacrifice.

les recompensaría por este sacrificio supremo.

And the name of this god was Moloch.

Y el nombre de este dios era Moloch.

Bit of a bummer, as stories go.

Un poco molesto, según cuentan las historias.

But you can see why it's an apt metaphor,

Pero ya ves por qué es una metáfora acertada,

because sometimes we get so lost in winning the game right in front of us,

porque a veces nos perdemos tanto en ganar la partida que tenemos delante,

we lose sight of the bigger picture

que perdemos de vista el panorama general

and sacrifice too much in our pursuit of victory.

y sacrificamos demasiado en nuestra búsqueda de la victoria.

So just like these guys were sacrificing their children for power,

Así como estos tipos sacrificaban a sus hijos por el poder,

those influencers are sacrificing their happiness for likes.

esos influencers están sacrificando su felicidad por los “me gusta”.

Esos editores de noticias

Those news editors are sacrificing their integrity for clicks,

están sacrificando su integridad por los clics,

and polluters are sacrificing the biosphere for profit.

y los que contaminan están sacrificando la biosfera para obtener ganancias.

In all these examples,

En todos estos ejemplos,

the short-term incentives of the games themselves are pushing,

los incentivos a corto plazo que ofrecen los propios juegos

son cada vez más fuertes, ya que están tentando

they're tempting their players

to sacrifice more and more of their future,

a los jugadores a sacrificar cada vez más su futuro,

trapping them in a death spiral where they all lose in the end.

atrapándolos en una espiral mortal en la que al final todos pierden.

That's Moloch's trap.

Esa es “la trampa de Moloch”.

The mechanism of unhealthy competition.

El mecanismo de una competencia malsana.

And the same is now happening in the AI industry.

Y lo mismo está ocurriendo ahora en la industria de la IA.

Sabemos que se está intensificando la carrera

We're all aware of the race that's heating up

entre empresas para obtener

between companies right now

over who can score the most compute,

la mayor puntuación en cómputo,

la mayor ronda de financiación

who can get the biggest funding round or get the top talent.

o los mejores talentos.

Well, as more and more companies enter this race,

Pues bien, conforme más y más empresas participan en esta carrera,

the greater the pressure for everyone to go as fast as possible

mayor es la presión para que todos vayan lo más rápido posible

and sacrifice other important stuff like safety testing.

y sacrifiquen otras cosas importantes, como las pruebas de seguridad.

This has all the hallmarks of a Moloch trap.

Tiene todas las características de una trampa Moloch.

Porque, por ejemplo, imagina que eres un director ejecutivo que,

Because, like, imagine you're a CEO who, you know, in your heart of hearts,

believes that your team is the best

cree en el fondo de su corazón que su equipo es el mejor

to be able to safely build extremely powerful AI.

para poder crear de forma segura una IA extremadamente poderosa.

Well, if you go too slowly, then you run the risk of other,

Bueno, si vas demasiado despacio, corres el riesgo de que otros equipos,

much less cautious teams getting there first

mucho menos cautelosos lleguen primero

and deploying their systems before you can.

y desplieguen sus sistemas antes que tú.

So that in turn pushes you to be more reckless yourself.

Eso, a su vez, te empuja a ser más imprudente.

And given how many different experts and researchers,

Y como muchos expertos e investigadores diferentes,

both within these companies

tanto de estas empresas como de otras completamente independientes,

but also completely independent ones,

have been warning us about the extreme risks of rushed AI,

nos han estado advirtiendo sobre los riesgos extremos de una IA precipitada,

this approach is absolutely mad.

este enfoque es absolutamente descabellado.

Plus, almost all AI companies

Además, casi todas las empresas de inteligencia artificial

are beholden to satisfying their investors,

tienen la obligación de satisfacer a sus inversores,

a short-term incentive which, over time, will inevitably start to conflict

un incentivo a corto plazo que, con el tiempo,

inevitablemente empezará a entrar en conflicto

with any benevolent mission.

con cualquier misión benévola.

And this wouldn't be a big deal

Y esto no sería gran cosa

if this was really just toasters we're talking about here.

si realmente se tratara de tostadoras de las que estamos hablando aquí.

But AI, and especially AGI,

Sin embargo, la IA, y especialmente la IAG,

is set to be a bigger paradigm shift

está llamada a suponer un cambio de paradigma

than the agricultural or industrial revolutions.

mayor que las revoluciones agrícola o industrial.

A moment in time so pivotal,

Se trata de un momento tan crucial que merece reverencia y reflexión,

it's deserving of reverence and reflection,

y no algo que pueda reducirse a una carrera empresarial

not something to be reduced to a corporate rat race

para determinar quién es el mayor número de usuarios activos diarios.

of who can score the most daily active users.

I'm not saying I know

No digo que sepa

what the right trade-off between acceleration and safety is,

cuál es el equilibrio correcto entre aceleración y seguridad,

but I do know that we'll never find out what that right trade-off is

pero sí sé que nunca descubriremos cuál es ese equilibrio correcto

if we let Moloch dictate it for us.

si dejamos que Moloch nos lo dicte.

So what can we do?

Entonces, ¿qué podemos hacer?

Well, the good news is we have managed to coordinate

Bueno, la buena noticia es que ya hemos conseguido coordinarnos

to escape some of Moloch's traps before.

para escapar de algunas de las trampas de Moloch.

We managed to save the ozone layer from CFCs

Hemos conseguido salvar la capa de ozono de los CFC

with the help of the Montreal Protocol.

con la ayuda del Protocolo de Montreal.

We managed to reduce the number of nuclear weapons on Earth

Conseguimos reducir el número de armas nucleares

by 80 percent,

en la Tierra en un 80 %,

with the help of the Strategic Arms Reduction Treaty in 1991.

con la ayuda del Tratado de Reducción de Armas Estratégicas de 1991.

So smart regulation may certainly help with AI too,

Por lo tanto, una regulación inteligente también puede ayudar a la IA,

but ultimately,

pero, en última instancia, son los jugadores del juego

it's the players within the game who have the most influence on it.

los que tienen más influencia en ella.

So we need AI leaders to show us

Por eso necesitamos que los líderes de la IA nos demuestren

that they're not only aware of the risks their technologies pose,

que no solo son conscientes de los riesgos que representan sus tecnologías,

but also the destructive nature of the incentives

sino también de la naturaleza destructiva de los incentivos

that they're currently beholden to.

a los que se enfrentan actualmente.

As their technological capabilities reach towards the power of gods,

A medida que sus capacidades tecnológicas alcancen el poder de los dioses,

they're going to need the godlike wisdom to know how to wield them.

van a necesitar una sabiduría divina para saber cómo utilizarlas.

So it doesn't fill me with encouragement

Por eso no me llena de ánimo

when I see a CEO of a very major company saying something like,

ver a un director ejecutivo de una compañía muy importante decir algo como:

"I want people to know we made our competitor dance."

“Quiero que se sepa que hicimos bailar a nuestro competidor”.

That is not the type of mindset we need here.

Ese no es el tipo de mentalidad que necesitamos aquí.

We need leaders who are willing to flip Moloch's playbook,

Necesitamos líderes dispuestos a cambiar

el manual de estrategias de Moloch, que estén dispuestos a sacrificar

who are willing to sacrifice their own individual chance of winning

sus propias posibilidades individuales de ganar

for the good of the whole.

por el bien de todos.

Now, fortunately, the three leading labs are showing some signs of doing this.

Afortunadamente, los tres principales laboratorios

están dando señales de que lo están haciendo.

Anthropic recently announced their responsible scaling policy,

Anthropic anunció recientemente su política de escalado responsable,

which pledges to only increase capabilities

en la que se compromete a aumentar las capacidades

once certain security criteria have been met.

solo una vez que se hayan cumplido ciertos criterios de seguridad.

OpenAI have recently pledged

OpenAI se ha comprometido recientemente a dedicar el 20 % de su cómputo

to dedicate 20 percent of their compute purely to alignment research.

exclusivamente a la investigación de alineación.

And DeepMind have shown a decade-long focus

Además, DeepMind ha demostrado que, durante una década, se ha centrado

of science ahead of commerce,

en la ciencia antes que en el comercio,

like their development of AlphaFold,

como el desarrollo de AlphaFold,

which they gave away to the science community for free.

que ha regalado a la comunidad científica de forma gratuita.

These are all steps in the right direction,

Todos estos pasos van en la dirección correcta,

but they are still nowhere close to being enough.

pero todavía están lejos de ser suficientes.

I mean, most of these are currently just words,

Quiero decir, la mayoría de estas son solo palabras, ni siquiera

they're not even proven actions.

son acciones comprobadas.

So we need a clear way to turn the AI race into a definitive race to the top.

Necesitamos una forma clara de convertir

la carrera de la IA en una carrera definitiva hacia la cima.

Perhaps companies can start competing over who can be within these metrics,

Quizás las empresas puedan empezar a competir

por quién puede cumplir estos parámetros,

por quién puede desarrollar los mejores criterios de seguridad.

over who can develop the best security criteria.

Una carrera en la que se decide

A race of who can dedicate the most compute to alignment.

quién puede dedicar la mayor cantidad de cómputo a la alineación.

Now that would truly flip the middle finger to Moloch.

Eso sí que le daría la vuelta al dedo medio a Moloch.

Competition can be an amazing tool,

La competencia puede ser una herramienta increíble,

provided we wield it wisely.

siempre que la usemos con prudencia.

And we're going to need to do that

Y tendremos que hacerlo

because the stakes we are playing for are astronomical.

porque lo que está en juego es astronómico.

If we get AI, and especially AGI, wrong,

Si nos equivocamos en la IA, y especialmente en la IAG,

it could lead to unimaginable catastrophe.

esto podría llevar a una catástrofe inimaginable.

But if we get it right,

Pero si lo hacemos bien,

it could be our path out of many of these Moloch traps

podría ser nuestra forma de salir de muchas

de estas trampas de Moloch que he mencionado hoy.

that I've mentioned today.

Y conforme las cosas se pongan más complicadas en los próximos años,

And as things get crazier over the coming years,

which they're probably going to,

cosa que probablemente ocurrirá, va a ser más importante

it's going to be more important than ever

that we remember that it is the real enemy here, Moloch.

que nunca que recordemos que el verdadero enemigo aquí es Moloch.

Not any individual CEO or company, and certainly not one another.

Ni un CEO solo o una empresa, y ciertamente no entre sí.

Así que no odies a los jugadores, cambia las reglas del juego.

So don't hate the players,

change the game.

(Applause)

(Aplausos)