AI Is Dangerous, but Not for the Reasons You Think | Sasha Luccioni | TED

Traductor: Sebastian Betti Revisor: Anna Sobota

So I've been an AI researcher for over a decade.

He estado investigando sobre la IA durante más de una década

And a couple of months ago, I got the weirdest email of my career.

y hace unos meses recibí el correo más extraño de mi carrera.

A random stranger wrote to me

Un extraño al azar me escribió

saying that my work in AI is going to end humanity.

diciéndome que mi trabajo en IA acabaría con la humanidad.

Now I get it, AI, it's so hot right now.

Lo entiendo, la IA está tan de moda en este momento.

(Laughter)

(Risas)

Aparece en los titulares casi todos los días,

It's in the headlines pretty much every day,

sometimes because of really cool things

a veces por cosas realmente interesantes,

like discovering new molecules for medicine

como descubrir nuevas moléculas para la medicina

or that dope Pope in the white puffer coat.

o por ese Papa drogado vistiendo un abrigo de plumas blanco.

But other times the headlines have been really dark,

Pero otras veces los titulares han sido muy oscuros,

like that chatbot telling that guy that he should divorce his wife

como el chatbot que le dice a un muchacho que debe divorciarse de su mujer

or that AI meal planner app proposing a crowd pleasing recipe

o esa aplicación de planificación de comidas basada en IA

featuring chlorine gas.

que propone una receta con cloro gaseoso para complacer al público.

And in the background,

En segundo plano,

we've heard a lot of talk about doomsday scenarios,

hemos oído hablar mucho sobre los escenarios apocalípticos,

existential risk and the singularity,

el riesgo existencial y la singularidad,

with letters being written and events being organized

y se han escrito cartas y se han organizado eventos

to make sure that doesn't happen.

para asegurarnos de que eso no suceda.

Now I'm a researcher who studies AI's impacts on society,

Soy investigadora y estudio los impactos de la IA en la sociedad,

and I don't know what's going to happen in 10 or 20 years,

y no sé qué va a pasar dentro de 10 o 20 años,

and nobody really does.

y nadie lo sabe realmente.

But what I do know is that there's some pretty nasty things going on right now,

Pero lo que sí sé es que están ocurriendo cosas bastante feas ahora mismo,

because AI doesn't exist in a vacuum.

porque la IA no existe en el vacío.

It is part of society, and it has impacts on people and the planet.

Forma parte de la sociedad

y tiene un impacto en las personas y en el planeta.

Los modelos de IA pueden contribuir al cambio climático.

AI models can contribute to climate change.

Their training data uses art and books created by artists

Sus datos de entrenamiento utilizan obras de arte y libros creados

por artistas y escritores sin su consentimiento.

and authors without their consent.

And its deployment can discriminate against entire communities.

Y su despliegue puede discriminar a comunidades enteras.

Sin embargo, debemos empezar a rastrear sus impactos.

But we need to start tracking its impacts.

We need to start being transparent and disclosing them and creating tools

Tenemos que empezar a ser transparentes, divulgarlos y crear herramientas

so that people understand AI better,

para que las personas entiendan mejor la IA,

de modo que, con suerte, las generaciones futuras de modelos de IA

so that hopefully future generations of AI models

are going to be more trustworthy, sustainable,

sean más confiables y sostenibles y, tal vez, tengan menos probabilidades

maybe less likely to kill us, if that's what you're into.

de acabar con nosotros, si eso es lo que nos gusta.

Pero empecemos por la sostenibilidad,

But let's start with sustainability,

because that cloud that AI models live on is actually made out of metal, plastic,

porque la nube en la que viven los modelos de IA está hecha de metal y plástico

and powered by vast amounts of energy.

y funciona con enormes cantidades de energía.

And each time you query an AI model, it comes with a cost to the planet.

Además, cada vez que consultas un modelo de IA,

ello supone un coste para el planeta.

Last year, I was part of the BigScience initiative,

El año pasado formé parte de la iniciativa BigScience,

which brought together a thousand researchers

que reunió a mil investigadores

from all over the world to create Bloom,

de todo el mundo para crear Bloom,

the first open large language model, like ChatGPT,

el primer modelo de lenguaje amplio y abierto, como ChatGPT,

but with an emphasis on ethics, transparency and consent.

pero con énfasis en la ética, la transparencia y el consentimiento.

And the study I led that looked at Bloom's environmental impacts

Y el estudio que dirigí para analizar los impactos ambientales de Bloom

descubrió que solo entrenarlo consumía tanta energía

found that just training it used as much energy

as 30 homes in a whole year

como 30 hogares en un año entero

and emitted 25 tons of carbon dioxide,

y emitía 25 toneladas de dióxido de carbono,

lo que es como conducir un automóvil cinco veces alrededor del planeta

which is like driving your car five times around the planet

just so somebody can use this model to tell a knock-knock joke.

para que alguien pueda usar este modelo para contar un chiste.

And this might not seem like a lot,

Y puede que no parezca mucho,

but other similar large language models,

pero otros modelos similares de lenguaje extenso,

like GPT-3,

como el GPT-3,

emit 20 times more carbon.

emiten 20 veces más carbono.

But the thing is, tech companies aren't measuring this stuff.

Pero la cuestión es que las empresas de tecnología no están midiendo estas cosas.

They're not disclosing it.

No lo están revelando.

And so this is probably only the tip of the iceberg,

Esto es probablemente solo la punta del iceberg,

even if it is a melting one.

aunque se esté derritiendo.

And in recent years we've seen AI models balloon in size

Y en los últimos años hemos visto cómo los modelos de IA han aumentado de tamaño

because the current trend in AI is "bigger is better."

porque la tendencia actual de la IA es que “cuanto más grande, mejor”.

But please don't get me started on why that's the case.

Pero, por favor, no me hagan explicar por qué es así.

In any case, we've seen large language models in particular

Hemos visto cómo los grandes modelos lingüísticos, en particular,

grow 2,000 times in size over the last five years.

han crecido 2000 veces en los últimos cinco años.

And of course, their environmental costs are rising as well.

Y sus costes medioambientales también están aumentando.

The most recent work I led, found that switching out a smaller,

El trabajo más reciente que dirigí descubrió que cambiar un modelo

more efficient model for a larger language model

más pequeño y eficiente por un modelo lingüístico más grande

emits 14 times more carbon for the same task.

emite 14 veces más carbono para la misma tarea.

Like telling that knock-knock joke.

Como contar ese chiste.

And as we're putting in these models into cell phones and search engines

Conforme incorporamos estos modelos a móviles, motores de búsqueda,

and smart fridges and speakers,

frigoríficos y altavoces inteligentes,

the environmental costs are really piling up quickly.

los costes ambientales se están acumulando rápidamente.

So instead of focusing on some future existential risks,

Así que, en lugar de centrarnos en algunos riesgos existenciales futuros,

let's talk about current tangible impacts

hablemos de los impactos tangibles actuales

and tools we can create to measure and mitigate these impacts.

y de las herramientas que podemos crear para medirlos y mitigarlos.

I helped create CodeCarbon,

Ayudé a crear CodeCarbon,

a tool that runs in parallel to AI training code

una herramienta que funciona en paralelo al código de entrenamiento de la IA

that estimates the amount of energy it consumes

que estima la cantidad de energía que consume

and the amount of carbon it emits.

y la cantidad de carbono que emite.

And using a tool like this can help us make informed choices,

Una herramienta así puede ayudarnos a tomar decisiones informadas,

like choosing one model over the other because it's more sustainable,

como elegir un modelo en lugar de otro porque es más sostenible,

or deploying AI models on renewable energy,

o implementar modelos de IA basados en energía renovable,

which can drastically reduce their emissions.

que pueden reducir drásticamente sus emisiones.

But let's talk about other things

Pero hablemos de otras cosas,

because there's other impacts of AI apart from sustainability.

porque la IA tiene otros impactos además de la sostenibilidad.

For example, it's been really hard for artists and authors

Por ejemplo, a los artistas y escritores les ha costado mucho

to prove that their life's work has been used for training AI models

demostrar que el trabajo de toda su vida

se ha utilizado para entrenar modelos de IA sin su consentimiento.

without their consent.

And if you want to sue someone, you tend to need proof, right?

Y si quieres demandar a alguien, sueles necesitar pruebas, ¿verdad?

So Spawning.ai, an organization that was founded by artists,

Así que Spawning.ai, una organización que fue fundada por artistas,

created this really cool tool called “Have I Been Trained?”

creó esta herramienta realmente genial llamada “¿Me han entrenado?”

Y te permite buscar en estos enormes conjuntos de datos

And it lets you search these massive data sets

to see what they have on you.

para ver lo que tienen sobre ti.

Now, I admit it, I was curious.

Ahora, lo admito, tenía curiosidad.

I searched LAION-5B,

Busqué en el LAION-5B,

which is this huge data set of images and text,

que es un enorme conjunto de datos de imágenes y texto,

to see if any images of me were in there.

para ver si había alguna imagen mía en él.

Esas dos primeras imágenes son mías de los eventos

Now those two first images,

that's me from events I've spoken at.

en los que he hablado.

But the rest of the images, none of those are me.

Pero el resto de las imágenes, ninguna de ellas es mía.

They're probably of other women named Sasha

Probablemente sean de otras mujeres llamadas Sasha

who put photographs of themselves up on the internet.

que publicaron fotografías suyas en Internet.

Y esto probablemente explique por qué,

And this can probably explain why,

when I query an image generation model

cuando consulto un modelo de generación de imágenes

to generate a photograph of a woman named Sasha,

para generar una fotografía de una mujer llamada Sasha,

more often than not I get images of bikini models.

la mayoría de las veces obtengo imágenes de modelos en bikini.

Sometimes they have two arms,

A veces tienen dos brazos,

sometimes they have three arms,

a veces tienen tres brazos,

but they rarely have any clothes on.

pero rara vez llevan ropa puesta.

And while it can be interesting for people like you and me

Aunque puede resultar interesante para personas como tú y yo

to search these data sets,

buscar en estos conjuntos de datos,

for artists like Karla Ortiz,

para artistas como Karla Ortiz, esto proporciona una prueba crucial

this provides crucial evidence that her life's work, her artwork,

de que el trabajo de toda su vida, su obra de arte,

was used for training AI models without her consent,

se utilizó para entrenar a modelos de IA sin su consentimiento,

and she and two artists used this as evidence

y ella y dos artistas lo utilizaron como prueba

to file a class action lawsuit against AI companies

para presentar una demanda colectiva contra empresas de IA

for copyright infringement.

por infracción de derechos de autor.

And most recently --

Y más recientemente...

(Applause)

(Aplausos)

And most recently Spawning.ai partnered up with Hugging Face,

Y, más recientemente, Spawning.ai se asoció con Hugging Face,

the company where I work at,

la empresa en la que trabajo,

to create opt-in and opt-out mechanisms for creating these data sets.

para crear mecanismos de aceptación y exclusión

para crear estos conjuntos de datos.

Porque las obras de arte creadas por humanos

Because artwork created by humans shouldn’t be an all-you-can-eat buffet

no deberían servir de base para entrenar modelos lingüísticos basados en IA.

for training AI language models.

(Applause)

(Aplausos)

The very last thing I want to talk about is bias.

Lo último de lo que quiero hablar es de los prejuicios.

You probably hear about this a lot.

Probablemente oigan hablar mucho de esto.

Formally speaking, it's when AI models encode patterns and beliefs

Formalmente hablando,

es cuando los modelos de IA codifican patrones y creencias

that can represent stereotypes or racism and sexism.

que pueden representar estereotipos o racismo y sexismo.

Una de mis heroínas, la Dra. Joy Buolamwini,

One of my heroes, Dr. Joy Buolamwini, experienced this firsthand

lo experimentó de primera mano

when she realized that AI systems wouldn't even detect her face

cuando notó que los sistemas de IA ni siquiera detectaban su rostro

unless she was wearing a white-colored mask.

a menos que llevara puesta una máscara blanca.

Digging deeper, she found that common facial recognition systems

Profundizando más, descubrió que los sistemas comunes de reconocimiento facial

were vastly worse for women of color compared to white men.

eran mucho peores para las mujeres de color que para los hombres blancos.

And when biased models like this are deployed in law enforcement settings,

Y cuando se utilizan modelos sesgados como este en las fuerzas del orden,

this can result in false accusations, even wrongful imprisonment,

esto puede dar lugar a acusaciones falsas e incluso a encarcelamientos injustos,

which we've seen happen to multiple people in recent months.

algo que hemos visto ocurrir a varias personas en los últimos meses.

Por ejemplo, Porcha Woodruff fue acusada injustamente de robo

For example, Porcha Woodruff was wrongfully accused of carjacking

de vehículos cuando estaba embarazada de ocho meses

at eight months pregnant

because an AI system wrongfully identified her.

porque un sistema de IA la identificó erróneamente.

But sadly, these systems are black boxes,

Pero, lamentablemente, estos sistemas son cajas negras,

and even their creators can't say exactly why they work the way they do.

y ni siquiera sus creadores pueden decir exactamente

por qué funcionan de la manera en que lo hacen.

And for example, for image generation systems,

Y, por ejemplo, en el caso de los sistemas de generación de imágenes,

if they're used in contexts like generating a forensic sketch

si se utilizan en contextos como generar un bosquejo forense

a partir de la descripción de un agresor, toman todos esos sesgos

based on a description of a perpetrator,

they take all those biases and they spit them back out

y los vuelven a incluir en términos como criminal peligroso,

for terms like dangerous criminal, terrorists or gang member,

terrorista o miembro de una banda, lo que, por supuesto, es muy peligroso

which of course is super dangerous

cuando estas herramientas se utilizan en la sociedad.

when these tools are deployed in society.

And so in order to understand these tools better,

Por eso, para entender mejor estas herramientas,

I created this tool called the Stable Bias Explorer,

creé una herramienta llamada Stable Bias Explorer,

which lets you explore the bias of image generation models

que permite explorar el sesgo de los modelos de generación de imágenes

through the lens of professions.

desde la perspectiva de las profesiones.

So try to picture a scientist in your mind.

Intenten imaginar a un científico.

Don't look at me.

No me miren.

What do you see?

¿Qué ven?

A lot of the same thing, right?

Más de lo mismo, ¿verdad?

Men in glasses and lab coats.

Hombres con gafas y batas de laboratorio.

And none of them look like me.

Y ninguno se parece a mí.

Analizamos todos estos modelos de generación de imágenes diferentes

And the thing is,

is that we looked at all these different image generation models

y encontramos prácticamente lo mismo: una representación

and found a lot of the same thing:

significant representation of whiteness and masculinity

significativa de la blancura y la masculinidad

en las 150 profesiones que analizamos, incluso si las comparamos

across all 150 professions that we looked at,

even if compared to the real world,

con el mundo real, la Oficina de Estadísticas Laborales de EE. UU.

the US Labor Bureau of Statistics.

These models show lawyers as men,

Estos modelos muestran a los abogados como hombres

and CEOs as men, almost 100 percent of the time,

y a los directores ejecutivos como hombres, casi el 100 % de las veces,

even though we all know not all of them are white and male.

aunque todos sabemos que no todos son hombres y blancos.

And sadly, my tool hasn't been used to write legislation yet.

Lamentablemente, mi herramienta aún no se ha usado para redactar leyes.

Sin embargo, hace poco la presenté en un evento de la ONU

But I recently presented it at a UN event about gender bias

sobre los prejuicios de género

as an example of how we can make tools for people from all walks of life,

como ejemplo de cómo crear herramientas

para que personas de todos los ámbitos sociales,

even those who don't know how to code,

incluso aquellas que no saben programar,

to engage with and better understand AI because we use professions,

interactúen con la IA y la entiendan mejor, ya que utilizamos profesiones,

but you can use any terms that are of interest to you.

pero pueden usar cualquier término que les interese.

And as these models are being deployed,

Y a medida que estos modelos se despliegan,

are being woven into the very fabric of our societies,

se van integrando en la estructura misma de nuestras sociedades,

our cell phones, our social media feeds,

nuestros teléfonos móviles, redes sociales

even our justice systems and our economies have AI in them.

e incluso nuestros sistemas de justicia y economías tienen IA.

And it's really important that AI stays accessible

Y es muy importante que la IA siga siendo accesible

so that we know both how it works and when it doesn't work.

para que sepamos cómo funciona y cuándo no funciona.

And there's no single solution for really complex things like bias

Y no existe una solución única para problemas realmente complejos

como los prejuicios, los derechos de autor o el cambio climático.

or copyright or climate change.

But by creating tools to measure AI's impact,

Sin embargo, al crear herramientas para medir el impacto de la IA,

we can start getting an idea of how bad they are

podemos empezar a hacernos una idea de lo graves que son

and start addressing them as we go.

y empezar a abordarlos conforme avanzamos.

Start creating guardrails to protect society and the planet.

Empecemos creando barreras para proteger a la sociedad y al planeta.

Y una vez que dispongamos de esta información,

And once we have this information,

companies can use it in order to say,

las empresas podrán utilizarla para decir:

OK, we're going to choose this model because it's more sustainable,

De acuerdo, vamos a elegir este modelo porque es más sostenible,

this model because it respects copyright.

este modelo porque respeta los derechos de autor.

Legislators who really need information to write laws,

Los legisladores que necesitan información para redactar leyes

can use these tools to develop new regulation mechanisms

pueden utilizar estas herramientas

para desarrollar nuevos mecanismos de regulación

or governance for AI as it gets deployed into society.

o gobernanza para la IA a medida que se vaya implantando en la sociedad.

And users like you and me can use this information

Y los usuarios como tú y yo podemos usar esta información

to choose AI models that we can trust,

para elegir modelos de IA en los que podamos confiar,

not to misrepresent us and not to misuse our data.

no para tergiversarnos y hacer uso indebido de nuestros datos.

But what did I reply to that email

¿Qué respondí a ese correo electrónico

that said that my work is going to destroy humanity?

en el que se decía que mi trabajo destruiría a la humanidad?

I said that focusing on AI's future existential risks

Dije que centrarse en los riesgos existenciales futuros de la IA

is a distraction from its current,

es distraer la atención de sus impactos actuales,

very tangible impacts

que son muy tangibles,

and the work we should be doing right now, or even yesterday,

y del trabajo que deberíamos hacer ahora mismo, o incluso ayer,

for reducing these impacts.

para reducir estos impactos.

Because yes, AI is moving quickly, but it's not a done deal.

Porque sí, la IA avanza con rapidez, pero no es un acuerdo cerrado.

We're building the road as we walk it,

Construimos el camino a medida que lo recorremos

and we can collectively decide what direction we want to go in together.

y podemos decidir colectivamente en qué dirección queremos ir juntos.

Thank you.

Gracias.

(Applause)

(Aplausos)