Your Right to Repair AI Systems | Rumman Chowdhury | TED

Traductor: Mariana Ponce Revisor: Sebastian Betti

I want to tell you a story

Quiero contarles una historia

about artificial intelligence and farmers.

sobre la inteligencia artificial y los agricultores.

Now, what a strange combination, right?

Qué extraña combinación, ¿verdad?

Two topics could not sound more different from each other.

No existen dos temas más diferentes.

But did you know that modern farming actually involves a lot of technology?

Pero, ¿sabían que la agricultura moderna en realidad requiere mucha tecnología?

So computer vision is used to predict crop yields.

La visión artificial se usa para predecir el rendimiento de los cultivos.

And artificial intelligence is used to find,

Y la inteligencia artificial se usa para encontrar,

identify and get rid of insects.

identificar y eliminar insectos.

Predictive analytics helps figure out extreme weather conditions

El análisis predictivo ayuda a detectar

condiciones climáticas extremas,

like drought or hurricanes.

como sequías o huracanes.

But this technology is also alienating to farmers.

Sin embargo, esta tecnología también es alienante para los agricultores.

And this all came to a head in 2017

Y llegó a un punto crítico en 2017

with the tractor company John Deere when they introduced smart tractors.

cuando la empresa de tractores John Deere introdujo los tractores inteligentes.

So before then, if a farmer's tractor broke,

Antes, si el tractor de un agricultor se estropeaba,

they could just repair it themselves or take it to a mechanic.

podían repararlo ellos mismos o llevarlo a un mecánico.

Well, the company actually made it illegal

Bueno, de hecho, la empresa prohibió

for farmers to fix their own equipment.

que los agricultores arreglaran sus propios equipos.

You had to use a licensed technician

Había que recurrir a un técnico con licencia

and farmers would have to wait for weeks

y los agricultores tenían que esperar semanas

while their crops rot and pests took over.

mientras sus cultivos se pudrían

y las plagas se apoderaban de ellos.

Así que ellos tomaron el asunto en sus propias manos.

So they took matters into their own hands.

Algunos de ellos aprendieron a programar

Some of them learned to program,

and they worked with hackers to create patches to repair their own systems.

y trabajaron con hackers para crear parches

para reparar sus propios sistemas.

In 2022,

En 2022,

at one of the largest hacker conferences in the world, DEFCON,

en una de las conferencias de hackers más importantes del mundo, DEFCON,

a hacker named Sick Codes and his team

un hacker llamado Sick Codes y su equipo

showed everybody how to break into a John Deere tractor,

le enseñaron a todos cómo hackear un tractor John Deere,

showing that, first of all, the technology was vulnerable,

demostrando que, en primer lugar, la tecnología era vulnerable,

but also that you can and should own your own equipment.

pero también que puedes y deberías ser dueño de tu propio equipo.

To be clear, this is illegal,

Para que quede claro, esto es ilegal,

but there are people trying to change that.

pero hay gente que está tratando de cambiar eso.

Now that movement is called the “right to repair.”

Ese movimiento se llama “derecho a reparar.”

The right to repair goes something like this.

El derecho a reparar se ve más o menos así.

If you own a piece of technology,

Si poseen una pieza de tecnología,

it could be a tractor, a smart toothbrush,

podría ser un tractor, un cepillo de dientes inteligente

a washing machine,

o una lavadora,

you should have the right to repair it if it breaks.

deberían tener derecho a repararla si se rompe.

So why am I telling you this story?

¿Por qué les cuento esta historia?

The right to repair needs to extend to artificial intelligence.

El derecho a la reparación debe extenderse

a la inteligencia artificial.

Now it seems like every week

Ahora parece que cada semana

there is a new and mind-blowing innovation in AI.

hay una innovación nueva y sorprendente en la IA.

But did you know that public confidence is actually declining?

Pero, ¿sabían que la confianza del público está disminuyendo?

A recent Pew poll showed that more Americans are concerned

Una encuesta reciente de Pew mostró que hay más estadounidenses preocupados

than they are excited about the technology.

que entusiasmados por la tecnología.

This is echoed throughout the world.

Esto se repite en todo el mundo.

The World Risk Poll shows

Según la Encuesta Mundial de Riesgos

that respondents from Central and South America and Africa

los encuestados de América Central, América del Sur y África

all said that they felt AI would lead to more harm than good for their people.

creen que la IA traerá más dificultades que beneficios para las personas.

As a social scientist and an AI developer,

Como socióloga y desarrolladora de IA,

this frustrates me.

esto me frustra.

I'm a tech optimist

Soy una optimista de la tecnología porque realmente creo que esta tecnología

because I truly believe this technology can lead to good.

puede conducir al bien.

So what's the disconnect?

Entonces, ¿cuál es la desconexión?

Well, I've talked to hundreds of people over the last few years.

Bueno, he hablado con cientos de personas en los últimos años.

Architects and scientists, journalists and photographers,

Arquitectos y científicos, periodistas y fotógrafos,

ride-share drivers and doctors,

conductores de vehículos compartidos y médicos,

and they all say the same thing.

y todos dicen lo mismo.

People feel like an afterthought.

La gente ha pasado a segundo plano.

They all know that their data is harvested often without their permission

Todos saben que sus datos se recopilan a menudo sin su permiso

to create these sophisticated systems.

para crear estos sistemas sofisticados.

They know that these systems are determining their life opportunities.

Saben que estos sistemas están determinando

sus oportunidades de vida.

They also know that nobody ever bothered to ask them

También saben que nadie se ha molestado en preguntarles

how the system should be built,

cómo debería construirse el sistema,

and they certainly have no idea where to go if something goes wrong.

y, claramente, no tienen ni idea adónde ir si algo sale mal.

We may not own AI systems,

Puede que no seamos dueños de los sistemas de IA,

but they are slowly dominating our lives.

pero poco a poco van dominando nuestras vidas.

We need a better feedback loop

Necesitamos una mejor retroalimentación

between the people who are making these systems,

entre las personas que fabrican estos sistemas

and the people who are best determined to tell us

y las que están mejor preparadas para decirnos

how these AI systems should interact in their world.

cómo deben interactuar en su mundo estos sistemas de IA.

One step towards this is a process called red teaming.

Un paso hacia este objetivo es un proceso denominado red teaming.

Now, red teaming is a practice that was started in the military,

El red teaming es una práctica que se inició en el ejército

and it's used in cybersecurity.

y se usa en ciberseguridad.

In a traditional red-teaming exercise,

En un ejercicio tradicional de red teaming,

external experts are brought in to break into a system,

se contrata a expertos externos para hackear un sistema,

sort of like what Sick Codes did with tractors, but legal.

algo parecido a lo que hacía Sick Codes con los tractores, pero legal.

So red teaming acts as a way of testing your defenses

El red teaming es una forma de poner a prueba tus defensas

and when you can figure out where something will go wrong,

y, si puedes averiguar dónde algo va a salir mal,

you can figure out how to fix it.

puedes averiguar cómo solucionarlo.

But when AI systems go rogue,

Pero cuando los sistemas de IA se descontrolan,

it's more than just a hacker breaking in.

no sólo se trata de la irrupción de un hacker.

The model could malfunction or misrepresent reality.

El modelo podría funcionar mal o tergiversar la realidad.

So, for example, not too long ago,

Por ejemplo, no hace mucho,

we saw an AI system attempting diversity

vimos un sistema de IA que intentaba fomentar la diversidad

by showing historically inaccurate photos.

al mostrar fotos históricamente inexactas.

Anybody with a basic understanding of Western history

Cualquier persona que conozca un poco de historia occidental

could have told you that neither the Founding Fathers

podría decirles que ni los padres fundadores

nor Nazi-era soldiers would have been Black.

ni los soldados nazi habrían sido negros.

In that case, who qualifies as an expert?

En ese caso, ¿quién califica como experto?

You.

Ustedes.

I'm working with thousands of people all around the world

Trabajo con miles de personas de todo el mundo

on large and small red-teaming exercises,

en ejercicios de red teaming, grandes y pequeños,

and through them we found and fixed mistakes in AI models.

y a través de ellos hemos encontrado y corregido errores en los modelos de IA.

También colaboramos con grandes empresas tecnológicas globales

We also work with some of the biggest tech companies in the world:

OpenAI, Meta, Anthropic, Google.

OpenAI, Meta, Anthropic y Google.

And through this, we've made models work better for more people.

Gracias a esto, hemos conseguido que los modelos funcionen mejor para más personas.

Here's a bit of what we've learned.

Esto es lo que hemos aprendido.

We partnered with the Royal Society in London to do a scientific,

Nos asociamos con la Royal Society de Londres

para organizar un evento sobre la desinformación y la información falsa

mis- and disinformation event with disease scientists.

con patólogos.

Lo que descubrieron estos científicos

What these scientists found

is that AI models actually had a lot of protections

es que los modelos de IA tenían muchas protecciones

against COVID misinformation.

contra la desinformación sobre el COVID.

But for other diseases like measles, mumps and the flu,

Pero para otras enfermedades como el sarampión, las paperas y la gripe,

the same protections didn't apply.

no se aplicaban las mismas protecciones.

We reported these changes,

Hemos denunciado estos cambios,

they’re fixed and now we are all better protected

ya se han corregido

y ahora estamos mejor protegidos contra la información errónea

against scientific mis- and disinformation.

y la desinformación científica.

We did a really similar exercise with architects at Autodesk University,

Hicimos un ejercicio muy parecido

con arquitectos de la Universidad de Autodesk,

and we asked them a simple question:

y les hicimos una pregunta sencilla.

Will AI put them out of a job?

¿La IA les quitará su trabajo?

Or more specifically,

O más específicamente,

could they imagine a modern AI system

¿Podrían imaginar un sistema de IA moderno

that would be able to design the specs of a modern art museum?

que pudiera diseñar las especificaciones de un museo de arte moderno?

The answer, resoundingly, was no.

La respuesta fue rotundamente no.

Here's why, architects do more than just draw buildings.

He aquí por qué, los arquitectos hacen más que dibujar edificios.

They have to understand physics and material science.

Tienen que entender la física y la ciencia de los materiales.

They have to know building codes,

Deben conocer los códigos de construcción,

and they have to do that

y tienen que hacerlo

while making something that evokes emotion.

mientras crean algo que evoque emociones.

Lo que querían los arquitectos era un sistema de IA

What the architects wanted was an AI system

that interacted with them, that would give them feedback,

que interactuara con ellos, que les diera su opinión y, tal vez,

maybe proactively offer design recommendations.

que les ofreciera recomendaciones de diseño de forma proactiva.

And today's AI systems, not quite there yet.

Los sistemas de IA actuales aún no están a la altura.

But those are technical problems.

Pero esos son problemas técnicos.

People building AI are incredibly smart,

Las personas que crean IA son muy inteligentes,

and maybe they could solve all that in a few years.

y tal vez puedan resolver todo eso en unos pocos años.

But that wasn't their biggest concern.

Pero esa no era su mayor preocupación.

Their biggest concern was trust.

Su mayor preocupación era la confianza.

Now architects are liable if something goes wrong with their buildings.

Los arquitectos son responsables si algo sale mal en sus edificios.

They could lose their license,

Podrían perder su licencia,

they could be fined, they could even go to prison.

recibir una multa e incluso ir a la cárcel.

And failures can happen in a million different ways.

Y las fallas pueden ocurrir de un millón de maneras diferentes.

For example, exit doors that open the wrong way,

Por ejemplo, las puertas de salida podrían abrirse al revés.

leading to people being crushed in an evacuation crisis,

causando que en una crisis de evacuación las personas sean aplastadas,

or broken glass raining down onto pedestrians in the street

o pueden caer cristales rotos sobre los peatones en la calle

because the wind blows too hard and shatters windows.

debido a que el viento sopla con demasiada fuerza y rompe las ventanas.

Entonces, ¿por qué un arquitecto confiaría su trabajo,

So why would an architect trust an AI system with their job,

su libertad,

with their literal freedom,

a un sistema de IA,

if they couldn't go in and fix a mistake if they found it?

si no puede corregir un error cuando lo encuentra?

So we need to figure out these problems today, and I'll tell you why.

Necesitamos resolver estos problemas ahora mismo, y te explicaré por qué.

The next wave of artificial intelligence systems, called agentic AI,

La próxima ola de sistemas de inteligencia artificial,

denominada IA de agencia,

is a true tipping point

es un punto de inflexión

between whether or not we retain human agency,

entre si conservamos o no la autonomía humana,

or whether or not AI systems make our decisions for us.

o si los sistemas de IA toman o no nuestras decisiones.

Imagine an AI agent as kind of like a personal assistant.

Imaginen a un agente de IA como una especie de asistente personal.

So, for example, a medical agent might determine

Por ejemplo, un agente médico puede determinar

si tu familia necesita citas con el médico o no,

whether or not your family needs doctor's appointments,

it might refill prescription medications, or in case of an emergency,

puede reabastecer los medicamentos recetados

o, en caso de emergencia,

send medical records to the hospital.

enviar la historia clínica al hospital.

But AI agents can't and won't exist

Pero los agentes de IA no pueden existir ni existirán

unless we have a true right to repair.

si no tenemos un auténtico derecho a reparación.

What parent would trust their child's health to an AI system

¿Qué padre confiaría la salud de sus hijos a un sistema de IA

unless you could run some basic diagnostics?

a menos que pudiera realizar algunos diagnósticos básicos?

What professional would trust an AI system with job decisions,

¿Qué profesional confiaría en un sistema de IA para tomar decisiones laborales,

unless you could retrain it the way you might a junior employee?

a menos que pudiera capacitarlo

al igual que un empleado subalterno?

Now, a right to repair might look something like this.

El derecho a reparación podría verse así.

You could have a diagnostics board

Podrían tener un tablero de diagnósticos

where you run basic tests that you design,

en la que realizaran las pruebas básicas que diseñen,

and if something's wrong, you could report it to the company

y, si algo va mal, podrían informarlo a la empresa

y saber cuándo está arreglado.

and hear back when it's fixed.

Or you could work with third parties like ethical hackers

O podrían trabajar con terceros, como hackers éticos,

who make patches for systems like we do today.

que crean parches para sistemas.

You can download them and use them to improve your system

Podrían descargarlos y usarlos para mejorar sus sistemas

the way you want it to be improved.

de la manera que desean que mejore.

Or you could be like these intrepid farmers and learn to program

O podrían ser como estos intrépidos agricultores

and fine-tune your own systems.

y aprender a programar y ajustar sus propios sistemas.

We won't achieve the promised benefits of artificial intelligence

No lograremos los beneficios prometidos de la inteligencia artificial

unless we figure out how to bring people into the development process.

a menos que descubramos cómo incorporar a las personas al proceso de desarrollo.

I've dedicated my career to responsible AI,

He dedicado mi carrera a la IA responsable,

and in that field we ask the question,

y, en ese campo, nos preguntamos:

what can companies build to ensure that people trust AI?

¿Qué pueden crear las empresas para garantizar la confianza en la IA?

Now, through these red-teaming exercises, and by talking to you,

A través de estos ejercicios de red teaming

y al hablar con ustedes,

I've come to realize that we've been asking the wrong question all along.

me he dado cuenta

de que nos hemos estado haciendo la pregunta equivocada.

What we should have been asking is what tools can we build

Lo que deberíamos habernos preguntado

es qué herramientas podemos crear

so people can make AI beneficial for them?

para que las personas puedan hacer que la IA sea beneficiosa para ellas.

Technologists can't do it alone.

Los tecnólogos no pueden hacerlo solos.

We can only do it with you.

Solo podemos hacerlo con ustedes.

Thank you.

Gracias.

(Applause)

(Aplausos)