Your Right to Repair AI Systems | Rumman Chowdhury | TED

Traduttore: Letizia Garofalo Revisore: Chiara Mondini

I want to tell you a story

Voglio raccontarvi una storia

about artificial intelligence and farmers.

su intelligenza artificiale e agricoltori.

Now, what a strange combination, right?

Ora, che strana combinazione, vero?

Two topics could not sound more different from each other.

Due argomenti non potrebbero sembrare più diversi l’uno dall’altro.

But did you know that modern farming actually involves a lot of technology?

Ma lo sapevate che l'agricoltura moderna richiede in realtà molta tecnologia?

So computer vision is used to predict crop yields.

Quindi la visione artificiale viene utilizzata per prevedere i raccolti.

And artificial intelligence is used to find,

E l’intelligenza artificiale viene utilizzata per trovare,

identify and get rid of insects.

identificare ed eliminare gli insetti.

Predictive analytics helps figure out extreme weather conditions

L’analisi predittiva aiuta a capire condizioni meteorologiche estreme

like drought or hurricanes.

come siccità o uragani.

But this technology is also alienating to farmers.

Ma questa tecnologia è anche alienante per gli agricoltori.

And this all came to a head in 2017

E ciò è arrivato al culmine nel 2017

with the tractor company John Deere when they introduced smart tractors.

quando l’azienda di trattori John Deere ha introdotto i trattori intelligenti.

So before then, if a farmer's tractor broke,

Quindi, se prima il trattore si rompeva, l’agricoltore

they could just repair it themselves or take it to a mechanic.

poteva semplicemente ripararlo da solo o portarlo da un meccanico.

Well, the company actually made it illegal

Beh, l’azienda aveva proprio reso illegale

for farmers to fix their own equipment.

per gli agricoltori riparare le proprie attrezzature.

You had to use a licensed technician

Dovevi rivolgerti a un tecnico autorizzato

and farmers would have to wait for weeks

e gli agricoltori dovevano aspettare settimane

while their crops rot and pests took over.

mentre i raccolti marcivano e i parassiti proliferavano.

So they took matters into their own hands.

Quindi hanno preso in mano la situazione.

Some of them learned to program,

Alcuni hanno imparato a programmare

and they worked with hackers to create patches to repair their own systems.

e hanno collaborato con hacker creando patch per riparare i propri sistemi.

In 2022,

Nel 2022,

at one of the largest hacker conferences in the world, DEFCON,

in occasione di una delle più grandi conferenze di hacker al mondo, DEFCON,

a hacker named Sick Codes and his team

un hacker di nome Sick Codes e il suo team

showed everybody how to break into a John Deere tractor,

hanno mostrato a tutti come entrare in un trattore John Deere,

showing that, first of all, the technology was vulnerable,

dimostrando, prima di tutto, che la tecnologia era vulnerabile,

but also that you can and should own your own equipment.

ma anche che si può e si deve essere padroni della propria attrezzatura.

To be clear, this is illegal,

Per essere chiari, questo è illegale,

but there are people trying to change that.

ma c’è chi cerca di cambiarlo.

Now that movement is called the “right to repair.”

Ora quel movimento si chiama «diritto alla riparazione».

The right to repair goes something like this.

Il che funziona più o meno così.

If you own a piece of technology,

Se possiedi una cosa tecnologica,

it could be a tractor, a smart toothbrush,

come un trattore, uno spazzolino intelligente,

a washing machine,

una lavatrice,

you should have the right to repair it if it breaks.

dovresti avere il diritto di ripararla in caso di rottura.

So why am I telling you this story?

Perché vi sto raccontando questa storia?

The right to repair needs to extend to artificial intelligence.

Il diritto alla riparazione deve estendersi all’intelligenza artificiale.

Now it seems like every week

Ora sembra che ogni settimana

there is a new and mind-blowing innovation in AI.

ci sia una nuova e strabiliante innovazione nell’IA.

But did you know that public confidence is actually declining?

Ma sapevate che la fiducia pubblica è in diminuzione?

A recent Pew poll showed that more Americans are concerned

Un recente sondaggio del Pew ha mostrato che gli americani sono

than they are excited about the technology.

più preoccupati che entusiasti della tecnologia.

This is echoed throughout the world.

Questo risuona in tutto il mondo.

The World Risk Poll shows

Il World Risk Poll mostra

that respondents from Central and South America and Africa

che gli intervistati in Sud e Centro America e in Africa hanno

all said that they felt AI would lead to more harm than good for their people.

affermato tutti di ritenere che l’IA gli causerà più danni che benefici.

As a social scientist and an AI developer,

In qualità di sociologa e sviluppatrice di IA,

this frustrates me.

questo mi frustra.

I'm a tech optimist

Sono un’ottimista della tecnologia

because I truly believe this technology can lead to good.

perché credo fermamente possa portare del bene.

So what's the disconnect?

Allora, qual è il divario?

Well, I've talked to hundreds of people over the last few years.

Beh, ho parlato con centinaia di persone negli ultimi anni.

Architects and scientists, journalists and photographers,

Architetti e scienziati, giornalisti e fotografi,

ride-share drivers and doctors,

autisti di car sharing e medici,

and they all say the same thing.

dicono tutti la stessa cosa.

People feel like an afterthought.

Le persone si sentono come se fossero secondarie.

They all know that their data is harvested often without their permission

Sanno tutti che i loro dati vengono raccolti spesso senza il loro permesso

to create these sophisticated systems.

per creare questi sistemi sofisticati.

They know that these systems are determining their life opportunities.

Sanno che questi sistemi determinano le loro opportunità.

They also know that nobody ever bothered to ask them

Sanno anche che nessuno si è mai preso la briga di chiedergli

how the system should be built,

come andrebbe costruito il sistema

and they certainly have no idea where to go if something goes wrong.

e sicuramente non hanno idea di dove andare se qualcosa va storto.

We may not own AI systems,

Anche se non possediamo sistemi di IA,

but they are slowly dominating our lives.

stanno lentamente dominando le nostre vite.

We need a better feedback loop

Serve un miglior ciclo di feedback

between the people who are making these systems,

tra chi realizza questi sistemi

and the people who are best determined to tell us

e chi è nella posizione di dirci

how these AI systems should interact in their world.

come dovrebbero interagire nel loro mondo.

One step towards this is a process called red teaming.

Un passo in questa direzione è un processo chiamato red teaming.

Now, red teaming is a practice that was started in the military,

Si tratta di una pratica iniziata nell’esercito

and it's used in cybersecurity.

utilizzata nella sicurezza informatica.

In a traditional red-teaming exercise,

In una tradizionale esercitazione di red-teaming,

external experts are brought in to break into a system,

vengono chiamati esperti esterni per entrare in un sistema,

sort of like what Sick Codes did with tractors, but legal.

un po’ come ha fatto Sick Codes con i trattori, ma legalmente.

So red teaming acts as a way of testing your defenses

Il red teaming serve quindi a mettere alla prova le proprie difese

and when you can figure out where something will go wrong,

e quando si riesce a capire dove qualcosa può andare storto,

you can figure out how to fix it.

si può capire come risolvere il problema.

But when AI systems go rogue,

Ma quando i sistemi di IA si disgregano,

it's more than just a hacker breaking in.

non si tratta solo di un hacker che fa irruzione.

The model could malfunction or misrepresent reality.

Il modello potrebbe non funzionare correttamente o travisare la realtà.

So, for example, not too long ago,

Quindi, ad esempio, non molto tempo fa,

we saw an AI system attempting diversity

abbiamo visto un sistema di IA tentare la diversità

by showing historically inaccurate photos.

mostrando foto storicamente imprecise.

Anybody with a basic understanding of Western history

Chiunque con una conoscenza base della storia occidentale

could have told you that neither the Founding Fathers

saprebbe che né i Padri Fondatori

nor Nazi-era soldiers would have been Black.

né i soldati nazisti avrebbero mai potuto essere neri.

In that case, who qualifies as an expert?

In tal caso, chi è l’esperto?

You.

Voi.

I'm working with thousands of people all around the world

Sto lavorando con migliaia di persone in tutto il mondo

on large and small red-teaming exercises,

su diversi esercizi di red teaming,

and through them we found and fixed mistakes in AI models.

grazie ai quali abbiamo trovato e corretto errori nei modelli di IA.

We also work with some of the biggest tech companies in the world:

Collaboriamo anche con alcune delle più grandi aziende tecnologiche al mondo:

OpenAI, Meta, Anthropic, Google.

OpenAI, Meta, Anthropic, Google.

And through this, we've made models work better for more people.

E abbiamo così fatto sì che i modelli funzionassero meglio per più persone.

Here's a bit of what we've learned.

Ecco un po' di ciò che abbiamo imparato.

We partnered with the Royal Society in London to do a scientific,

Abbiamo collaborato con la Royal Society a Londra per organizzare un evento

mis- and disinformation event with disease scientists.

di mala- e disinformazione con scienziati delle malattie.

What these scientists found

Questi scienziati hanno scoperto

is that AI models actually had a lot of protections

che i modelli di IA avevano effettivamente molte protezioni

against COVID misinformation.

contro la disinformazione sul COVID.

But for other diseases like measles, mumps and the flu,

Ma per altre malattie come morbillo, parotite e influenza,

the same protections didn't apply.

le stesse protezioni non si applicavano.

We reported these changes,

Lo abbiamo segnalato,

they’re fixed and now we are all better protected

sono state corrette e ora siamo tutti protetti meglio

against scientific mis- and disinformation.

dalla disinformazione scientifica.

We did a really similar exercise with architects at Autodesk University,

Abbiamo fatto un esercizio molto simile con architetti dell’Università Autodesk

and we asked them a simple question:

ponendo loro una semplice domanda:

Will AI put them out of a job?

l’intelligenza artificiale vi lascerà senza lavoro?

Or more specifically,

O più specificamente,

could they imagine a modern AI system

immaginate un moderno sistema

that would be able to design the specs of a modern art museum?

di IA in grado di progettare un museo d’arte moderna?

The answer, resoundingly, was no.

La risposta, clamorosamente, è stata no.

Here's why, architects do more than just draw buildings.

Ecco perché: gli architetti non si limitano a disegnare edifici.

They have to understand physics and material science.

Devono comprendere la fisica e la scienza dei materiali,

They have to know building codes,

conoscere i codici di costruzione

and they have to do that

e devono farlo

while making something that evokes emotion.

mentre creano qualcosa che evochi emozioni.

What the architects wanted was an AI system

Gli architetti volevano un sistema di IA

that interacted with them, that would give them feedback,

che interagisse con loro, che fornisse loro feedback

maybe proactively offer design recommendations.

e magari offrisse proattivamente consigli di progettazione.

And today's AI systems, not quite there yet.

E i sistemi di IA di oggi non ci sono ancora arrivati.

But those are technical problems.

Ma questi sono problemi tecnici.

People building AI are incredibly smart,

Chi costruisce IA è molto intelligente

and maybe they could solve all that in a few years.

e forse potrebbe risolvere tutto questo in pochi anni.

But that wasn't their biggest concern.

Ma non era questa la loro maggiore preoccupazione.

Their biggest concern was trust.

La maggior preoccupazione era la fiducia.

Now architects are liable if something goes wrong with their buildings.

Ora gli architetti sono responsabili se qualcosa va storto nei loro edifici.

They could lose their license,

Potrebbero perdere la licenza,

they could be fined, they could even go to prison.

potrebbero essere multati, e persino andare in prigione.

And failures can happen in a million different ways.

E gli errori possono avvenire in un milione di modi diversi.

For example, exit doors that open the wrong way,

Ad esempio, porte che si aprono nella direzione sbagliata,

leading to people being crushed in an evacuation crisis,

con schiacciamento delle persone durante una crisi di evacuazione,

or broken glass raining down onto pedestrians in the street

o vetri rotti che cadono sui pedoni

because the wind blows too hard and shatters windows.

perché il vento soffia troppo forte e frantuma le finestre.

So why would an architect trust an AI system with their job,

Allora perché un architetto dovrebbe affidare a un’IA il suo lavoro,

with their literal freedom,

la sua libertà vera e propria,

if they couldn't go in and fix a mistake if they found it?

se non può intervenire per correggere un errore che trova?

So we need to figure out these problems today, and I'll tell you why.

Dobbiamo risolvere questi problemi oggi e vi dirò perché.

The next wave of artificial intelligence systems, called agentic AI,

La prossima ondata di IA, chiamata IA agentica,

is a true tipping point

è un vero punto di svolta

between whether or not we retain human agency,

tra il mantenimento o meno del libero arbitrio umano

or whether or not AI systems make our decisions for us.

o il fatto che i sistemi di IA prendano o meno decisioni al posto nostro.

Imagine an AI agent as kind of like a personal assistant.

Immaginate un agente di IA come un assistente personale.

So, for example, a medical agent might determine

Quindi, ad esempio, un agente medico potrebbe decidere

se la tua famiglia ha bisogno di appuntamenti dal medico,

whether or not your family needs doctor's appointments,

it might refill prescription medications, or in case of an emergency,

ricaricare farmaci soggetti a prescrizione medica o, in caso di emergenza

send medical records to the hospital.

inviare cartelle cliniche all'ospedale.

But AI agents can't and won't exist

Ma gli agenti di IA non possono e non devono esistere

unless we have a true right to repair.

se non abbiamo reale diritto di riparazione.

What parent would trust their child's health to an AI system

Quale genitore affiderebbe la salute dei propri figli a un sistema di IA

unless you could run some basic diagnostics?

a meno che non possano eseguire verifiche di base?

What professional would trust an AI system with job decisions,

Quale professionista si affiderebbe a un sistema di IA per le decisioni lavorative,

unless you could retrain it the way you might a junior employee?

a meno che non possa formarlo come farebbe con uno stagista?

Now, a right to repair might look something like this.

Ora, il diritto alla riparazione potrebbe funzionare così.

You could have a diagnostics board

Potreste avere una scheda diagnostica

where you run basic tests that you design,

in cui eseguire test da voi progettati

and if something's wrong, you could report it to the company

e, se qualcosa non va, potreste segnalarlo all’azienda

e ricevere risposta quando è risolto.

and hear back when it's fixed.

Or you could work with third parties like ethical hackers

Oppure potreste lavorare, ad esempio con hacker etici,

who make patches for systems like we do today.

che creano patch per sistemi come facciamo oggi.

You can download them and use them to improve your system

Da scaricare e utilizzare per migliorare il sistema

the way you want it to be improved.

come desideri.

Or you could be like these intrepid farmers and learn to program

Oppure, come questi intrepidi agricoltori, potreste imparare a programmare

and fine-tune your own systems.

e mettere a punto i vostri sistemi.

We won't achieve the promised benefits of artificial intelligence

Non otterremo i benefici promessi dell’IA

unless we figure out how to bring people into the development process.

se non capiamo come coinvolgere le persone nel processo di sviluppo.

I've dedicated my career to responsible AI,

Ho dedicato la mia carriera all’IA responsabile

and in that field we ask the question,

e in questo campo ci poniamo la domanda:

what can companies build to ensure that people trust AI?

cosa possono costruire le aziende per far sì che le persone si fidino dell’IA?

Now, through these red-teaming exercises, and by talking to you,

Ora, grazie a questi esercizi di squadra e parlando con voi,

I've come to realize that we've been asking the wrong question all along.

mi sono resa conto che abbiamo sempre posto la domanda sbagliata.

What we should have been asking is what tools can we build

Avremmo dovuto chiederci quali strumenti possiamo creare

so people can make AI beneficial for them?

affinché le persone possano rendere l’IA utile a loro stesse?

Technologists can't do it alone.

I tecnici non possono farlo da soli.

We can only do it with you.

Possiamo farlo solo con voi.

Thank you.

Grazie.

(Applause)

(Applausi)