Your Right to Repair AI Systems | Rumman Chowdhury | TED

Tradutor: Filipe Marques Revisora: Margarida Ferreira

I want to tell you a story

Quero contar-vos uma história

about artificial intelligence and farmers.

sobre inteligência artificial e agricultores.

Now, what a strange combination, right?

Que combinação estranha, não é?

Two topics could not sound more different from each other.

Dois temas que não podiam soar mais diferentes um do outro.

But did you know that modern farming actually involves a lot of technology?

Mas sabiam que a agricultura moderna envolve muita tecnologia?

So computer vision is used to predict crop yields.

A visão por computador é usada para prever o rendimento das colheitas.

And artificial intelligence is used to find,

E a inteligência artificial é usada para encontrar,

identify and get rid of insects.

identificar e eliminar os insetos.

A análise preditiva ajuda a prever condições climatéricas extremas

Predictive analytics helps figure out extreme weather conditions

like drought or hurricanes.

como secas ou furacões.

But this technology is also alienating to farmers.

Mas esta tecnologia também é alienante para os agricultores.

And this all came to a head in 2017

E tudo isto chegou ao seu auge em 2017

with the tractor company John Deere when they introduced smart tractors.

com a empresa de tratores John Deere, quando lançaram os tratores inteligentes.

So before then, if a farmer's tractor broke,

Antes disso, se o trator de um agricultor se avariasse,

they could just repair it themselves or take it to a mechanic.

eles próprios podiam repará-lo ou levá-lo a um mecânico.

Well, the company actually made it illegal

Bom, a empresa fez com que fosse ilegal

os agricultores consertarem o seu próprio equipamento.

for farmers to fix their own equipment.

You had to use a licensed technician

Tinham de recorrer a um técnico licenciado

and farmers would have to wait for weeks

e os agricultores esperavam semanas

while their crops rot and pests took over.

enquanto as suas colheitas apodreciam e as pragas tomavam conta delas.

So they took matters into their own hands.

Portanto, resolveram o problema com as suas próprias mãos.

Some of them learned to program,

Alguns aprenderam a programar

and they worked with hackers to create patches to repair their own systems.

e trabalharam com hackers para criar correções para reparar os sistemas.

In 2022,

Em 2022,

at one of the largest hacker conferences in the world, DEFCON,

numa das maiores conferências de hackers do mundo, a DEFCON,

a hacker named Sick Codes and his team

um hacker chamado Sick Codes e a sua equipa

showed everybody how to break into a John Deere tractor,

mostraram a todos como aceder a um trator John Deere,

showing that, first of all, the technology was vulnerable,

mostrando que, antes de mais, a tecnologia era vulnerável,

but also that you can and should own your own equipment.

mas também que podiam e deviam possuir o seu equipamento.

To be clear, this is illegal,

Para ser clara, isto é ilegal,

but there are people trying to change that.

mas há pessoas a tentar mudar isso.

Now that movement is called the “right to repair.”

Agora, esse movimento chama-se “direito à reparação”.

The right to repair goes something like this.

O direito à reparação é mais ou menos assim.

If you own a piece of technology,

Se possui uma peça de tecnologia,

it could be a tractor, a smart toothbrush,

pode ser um trator, uma escova de dentes inteligente,

a washing machine,

uma máquina de lavar roupa,

you should have the right to repair it if it breaks.

temos de ter o direito de a reparar em caso de avaria.

Porque é que estou a contar-vos esta história?

So why am I telling you this story?

The right to repair needs to extend to artificial intelligence.

O direito à reparação tem de se estender à inteligência artificial.

Now it seems like every week

Agora parece que todas as semanas

there is a new and mind-blowing innovation in AI.

há uma nova e alucinante inovação na IA.

But did you know that public confidence is actually declining?

Mas vocês sabiam que a confiança pública está a diminuir?

A recent Pew poll showed that more Americans are concerned

Uma sondagem recente da Pew mostrou que há mais americanos

mais preocupados do que entusiasmados com a tecnologia.

than they are excited about the technology.

This is echoed throughout the world.

Isto reflete-se em todo o mundo.

The World Risk Poll shows

A World Risk Poll mostra

that respondents from Central and South America and Africa

que os inquiridos da América Central e do Sul e da África

all said that they felt AI would lead to more harm than good for their people.

disseram que achavam que a IA

faria mais mal do que bem aos seus povos.

As a social scientist and an AI developer,

Como cientista social e criadora de IA, isto frustra-me.

this frustrates me.

I'm a tech optimist

Eu sou otimista tecnológica

because I truly believe this technology can lead to good.

e acredito realmente que esta tecnologia pode levar ao bem.

So what's the disconnect?

Então, qual é o problema?

Well, I've talked to hundreds of people over the last few years.

Bem, falei com centenas de pessoas nos últimos anos.

Architects and scientists, journalists and photographers,

Arquitetos e cientistas, jornalistas e fotógrafos,

ride-share drivers and doctors,

motoristas de serviços e médicos,

and they all say the same thing.

e todos dizem a mesma coisa.

People feel like an afterthought.

As pessoas sentem-se como se tivessem sido esquecidas.

They all know that their data is harvested often without their permission

Todos sabem que os seus dados são recolhidos muitas vezes sem permissão

to create these sophisticated systems.

para criar estes sistemas sofisticados.

They know that these systems are determining their life opportunities.

Sabem que estes sistemas estão a determinar as oportunidades da vida.

They also know that nobody ever bothered to ask them

Sabem também que nunca ninguém se preocupou em perguntar-lhes

how the system should be built,

como construir o sistema,

and they certainly have no idea where to go if something goes wrong.

e certamente não sabem a quem recorrer se algo correr mal.

We may not own AI systems,

Podemos não ser donos dos sistemas de IA,

but they are slowly dominating our lives.

mas eles estão a dominar lentamente a nossa vida.

We need a better feedback loop

Precisamos de um feedback melhor

between the people who are making these systems,

entre as pessoas que estão a fabricar estes sistemas,

and the people who are best determined to tell us

e as pessoas que estão mais determinadas a dizer-nos

how these AI systems should interact in their world.

como estes sistemas de IA devem interagir no seu mundo.

One step towards this is a process called red teaming.

Um passo nesse sentido é um processo chamado "red teaming".

Now, red teaming is a practice that was started in the military,

Ora, o red teaming é uma prática que começou nos meios militares

and it's used in cybersecurity.

e é usada na cibersegurança.

In a traditional red-teaming exercise,

Num exercício tradicional de red teaming,

external experts are brought in to break into a system,

são recrutados peritos externos para entrar num sistema,

sort of like what Sick Codes did with tractors, but legal.

tal como o Sick Codes fez com os tratores, mas de forma legal.

So red teaming acts as a way of testing your defenses

O red teaming funciona como uma forma de testar as nossas defesas

and when you can figure out where something will go wrong,

e quando conseguimos descobrir quando algo vai correr mal,

podemos descobrir como consertá-lo.

you can figure out how to fix it.

Mas quando os sistemas de IA se tornam desonestos,

But when AI systems go rogue,

it's more than just a hacker breaking in.

é pior do que a invasão de um hacker.

The model could malfunction or misrepresent reality.

O modelo pode funcionar mal ou deturpar a realidade.

Por exemplo, ainda há pouco tempo,

So, for example, not too long ago,

we saw an AI system attempting diversity

vimos um sistema de IA a tentar a diversidade

by showing historically inaccurate photos.

mostrando fotos historicamente imprecisas.

Anybody with a basic understanding of Western history

Qualquer um com compreensão básica da história ocidental

could have told you that neither the Founding Fathers

podia ter-vos dito que nem os Pais Fundadores

nor Nazi-era soldiers would have been Black.

nem os soldados da era nazi eram negros.

Num caso destes, quem é que pode ser considerado um perito?

In that case, who qualifies as an expert?

You.

Somos nós.

I'm working with thousands of people all around the world

Eu estou a trabalhar com milhares de pessoas em todo o mundo

on large and small red-teaming exercises,

em grandes e pequenos exercícios de red-teaming,

and through them we found and fixed mistakes in AI models.

e através deles encontrámos e corrigimos erros nos modelos de IA.

We also work with some of the biggest tech companies in the world:

Trabalhámos também

com algumas das maiores empresas tecnológicas mundo:

OpenAI, Meta, Anthropic, Google.

a OpenAI, a Meta, a Anthropic, a Google.

And through this, we've made models work better for more people.

E assim, fizemos com que os modelos funcionem melhor para mais pessoas.

Aqui está um pouco do que aprendemos.

Here's a bit of what we've learned.

We partnered with the Royal Society in London to do a scientific,

Fizemos uma parceria com a Royal Society em Londres

para realizar um evento científico de desinformação

mis- and disinformation event with disease scientists.

com cientistas de doenças.

What these scientists found

O que eles descobriram

is that AI models actually had a lot of protections

é que os modelos de IA tinham muitas proteções

against COVID misinformation.

contra a desinformação sobre o COVID.

But for other diseases like measles, mumps and the flu,

Mas para outras doenças como o sarampo, a papeira e a gripe,

the same protections didn't apply.

as mesmas proteções não se aplicavam.

We reported these changes,

Relatámos estas alterações,

they’re fixed and now we are all better protected

elas foram corrigidas e agora estamos todos mais protegidos

against scientific mis- and disinformation.

contra a desinformação científica e a desinformação.

We did a really similar exercise with architects at Autodesk University,

Fizemos um exercício muito semelhante com os arquitetos da Autodesk University,

and we asked them a simple question:

e fizemos-lhes uma pergunta simples:

Will AI put them out of a job?

A IA vai pô-los no desemprego?

Or more specifically,

Ou, mais especificamente,

could they imagine a modern AI system

conseguem imaginar um sistema de IA moderno

that would be able to design the specs of a modern art museum?

capaz de projetar as especificações de um museu de arte moderna?

The answer, resoundingly, was no.

A resposta foi, retumbantemente, não.

Here's why, architects do more than just draw buildings.

Eis porquê: os arquitetos não desenham apenas edifícios.

They have to understand physics and material science.

Têm de compreender a física e a ciência dos materiais.

They have to know building codes,

Têm de conhecer as normas de construção

and they have to do that

e têm de o fazer

while making something that evokes emotion.

enquanto criam algo que evoca emoção.

What the architects wanted was an AI system

O que eles queriam era um sistema de IA

that interacted with them, that would give them feedback,

que interagisse com eles, que lhes desse feedback,

maybe proactively offer design recommendations.

oferecesse proativamente recomendações de design.

And today's AI systems, not quite there yet.

E os sistemas de IA de hoje ainda não chegaram a esse ponto.

But those are technical problems.

Mas esses são problemas técnicos.

People building AI are incredibly smart,

Quem constrói IA é bastante inteligente

and maybe they could solve all that in a few years.

e talvez possam resolver tudo isso daqui a uns anos.

But that wasn't their biggest concern.

Mas essa não era a sua maior preocupação.

Their biggest concern was trust.

A sua maior preocupação era a confiança.

Now architects are liable if something goes wrong with their buildings.

Os arquitetos são responsáveis se algo correr mal com os seus edifícios.

They could lose their license,

Podem perder a licença,

they could be fined, they could even go to prison.

podem ser multados, podem até ir para a prisão.

And failures can happen in a million different ways.

E as falhas podem acontecer de um milhão de maneiras diferentes.

For example, exit doors that open the wrong way,

Por exemplo, portas de saída que abrem na direção errada

leading to people being crushed in an evacuation crisis,

levando as pessoas a serem esmagadas numa crise de evacuação,

or broken glass raining down onto pedestrians in the street

ou vidros partidos a chover sobre os peões na rua

porque o vento soprou demasiado forte e estilhaçou as janelas.

because the wind blows too hard and shatters windows.

So why would an architect trust an AI system with their job,

Porque é que um arquiteto confiará a um sistema de IA o seu trabalho,

with their literal freedom,

ou a sua liberdade literal,

if they couldn't go in and fix a mistake if they found it?

se não puder aceder ao mesmo e corrigir um erro se o encontrar?

É preciso resolver estes problemas hoje, e vou dizer-vos porquê.

So we need to figure out these problems today, and I'll tell you why.

A próxima vaga de sistemas de inteligência artificial,

The next wave of artificial intelligence systems, called agentic AI,

designada por IA de agente,

is a true tipping point

é um ponto de viragem

between whether or not we retain human agency,

entre se mantemos ou não a atividade humana,

or whether or not AI systems make our decisions for us.

ou se os sistemas de IA tomam ou não as nossas decisões por nós.

Imaginem um agente de IA como uma espécie de assistente pessoal.

Imagine an AI agent as kind of like a personal assistant.

So, for example, a medical agent might determine

Como, por exemplo, um médico pode determinar

whether or not your family needs doctor's appointments,

se a vossa família precisa ou não de consultas médicas,

it might refill prescription medications, or in case of an emergency,

poderá reabastecer medicamentos prescritos ou, em caso de emergência,

send medical records to the hospital.

enviar registos médicos para o hospital.

But AI agents can't and won't exist

Mas os agentes da IA não podem nem vão existir

unless we have a true right to repair.

a menos que tenhamos o direito à reparação.

What parent would trust their child's health to an AI system

Que pai confiaria a saúde do seu filho a um sistema de IA

unless you could run some basic diagnostics?

a não ser que pudesse efetuar alguns diagnósticos básicos?

What professional would trust an AI system with job decisions,

Que profissional confiaria a um sistema de IA, decisões de trabalho,

unless you could retrain it the way you might a junior employee?

a não ser que o pudesse treinar como faria com um colaborador júnior?

Now, a right to repair might look something like this.

Ora bem, o direito à reparação pode ser algo como isto.

You could have a diagnostics board

Poderá ter um quadro de diagnóstico

where you run basic tests that you design,

onde efetua testes básicos, concebidos por nós,

and if something's wrong, you could report it to the company

e, se algo estiver errado, pode comunicá-lo à empresa

e saber quando o erro estiver resolvido.

and hear back when it's fixed.

Or you could work with third parties like ethical hackers

Ou pode trabalhar com terceiros, como hackers éticos,

who make patches for systems like we do today.

que criam correções para sistemas como fazemos hoje.

You can download them and use them to improve your system

Pode transferi-las e usá-las para melhorar o seu sistema

the way you want it to be improved.

da forma como quer que seja melhorado.

Or you could be like these intrepid farmers and learn to program

Ou pode fazer como estes intrépidos agricultores

and fine-tune your own systems.

e aprender a programar e afinar os seus próprios sistemas.

We won't achieve the promised benefits of artificial intelligence

Só obteremos os benefícios prometidos da inteligência artificial

unless we figure out how to bring people into the development process.

se envolvermos as pessoas no processo do desenvolvimento.

I've dedicated my career to responsible AI,

Dediquei a minha carreira a uma IA responsável

and in that field we ask the question,

e, nessa área, fazemos a pergunta:

what can companies build to ensure that people trust AI?

o que podem as empresas construir para as pessoas confiarem na IA?

Now, through these red-teaming exercises, and by talking to you,

Agora, através destes exercícios de red-teaming e ao falar convosco,

I've come to realize that we've been asking the wrong question all along.

percebi que estivemos sempre a fazer a pergunta errada.

What we should have been asking is what tools can we build

O que devíamos ter perguntado é: que ferramentas podemos construir

so people can make AI beneficial for them?

para as pessoas poerem tornar a IA benéfica para se mesmas?

Os tecnólogos não podem fazê-lo sozinhos.

Technologists can't do it alone.

We can only do it with you.

Só o podemos fazer convosco.

Thank you.

Obrigada.

(Applause)

(Aplausos)