AI Is Dangerous, but Not for the Reasons You Think | Sasha Luccioni | TED

Tradutor: Margarida Ferreira Revisora: Eliana Santos

So I've been an AI researcher for over a decade.

Sou investigadora da IA há mais de 10 anos.

And a couple of months ago, I got the weirdest email of my career.

Há uns meses, recebi o e-mail mais estranho da minha carreira.

A random stranger wrote to me

Um desconhecido qualquer escreveu-me a dizer

saying that my work in AI is going to end humanity.

que o meu trabalho na IA vai acabar com a Humanidade.

Now I get it, AI, it's so hot right now.

Agora percebo, a IA está na berlinda, neste momento.

(Laughter)

(Risos)

Aparece nos títulos dos jornais quase todos os dias,

It's in the headlines pretty much every day,

sometimes because of really cool things

por vezes por causa de coisas muito fixes

like discovering new molecules for medicine

como descobrir novas moléculas para a medicina

or that dope Pope in the white puffer coat.

ou aquele Papa janota de casaco branco.

But other times the headlines have been really dark,

Mas outras vezes os cabeçalhos têm sido muito sombrios,

like that chatbot telling that guy that he should divorce his wife

como aquele chatbot a dizer àquele tipo que devia divorciar-se da mulher

or that AI meal planner app proposing a crowd pleasing recipe

ou a aplicação de planeamento de refeições

em que a IA propõe uma receita que agrade a todos, com cloro.

featuring chlorine gas.

And in the background,

E, em segundo plano,

we've heard a lot of talk about doomsday scenarios,

ouvimos falar muito sobre cenários do dia do Juízo Final,

existential risk and the singularity,

risco existencial e singularidade.

with letters being written and events being organized

Escrevem-se cartas e organizam-se eventos

to make sure that doesn't happen.

para garantir que isso não acontece.

Now I'm a researcher who studies AI's impacts on society,

Eu sou uma investigadora que estuda os impactos da IA na sociedade,

and I don't know what's going to happen in 10 or 20 years,

e não sei o que vai acontecer daqui a 10 ou 20 anos,

and nobody really does.

e, na verdade, ninguém sabe.

But what I do know is that there's some pretty nasty things going on right now,

Mas o que sei é que estão a acontecer coisas muito desagradáveis neste momento,

because AI doesn't exist in a vacuum.

porque a IA não existe no vácuo.

It is part of society, and it has impacts on people and the planet.

Faz parte da sociedade, e tem impacto nas pessoas e no planeta.

Os modelos da IA podem contribuir para a alteração climática.

AI models can contribute to climate change.

Their training data uses art and books created by artists

Os dados para a sua formação utilizam arte e livros

criados por artistas e autores sem o consentimento deles.

and authors without their consent.

And its deployment can discriminate against entire communities.

E a sua implantação pode discriminar comunidades inteiras.

But we need to start tracking its impacts.

Precisamos de começar a acompanhar os seus impactos.

We need to start being transparent and disclosing them and creating tools

Precisamos de começar a ser transparentes, a divulgá-los e a criar instrumentos

so that people understand AI better,

para as pessoas compreenderem melhor a IA,

so that hopefully future generations of AI models

para que as futuras gerações de modelos da IA

are going to be more trustworthy, sustainable,

sejam mais fiáveis, mais sustentáveis,

maybe less likely to kill us, if that's what you're into.

talvez menos propensas a matar-nos, se é isso que vos preocupa.

Mas comecemos pela sustentabilidade,

But let's start with sustainability,

because that cloud that AI models live on is actually made out of metal, plastic,

porque a nuvem em que vivem os modelos da IA é feita de metal, de plástico

and powered by vast amounts of energy.

e é alimentada por grandes quantidades de energia.

And each time you query an AI model, it comes with a cost to the planet.

Cada vez que consultamos um modelo de IA, isso tem um custo para o planeta.

Last year, I was part of the BigScience initiative,

No ano passado, fiz parte da iniciativa BigScience,

which brought together a thousand researchers

que juntou mil investigadores de todo o mundo

from all over the world to create Bloom,

para criar o Bloom,

the first open large language model, like ChatGPT,

o primeiro modelo linguístico aberto de grande dimensão, como o ChatGPT,

but with an emphasis on ethics, transparency and consent.

mas com ênfase na ética, na transparência e no consentimento.

And the study I led that looked at Bloom's environmental impacts

O estudo que eu liderei e que analisou os impactos ambientais do Bloom

found that just training it used as much energy

concluiu que só para o treinar consumia tanta energia

as 30 homes in a whole year

como 30 lares durante um ano inteiro

and emitted 25 tons of carbon dioxide,

e emitia 25 toneladas de dióxido de carbono,

o mesmo que dar cinco voltas ao planeta, de carro,

which is like driving your car five times around the planet

just so somebody can use this model to tell a knock-knock joke.

só para uma pessoa poder usar esse modelo para contar uma piada idiota.

And this might not seem like a lot,

Isto pode não parecer muito importante,

but other similar large language models,

mas outros modelos linguísticos semelhantes de grande dimensão,

like GPT-3,

como o GPT-3,

emit 20 times more carbon.

emitem 20 vezes mais carbono.

But the thing is, tech companies aren't measuring this stuff.

Mas a questão é que as empresas de tecnologia não estão a medir isto,

They're not disclosing it.

não estão a divulgar isto.

And so this is probably only the tip of the iceberg,

Provavelmente, isto é apenas a ponta do icebergue,

even if it is a melting one.

mesmo que ele esteja a derreter-se.

And in recent years we've seen AI models balloon in size

Nos últimos anos temos visto os modelos de IA aumentarem de tamanho

because the current trend in AI is "bigger is better."

porque a tendência atual na IA é “quanto maior melhor”.

But please don't get me started on why that's the case.

Mas não me façam começar a falar da razão por que é assim.

In any case, we've seen large language models in particular

Em todo o caso, temos visto grandes modelos linguísticos

grow 2,000 times in size over the last five years.

aumentarem 2000 vezes de tamanho nos últimos cinco anos.

And of course, their environmental costs are rising as well.

É claro que os custos ambientais também estão a aumentar.

The most recent work I led, found that switching out a smaller,

O trabalho mais recente que liderei concluiu

que a substituição de um modelo mais pequeno e mais eficaz

more efficient model for a larger language model

por um modelo de linguagem maior

emits 14 times more carbon for the same task.

emite 14 vezes mais carbono para a mesma tarefa.

Like telling that knock-knock joke.

É como contar aquela piada idiota.

And as we're putting in these models into cell phones and search engines

À medida que colocamos estes modelos nos telemóveis, nos motores de busca,

and smart fridges and speakers,

nos frigoríficos e altifalantes inteligentes,

the environmental costs are really piling up quickly.

os custos ambientais vão-se acumulando rapidamente.

So instead of focusing on some future existential risks,

Então, em vez de nos concentrarmos em alguns riscos existenciais futuros,

let's talk about current tangible impacts

é melhor falarmos dos atuais impactos tangíveis

and tools we can create to measure and mitigate these impacts.

e das ferramentas que podemos criar para medir e mitigar esses impactos.

I helped create CodeCarbon,

Eu ajudei a criar o CodeCarbon,

a tool that runs in parallel to AI training code

um instrumento que funciona em paralelo com o código de treino da IA

that estimates the amount of energy it consumes

que calcula a quantidade de energia que isso consome

and the amount of carbon it emits.

e a quantidade de carbono que emite.

And using a tool like this can help us make informed choices,

Usar um instrumento como este

pode ajudar-nos a fazer escolhas,

like choosing one model over the other because it's more sustainable,

como escolher um modelo em vez de outro, por ser mais sustentável,

or deploying AI models on renewable energy,

ou implementar modelos de IA com energias renováveis,

which can drastically reduce their emissions.

o que pode reduzir drasticamente as suas emissões.

But let's talk about other things

Mas falemos de outras coisas

because there's other impacts of AI apart from sustainability.

porque há outros impactos da IA para além da sustentabilidade.

For example, it's been really hard for artists and authors

Por exemplo, tem sido muito difícil os artistas e autores provarem

to prove that their life's work has been used for training AI models

que o trabalho da sua vida tem sido usado para treinar modelos de IA

without their consent.

sem o consentimento deles.

And if you want to sue someone, you tend to need proof, right?

Se quiserem processar alguém, têm de precisar de provas, não é?

So Spawning.ai, an organization that was founded by artists,

Então, a Spawning.ai, uma organização fundada por artistas,

created this really cool tool called “Have I Been Trained?”

criou um instrumento muito fixe chamado “Já fui treinado?”

And it lets you search these massive data sets

que permite pesquisar conjuntos enormes de dados

to see what they have on you.

para verem o que sabem sobre vocês.

Now, I admit it, I was curious.

Confesso que fiquei curiosa.

I searched LAION-5B,

Pesquisei o LAION-5B,

que é um conjunto enorme de dados de imagens e textos,

which is this huge data set of images and text,

to see if any images of me were in there.

para ver se lá havia algumas imagens minhas.

Now those two first images,

Ora bem, nestas duas primeiras imagens,

that's me from events I've spoken at.

sou eu, em eventos em que falei.

Mas, quanto ao resto das imagens, em nenhuma delas sou eu.

But the rest of the images, none of those are me.

They're probably of other women named Sasha

Provavelmente, são de outras mulheres chamadas Sasha

who put photographs of themselves up on the internet.

que puseram fotografias de si mesmas na Internet.

Isto pode explicar porquê,

And this can probably explain why,

when I query an image generation model

quando consulto um modelo de geração de imagens

to generate a photograph of a woman named Sasha,

para gerar uma fotografia de uma mulher chamada Sasha,

more often than not I get images of bikini models.

muitas vezes obtenho imagens de modelos em biquíni.

Sometimes they have two arms,

Por vezes têm dois braços,

sometimes they have three arms,

por vezes têm três braços,

(Risos)

but they rarely have any clothes on.

mas raramente têm roupas vestidas.

And while it can be interesting for people like you and me

Embora possa ser interessante para pessoas como vocês e como eu

to search these data sets,

pesquisar estes conjuntos de dados,

for artists like Karla Ortiz,

para artistas como Karla Ortiz,

this provides crucial evidence that her life's work, her artwork,

isto fornece provas cruciais de que as obras de arte dela,

foram usadas para treinar modelos de IA sem autorização,

was used for training AI models without her consent,

e ela e dois artistas usaram isso como prova

and she and two artists used this as evidence

to file a class action lawsuit against AI companies

para apresentar um processo judicial contra empresas de IA

for copyright infringement.

por violação dos direitos de autor.

And most recently --

E mais recentemente...

(Applause)

(Aplausos)

E, mais recentemente, a Spawning.ai associou-se à Hugging Face,

And most recently Spawning.ai partnered up with Hugging Face,

the company where I work at,

a empresa onde trabalho,

to create opt-in and opt-out mechanisms for creating these data sets.

para criar mecanismos de inclusão e de exclusão

para criar esses conjuntos de dados.

Porque as obras de arte criadas pelos seres humanos

Because artwork created by humans shouldn’t be an all-you-can-eat buffet

não devem ser um bufete à discrição

for training AI language models.

para treinar modelos linguísticos de IA.

(Applause)

(Aplausos)

The very last thing I want to talk about is bias.

A última coisa de que quero falar é de preconceito.

You probably hear about this a lot.

Provavelmente, ouvem falar disso muitas vezes.

Formally speaking, it's when AI models encode patterns and beliefs

Formalmente falando, é quando os modelos de IA codificam padrões e crenças

that can represent stereotypes or racism and sexism.

que podem representar estereótipos ou racismo e sexismo.

One of my heroes, Dr. Joy Buolamwini, experienced this firsthand

Uma das minhas heroínas, a Dra. Joy Buolamwini,

sentiu isto pessoalmente,

when she realized that AI systems wouldn't even detect her face

quando percebeu que os sistemas de IA só detetavam o rosto dela

unless she was wearing a white-colored mask.

se ela usasse uma máscara branca.

Digging deeper, she found that common facial recognition systems

Ao aprofundar isso, ela descobriu

que os sistemas comuns de reconhecimento facial

were vastly worse for women of color compared to white men.

eram muito piores para as mulheres de cor

do que para os homens brancos.

And when biased models like this are deployed in law enforcement settings,

Quando modelos preconceituosos como este são utilizados na aplicação da lei,

this can result in false accusations, even wrongful imprisonment,

isso pode resultar em falsas acusações, e até em prisões injustas,

which we've seen happen to multiple people in recent months.

como vimos acontecer a várias pessoas nos últimos meses.

Por exemplo, Porcha Woodruff foi acusada injustamente de roubo de automóvel

For example, Porcha Woodruff was wrongfully accused of carjacking

at eight months pregnant

quando estava grávida de oito meses,

because an AI system wrongfully identified her.

porque um sistema de IA a identificou erradamente.

But sadly, these systems are black boxes,

Infelizmente, estes sistemas são caixas negras,

and even their creators can't say exactly why they work the way they do.

e nem sequer os seus criadores conseguem dizer exatamente

porque é que funcionam dessa maneira.

And for example, for image generation systems,

Por exemplo, para os sistemas de geração de imagens,

if they're used in contexts like generating a forensic sketch

se forem usados em contextos como gerar um esboço forense

based on a description of a perpetrator,

com base na descrição de um criminoso,

they take all those biases and they spit them back out

pegam em todos esses preconceitos e dão-nos resultados

for terms like dangerous criminal, terrorists or gang member,

como criminoso perigoso, terrorista ou membros de um gangue,

which of course is super dangerous

o que, claro, é muito perigoso

when these tools are deployed in society.

quando estes instrumentos são utilizados na sociedade.

And so in order to understand these tools better,

Para melhor compreender estes instrumentos,

I created this tool called the Stable Bias Explorer,

criei este instrumento chamado Explorador de Preconceitos Estáveis,

which lets you explore the bias of image generation models

que permite explorar o preconceito dos modelos de geração de imagens

through the lens of professions.

através das lentes de profissões.

So try to picture a scientist in your mind.

Assim, tentem imaginar um cientista,

Don't look at me.

mas não olhem para mim.

What do you see?

O que é que veem?

A lot of the same thing, right?

Muito do mesmo, não é?

Men in glasses and lab coats.

Homens de óculos e batas de laboratório.

And none of them look like me.

Nenhum deles se parece comigo.

A questão é que olhámos

And the thing is,

is that we looked at all these different image generation models

para todos estes diferentes modelos de geração de imagens

and found a lot of the same thing:

e encontrámos muito do mesmo:

significant representation of whiteness and masculinity

uma representação significativa da brancura e da masculinidade

across all 150 professions that we looked at,

nas 150 profissões que observámos.

even if compared to the real world,

Mesmo se comparados com o mundo real,

the US Labor Bureau of Statistics.

o Gabinete de Estatísticas do Trabalho dos EUA,

These models show lawyers as men,

estes modelos mostram os advogados como homens,

os diretores executivos como homens, quase 100% das vezes,

and CEOs as men, almost 100 percent of the time,

even though we all know not all of them are white and male.

apesar de todos sabermos que nem todos são brancos ou homens.

And sadly, my tool hasn't been used to write legislation yet.

Infelizmente, o meu instrumento ainda não foi usado para escrever legislação.

But I recently presented it at a UN event about gender bias

Mas apresentei-o recentemente num evento da ONU sobre preconceito de género,

como um exemplo de como podemos criar instrumentos

as an example of how we can make tools for people from all walks of life,

para que pessoas de todos os quadrantes,

even those who don't know how to code,

mesmo as que não sabem programar,

to engage with and better understand AI because we use professions,

se envolvam e compreendam melhor a IA porque usámos profissões,

but you can use any terms that are of interest to you.

mas vocês podem usar quaisquer termos que vos interessem.

And as these models are being deployed,

À medida que estes modelos estão a ser implementados,

are being woven into the very fabric of our societies,

estão a ser entrelaçados no tecido das nossas sociedades,

our cell phones, our social media feeds,

dos nossos telemóveis, das nossas redes sociais

even our justice systems and our economies have AI in them.

e até dos nossos sistemas de justiça e das nossas economias contêm IA.

And it's really important that AI stays accessible

E é muito importante que a IA permaneça acessível

so that we know both how it works and when it doesn't work.

para sabermos como funciona e quando não funciona.

And there's no single solution for really complex things like bias

Não há uma solução única para coisas muito complexas,

como preconceitos, direitos de autor ou alteração climática.

or copyright or climate change.

But by creating tools to measure AI's impact,

Mas ao criar instrumentos para medir os impactos da IA,

we can start getting an idea of how bad they are

podemos começar a ter uma ideia de quão mau eles são

and start addressing them as we go.

e começar a resolvê-los à medida que vamos avançando,

Start creating guardrails to protect society and the planet.

começar a criar barreiras de proteção para a sociedade e o planeta.

Depois de termos estas informações,

And once we have this information,

companies can use it in order to say,

as empresas podem usá-la para dizer:

OK, we're going to choose this model because it's more sustainable,

“OK, vamos escolher este modelo porque é mais sustentável”

this model because it respects copyright.

ou “este modelo porque respeita os direitos de autor.”

Legislators who really need information to write laws,

Os legisladores que precisam de informações para escrever as leis

can use these tools to develop new regulation mechanisms

podem usar esses instrumentos

para desenvolver novos mecanismos de regulamentação

or governance for AI as it gets deployed into society.

ou de governação para a IA, à medida que ela é implementada na sociedade.

And users like you and me can use this information

Os utilizadores como vocês e eu podemos usar essas informações

to choose AI models that we can trust,

para escolher modelos de IA em que podemos confiar,

not to misrepresent us and not to misuse our data.

não para nos deturpar ou para usar indevidamente os nossos dados.

But what did I reply to that email

Mas o que é que eu respondi àquele e-mail

that said that my work is going to destroy humanity?

que dizia que o meu trabalho vai destruir a Humanidade?

I said that focusing on AI's future existential risks

Disse que focarmo-nos nos riscos existenciais futuros da IA

is a distraction from its current,

é uma distração dos seus impactos atuais, muito tangíveis

very tangible impacts

and the work we should be doing right now, or even yesterday,

e do trabalho que devíamos estar a fazer neste momento, ou mesmo ontem,

for reducing these impacts.

para reduzir esses impactos.

Because yes, AI is moving quickly, but it's not a done deal.

Porque a IA está a mover-se rapidamente, mas não é um assunto acabado.

We're building the road as we walk it,

Estamos a construir a estrada à medida que a percorremos,

and we can collectively decide what direction we want to go in together.

e podemos decidir coletivamente em que direção queremos seguir juntos.

Muito obrigada.

Thank you.

(Applause)

(Aplausos)