How bad data keeps us from good AI | Mainak Mazumdar

Transcriber: Leslie Gauthier Reviewer: Joanna Pietrulewicz

Tradutor: bianca magalhaes Revisor: Wanderley Jesus

A IA pode adicionar 16 trilhões de dólares à economia global

nos próximos 10 anos.

Essa economia não será construída por bilhões de pessoas

AI could add 16 trillion dollars to the global economy

ou milhões de fábricas,

in the next 10 years.

mas por computadores e algorítmos.

This economy is not going to be built by billions of people

Já vimos os maravilhosos benefícios da IA

or millions of factories,

em simplificar tarefas,

but by computers and algorithms.

trazer eficiências

We have already seen amazing benefits of AI

e melhorar nossas vidas.

No entanto, quando falamos de decisões políticas justas e imparciais,

in simplifying tasks,

bringing efficiencies

and improving our lives.

A IA não atendeu às expectativas.

However, when it comes to fair and equitable policy decision-making,

Ela está se tornando uma guardiã da economia,

decidindo quem consegue um emprego

AI has not lived up to its promise.

e quem tem direito a um empréstimo.

AI is becoming a gatekeeper to the economy,

A IA está apenas reforçando e acelerando nossa parcialidade,

deciding who gets a job

em velocidade e escala,

and who gets an access to a loan.

com impactos sociais.

AI is only reinforcing and accelerating our bias

Então, a AI está nos falindo?

Estamos projetando algorítimos para entregar decisões parciais e errôneas?

at speed and scale

with societal implications.

So, is AI failing us?

Como cientista de dados, estou aqui para contar a vocês,

Are we designing these algorithms to deliver biased and wrong decisions?

que não é o algorítmo,

mas o dado tendencioso

os responsáveis por essas decisões.

As a data scientist, I'm here to tell you,

Para tornar a IA possível para a humanidade e a sociedade,

it's not the algorithm,

but the biased data

precisamos de uma reinicialização urgente.

that's responsible for these decisions.

Em vez de algoritmos,

To make AI possible for humanity and society,

precisamos nos concentrar nos dados.

Estamos gastando tempo e dinheiro para aumentar a IA

we need an urgent reset.

em detrimento do projeto e coleta de dados de alta qualidade e contextuais.

Instead of algorithms,

we need to focus on the data.

We're spending time and money to scale AI

Precisamos parar os dados, ou dados tendenciosos que já temos,

at the expense of designing and collecting high-quality and contextual data.

e nos concentrarmos em três coisas:

infraestrutura de dados,

We need to stop the data, or the biased data that we already have,

qualidade de dados

e domínio de dados.

Em junho deste ano,

and focus on three things:

vimos um viés embaraçoso no modelo de IA da Duke University

data infrastructure,

data quality

and data literacy.

chamado PULSE,

que melhorou uma imagem embaçada

In June of this year,

we saw embarrassing bias in the Duke University AI model

para uma foto reconhecível de uma pessoa.

called PULSE,

O algoritmo aprimorou erradamente a imagem de alguém não branca em caucasiana.

which enhanced a blurry image

into a recognizable photograph of a person.

Imagens Afro-Americanas estavam sub-representadas no treinamento,

This algorithm incorrectly enhanced a nonwhite image into a Caucasian image.

conduzindo à decisões e previsões errôneas.

African-American images were underrepresented in the training set,

Provavelmente, essa não deve ser a primeira vez

que você viu uma IA não reconhecer uma imagem de pessoa negra.

leading to wrong decisions and predictions.

Apesar do melhoramento na metodologia IA.

Probably this is not the first time

you have seen an AI misidentify a Black person's image.

a sub-representação de populações raciais e étnicas

ainda nos deixa com resultados parciais.

Despite an improved AI methodology,

Esta pesquisa é acadêmica,

the underrepresentation of racial and ethnic populations

no entanto, nem todos os dados parciais são acadêmicos.

still left us with biased results.

Parcialidade tem consequências reais.

This research is academic,

Note o Censo EUA 2020.

however, not all data biases are academic.

O censo é o alicerce

Biases have real consequences.

para muitas decisões político-econômicas e sociais,

Take the 2020 US Census.

portanto o censo deve contar 100% da população

The census is the foundation

for many social and economic policy decisions,

nos Estados Unidos.

No entanto, com a pandemia

therefore the census is required to count 100 percent of the population

e as políticas de questões de cidadania,

in the United States.

subcontagem de minorias é uma possibilidade real.

However, with the pandemic

Eu espero subcontagem significativa de grupos minoritários

and the politics of the citizenship question,

que são difíceis de localizar, contatar, persuadir e entrevistar para o censo.

undercounting of minorities is a real possibility.

I expect significant undercounting of minority groups

Subcontagem apresentará parcialidade

who are hard to locate, contact, persuade and interview for the census.

e corroer a qualidade de nossa infraestrutura de dados.

Vamos notar a subcontagem do censo 2010.

Undercounting will introduce bias

foram omitidas 16 milhões de pessoas no final das contas.

and erode the quality of our data infrastructure.

Este é tão grande quanto o total da população

Let's look at undercounts in the 2010 census.

do Arizona, Arkansas, Oklahoma e Iowa juntos naquele ano.

16 million people were omitted in the final counts.

This is as large as the total population

Temos também visto milhões de crianças com idade abaixo de 5 anos subestimada

of Arizona, Arkansas, Oklahoma and Iowa put together for that year.

no Censo 2010.

Agora, subestimagem de minorias

We have also seen about a million kids under the age of five undercounted

é comum em outros censos nacionais,

in the 2010 Census.

como minorias podem ser difíceis pesquisar,

Now, undercounting of minorities

Eles são desconfiados para com o governo

is common in other national censuses,

ou eles vivem em áreas com menor agitação política.

as minorities can be harder to reach,

Por exemplo,

o Censo Australiano em 2016

they're mistrustful towards the government

or they live in an area under political unrest.

a subcontagem da população Torres Strait e Aborígene

For example,

por cerca de 17,5%

the Australian Census in 2016

Nós estimamos subcontagem em 2020

undercounted Aboriginals and Torres Strait populations

ser muito mais alta do que 2010

by about 17.5 percent.

e as implicacões desta parcialidade podem ser enormes.

We estimate undercounting in 2020

Vamos notar as implicações dos dados do censo.

to be much higher than 2010,

and the implications of this bias can be massive.

Censo é o mais confiável, aberto e um dado rico com disponibilidade pública

Let's look at the implications of the census data.

da composição da população e características.

Census is the most trusted, open and publicly available rich data

Enquanto empresas tem propriedade da informação

dos consumidores,

o relatório definitivo do Censo de Bureau, contou o público

on population composition and characteristics.

na idade, gênero. etnia,

While businesses have proprietary information

on consumers,

raça, emprego, status familiar,

the Census Bureau reports definitive, public counts

assim com também a distribuição geográfica,

que são o alicerce da infraestrutura de dados da população.

on age, gender, ethnicity,

race, employment, family status,

Quando minorias são subcontadas,

as well as geographic distribution,

O modelo IA que serve de suporte para transporte público

which are the foundation of the population data infrastructure.

habitação, cuidado com saúde,

segurança

tendem a ignorar as comunidades que mais necessitam desses serviços.

When minorities are undercounted,

AI models supporting public transportation,

housing, health care,

Primeiro passo para melhorar resultados

insurance

é fazer aquela base de dados representativa

are likely to overlook the communities that require these services the most.

de idade, gênero, etnia e raça

First step to improving results

pelos dados do censo.

is to make that database representative

Já que o censo é tão importante,

que nós temos que fazer esforço para contar 100%

of age, gender, ethnicity and race

per census data.

Investindo nesses dados qualidade e precisão

Since census is so important,

we have to make every effort to count 100 percent.

é essencial tornar IA possível,

não somente para alguns e privilegiados,

Investing in this data quality and accuracy

mas para todo mundo na sociedade.

is essential to making AI possible,

O maior sistema de IA usa os dados já disponíveis

not for only few and privileged,

ou coletados para alguns outros propósitos

but for everyone in the society.

porque é conveniente e barato.

Most AI systems use the data that's already available

Já dados de qualidade é uma disciplina que exige compromisso

or collected for some other purposes

compromisso real.

because it's convenient and cheap.

Esta atenção para a definição,

Yet data quality is a discipline that requires commitment --

coleção de dados e medição de parcialidade,

não é só desvalorizada--

real commitment.

This attention to the definition,

no mundo de velocidade, escala e conveniência

data collection and measurement of the bias,

É frequentemente ignorada.

Como parte da equipe de ciência de dados de Nielsen,

is not only underappreciated --

in the world of speed, scale and convenience,

Eu fui para o campo de visitas para coletar dados,

visitando loja de varejo fora de Shangai e Bangalore.

it's often ignored.

As part of Nielsen data science team,

O objetivo daquela visita era medir vendas de varejo daquelas lojas.

I went to field visits to collect data,

visiting retail stores outside Shanghai and Bangalore.

Nós dirigimos milhas fora da cidade,

encontramos aquelas lojas pequenas--

The goal of that visit was to measure retail sales from those stores.

informais, difíceis de chegar.

e você pode estar perguntando--

por que nós estamos interessados nestas lojas epecíficas?

We drove miles outside the city,

found these small stores --

Nós podíamos selecionar uma loja na cidade

informal, hard to reach.

onde dados eletrônicos seriam facilmente integrados dentro no 1pipeline’ de dados

And you may be wondering --

why are we interested in these specific stores?

barato, conveniente e fácil.

We could have selected a store in the city

Por que somos tão obsecados com a qualidade

where the electronic data could be easily integrated into a data pipeline --

e precisão dos dados destas lojas?

cheap, convenient and easy.

A resposta é simples:

porque os dados destas lojas rurais importam.

Why are we so obsessed with the quality

and accuracy of the data from these stores?

De acordo com a Organização do Trabalho Internacional,

The answer is simple:

because the data from these rural stores matter.

40% dos Chineses

e 65% de Indianos vivem em zonas rurais.

According to the International Labour Organization,

Imagine a parcialidade na decisão

40 percent Chinese

quando 65% do consumo na Índia é excluída em modelos,

and 65 percent of Indians live in rural areas.

significa que a decisão favorecerá o urbano acima do rural

Imagine the bias in decision

when 65 percent of consumption in India is excluded in models,

Sem este contexto rural-urbano

e sinal de sustento, estilo de vida, economia e valores,

meaning the decision will favor the urban over the rural.

marcas de varejo farão investimentos errados no preço, publicidade e marketing.

Without this rural-urban context

and signals on livelihood, lifestyle, economy and values,

Ou a pacialidade urbana conduzirá decisões políticas errôneas para o rural

retail brands will make wrong investments on pricing, advertising and marketing.

com cumprimentos para saúde e outros investimentos.

Or the urban bias will lead to wrong rural policy decisions

Decisões errôneas não são problema com o algorítimo de IA.

with regards to health and other investments.

É um problema dos dados

que excluem áreas prometidas a serem medidas em primeiro lugar.

Wrong decisions are not the problem with the AI algorithm.

It's a problem of the data

Os dados no contexto é uma prioridade,

that excludes areas intended to be measured in the first place.

não os algorítmos.

Vamos notar um outro exemplo.

Visitei estes afastados, estacionamentos de casas trailer no estado de Oregon

The data in the context is a priority,

not the algorithms.

e apartamentos de Nova York

Let's look at another example.

para convidar estes moradores para participar no painel de Nielsen.

I visited these remote, trailer park homes in Oregon state

Painéis são estatisticamente amostras representativas de casas

and New York City apartments

que nós convidamos para participar na medição

to invite these homes to participate in Nielsen panels.

durante um período de tempo.

Panels are statistically representative samples of homes

Nossa missão de incluir todo mundo na medição

nos conduziu a coletar dados destes moradores Hispânicos e Africanos

that we invite to participate in the measurement

over a period of time.

Our mission to include everybody in the measurement

que usam recepção de TV pelo ar para uma antena.

led us to collect data from these Hispanic and African homes

Pelos dados de Nielsen,

estas moradias constituem 15% dos lares de EUA,

who use over-the-air TV reception to an antenna.

que é cerca de 45 milhões de pessoas.

Per Nielsen data,

these homes constitute 15 percent of US households,

Compromisso e enfoque na qualidade significa que nós fizemos todo esforço

para coletar informação

which is about 45 million people.

destes 15%, grupos de difícil acesso.

Commitment and focus on quality means we made every effort

Por que isso importa?

to collect information

Este é um grupo considerável

from these 15 percent, hard-to-reach groups.

que é muito, muito importante para comerciantes, marcas,

bem como também empresas de mídia.

Why does it matter?

Sem os dados,

This is a sizeable group

os comerciantes e marcas e os modelos deles

that's very, very important to the marketers, brands,

não seriam capazes de pesquisar estas famílias,

as well as the media companies.

bem como mostrar anúncios a estas muito, muito importantes populações minoritárias.

Without the data,

the marketers and brands and their models

E sem o anúncio de receita,

would not be able to reach these folks,

os locutores da Telemundo ou Univision,

as well as show ads to these very, very important minority populations.

não seriam capazes de entregar conteúdo livre,

And without the ad revenue,

incluindo novas mídias

the broadcasters such as Telemundo or Univision,

que é tão fundamental para nossa democracia.

would not be able to deliver free content,

Este dado é essencial para os negócios e sociedade.

including news media,

which is so foundational to our democracy.

Nossa única oportunidade de existência para reduzir a parcialidade humana em IA

This data is essential for businesses and society.

começa com os dados.

Ao invés da corrida por comprar novos algorítmos,

Our once-in-a-lifetime opportunity to reduce human bias in AI

minha missão é comprar uma infraestrutura de dados melhor

starts with the data.

que faz IA ética possível.

Instead of racing to build new algorithms,

Eu espero você junte-se a mim em minha missão também.

my mission is to build a better data infrastructure

Obrigada.

that makes ethical AI possible.

I hope you will join me in my mission as well.

Thank you.