Kalika Bali: The giant leaps in language technology -- and who's left behind | TED

Transcriber:

Tradutor: Jovani Laz Revisor: Wanderley Jesus

Eu me chamo Kalika Bali, Eu sou linguista pela vida

e tecnóloga por formação,

Trabalhei em centros acadêmicos,

em startups, em pequenas empresas e multinacionais por mais de duas decádas,

I'm Kalika Bali, I'm a linguist by training

and a technologist by profession,

fazendo pesquisa e construindo sistemas tecnológicos de linguagens.

I have worked in academia,

in startups, in small companies and multinationals for over two decades,

Meu sonho é ver a tecnologia trabalhar através da barreira linguística.

doing research in and building language technology systems.

Como pesquisadora do Laboratório de Pesquisa da Microsoft Índia

Atuo na área da tecnologia da linguagem e tecnologia de fala.

My dream is to see technology work across the language barrier.

As a researcher at Microsoft Research Labs India

E me preocupo sobre como podemos tornar tecnologia mais acessível a todos.

I work in the field of language technology and speech technology.

Independente do idioma que falam.

And I worry about how can we make technology accessible

processamento de linguagem natural (PLN)

inteligência artificial, tecnologia de fala

to people across the board,

são palavras grandes que estão na moda agora.

you know, irrespective of the language that they speak.

Todo mundo está falando disso, mas o que PLN significa exatamente ?

So natural language processing,

artificial intelligence, speech technology,

these are very big words, they are buzzwords right now.

Então, simplificando,

esta é a parte da ciência da computação

Everybody is talking about what exactly is NLP or natural language processing.

que faz com que as maquinas processem,

entendam e criem linguagem natural

So in very simple terms,

this is the part of computer science engineering

que é o idioma que os humanos falam.

that makes machines process,

Quando vocês interagem com um robô para tentar comprar suas passagens de trem

understand and generate natural language,

ou voos de avião,

which is the language that humans speak.

quando falam com um assistente digital por voz no seu celular,

When you are interacting with a bot trying to book your train tickets

é o PLN

que sustenta toda a tecnologia que faz isso funcionar.

or flight tickets,

when you are speaking to a voice-based digital assistant in your phone,

Mas como isso funciona ?

Como funciona o PLN ?

it's natural language processing

De uma forma bem simples,

that underpins the entire technology that makes that work.

é sobre dados.

But how does this work?

Uma grande quantidade de dados da forma como os humanos realmente usam a língua

How does NLP work?

In a very, very basic way,

it's about data.

que então é processada por certos tipos de algoritmos e técnicas

So a huge amount of data of how actually humans use language

que fazem com que as maquinas aprendam os padrões

is then processed by certain algorithms and techniques

da linguagem natural humana, ok ?

Outra palavra bem famosa que se escuta muito é redes neurais profundas.

that make the machines learn the patterns

of natural language of humans, right?

estas são as técnicas avançadas

que sustentam muito do PLN que acontece agora.

These days, another buzzword that you hear a lot about is deep neural networks.

Não entrarei em detalhes de como isso funciona,

And these are the advanced techniques

mas o importante é que entendam e que tenham em mente

that underpin a lot of the NLP stuff that happens right now.

que tudo isso exige uma enorme quantidade de dados,

And I will not go into the details of how that works,

but the thing that you really have to understand and keep in mind

dados da linguagem natural.

Se você quiser que um sistema de fala converse com você em Gujarati,

is that all of this requires a humungous amount of data,

O primeiro que precisa

natural language data.

é de muitos dados de pessoas falando Gurajati uma com as outras

If you want a speech system to converse with you in Gujarati,

em seu próprio idioma.

the first thing you require

is a lot of data of Gujarati people speaking to each other

Em 2017, a Microsoft apresentou um sistema de reconhecimento de fala

que foi capaz de transcrever fala para texto

in their own language.

So 2017, Microsoft came up with a speech recognition system

melhor que um humano conseguia.

e este sistema foi treinado

which was able to transcribe speech into text

com 200 milhões de palavras transcritas.

Em 2018, um sistema de máquina de tradução inglês-chinês

better than a human did.

And this system was trained

foi capaz de traduzir do inglês para o chinês

on 200 million transcribed words.

tão bem quanto qualquer humano bilíngue conseguiria.

In 2018, an English-Chinese machine translation system

e este então foi treinado com 18 milhões de pares bilíngues de frases.

was able to translate from English to Chinese

as well as any human bilingual could.

Este foi um momento muito animador no processamento de linguagem natural

And this was trained on 18 million bilingual sentence pairs.

e dentro da tecnologia em si.

Nós estamos vendo ficção cientifica, que nós havíamos lido sobre e assistido

This is a very, very exciting time in natural language processing

meio que se tornando realidade bem diante dos nossos olhos.

and in technology as such.

Nós estamos dando enormes saltos no avanço técnico.

You know, we are seeing science fiction, which we had read about and watched,

Mas esses enormes saltos estão limitado a poucos idiomas.

kind of come true in front of our own eyes.

We are making giant leaps in technical advancement.

Bem, Monojit Choudhury

um bom amigo meu

But these giant leaps are limited to very few languages.

e um colega de trabalho,

ele estudou isto mais a fundo

e observou distribuição de recursos através de idiomas no mundo.

So Monojit Choudhury,

who's like a very good friend of mine

and a colleague,

e ele diz que estas seguem o que se chama de lei-poder distribuição,

he has studied this in some detail

and he has looked at resource distribution across languages in the world.

o que basicamente significa que há quatro idiomas,

Árabe, chinês, inglês e espanhol,

And he says that these follow what is called a power-law distribution,

que possuem a quantidade máxima de recursos disponível.

which essentially means that there are four languages,

Há alguns outros idiomas que também podem se beneficiar

Arabic, Chinese, English and Spanish,

dos recursos e tecnologias que estão disponíveis agora.

which have the maximum amount of resources available.

There are another handful of languages which can also benefit from, you know,

Porém há 90% dos idiomas do mundo

the resources and the technology that's available right now.

que não tem recursos

ou recursos disponíveis em escassez .

But there are 90 percent of the world's languages

Este revolução que estamos falando

ignorou 5,000 idiomas do mundo.

which have no resources

or very little resources available.

Isso significa que idiomas com abundância de recursos

This revolution that we are talking about

possuem tecnologias feitas para eles

has essentially bypassed 5,000 languages of the world.

então os pesquisadores e tecnólogos são atraídos a esses idiomas.

São criados mais tecnologias e mais recursos para tais idiomas.

Now, what this means is that resource-rich languages

have technologies built for them,

É basicamente como o ciclo do rico se tornando mais rico.

so researchers and technologists get attracted towards them.

E idiomas pobres de recursos continuam sem recursos

They build more technologies for them. They create more resources.

não há tecnologia para eles, ninguém trabalha neles.

So it's like a rich getting richer kind of a cycle.

E esta divisão, divisão digital entre idiomas

And the resource-poor languages stay poor,

está em constante expansão

e implicitamente também é a divisão das comunidades

there's no technology for them, nobody works for them.

And this divide, digital divide between languages

que falam esses idiomas está aumentando.

is ever-expanding

and by implication also the divide between the communities

Na Microsoft,no Projeto Ellora, nós visamos preencher esta lacuna.

that speak these languages is expanding.

Estamos tentando ver como podemos criar mais dados com métodos inovadores,

So in Microsoft, in Project Ellora, we aim to bridge this gap.

como ter mais técnicas para construir tecnologia sem possuir muitos recursos,

We are trying to see how can we create more data by innovative methods,

e quais são as aplicações que genuinamente possam beneficiar essas comunidades.

have more techniques to build technology without having a lot of resources,

No momento, isto pode parecer bem teórico,

and what are the applications that can truly benefit these communities.

como sobre o que ele está falando, dados e técnicas e tecnologia.

Então, eu darei um exemplo concreto.

So at the moment, this might seem very theoretical,

Sou linguista de coração, amo idiomas, e amo falar sobre isso.

like what is he talking about, data and techniques and technology.

So let me give you a very concrete example here.

Bem, vou falar sobre um idioma que muitos de vocês talvez não conheçam.

I'm a linguist at heart, I love languages, and that's what I love talking about.

Gondi.

Gondi é uma língua Dravídica Sul-Central.

So let me tell you about a language that many of you might not know about.

É falado por três milhões de pessoas em cinco estados da Índia.

Gondi.

E para colocar em perspectiva,

Gondi is a South-Central Dravidian language.

Norueguês é falado por cinco milhões de pessoas

It is spoken by three million people in five states of India.

e galês por pouco menos de um milhão de pessoas

And to put this in some kind of perspective,

Então gondi é na verdade uma comunidade bem robusta e grande

Norwegian is spoken by five million people

and Welsh by a little under a million.

dos tribais de Gondi na Índia.

So Gondi is actually a pretty robust and pretty large community

Mas pelo Atlas dos Idiomas em Perigo da UNESCO

Gondi foi dado estado de vulnerabilidade.

of the Gond tribals in India.

But by UNESCO's Atlas of Languages in Danger,

GGNet Swara é uma ONG que fornece um portal de jornalismo do cidadão

Gondi is designated vulnerable status.

para a comunidade de gondi

fazendo com que historias locais sejam acessível através dos celulares.

CGNet Swara is an NGO that provides a citizen journalism portal

Não há absolutamente nenhum suporte técnico para gondi.

for the Gond community

Não há dados disponíveis nem recursos disponíveis para gondi.

by making local stories accessible through mobile phones.

There's absolutely no tech support for Gondi.

Então todo o conteúdo que é criado, moderado e editado é feito manualmente.

There is no data available for Gondi, no resources available for Gondi.

Agora, baixo o Projeto Ellora,

o que fizemos foi reunir os grupos interessados,

So all content that is created, moderated and edited is done manually.

e ONGs como CGNet Swara,

e instituições acadêmicas, como IIIT Naya Raipur,

Now, under Project Ellora,

what we did was that we brought together all the stakeholders,

uma editora voluntária de livros infantis

como Livros Pratham,

an NGOs like CGNet Swara,

e o mais importante, os falantes da comunidade.

and academic institutions, like IIIT Naya Raipur,

Os próprios tribais de gondi participaram nesta atividade

a not-for-profit children's book publisher,

like Pratham Books,

e pela primeira vez editaram e traduziram livros infantis para a língua gondi.

and most importantly, the speakers of the community.

The Gond tribals themselves participated in this activity

Conseguimos publicar mais de 200 livros em gondi pela primeira vez,

and for the first time edited and translated children’s books in Gondi.

para que as crianças tenham acesso a histórias e livros em seu próprio idioma

We were able to put out 200 books for the very first time in Gondi,

Outra extensão disso foi a Rádio Adivasi,

que foi como um aplicativo que criamos e desenvolvemos na Pesquisa da Microsoft,

so that the children had access to stories and books in their own language.

e então entregamos aos nossos parceiros,

Another extension of this was Adivasi Radio,

which was like an app that we built and developed in Microsoft Research,

que usam um sistema hindi de texto para fala

and then put out there, along with our stakeholders,

e permite que sejam lidas noticias e artigos fornecidos pelo CGNet Swara

which takes a Hindi text-to-speech system

na língua gondi.

and allows it to read out news and articles provided by CGNet Swara

Usuários podem usar este app para ler,

assistir noticias e acessar qualquer informação

in Gondi language.

através de texto e voz em seu próprio idioma.

Users can now use this app to read,

Algo bem interessante é que este app está sendo usado para tradução

watch news and access any information

pela comunidade para traduzir texto do hindi para gondi.

through text and voice in their own language.

A very interesting thing is that this app is now being used to translate --

Isso resultará no que chamamos de dados paralelos,

by the community to translate text from Hindi to Gondi.

que nos permitirão construir sistemas de máquinas de tradução para gondi,

que abrirá uma janela da comunidade gondi para o mundo .

Now, what that will result in is a lot of parallel data,

that we call parallel data,

that will allow us to build machine translation systems for Gondi,

e o que é ainda mais importante é que agora nós sabemos como fazer isso.

which will truly open up a window for the Gond community to the world.

Nós temos a fórmula e podemos replicá-la com qualquer língua

And what is even more important is now we know how to do this.

e qualquer comunidade linguística

que estão em uma situação similar dos tribais de gondi.

We have the entire pipeline and we can replicate this for any language

Educação também, bem, acesso à informação sim,

and any language community

which is in a similar situation as the Gond tribals.

mas e sobre ganhar dinheiro?

Also education -- yes, you know, information access -- yes,

Certo?, e como podemos fazer com que essas pessoas ganhem dinheiro

através das ferramentas digitais que para nós são óbvias?

but what about earning a living?

Right? What about -- how can we make these people earn a living

Vivek Seshadri, outro pesquisador da MSR,

e seu colaborador, Manu Chropra,

through the digital tools that all of us just take for granted these days?

desenvolveram uma plataforma chamada Karya

para fornecer microatividades para as comunidades carentes.

Vivek Seshadri, who's another researcher at MSR,

and his collaborator, Manu Chopra,

Seu objetivo era basicamente encontrar um meio de prover trabalho digno

they've designed a platform called Karya

for providing digital microtasks to the underserved communities.

para as populações, as populações rurais

e as populações urbanas pobres deste país.

His aim was basically to find a way to provide a means of dignified labor

Eles não tem acesso a todo o conhecimento

to the populations, the rural populations

para usar as plataformas digitais

and the urban poor populations of this country.

que todos nós usamos diariamente sem nem mesmo pensar, né ?

They don't have access to all the knowledge

Porém ...

to use the digital platforms

Aqui há uma grande

that all of us use every day without even thinking, right?

população alfabetizada que quer trabalhar, certo,

But ...

e como podemos tornar isto possível para eles?

Here is a large

Bem, Karya é uma dessas formas

literate population that wants to work, right,

pela qual esta população pode se conectar ao mundo digital

and how can we make this possible for them?

e bem,

So Karya is one such way

através dela encontrar e fazer tarefas que possam então fazê-los ganhar dinheiro.

through which this population can get on to the digital world

Vimos isto e pensamos, nossa, isto é maravilhoso.

and, you know,

Talvez poderíamos usar isto para coleção de dados.

through that find work and do tasks that can then earn them money.

Então fomos para Amale

uma pequena aldeia de 200 pessoas

So we saw this and we thought, oh, this is wonderful.

no distrito Wada de Maharashtra

We could probably use this for data collection as well.

e decidimos usar Karya para coletar dados de marathi.

So we went to Amale,

which is a small village of 200 people

Sei o que estão pensando

Tenho certeza muitos falantes de marathi também no auditório

in the Wada district of Maharashtra

que marathi não é uma língua com poucos recursos.

and decided to use Karya to collect Marathi data.

Marathi é com certeza um idioma importante do país.

Now, I know what you are thinking --

I'm sure a lot of Marathi speakers also in the audience --

Mas a tecnologia de linguagem conta marathi como língua com pouco recursos

that Marathi is not a low-resource language.

Marathi is definitely a mainstream language of the country.

Então fomos à esta aldeia

e tivemos grande sucesso no passeio de coleta de dados.

But as far as language technology is concerned,

e, bem, está aldeia é bem remota.

Marathi is a low-resource language.

So we went to this village

Eles não tem TV nem eletricidade,

and we had a very successful data-collection trip.

eles não tem sinal de celular.

And, you know, this village is very remote.

Você tem que subir uma colina e balançar seu celular

They have no TV, they have no electricity,

se você quiser usar seu celular para ligar para alguém.

they have no mobile signal.

Eles nos deram todos estes dados.

You have to climb a hill and wave your phone around

Mas mais que isso, eles nos deram lições de vida bem valorosas.

if you want to, you know, use your mobile to call anyone.

Uma é este orgulho de seu próprio idioma

So they gave us all this data.

As pessoas de Amale estavam felizes por fazer isto,

But more than that, they gave us very valuable lessons in life.

pois estavam evoluindo seu idioma fazendo isto.

One is this pride in one's own language.

The people of Amale were thrilled to be doing this

A segunda foi o valor de comunidade.

because they were advancing their own language by doing this.

Rapidamente, isto se tornou um esforço de toda a aldeia.

As pessoas se juntavam para as tarefas e as faziam juntas em grupo.

The second was the value of community.

Very quickly, this became a village community effort.

e a segunda é a importância de contar histórias.

People would gather together in tasks and do this together as a group.

O povo de Amale estavam tão ávidos por conteúdo que durante todo o dia,

And the third is the importance of storytelling.

gravavam histórias em karya

People of Amale were so starved of content that in the morning, during the daytime,

e então durante a noite eles reuniam toda a aldeia

e recontavam essas histórias para a aldeia

they would do recordings of stories in Karya

and then in the evening they would gather the entire village

Nós como cientistas nos concentramos

na parte cientifica e tecnológica do que estamos fazendo,

and retell and recount these stories to the village.

qual é o próximo melhor modelo a usar

So as scientists, we get so caught up

como podemos aumentar a precisão do meu sistema,

in the science and technology part of what we are doing, you know --

como posso melhorar o próximo sistema

which is the next best model to have,

e acabamos esquecendo o porquê de estarmos fazendo isto: as pessoas.

how can we increase the accuracy of my system,

how can I build the next best system there is --

e a tecnologia de sucesso é aquela que mantem as pessoas e os usuários

that we forget the reason why we are doing this: the people.

frente a frente e centrados.

And any successful technology is the one that keeps the people and the users

E quando começam a fazer isto,

percebemos que a tecnologia é talvez uma parte bem pequena disto

e que há outras coisas na história.

up front and center.

Talvez existam intervenções sociais, culturais e politicas

And when they start doing that,

we also realize that technology is probably a very small part of this

que são tão necessárias quanto a tecnologia.

and there are other things in the story.

Um tempo atrás, trabalhei num projeto chamado VideoKheti

Maybe there are social, cultural and policy interventions

que permitia agricultores falantes de hindi na Índia Central

that are required, as much as technology.

a buscar vídeos de agricultura falando com um app de celular.

So some time back, I worked on a project called VideoKheti

that allowed Hindi-speaking farmers in Central India

Fomos a Madhya Pradesh para coletar dados para isto,

to search for agricultural videos by speaking into a phone-based app.

e voltamos e estávamos treinando nossos modelos

e descobrimos que obtínhamos péssimos resultados.

So we went to Madhya Pradesh to collect data for this,

Isto não está funcionando.

Então ficamos confusos. O que está acontecendo?

and we came back and we were training our models

Analisamos com mais profundidade os dados

e descobrimos que, de fato, coletamos os dados

and we discovered we're getting very bad results.

This is not working.

do que pensávamos que era uma aldeia quieta e silenciosa durante a noite.

So we were very confused. Why is this happening?

So we looked deeper and deeper into the data

Mas o que não havíamos escutado enquanto fazíamos isto

and discovered that, yes, we had collected data

from what we thought was a very silent, quiet village in the evening.

eram os barulhos constante dos insetos noturnos

Durante as gravações, nós tínhamos esse “bzz” dos insetos,

But what we hadn't heard while we were doing this

que estava distorcendo nossa fala.

was that there was this constant buzz of night insects, you know?

A segunda coisa foi que ao irmos lá

So throughout the recordings, we had this "bzz" of the insects,

para iniciar os testes do nosso app na aldeia,

which was actually distorting our speech.

Eu e meu colega de trabalho Indrani Medhi,

The second thing was that when we went there

que é um pesquisador de design ilustre,

to kind of test our app in the village,

descobrimos que as mulheres não conseguiam pronunciar as palavras em sânscrito

I and my colleague Indrani Medhi,

who is a very well-regarded design researcher,

que nós tínhamos entre os termos da pesquisa.

Por exemplo:

we found that the women couldn't pronounce the sanskritized words

(falando em hindi)

that we had for some of the search terms.

Que é tipo o termo correto para inseticidas químicos?

So, like ...

Como nós pegamos esses termos do centro de extensão agrícola

(speaks Hindi)

Which is like the term for chemical pesticides, right?

as mulheres, apesar de trabalharem na fazenda

elas não interagem com aquele centro.

Because we got these terms from the agricultural extension center

Os homens que interagem, as mulheres usam algo muito mais simples, como...

and the women, even though they are farming,

(falando em hindi)

Que basicamente significa, matar pestes com remédio.

do not interact with that center at all.

The men do, the women probably use something much simpler, like ...

O que eu aprendi durante minha jornada

(speaks Hindi)

e o que eu gostaria de lhes passar

Which basically means killing pests with medicine.

espero que tenham me entendido até agora,

So what I have learned through my journey

é que a maioria dos idiomas do mundo

and what I would like to put across to you --

que exigem investimentos intensivos para criação de recursos

by now, I hope you've understood me,

se quiserem se beneficiar da tecnologia de linguagem

is that there is the majority of the world's languages

e isto é bem improvável de acontecer de forma rápida e eficiente.

that require intensive investment for resource creation

if they are to benefit from language technology.

É de extrema importância que nós garantamos

And this is unlikely to happen in a very fast and efficient manner.

que a comunidade se beneficiará ao máximo

do que for estivermos fazendo na área de tecnologia de linguagem.

So it is extremely important for us to ensure

that the community derives maximum benefit

E para fazer isso e levar um impacto social positivo

nessas comunidades,

from whatever that we are doing in the language tech area.

seguimos a metodologia de pensamento que chamamos de design dos 4-D.

And to do this and deliver a positive social impact

Bem os 4-D significam: descobrir, projetar, desenvolver e implantar.

on these communities,

we follow what we call the modified 4-D design thinking methodology.

Descubram o problema que a tecnologia de linguagem possa resolver

So the 4-D means: discover, design, develop and deploy.

para uma comunidade linguística.

Esta abordagem observacional pode ajudar a alocar os recursos

So discover the problem that language technology can solve

onde eles são mais necessitados

projetado para os usuários e seus idiomas,

for a particular language community.

This observation-led approach can help allocate resources

entender a diversidade nas propriedades linguísticas

e os idiomas do mundo.

where they are most needed,

designed for the users and their language,

E não pense que isto foi feito para o inglês.

Não tem como só adaptar para marathi ou gondi, né ?

understand the diversity in the linguistic properties

and the languages of the world.

Desenvolver rapidamente e entregar frequentemente.

And don't think, oh, this is made for English.

É um processo iterativo que vai ajudar a errar logo

Now, how can we just adapt it for Marathi or for Gondi, right?

e erros precoces ao final levam ao sucesso.

Develop rapidly and deploy frequently.

It's an iterative process that will help you fail fast

O mais importante é perseverar.

Não desistir.

and early failures will eventually lead to success.

E eu me lembro a história dessas duas mulheres aborígines australianas

The important thing is to persevere.

Patricia O’Connor and Ysola Best.

Do not give up.

And I remember the story of these two Aborigine Australian women,

Nos meados dos anos 90, elas foram á Universidade de Queensland

Patricia O'Connor and Ysola Best.

e queriam aprender seu próprio idioma chamado Yugambeh,

e foram informadas “O idioma de vocês está morto.

In the mid-90s, they went to the University of Queensland

Faz 3 décadas que está morto.

and they wanted to learn their own language, called Yugambeh,

Você não podem trabalhar nisto. Encontrem outra coisa para trabalhar.”

Elas nunca desistiram.

and they were told very bluntly, "Your language is dead.

Elas foram para a comunidade,

It's been dead for three decades.

elas desvendaram memorias orais, tradições orais, literatura oral,

You cannot work on this. Find something else to work on."

e fundaram o Museu de Yugambeh,

They did not give up.

They went to the community,

they dug up oral memories, oral traditions, oral literature,

que se tornou o mais importante centro cultural e linguístico para o idioma

and founded the Yugambeh Museum,

e sua comunidade.

Elas não possuíam tecnologia. Elas somente tinham sua força de vontade.

which became the most important cultural and linguistic center for the language

Agora, com o poder da tecnologia,

nós podemos garantir que a próxima pagina seja escrita em salmi do finlandês,

and its community.

They did not have technology. They only had their willpower.

Now, with the power of technology,

lillooet do Canada ou mundari da Índia.

we can ensure that the next page is written in Salmi from Finland,

Muito obrigada.

Lillooet from Canada or Mundari from India.

Thank you.