Kalika Bali: The giant leaps in language technology -- and who's left behind | TED

Transcriber:

Tradutor: Ana Sofia Ferreira Revisora: Margarida Ferreira

I'm Kalika Bali, I'm a linguist by training

O meu nome é Kalika Bali. Sou linguista de formação

and a technologist by profession,

e tecnóloga de profissão.

I have worked in academia,

Trabalhei na universidade,

in startups, in small companies and multinationals for over two decades,

em “start-ups”, em pequenas empresas e em multinacionais

durante de 20 anos,

doing research in and building language technology systems.

a fazer pesquisa e a construir sistemas de tecnologia de linguagem.

My dream is to see technology work across the language barrier.

O meu sonho é ver a tecnologia a trabalhar na barreira linguística.

As a researcher at Microsoft Research Labs India

Como investigadora na Microsoft Research, na Índia,

I work in the field of language technology and speech technology.

trabalho na área das tecnologias da linguagem e da fala.

And I worry about how can we make technology accessible

E preocupo-me em tornar acessível a tecnologia

to people across the board,

a toda a gente,

you know, irrespective of the language that they speak.

independentemente da língua que falem.

So natural language processing,

O processamento da língua natural

artificial intelligence, speech technology,

da inteligência artificial, e da tecnologia da fala,

these are very big words, they are buzzwords right now.

são tudo palavras de ordem hoje em dia.

Everybody is talking about what exactly is NLP or natural language processing.

Toda a gente fala do que é a PLN, o processamento de língua natural.

So in very simple terms,

Então, em termos simples,

this is the part of computer science engineering

esta é a parte da engenharia informática

that makes machines process,

que faz com que as máquinas processem,

understand and generate natural language,

compreendam e originem linguagem natural,

which is the language that humans speak.

que é a linguagem que os seres humanos falam.

When you are interacting with a bot trying to book your train tickets

Quando interagimos com um robô para reservar bilhetes de comboio

or flight tickets,

ou bilhetes de avião,

when you are speaking to a voice-based digital assistant in your phone,

quando falamos com um assistente digital à base de voz no telemóvel,

it's natural language processing

é o processamento de língua natural

that underpins the entire technology that makes that work.

que sustenta toda a tecnologia que permite que isso funcione.

But how does this work?

Mas como funciona? Como funciona a PLN?

How does NLP work?

In a very, very basic way,

De forma muito, muito simplificada,

it's about data.

tem a ver com dados.

So a huge amount of data of how actually humans use language

Uma grande quantidade de dados sobre como os humanos usam a linguagem

is then processed by certain algorithms and techniques

é processada por certos algoritmos e técnicas

that make the machines learn the patterns

que fazem as máquinas aprenderem os padrões

of natural language of humans, right?

da linguagem natural dos seres humanos.

These days, another buzzword that you hear a lot about is deep neural networks.

Atualmente, outra palavra de ordem muito ouvida é “redes neurais profundas”.

And these are the advanced techniques

São técnicas avançadas

that underpin a lot of the NLP stuff that happens right now.

que estão na base de grande parte do PLN.

And I will not go into the details of how that works,

Não vou entrar em detalhes sobre como funciona,

but the thing that you really have to understand and keep in mind

mas aquilo que têm de perceber e ter em conta

is that all of this requires a humungous amount of data,

é que tudo isto requer uma enormíssima quantidade de dados,

natural language data.

dados de linguagem natural.

If you want a speech system to converse with you in Gujarati,

Se quisermos que um sistema de voz fale connosco em guzerate,

the first thing you require

primeiro precisamos

is a lot of data of Gujarati people speaking to each other

de muitos dados de pessoas guzerate a falarem entre si

in their own language.

na sua língua.

So 2017, Microsoft came up with a speech recognition system

Em 2017, a Microsoft criou um sistema de reconhecimento de fala,

which was able to transcribe speech into text

capaz de transcrever fala para texto

better than a human did.

melhor do que um ser humano faz.

And this system was trained

Este sistema foi treinado

on 200 million transcribed words.

com 200 milhões de palavras transcritas.

In 2018, an English-Chinese machine translation system

Em 2018, um sistema de tradução automática inglês-chinês

was able to translate from English to Chinese

foi capaz de traduzir de inglês para chinês

as well as any human bilingual could.

tal como qualquer pessoa bilingue.

And this was trained on 18 million bilingual sentence pairs.

Isso foi treinado em 18 milhões de pares de frases bilingues.

This is a very, very exciting time in natural language processing

Isto é um momento muito empolgante no processamento de linguagem natural

and in technology as such.

e na tecnologia.

You know, we are seeing science fiction, which we had read about and watched,

Estamos a assistir a ficção científica que lemos

kind of come true in front of our own eyes.

e vimos tornar-se realidade à frente dos nossos olhos.

We are making giant leaps in technical advancement.

Estamos a dar saltos gigantes no avanço técnico.

But these giant leaps are limited to very few languages.

Mas estes saltos gigantes estão limitados a muito poucas línguas.

So Monojit Choudhury,

Monojit Choudhury, um grande amigo meu e colega,

who's like a very good friend of mine

and a colleague,

he has studied this in some detail

estudou isto detalhadamente

and he has looked at resource distribution across languages in the world.

e olhou para a distribuição de recursos pelas línguas do mundo.

And he says that these follow what is called a power-law distribution,

Ele diz que os recursos seguem o que se chama

distribuição da lei de potência,

which essentially means that there are four languages,

o que significa essencialmente que há quatro línguas,

Arabic, Chinese, English and Spanish,

árabe, chinês, inglês e espanhol,

which have the maximum amount of resources available.

que têm o máximo de recursos disponíveis.

There are another handful of languages which can also benefit from, you know,

Há outras línguas que também podem beneficiar

dos recursos e das tecnologias disponíveis neste momento.

the resources and the technology that's available right now.

But there are 90 percent of the world's languages

Mas cerca de 90% das línguas mundiais

which have no resources

não têm recursos

or very little resources available.

ou têm muito poucos recursos disponíveis.

This revolution that we are talking about

Esta revolução de que falamos

has essentially bypassed 5,000 languages of the world.

essencialmente deixou de fora 5000 línguas no mundo.

Now, what this means is that resource-rich languages

O que significa é que as línguas ricas em recursos

have technologies built for them,

têm tecnologias criadas para elas,

so researchers and technologists get attracted towards them.

portanto os investigadores e tecnólogos são atraídos para elas.

They build more technologies for them. They create more resources.

Constroem mais tecnologias para elas. Criam mais recursos.

So it's like a rich getting richer kind of a cycle.

É como um ciclo em que os ricos ficam mais ricos.

And the resource-poor languages stay poor,

E as línguas pobres em recursos continuam pobres,

there's no technology for them, nobody works for them.

não há tecnologia para elas, ninguém trabalha com elas.

And this divide, digital divide between languages

E esta divisão digital entre línguas

is ever-expanding

está em constante expansão

and by implication also the divide between the communities

e, implicitamente, também está em expansão a divisão entre comunidades

that speak these languages is expanding.

que falam essas ínguas.

So in Microsoft, in Project Ellora, we aim to bridge this gap.

Na Microsoft, no Projeto Ellora, visamos colmatar essa lacuna.

We are trying to see how can we create more data by innovative methods,

Estamos a tentar ver como podemos criar mais dados com métodos inovadores,

have more techniques to build technology without having a lot of resources,

ter mais técnicas para construir tecnologia sem ter muitos recursos,

and what are the applications that can truly benefit these communities.

e quais as aplicações que podem beneficiar essas comunidades.

So at the moment, this might seem very theoretical,

Neste momento, isto pode parecer muito teórico,

like what is he talking about, data and techniques and technology.

— de que é que ela está a falar? — dados, técnicas e tecnologias.

So let me give you a very concrete example here.

Por isso, vou dar-vos um exemplo muito concreto.

I'm a linguist at heart, I love languages, and that's what I love talking about.

No fundo, sou uma linguista por amor,

adoro línguas e é disso que gosto de falar.

So let me tell you about a language that many of you might not know about.

Portanto vou falar-vos de uma língua que muitos de vocês não conhecem.

Gondi.

O gondi.

Gondi is a South-Central Dravidian language.

O gondi é uma língua dravídica sul-central.

It is spoken by three million people in five states of India.

É falada por mais de 3 milhões de pessoas em cinco estados da Índia.

And to put this in some kind of perspective,

E para pôr isso em perspetiva,

Norwegian is spoken by five million people

o norueguês é falado por cinco milhões de pessoas

and Welsh by a little under a million.

e o galês por quase um milhão.

So Gondi is actually a pretty robust and pretty large community

Portanto, Gondi é uma comunidade bastante grande e robusta

of the Gond tribals in India.

das tribos Gond na Índia.

But by UNESCO's Atlas of Languages in Danger,

Mas pelo Atlas Mundial das Línguas em Perigo, da UNESCO,

Gondi is designated vulnerable status.

o Ggondi está classificado em estado vulnerável.

CGNet Swara is an NGO that provides a citizen journalism portal

A CGNet Swara é uma ONG que oferece um portal de jornalismo-cidadão

for the Gond community

à comunidade gond

by making local stories accessible through mobile phones.

tornando histórias locais acessíveis nos telemóveis.

There's absolutely no tech support for Gondi.

Não há qualquer apoio tecnológico para o gondi.

There is no data available for Gondi, no resources available for Gondi.

Não há dados, não há recursos disponíveis para o gondi.

So all content that is created, moderated and edited is done manually.

Então todo o conteúdo é criado, moderado e editado manualmente.

Now, under Project Ellora,

No Projeto Ellora,

what we did was that we brought together all the stakeholders,

o que nós fizemos foi reunir todas as partes interessadas,

an NGOs like CGNet Swara,

ONGs como a CGNet Swara,

and academic institutions, like IIIT Naya Raipur,

e instituições académicas, como o IIIT Naya Raipur,

a not-for-profit children's book publisher,

uma editora infantil sem fins lucrativos, como a Pratham Books,

like Pratham Books,

and most importantly, the speakers of the community.

e, mais importante ainda, os porta-vozes da comunidade.

The Gond tribals themselves participated in this activity

As próprias tribos gond participaram nesta atividade

and for the first time edited and translated children’s books in Gondi.

e, pela primeira vez, editou e traduziu livros infantis em gondi.

We were able to put out 200 books for the very first time in Gondi,

Conseguimos publicar 200 livros pela primeira vez em gondi

so that the children had access to stories and books in their own language.

para as crianças terem acesso a histórias e livros na sua própria língua.

Another extension of this was Adivasi Radio,

Outra extensão disto foi a Rádio Adivasi,

which was like an app that we built and developed in Microsoft Research,

uma espécie de aplicação que construímos e desenvolvemos na Microsoft Research,

and then put out there, along with our stakeholders,

e lançámos, juntamente com os nossos parceiros,

which takes a Hindi text-to-speech system

que pega num sistema de tradução de texto para fala em hindi

and allows it to read out news and articles provided by CGNet Swara

e possibilita a leitura em voz alta de notícias e artigos da CGNet Swara

in Gondi language.

em língua gondi.

Users can now use this app to read,

Os utilizadores podem usar esta aplicação

watch news and access any information

para ler, para ver notícias e para aceder a quaisquer informações

through text and voice in their own language.

através de texto e voz na sua própria língua.

A very interesting thing is that this app is now being used to translate --

O que é interessante é que esta aplicação está a ser usada

pela comunidade para traduzir texto de hindi para gondi.

by the community to translate text from Hindi to Gondi.

Now, what that will result in is a lot of parallel data,

Isto vai originar imensos dados paralelos,

that we call parallel data,

a que chamamos dados paralelos,

that will allow us to build machine translation systems for Gondi,

que nos vão permitir construir sistemas de tradução automática para gondi,

which will truly open up a window for the Gond community to the world.

o que vai abrir a janela da comunidade gond para o mundo.

And what is even more important is now we know how to do this.

E o que é ainda mais importante é que agora sabemos como o fazer.

We have the entire pipeline and we can replicate this for any language

Temos todo este canal e podemos replicá-lo a qualquer língua

and any language community

e a qualquer comunidade linguística

which is in a similar situation as the Gond tribals.

que esteja numa situação semelhante à das tribos gond.

Also education -- yes, you know, information access -- yes,

Também o ensino — sim, o acesso à informação,

but what about earning a living?

mas e quanto e ganhar a vida?

Right? What about -- how can we make these people earn a living

Como podemos fazer com que estas pessoas ganhem a vida

through the digital tools that all of us just take for granted these days?

com as ferramentas digitais que todos tomamos como garantidas hoje em dia?

Vivek Seshadri, who's another researcher at MSR,

Vivek Seshadri, outro investigador no MSR,

and his collaborator, Manu Chopra,

e o seu colaborador, Manu Chopra,

they've designed a platform called Karya

conceberam uma plataforma chamada Karya

for providing digital microtasks to the underserved communities.

para fornecer microtarefas digitais às comunidades menos favorecidas.

His aim was basically to find a way to provide a means of dignified labor

O objetivo dele é encontrar uma forma de proporcionar um meio de trabalho digno

to the populations, the rural populations

às populações, às populações rurais

and the urban poor populations of this country.

e às populações urbanas pobres deste país

They don't have access to all the knowledge

que não têm acesso a todo o conhecimento

to use the digital platforms

para usar as plataformas digitais

that all of us use every day without even thinking, right?

que nós usamos todos os dias até sem pensar, certo?

But ...

Mas...

Here is a large

Há aqui uma larga população instruída que quer trabalhar.

literate population that wants to work, right,

and how can we make this possible for them?

Como podemos possibilitar-lhes isso?

So Karya is one such way

A Karya é uma dessas formas

through which this population can get on to the digital world

através da qual esta população pode chegar ao mundo digital

and, you know,

e, através disso encontrar trabalho

through that find work and do tasks that can then earn them money.

e fazer tarefas em que podem gerar dinheiro.

So we saw this and we thought, oh, this is wonderful.

Então vimos isto e pensámos: “Isto é maravilhoso.

We could probably use this for data collection as well.

“Também devemos poder usar isto para recolha de dados.”

So we went to Amale,

Então fomos até Amale,

which is a small village of 200 people

uma pequena aldeia de 200 pessoas,

in the Wada district of Maharashtra

no distrito de Wada de Maharashtra

and decided to use Karya to collect Marathi data.

e decidimos usar a Karya para recolher dados de marata.

Now, I know what you are thinking --

Eu sei o que estão a pensar.

I'm sure a lot of Marathi speakers also in the audience --

De certeza que há muitas pessoas que falam marata no público.

that Marathi is not a low-resource language.

O marata não é uma língua com poucos recursos.

Marathi is definitely a mainstream language of the country.

O marata é, sem dúvida, uma língua dominante do país

But as far as language technology is concerned,

Mas no que toca a tecnologia da linguagem,

Marathi is a low-resource language.

o marata é uma língua com poucos recursos.

So we went to this village

Então fomos a essa aldeia

and we had a very successful data-collection trip.

e tivemos muito sucesso a recolher dados.

And, you know, this village is very remote.

Esta aldeia é muito longínqua.

They have no TV, they have no electricity,

Não têm televisão, nem eletricidade,

they have no mobile signal.

nem rede de telemóvel.

You have to climb a hill and wave your phone around

Têm de subir uma colina e procurar com o telemóvel

if you want to, you know, use your mobile to call anyone.

para poderem ligar a alguém.

So they gave us all this data.

Deram-nos todas estas informações.

But more than that, they gave us very valuable lessons in life.

Mas, mais do que isso, deram-nos lições de vida muito valiosas.

One is this pride in one's own language.

Uma delas é o orgulho na própria língua.

The people of Amale were thrilled to be doing this

As pessoas de Amale estavam contentes por fazer isto

because they were advancing their own language by doing this.

porque ao fazê-lo estavam a promover a sua língua.

The second was the value of community.

A segunda é o valor da comunidade.

Very quickly, this became a village community effort.

Rapidamente, isto tornou-se um esforço comunitário da aldeia.

People would gather together in tasks and do this together as a group.

As pessoas reuniam-se em tarefas e faziam isto juntos, em grupo.

And the third is the importance of storytelling.

E o terceiro é a importância de contar histórias.

People of Amale were so starved of content that in the morning, during the daytime,

As pessoas de Amale estavam tão carentes de conteúdo que de manhã, durante o dia,

they would do recordings of stories in Karya

gravavam histórias na Karya

and then in the evening they would gather the entire village

e à noite reuniam a aldeia inteira

and retell and recount these stories to the village.

e voltavam a contar essas histórias à aldeia.

So as scientists, we get so caught up

Como cientistas, ficamos tão envolvidos

in the science and technology part of what we are doing, you know --

na parte científica e tecnológica do que fazemos,

which is the next best model to have,

em qual é o melhor modelo que se segue,

how can we increase the accuracy of my system,

como podemos aumentar a precisão do meu sistema,

how can I build the next best system there is --

como posso construir o melhor sistema seguinte.

that we forget the reason why we are doing this: the people.

que nos esquecemos da razão por que fazemos isto: as pessoas.

And any successful technology is the one that keeps the people and the users

E qualquer tecnologia de sucesso é aquela que mantém as pessoas e utilizadores

up front and center.

na linha da frente e no centro.

And when they start doing that,

Quando eles começaram a fazer isso,

we also realize that technology is probably a very small part of this

também percebemos que a tecnologia é provavelmente uma pequena parte disto

and there are other things in the story.

e que há outras coisas na história.

Maybe there are social, cultural and policy interventions

Talvez haja intervenções sociais, culturais e políticas

that are required, as much as technology.

que sejam necessárias, tal como a tecnologia.

So some time back, I worked on a project called VideoKheti

Há algum tempo trabalhei num projeto chamado VideoKheti

that allowed Hindi-speaking farmers in Central India

que permitia aos agricultores da Índia central de língua hindi

to search for agricultural videos by speaking into a phone-based app.

procurarem vídeos de agricultura falando para uma aplicação no telemóvel.

So we went to Madhya Pradesh to collect data for this,

Fomos até Madhya Pradesh para recolher dados para isto,

and we came back and we were training our models

e voltámos, treinámos os nossos modelos

and we discovered we're getting very bad results.

e descobrimos que obtínhamos resultados muito maus.

This is not working.

Não estava a funcionar.

So we were very confused. Why is this happening?

Ficámos muito confusos. Porque é que isso acontecia?

So we looked deeper and deeper into the data

Olhámos mais profundamente para os dados

and discovered that, yes, we had collected data

e descobrimos que sim, tínhamos recolhido dados

from what we thought was a very silent, quiet village in the evening.

numa aldeia que julgámos ser muito silenciosa à noite.

But what we hadn't heard while we were doing this

Mas o que não tínhamos ouvido enquanto o fazíamos

was that there was this constant buzz of night insects, you know?

era que havia um constante zumbido de insetos noturnos.

So throughout the recordings, we had this "bzz" of the insects,

Ao longo das gravações, tínhamos este “bzz” dos insetos,

which was actually distorting our speech.

que estava a distorcer a nossa fala.

The second thing was that when we went there

A segunda coisa é que, quando lá chegámos

to kind of test our app in the village,

para testar a nossa aplicação na aldeia,

I and my colleague Indrani Medhi,

eu e o meu colega Indrani Medhi,

who is a very well-regarded design researcher,

que é um conceituado investigador em “design”,

we found that the women couldn't pronounce the sanskritized words

descobrimos que as mulheres não conseguiam pronunciar as palavras em sânscrito

that we had for some of the search terms.

que nós tínhamos como alguns dos termos de pesquisa.

So, like ...

Por exemplo...

(speaks Hindi)

(fala em hindi)

Which is like the term for chemical pesticides, right?

que é o termo para pesticidas químicos.

Because we got these terms from the agricultural extension center

Obtivemos estes termos no centro de extensão agrícola

and the women, even though they are farming,

e as mulheres, embora estejam na agricultura,

do not interact with that center at all.

não interagem de todo com esse centro.

The men do, the women probably use something much simpler, like ...

Os homens sim.

As mulheres usam algo muito mais simples, como...

(speaks Hindi)

(fala em hindi)

Which basically means killing pests with medicine.

o que significa, basicamente, matar pragas com remédios.

So what I have learned through my journey

Portanto, o que aprendi no meu percurso

and what I would like to put across to you --

e o que gostava de vos transmitir

by now, I hope you've understood me,

— e espero que me tenham percebido até agora —

is that there is the majority of the world's languages

é que a maioria das línguas mundiais

that require intensive investment for resource creation

requerem um investimento intensivo para criação de recursos

if they are to benefit from language technology.

se quiserem tirar proveito da tecnologia linguística.

And this is unlikely to happen in a very fast and efficient manner.

E isto não acontecerá de uma forma muito rápida e eficiente.

So it is extremely important for us to ensure

É extremamente importante que possamos garantir

that the community derives maximum benefit

que a comunidade obtém o máximo benefício

from whatever that we are doing in the language tech area.

do que quer que façamos na área da tecnologia linguística.

And to do this and deliver a positive social impact

Para fazer isto e provocar um impacto social positivo

on these communities,

nestas comunidades

we follow what we call the modified 4-D design thinking methodology.

seguimos o que chamamos metodologia

de pensamento de “design” modificada a 4.D.

So the 4-D means: discover, design, develop and deploy.

Os 4-D significam: descobrir, “design”, desenvolver e implantar [deploy].

So discover the problem that language technology can solve

Descobrimos o problema que a tecnologia linguística pode resolver

for a particular language community.

numa determinada comunidade linguística.

This observation-led approach can help allocate resources

Esta abordagem por observação pode ajudar a afetar recursos

where they are most needed,

onde são mais necessários,

designed for the users and their language,

concebidos para os utilizadores e para a sua língua,

understand the diversity in the linguistic properties

compreender a diversidade nas propriedades linguísticas

and the languages of the world.

e nas línguas mundiais.

And don't think, oh, this is made for English.

E não pensem: “Isto foi feito para o inglês.

Now, how can we just adapt it for Marathi or for Gondi, right?

“Agora, como adaptar para o marathi ou para o gondi?”

Develop rapidly and deploy frequently.

Desenvolver rapidamente e implantar frequentemente

It's an iterative process that will help you fail fast

é um processo iterativo que vai ajudar-nos a falhar rapidamente

and early failures will eventually lead to success.

e os fracassos iniciais acabam por levar ao sucesso.

The important thing is to persevere.

O importante aqui é perseverar.

Do not give up.

Não desistir.

And I remember the story of these two Aborigine Australian women,

Lembro-me da história de duas mulheres aborígenes australianas,

Patricia O'Connor and Ysola Best.

a Patricia O’Connor e a Ysola Best.

In the mid-90s, they went to the University of Queensland

Em meados dos anos 90, foram para a Universidade de Queensland.

and they wanted to learn their own language, called Yugambeh,

Queriam aprender a sua língua, chamada yugambeh,

mas disseram-lhes sem rodeios:

and they were told very bluntly, "Your language is dead.

“A vossa língua está morta. Está morta há três décadas.

It's been dead for three decades.

You cannot work on this. Find something else to work on."

“Não podem trabalhar nisso. Encontrem outra coisa.”

They did not give up.

Elas não desistiram.

They went to the community,

Foram à comunidade,

they dug up oral memories, oral traditions, oral literature,

desenterraram memórias orais, tradições orais, literatura oral,

and founded the Yugambeh Museum,

e fundaram o Museu Yugambeh,

which became the most important cultural and linguistic center for the language

que se tornou o mais importante centro cultural e linguístico da língua

and its community.

e da comunidade.

They did not have technology. They only had their willpower.

Elas não tinham tecnologia. Só tinham força de vontade.

Now, with the power of technology,

Agora, com o poder da tecnologia,

we can ensure that the next page is written in Salmi from Finland,

podemos assegurar que a próxima página está escrita em Salmi da Finlândia,

Lillooet from Canada or Mundari from India.

em Lillooet do Canadá ou em Mundari da Índia.

Thank you.

Obrigada.