Why AI Is Incredibly Smart and Shockingly Stupid | Yejin Choi | TED

Tradutor: Margarida Ferreira Revisora: Nadia Tira

So I'm excited to share a few spicy thoughts on artificial intelligence.

Sinto-me encantado por partilhar alguns pensamentos picantes

sobre a inteligência artificial.

But first, let's get philosophical

Mas primeiro comecemos filosoficamente

by starting with this quote by Voltaire,

com esta citação de Voltaire,

an 18th century Enlightenment philosopher,

um filósofo do Iluminismo do século XVIII, que disse:

who said, "Common sense is not so common."

“O senso comum não é lá muito comum.”

Turns out this quote couldn't be more relevant

Acontece que esta citação não podia ser mais pertinente

to artificial intelligence today.

para a inteligência artificial dos dias de hoje.

Despite that, AI is an undeniably powerful tool,

Apesar disso, a IA é inegavelmente uma potente ferramenta,

que vence o campeão mundial de “Go,”

beating the world-class "Go" champion,

acing college admission tests and even passing the bar exam.

que passa nos testes de admissão à faculdade

e até passa no exame da Ordem dos Advogados.

I’m a computer scientist of 20 years,

Sou cientista informático há 20 anos

and I work on artificial intelligence.

e trabalho na inteligência artificial.

I am here to demystify AI.

Estou aqui para desmistificar a IA.

So AI today is like a Goliath.

A IA hoje é como o Golias.

It is literally very, very large.

É literalmente muito, muito grande.

It is speculated that the recent ones are trained on tens of thousands of GPUs

Diz-se que as mais recentes são treinadas com dezenas de milhares de GPU

and a trillion words.

e um bilião de palavras.

Such extreme-scale AI models,

Estes modelos de IA de escala extrema.

often referred to as "large language models,"

designados com frequência por “grandes modelos linguísticos”,

appear to demonstrate sparks of AGI,

parecem demonstrar sinais de IAG,

artificial general intelligence.

Inteligência Artificial Geral.

Except when it makes small, silly mistakes,

Exceto quando fazem pequenos erros idiotas,

which it often does.

o que acontece com frequência.

Many believe that whatever mistakes AI makes today

Muita gente julga que os erros que a IA faz atualmente

podem ser corrigidos facilmente pela força bruta,

can be easily fixed with brute force,

bigger scale and more resources.

por uma maior escala e mais recursos.

What possibly could go wrong?

O que é que pode correr mal?

So there are three immediate challenges we face already at the societal level.

Há três problemas imediatos que já enfrentamos a nível da sociedade.

First, extreme-scale AI models are so expensive to train,

Primeiro, os modelos de IA de escala extrema

exigem um treino dispendioso

and only a few tech companies can afford to do so.

e só algumas empresas tecnológicas têm hipótese de o fazer.

So we already see the concentration of power.

Por isso, já estamos a ver a concentração do poder.

But what's worse for AI safety,

Mas o que é pior para a segurança da IA,

we are now at the mercy of those few tech companies

é que estamos à mercê dessas poucas empresas de tecnologia

because researchers in the larger community

porque os investigadores da comunidade mais alargada

do not have the means to truly inspect and dissect these models.

não têm os meios de inspecionar e dissecar a sério esses modelos.

And let's not forget their massive carbon footprint

E não esqueçamos a sua enorme pegada de carbono

and the environmental impact.

e o impacto ambiental.

And then there are these additional intellectual questions.

Depois, há estas questões intelectuais adicionais:

Can AI, without robust common sense, be truly safe for humanity?

Poderá a IA, sem um sólido bom senso, ser realmente segura para a Humanidade?

And is brute-force scale really the only way

Será o aumento da força bruta

a única forma, aliás a forma correta, de ensinar a IA?

and even the correct way to teach AI?

So I’m often asked these days

Perguntam-me hoje muitas vezes

whether it's even feasible to do any meaningful research

se será viável fazer uma investigação significativa

without extreme-scale compute.

sem computação em grande escala.

And I work at a university and nonprofit research institute,

Eu trabalho numa universidade

e num instituto de investigação sem fins lucrativos,

so I cannot afford a massive GPU farm to create enormous language models.

portanto não disponho dum enorme parque de GPU

para criar modelos linguísticos gigantescos.

Nevertheless, I believe that there's so much we need to do

Apesar disso, creio que há muita coisa que precisamos de fazer

and can do to make AI sustainable and humanistic.

e podemos fazer para tornar a IA sustentável e humanista.

We need to make AI smaller, to democratize it.

Precisamos de fazer a IA mais pequena, para a democratizar.

And we need to make AI safer by teaching human norms and values.

Precisamos de tornar a IA mais segura, ensinando-lhe normas e valores humanos.

Perhaps we can draw an analogy from "David and Goliath,"

Talvez possamos fazer uma analogia com “David e Golias”,

here, Goliath being the extreme-scale language models,

em que Golias será os modelos linguísticos de escala extrema

and seek inspiration from an old-time classic, "The Art of War,"

e procurar inspiração no clássico da Antiguidade ”A Arte da Guerra”.

which tells us, in my interpretation,

que nos diz, segundo a minha interpretação,

know your enemy, choose your battles, and innovate your weapons.

“conhece o teu inimigo, escolhe as tuas batalhas,

“e inova as tuas armas.”

Let's start with the first, know your enemy,

Comecemos pelo primeiro “conhece o teu inimigo”,

which means we need to evaluate AI with scrutiny.

o que significa que precisamos de avaliar a IA com rigor.

AI is passing the bar exam.

A IA foi aprovada no exame da Ordem dos Advogados

Isso significa que a IA é robusta em termos de senso comum?

Does that mean that AI is robust at common sense?

You might assume so, but you never know.

Podemos supor que sim, mas não sabemos ao certo.

So suppose I left five clothes to dry out in the sun,

Suponhamos que “Pus 5 peças de roupa a secar ao sol.

and it took them five hours to dry completely.

“Demoraram 5 horas a secar por completo.

How long would it take to dry 30 clothes?

“Quanto tempo demorariam a secar 30 peças de roupa?”

GPT-4, the newest, greatest AI system says 30 hours.

O GPT-4, o mais recente e melhor sistema da IA responde 30 horas!

Not good.

Não é nada bom.

A different one.

Outro exemplo.

I have 12-liter jug and six-liter jug,

“Tenho um jarro de 12 litros e um jarro de 6 litros

and I want to measure six liters.

“e quero medir 6 litros.

How do I do it?

“Como é que faço?”

Just use the six liter jug, right?

Uso o jarro de 6 litros, não é verdade?

GPT-4 spits out some very elaborate nonsense.

O GPT-4 cospe alguns disparates muito elaborados.

(Laughter)

(Risos)

Step one, fill the six-liter jug,

“Passo um: encher o jarro de 6 litros,

step two, pour the water from six to 12-liter jug,

“Passo dois: despejar a água do jarro de 6 litros para o de 12 litros.

step three, fill the six-liter jug again,

“Passo três: encher de novo o jarro de 6 litros.

step four, very carefully, pour the water from six to 12-liter jug.

“Passo quatro: muito cuidadosamente,

“despejar a água do jarro de 6 litros para o de 12 litros.

And finally you have six liters of water in the six-liter jug

“Por fim, ficamos com 6 litros de água no jarro de 6 litros”

that should be empty by now.

— que, nesta altura, deve estar vazio!

(Laughter)

(Risos)

OK, one more.

OK, mais um exemplo.

Would I get a flat tire by bicycling over a bridge

“Será que fico com um pneu furado quando atravesso de bicicleta uma ponte

that is suspended over nails, screws and broken glass?

“que está suspensa sobre pregos, parafusos e vidros partidos?”

Yes, highly likely, GPT-4 says,

“Sim, muito provavelmente”, diz o GTP-4”,

presumably because it cannot correctly reason

provavelmente porque não consegue deduzir corretamente

that if a bridge is suspended over the broken nails and broken glass,

que, se a ponte está suspensa sobre os pregos e os vidros partidos

then the surface of the bridge doesn't touch the sharp objects directly.

então a superfície da ponte não toca diretamente nos objetos agudos.

OK, so how would you feel about an AI lawyer that aced the bar exam

OK, então como é que vocês se sentiriam

se um advogado da IA que ficou aprovado no exame

yet randomly fails at such basic common sense?

falha aleatoriamente num senso comum tão básico?

AI today is unbelievably intelligent and then shockingly stupid.

A IA atual é incrivelmente inteligente

e, ao mesmo tempo, chocantemente estúpida.

(Laughter)

(Risos)

It is an unavoidable side effect of teaching AI through brute-force scale.

É um efeito secundário inevitável do ensino da IA através da força bruta.

Some scale optimists might say, “Don’t worry about this.

Alguns otimistas de escala podem dizer: “Não se preocupem com isso,

All of these can be easily fixed by adding similar examples

“Todas essas situações podem ser corrigidas facilmente,

“adicionando exemplos semelhantes como mais dados de treino para a IA.”

as yet more training data for AI."

But the real question is this.

Mas a verdadeira questão é esta:

Why should we even do that?

Porque é que havemos de fazer isso?

You are able to get the correct answers right away

Podemos obter as respostas certas de imediato

without having to train yourself with similar examples.

sem termos de nos treinar com exemplos semelhantes.

Children do not even read a trillion words

As crianças não leem um bilião de palavras

to acquire such a basic level of common sense.

para adquirirem um nível tão básico de senso comum.

So this observation leads us to the next wisdom,

Esta observação leva-nos ao segundo conselho:

choose your battles.

“escolhe as tuas batalhas”.

So what fundamental questions should we ask right now

Quais são as questões fundamentais que devemos colocar agora

and tackle today

e resolver agora

in order to overcome this status quo with extreme-scale AI?

a fim de ultrapassar este status quo com a IA de escala extrema?

I'll say common sense is among the top priorities.

Eu diria que o senso comum está entre as principais prioridades.

So common sense has been a long-standing challenge in AI.

O senso comum tem sido um problema de há muito na IA.

To explain why, let me draw an analogy to dark matter.

Para explicar porquê, vou usar uma analogia com a matéria escura.

So only five percent of the universe is normal matter

Só 5% do universo é matéria normal

that you can see and interact with,

que vemos e com que podemos interagir.

and the remaining 95 percent is dark matter and dark energy.

Os restantes 95% são matéria escura e energia escura.

Dark matter is completely invisible,

A matéria escura é totalmente invisível,

but scientists speculate that it's there because it influences the visible world,

mas os cientistas deduzem que ela está lá porque influencia o mundo visível,

even including the trajectory of light.

incluindo até a trajetória da luz.

So for language, the normal matter is the visible text,

Quanto à linguagem, a matéria normal é o texto visível,

and the dark matter is the unspoken rules about how the world works,

e a matéria escura são as regras mudas sobre como funciona o mundo

including naive physics and folk psychology,

incluindo a física ingénua e a psicologia popular,

which influence the way people use and interpret language.

que influenciam a forma como as pessoas usam e interpretam a língua.

So why is this common sense even important?

Então, porque é que este senso comum é tão importante?

Well, in a famous thought experiment proposed by Nick Bostrom,

Bom, num conhecido exercício intelectual proposto por Nick Bostrom

AI was asked to produce and maximize the paper clips.

pediram à IA que produzisse e maximizasse os clips para papel

And that AI decided to kill humans to utilize them as additional resources,

e essa IA decidiu matar pessoas para as utilizar como recursos adicionais,

to turn you into paper clips.

para as transformar em clips para papel,

porque a IA não tinha uma compreensão humana básica sobre os valores humanos.

Because AI didn't have the basic human understanding about human values.

Now, writing a better objective and equation

Escrever um objetivo melhor e uma equação que afirmasse explicitamente:

that explicitly states: “Do not kill humans”

“Não matar seres humanos”

will not work either

também não funcionaria

because AI might go ahead and kill all the trees,

porque a IA podia avançar e matar todas as árvores,

pensando que é uma coisa perfeitamente aceitável.

thinking that's a perfectly OK thing to do.

And in fact, there are endless other things

De facto, há um nunca acabar de outras coisas

that AI obviously shouldn’t do while maximizing paper clips,

que, claro, a IA não devia fazer para maximizar clips para papel,

including: “Don’t spread the fake news,” “Don’t steal,” “Don’t lie,”

incluindo “Não espalhar notícias falsas”, “Não roubar”, “Não mentir”,

which are all part of our common sense understanding about how the world works.

que fazem parte do nosso senso comum,

da compreensão sobre como funciona o mundo.

However, the AI field for decades has considered common sense

No entanto, durante décadas, na área da IA, tem-se considerado

as a nearly impossible challenge.

que o senso comum é um problema quase impossível de resolver.

So much so that when my students and colleagues and I

De tal modo que, quando os meus alunos, colegas e eu

started working on it several years ago, we were very much discouraged.

começámos a trabalhar em senso comum, já há anos, fomos muito desencorajados.

We’ve been told that it’s a research topic of ’70s and ’80s;

Disseram-nos que era um tópico de investigação dos anos 70 e 80;

shouldn’t work on it because it will never work;

que não devíamos trabalhar nisso porque nunca iria funcionar;

in fact, don't even say the word to be taken seriously.

de facto, nem digam essa palavra se querem ser levados a sério.

Now fast forward to this year,

Avançando rapidamente para hoje, ainda oiço:

I’m hearing: “Don’t work on it because ChatGPT has almost solved it.”

“Não trabalhes nisso porque o ChatGPT já quase resolveu isso,”

And: “Just scale things up and magic will arise,

E: ”Basta aumentar a escala das coisas e a magia surgirá,

and nothing else matters.”

“e nada mais importa.”

So my position is that giving true common sense

Assim, a minha posição é que dar um verdadeiro senso comum à IA,

human-like robots common sense to AI, is still moonshot.

continua a ser uma hipótese remota.

And you don’t reach to the Moon

Não chegaremos à lua

by making the tallest building in the world one inch taller at a time.

aumentando o edifício mais alto do mundo, um centímetro de cada vez.

Reconheço que os modelos de IA de escala extrema

Extreme-scale AI models

do acquire an ever-more increasing amount of commonsense knowledge,

vão adquirindo uma quantidade cada vez maior

de conhecimentos de senso comum.

I'll give you that.

Mas lembrem-se, continuam a tropeçar em problemas tão triviais

But remember, they still stumble on such trivial problems

that even children can do.

que até as crianças sabem resolver.

So AI today is awfully inefficient.

Assim, a IA atual é muito ineficaz.

And what if there is an alternative path or path yet to be found?

E se houver um caminho alternativo ou um caminho por encontrar?

Um caminho que possa basear-se no avanço das redes neurais profundas,

A path that can build on the advancements of the deep neural networks,

but without going so extreme with the scale.

mas sem ir tão longe na escala.

So this leads us to our final wisdom:

Isso leva-nos ao conselho final:

innovate your weapons.

“Inovem as vossas armas.”

In the modern-day AI context,

No contexto da IA de hoje,

that means innovate your data and algorithms.

isso significa inovar os nossos dados e algoritmos.

OK, so there are, roughly speaking, three types of data

OK, grosso modo, há três tipos de dados

that modern AI is trained on:

em que a IA de hoje é treinada:

raw web data,

dados brutos na Internet,

crafted examples custom developed for AI training,

exemplos elaborados, desenvolvidos à medida para o treino da IA,

and then human judgments,

e juízos humanos,

also known as human feedback on AI performance.

também conhecidos por feedback humano sobre o desempenho da IA.

Se a IA for treinada apenas com o primeiro tipo

If the AI is only trained on the first type, raw web data,

— os dados brutos na Internet que estão à disposição de todos —

which is freely available,

it's not good because this data is loaded with racism and sexism

não é bom, porque esses dados estão cheios de racismo e sexismo

and misinformation.

e informações incorretas.

So no matter how much of it you use, garbage in and garbage out.

Por isso, seja qual for a quantidade usada se entra lixo, sai lixo.

So the newest, greatest AI systems

Por isso, os sistemas mais recentes e melhores da IA

are now powered with the second and third types of data

são agora alimentados com o segundo e terceiro tipos de dados

that are crafted and judged by human workers.

que são elaborados e avaliados por trabalhadores humanos.

It's analogous to writing specialized textbooks for AI to study from

É o mesmo que escrever manuais especializados

para a IA estudar

and then hiring human tutors to give constant feedback to AI.

e depois contratar tutores humanos para fornecerem permanente feedback à IA.

Estes são dados proprietários, de modo geral,

These are proprietary data, by and large,

speculated to cost tens of millions of dollars.

que, segundo consta, custam dezenas de milhões de dólares.

We don't know what's in this,

Não sabemos o que é que contêm,

but it should be open and publicly available

mas devem ser abertos e disponíveis publicamente

so that we can inspect and ensure [it supports] diverse norms and values.

para podermos inspecioná-los e garantir que respeitam normas e valores diversos.

So for this reason, my teams at UW and AI2

Por esta razão, as minhas equipas em UW e AI2

têm estado a trabalhar em gráficos de conhecimento de senso comum

have been working on commonsense knowledge graphs

as well as moral norm repositories

assim como em repositórios de normas morais

to teach AI basic commonsense norms and morals.

para ensinar à IA o senso comum básico. as normas e a moral.

Os nossos dados são totalmente abertos, todos podem inspecionar o conteúdo

Our data is fully open so that anybody can inspect the content

and make corrections as needed

e fazer as correções necessárias

because transparency is the key for such an important research topic.

porque a transparência é a chave

para um tópico de investigação desta importância.

Now let's think about learning algorithms.

Pensemos agora nos algoritmos de aprendizagem.

No matter how amazing large language models are,

Por mais espantosa que sejam os grandes modelos linguísticos,

by design

dada a sua conceção,

they may not be the best suited to serve as reliable knowledge models.

podem não ser os mais adequados

para servirem como modelos fiáveis de conhecimento.

And these language models do acquire a vast amount of knowledge,

Estes modelos linguísticos adquirem uma vasta quantidade de conhecimentos,

but they do so as a byproduct as opposed to direct learning objective.

mas fazem-no como um subproduto

em oposição a um objetivo de aprendizagem direta,

Resulting in unwanted side effects such as hallucinated effects

o que resulta em efeitos colaterais indesejados,

como efeitos alucinados e falta de senso comum.

and lack of common sense.

Now, in contrast,

Em contrapartida, a aprendizagem humana nunca é

human learning is never about predicting which word comes next,

uma previsão de qual a palavra que vem seguir,

but it's really about making sense of the world

é ter noção do sentido do mundo

and learning how the world works.

e aprender como funciona o mundo.

Maybe AI should be taught that way as well.

Talvez a IA também devesse ser ensinada dessa forma.

So as a quest toward more direct commonsense knowledge acquisition,

Assim, numa busca para aquisição

de um conhecimento mais direto de senso comum

my team has been investigating potential new algorithms,

a minha equipa tem estado a investigar possíveis novos algoritmos,

including symbolic knowledge distillation

incluindo a destilação de conhecimentos simbólicos

that can take a very large language model as shown here

que podem ter um modelo linguístico como aqui se mostra

that I couldn't fit into the screen because it's too large,

que não pude encaixar no ecrã porque é demasiado grande

and crunch that down to much smaller commonsense models

e reduzi-lo a modelos de senso comum muito mais pequenos

using deep neural networks.

utilizando redes neurais profundas.

And in doing so, we also generate, algorithmically, human-inspectable,

Ao fazer isso, também geramos, algoritmicamente,

e inspecionável por humanos,

symbolic, commonsense knowledge representation,

uma representação dos conhecimentos de senso comum, simbólica e inspecionável,

so that people can inspect and make corrections

de modo que as pessoas podem inspecionar e fazer correções

and even use it to train other neural commonsense models.

e até usar para treinar outros modelos neurais de senso comum.

More broadly,

Em termos mais gerais,

we have been tackling this seemingly impossible giant puzzle

temos estado a resolver este puzzle gigante de senso comum,

aparentemente impossível,

of common sense, ranging from physical,

do senso comum físico, social e visual

social and visual common sense

à teoria da mente, às normas e à moral.

to theory of minds, norms and morals.

Each individual piece may seem quirky and incomplete,

Cada peça individual pode parecer peculiar e incompleta,

but when you step back,

mas quando nos afastamos

it's almost as if these pieces weave together into a tapestry

é quase como se essas peças se juntassem numa tapeçaria

that we call human experience and common sense.

a que chamamos experiência humana e senso comum.

We're now entering a new era

Estamos a entrar numa nova era

in which AI is almost like a new intellectual species

em que a IA é quase como uma nova espécie intelectual

with unique strengths and weaknesses compared to humans.

com forças e fraquezas únicas em comparação com os seres humanos.

In order to make this powerful AI

A fim de tornar esta poderosa IA

sustainable and humanistic,

sustentável e humanista,

we need to teach AI common sense, norms and values.

precisamos de ensinar à IA senso comum, normas e valores.

Thank you.

Obrigada.

(Applause)

(Aplausos)

Chris Anderson: Look at that.

Chris Anderson: Vejam só!

Yejin, please stay one sec.

Yejin, por favor, fica mais um segundo.

Isto é muito interessante, esta ideia de senso comum.

This is so interesting,

this idea of common sense.

We obviously all really want this from whatever's coming.

Obviamente, todos queremos o que está para vir.

But help me understand.

Mas ajuda-me a perceber.

Like, so we've had this model of a child learning.

Temos esse modelo de uma criança a aprender.

How does a child gain common sense

Como é que uma criança adquire senso comum

apart from the accumulation of more input

para além da acumulação de mais informações

and some, you know, human feedback?

e de algum feedback humano?

What else is there?

O que é que há mais?

Yejin Choi: So fundamentally, there are several things missing,

Yejin Choi: Fundamentalmente, faltam várias coisas,

but one of them is, for example,

mas uma delas, por exemplo,

the ability to make hypothesis and make experiments,

é a capacidade de fazer uma hipótese, de fazer experiências,

interact with the world and develop this hypothesis.

de interagir com o mundo e desenvolver essa hipótese.

We abstract away the concepts about how the world works,

Nós abstraímos os conceitos sobre como funciona o mundo

and then that's how we truly learn,

e é assim que aprendemos verdadeiramente,

as opposed to today's language model.

em oposição ao modelo linguístico de hoje.

Some of them is really not there quite yet.

Alguns deles ainda não chegaram lá.

CA: You use the analogy that we can’t get to the Moon

CA: Tu usas a analogia de que não podemos chegar à Lua

by extending a building a foot at a time.

aumentando um edifício um centímetro de cada vez.

But the experience that most of us have had

Mas a experiência que muitos têm desses modelos linguísticos

of these language models is not a foot at a time.

não é de um centímetro de cada vez.

It's like, the sort of, breathtaking acceleration.

É duma aceleração vertiginosa.

Are you sure that given the pace at which those things are going,

Tens a certeza de que, dado o ritmo a que as coisas estão a ocorrer,

each next level seems to be bringing with it

cada nível seguinte parece trazer consigo

what feels kind of like wisdom and knowledge.

o que parece ser sabedoria e conhecimento.

YC: I totally agree that it's remarkable how much this scaling things up

YC: Concordo plenamente que é notável quanto isso aumenta a escala das coisas

really enhances the performance across the board.

e melhora o desempenho em toda a linha.

So there's real learning happening

Portanto, está a ocorrer uma verdadeira aprendizagem

due to the scale of the compute and data.

devido à escala dos computadores e dos dados.

However, there's a quality of learning that is still not quite there.

No entanto, há uma qualidade da aprendizagem que ainda não aparece.

And the thing is,

O que acontece

we don't yet know whether we can fully get there or not

é que ainda não sabemos se podemos lá chegar ou não

just by scaling things up.

apenas por aumentar a escala das coisas.

And if we cannot, then there's this question of what else?

Se não pudermos, impõe-se a pergunta: “E a seguir?”

And then even if we could,

Mas, mesmo que possamos,

do we like this idea of having very, very extreme-scale AI models

será que gostamos desta ideia de ter modelos de IA de escala extrema

that only a few can create and own?

que só alguns sabem criar e possuir?

CA: I mean, if OpenAI said, you know, "We're interested in your work,

CA: Se o OpenAI disser: “Estamos interessados no vosso trabalho,

gostávamos de vos ajudar a melhorar o vosso modelo”,

we would like you to help improve our model,"

can you see any way of combining what you're doing

consegues ver alguma forma de combinar o que vocês estão a fazer

with what they have built?

com aquilo que eles têm criado?

YC: Certainly what I envision

YC: Certamente, o que eu imagino

will need to build on the advancements of deep neural networks.

será necessário para aproveitar os avanços das redes neurais profundas.

And it might be that there’s some scale Goldilocks Zone,

E pode acontecer haver alguma escala ideal,

such that ...

de modo que...

I'm not imagining that the smaller is the better either, by the way.

Já agora, não estou a imaginar que o mais pequeno é o melhor.

It's likely that there's right amount of scale, but beyond that,

É provável que haja uma escala correta

mas, para além disso, a receita vencedora pode ser outra coisa.

the winning recipe might be something else.

So some synthesis of ideas will be critical here.

Uma síntese de ideias seria importante agora.

CA: Yejin Choi, thank you so much for your talk.

CA: Yejin Choi, muito obrigado pela tua palestra.

(Applause)

(Aplausos)