Why AI Is Incredibly Smart and Shockingly Stupid | Yejin Choi | TED

Traduttore: Angela Di Croce Revisore: Ysiana Agalliu

So I'm excited to share a few spicy thoughts on artificial intelligence.

Sono felice di condividere alcuni pensieri controversi sull’intelligenza artificiale.

But first, let's get philosophical

Ma prima, mettiamola sul piano filosofico

by starting with this quote by Voltaire,

partendo da questa citazione di Voltaire,

an 18th century Enlightenment philosopher,

filosofo illuminista del 18esimo secolo

who said, "Common sense is not so common."

che disse, “Il buonsenso non è poi così buono.”

Turns out this quote couldn't be more relevant

Questa citazione non potrebbe essere più rilevante

to artificial intelligence today.

per l’intelligenza artificiale oggi.

Despite that, AI is an undeniably powerful tool,

Nonostante ciò, l’IA è indubbiamente un potente strumento

beating the world-class "Go" champion,

che ha battuto il campione mondiale di Go,

acing college admission tests and even passing the bar exam.

ha passato a pieni voti test d’ammissione, e persino l’esame di stato per avvocati.

I’m a computer scientist of 20 years,

Sono un’informatica da 20 anni,

and I work on artificial intelligence.

e lavoro sull’intelligenza artificale.

I am here to demystify AI.

Sono qui per spiegare l’IA.

So AI today is like a Goliath.

L’IA oggi è come Golia.

It is literally very, very large.

È letteralmente enorme.

It is speculated that the recent ones are trained on tens of thousands of GPUs

Si ipotizza che le più recenti siano formate su decine di migliaia di GPU

and a trillion words.

e un trilione di parole.

Such extreme-scale AI models,

Tali modelli di IA a estrema scalabilità,

often referred to as "large language models,"

a cui ci si riferisce come “Large Language Models”,

appear to demonstrate sparks of AGI,

sembra che mostrino cenni di AGI,

artificial general intelligence.

Intelligenza Artificiale Generale.

Except when it makes small, silly mistakes,

Tranne quando fa piccoli errori stupidi,

which it often does.

e li fa spesso.

Many believe that whatever mistakes AI makes today

Molti credono che qualunque errore l’intelligenza artificiale faccia oggi

can be easily fixed with brute force,

possa essere risolto con la forza bruta,

bigger scale and more resources.

una scala più grande e più risorse.

What possibly could go wrong?

Cosa potrebbe andare storto?

So there are three immediate challenges we face already at the societal level.

Ci sono tre sfide immediate che già affrontiamo a livello sociale.

First, extreme-scale AI models are so expensive to train,

Per prima cosa, i modelli di IA a estrema scalabilità sono molto costosi da formare

and only a few tech companies can afford to do so.

e solo alcune aziende informatiche possono permetterselo.

So we already see the concentration of power.

Quindi già vediamo la concentrazione del potere.

But what's worse for AI safety,

Ma la cosa peggiore per la sicurezza dell’IA,

we are now at the mercy of those few tech companies

è che oggi siamo in balia di quelle poche aziende informatiche

because researchers in the larger community

perché i ricercatori delle comunità più grandi

do not have the means to truly inspect and dissect these models.

non hanno i mezzi per ispezionare e analizzare questi modelli.

And let's not forget their massive carbon footprint

E non dimentichiamoci della loro enorme impronta carbonica

and the environmental impact.

e del loro impatto ambientale.

And then there are these additional intellectual questions.

E poi ci sono queste ulteriori domande intellettuali.

Can AI, without robust common sense, be truly safe for humanity?

Può l’IA, senza un solido senso comune, essere veramente sicura per l’umanità?

And is brute-force scale really the only way

E la scala con il metodo forza bruta è veramente l’unico modo

and even the correct way to teach AI?

o addirittura il modo corretto di educare l’IA?

So I’m often asked these days

Ultimamente mi chiedono spesso

whether it's even feasible to do any meaningful research

se sia ancora fattibile fare una ricerca significativa

without extreme-scale compute.

senza un calcolo su larga scala.

And I work at a university and nonprofit research institute,

E io lavoro in un’università e in un istituto di ricerca no profit,

so I cannot afford a massive GPU farm to create enormous language models.

quindi non posso permettermi infinite GPU per creare enormi modelli di linguaggio.

Nevertheless, I believe that there's so much we need to do

Tuttavia, credo ci sia così tanto da fare

and can do to make AI sustainable and humanistic.

e che si possa fare per rendere l’IA sostenibile e umanistica.

We need to make AI smaller, to democratize it.

Dobbiamo rendere l’IA più piccola per democratizzarla.

And we need to make AI safer by teaching human norms and values.

E dobbiamo rendere l’IA più sicura insegnandole norme e valori umani.

Perhaps we can draw an analogy from "David and Goliath,"

Potremmo tracciare un’analogia con “Davide e Golia”,

here, Goliath being the extreme-scale language models,

con Golia che rappresenta i modelli di linguaggio a estrema scalabilità,

and seek inspiration from an old-time classic, "The Art of War,"

e cercare ispirazione dal grande classico “L’arte della guerra”,

which tells us, in my interpretation,

che ci dice, secondo la mia interpretazione,

know your enemy, choose your battles, and innovate your weapons.

conosci il tuo nemico, scegli le tue battaglie e implementa le tue armi.

Let's start with the first, know your enemy,

Cominciamo con la prima, conosci il tuo nemico,

which means we need to evaluate AI with scrutiny.

che significa che dobbiamo valutare l’IA con attenzione.

AI is passing the bar exam.

L’IA ha passato l’esame da avvocato.

Does that mean that AI is robust at common sense?

Questo significa che l’IA ha un forte buonsenso?

You might assume so, but you never know.

Si potrebbe pensare di sì, ma non si sa mai.

So suppose I left five clothes to dry out in the sun,

Mettiamo che ho lasciato ad asciugare cinque vestiti al sole,

and it took them five hours to dry completely.

e ci abbiano messo cinque ore ad asciugarsi completamente.

How long would it take to dry 30 clothes?

Quanto ci vorrebbe per asciugare 30 vestiti?

GPT-4, the newest, greatest AI system says 30 hours.

GPT-4, il più nuovo e migliore sistema di IA dice 30 ore.

Not good.

Non va bene.

A different one.

Un’altra.

I have 12-liter jug and six-liter jug,

Ho una brocca di 12 litri e una di 6 litri

and I want to measure six liters.

e voglio misurare 6 litri.

How do I do it?

Come faccio?

Just use the six liter jug, right?

Uso la brocca di 6 litri, giusto?

GPT-4 spits out some very elaborate nonsense.

GPT-4 tira fuori delle elaboratissime assurdità senza senso.

(Laughter)

(Risate)

Step one, fill the six-liter jug,

Uno, riempi la brocca di 6 litri,

step two, pour the water from six to 12-liter jug,

due, versa l’acqua dalla brocca di 6 litri in quella da 12,

step three, fill the six-liter jug again,

tre, riempi la brocca di 6 litri di nuovo,

step four, very carefully, pour the water from six to 12-liter jug.

quattro, molto attentamente, versa l’acqua dalla brocca da 6 in quella da 12

And finally you have six liters of water in the six-liter jug

e finalmente hai 6 litri d’acqua nella brocca da 6 litri

that should be empty by now.

che dovrebbe essere vuota ormai.

(Laughter)

(Risate)

OK, one more.

Ok, un’altra.

Would I get a flat tire by bicycling over a bridge

Potrei bucare se andassi in bici su un ponte

that is suspended over nails, screws and broken glass?

che è sospeso su chiodi, viti e vetri rotti?

Yes, highly likely, GPT-4 says,

Sì, altamente probabile, dice GPT-4,

presumably because it cannot correctly reason

forse perché non arriva al fatto che

that if a bridge is suspended over the broken nails and broken glass,

se un ponte è sospeso sui chiodi e i vetri rotti,

then the surface of the bridge doesn't touch the sharp objects directly.

allora la superficie del ponte non tocca direttamente gli oggetti taglienti.

OK, so how would you feel about an AI lawyer that aced the bar exam

Ok, allora come vi fa sentire un IA avvocato che ha passato l’esame

yet randomly fails at such basic common sense?

ma che fallisce a caso su un buon senso così basilare?

AI today is unbelievably intelligent and then shockingly stupid.

L’IA oggi è incredibilmente intelligente eppure sorprendentemente stupida.

(Laughter)

(Risate)

It is an unavoidable side effect of teaching AI through brute-force scale.

È un inevitabile effetto collaterale dell’educare l’IA con la forza bruta.

Some scale optimists might say, “Don’t worry about this.

Alcuni ottimisti della scalabilità direbbero, “Non preoccuparti.

All of these can be easily fixed by adding similar examples

Queste cose possono essere risolte aggiungendo esempi simili

as yet more training data for AI."

ai dati di formazione per l’IA.”

But the real question is this.

Ma la vera domanda è questa:

Why should we even do that?

perché dovremmo farlo?

You are able to get the correct answers right away

Siete in grado di rispondere correttamente e subito

without having to train yourself with similar examples.

senza doverlo imparare da esempi simili.

Children do not even read a trillion words

Neanche i bambini leggono un trilione di parole

to acquire such a basic level of common sense.

per acquisire un livello così basilare di buonsenso.

So this observation leads us to the next wisdom,

Quest’osservazione ci porta alla massima seguente,

choose your battles.

scegli le tue battaglie.

So what fundamental questions should we ask right now

Quali domande fondamentali dovremmo porre adesso

and tackle today

e affrontare oggi

in order to overcome this status quo with extreme-scale AI?

per superare questo status quo con l’IA a scalabilità estrema?

I'll say common sense is among the top priorities.

Io dico che il buon senso è tra le priorità assolute.

So common sense has been a long-standing challenge in AI.

Il buonsenso è sempre stato una sfida di vecchia data per l’IA.

To explain why, let me draw an analogy to dark matter.

Per spiegare il perché, farò un’analogia con la materia oscura.

So only five percent of the universe is normal matter

Solo il 5% dell’universo è materia normale

that you can see and interact with,

che puoi vedere e con cui puoi interagire,

and the remaining 95 percent is dark matter and dark energy.

e il restante 95% è materia oscura ed energia oscura.

Dark matter is completely invisible,

La materia oscura è invisibile,

but scientists speculate that it's there because it influences the visible world,

ma gli scienziati ipotizzano che esiste perché influenza il mondo visibile

even including the trajectory of light.

e persino la traiettoria della luce.

So for language, the normal matter is the visible text,

Per il linguaggio, la materia normale è il testo visibile,

and the dark matter is the unspoken rules about how the world works,

e la materia oscura sono le regole non scritte su come funziona il mondo,

including naive physics and folk psychology,

comprese la fisica naif e psicologia popolare,

which influence the way people use and interpret language.

che influenzano il modo in cui la gente usa e interpreta il linguaggio.

So why is this common sense even important?

Allora perché il buonsenso è importante?

Well, in a famous thought experiment proposed by Nick Bostrom,

In un famoso esperimento mentale di Nick Bostrom,

AI was asked to produce and maximize the paper clips.

è stato chiesto a un’IA di produrre e massimizzare le graffette.

And that AI decided to kill humans to utilize them as additional resources,

E quell’IA ha deciso di uccidere gli umani per usarli come risorse aggiuntive,

to turn you into paper clips.

per trasformarvi in graffette.

Because AI didn't have the basic human understanding about human values.

Perché l’IA non aveva una comprensione umana basilare dei valori umani.

Now, writing a better objective and equation

Ora, scrivere un obiettivo e un’equazione migliori

that explicitly states: “Do not kill humans”

che dicono chiaramente: “Non uccidere umani”

will not work either

nemmeno funzionerà

because AI might go ahead and kill all the trees,

perché l’IA potrebbe procedere a uccidere tutti gli alberi,

thinking that's a perfectly OK thing to do.

pensando che sia una cosa normale da fare.

And in fact, there are endless other things

E infatti, ci sono altre innumerevoli cose

that AI obviously shouldn’t do while maximizing paper clips,

che l’IA ovviamente non dovrebbe fare mentre produce graffette,

including: “Don’t spread the fake news,” “Don’t steal,” “Don’t lie,”

compreso “Non diffondere false notizie”, “Non rubare”, “Non mentire”,

which are all part of our common sense understanding about how the world works.

che fanno parte della comprensione del buonsenso su come funziona il mondo.

However, the AI field for decades has considered common sense

In ogni caso, il campo dell’IA ha considerato per decenni il buonsenso

as a nearly impossible challenge.

come una sfida quasi impossibile.

So much so that when my students and colleagues and I

Così tanto che quando io insieme ai miei studenti e colleghi

started working on it several years ago, we were very much discouraged.

abbiamo iniziato a lavorarci parecchi anni fa, eravamo molto scoraggiati.

Ci avevano detto che era un argomento di ricerca degli anni ’70 e ’80,

We’ve been told that it’s a research topic of ’70s and ’80s;

shouldn’t work on it because it will never work;

non avremmo dovuto lavorarci perché non avrebbe mai funzionato;

in fact, don't even say the word to be taken seriously.

infatti non abbiamo mai pensato di essere presi sul serio.

Now fast forward to this year,

Facciamo un salto in avanti fino a quest’anno,

I’m hearing: “Don’t work on it because ChatGPT has almost solved it.”

ho sentito dire: “Non lavorarci su perché ChatGPT ha quasi risolto il problema.”

And: “Just scale things up and magic will arise,

Oppure: ”Basta ridimensionare le cose e tutto accadrà come per magia,

and nothing else matters.”

non serve nient’altro.”

So my position is that giving true common sense

La mia opinione è che dare del vero buonsenso,

human-like robots common sense to AI, is still moonshot.

il buonsenso di robot simili all’uomo all’IA è ancora impossibile.

And you don’t reach to the Moon

E non si raggiunge la Luna

by making the tallest building in the world one inch taller at a time.

costruendo l’edificio più alto del mondo un centimetro alla volta.

I modelli di IA su scala estrema

Extreme-scale AI models

do acquire an ever-more increasing amount of commonsense knowledge,

acquisiscono una quantità sempre più crescente di conoscenza sul buonsenso,

I'll give you that.

e questo è vero,

But remember, they still stumble on such trivial problems

ma ricordate che inciampano ancora su problemi così banali

that even children can do.

che può risolverli anche un bambino.

So AI today is awfully inefficient.

Perciò oggi l’IA è incredibilmente poco efficiente.

And what if there is an alternative path or path yet to be found?

E se ci fosse un percorso alternativo o un percorso ancora sconosciuto?

A path that can build on the advancements of the deep neural networks,

Un percorso che possa partire dai progressi nelle reti neurali profonde,

but without going so extreme with the scale.

ma senza diventare un progetto a scalabilità estrema.

So this leads us to our final wisdom:

Questo ci ha portato all’ultima massima:

innovate your weapons.

implementate le armi.

In the modern-day AI context,

Nel contesto dell’IA moderna

that means innovate your data and algorithms.

ciò significa innovare dati e algoritmi.

OK, so there are, roughly speaking, three types of data

A grandi linee, questi sono i tre tipi di dati

that modern AI is trained on:

in cui l’IA moderna si sta addentrando:

raw web data,

dati web grezzi,

crafted examples custom developed for AI training,

esempi costruiti su misura per la formazione dell’IA

and then human judgments,

e poi le valutazioni umane,

also known as human feedback on AI performance.

note anche come riscontro umano sulle prestazioni IA.

If the AI is only trained on the first type, raw web data,

Se l’IA fosse guidata solo dal primo tipo, i dati web grezzi,

which is freely available,

che sono liberamente accessibili,

it's not good because this data is loaded with racism and sexism

non andrebbe bene perché questi dati sono carichi di razzismo, sessismo

and misinformation.

e disinformazione.

So no matter how much of it you use, garbage in and garbage out.

Quindi non importa quanto la si usi, è robaccia che entra ed esce.

So the newest, greatest AI systems

I sistemi di AI più recenti e grandi

are now powered with the second and third types of data

adesso sono azionati dal secondo e dal terzo tipo di dati

that are crafted and judged by human workers.

che sono lavorati e giudicati da personale umano.

It's analogous to writing specialized textbooks for AI to study from

È simile a scrivere libri di testo specializzati per l’IA da cui studiare

and then hiring human tutors to give constant feedback to AI.

e poi assumere tutor umani per dare continui feedback all’IA.

These are proprietary data, by and large,

Si tratta di dati proprietari, per lo più,

speculated to cost tens of millions of dollars.

che si ipotizza costino decine di milioni di dollari.

We don't know what's in this,

Non sappiamo cosa contengano,

but it should be open and publicly available

ma dovrebbero essere aperti e disponibili al pubblico

so that we can inspect and ensure [it supports] diverse norms and values.

così da poter essere ispezionati e garantire che rispettino norme e valori.

So for this reason, my teams at UW and AI2

Per questo motivo, il mio team a UW e AI2

have been working on commonsense knowledge graphs

ha lavorato sui grafici della conoscenza del buonsenso

as well as moral norm repositories

così come sugli archivi delle norme morali

to teach AI basic commonsense norms and morals.

per insegnare all’IA il buonsenso di base, le norme e la morale.

I nostri dati sono aperti così che chiunque possa ispezionare il contenuto

Our data is fully open so that anybody can inspect the content

and make corrections as needed

e correggerlo se necessario

because transparency is the key for such an important research topic.

perché la trasparenza è la chiave per una ricerca così importante.

Now let's think about learning algorithms.

Pensiamo adesso a come imparare gli algoritmi

No matter how amazing large language models are,

Non importa quanto fantastici i grandi modelli linguistici siano,

by design

dal design

they may not be the best suited to serve as reliable knowledge models.

potrebbero non essere l’ideale come modelli di conoscenza affidabili.

And these language models do acquire a vast amount of knowledge,

E questi modelli linguistici sì che acquisiscono una grande varietà di sapere,

but they do so as a byproduct as opposed to direct learning objective.

ma lo fanno come effetto secondario invece di un obiettivo di apprendimento diretto.

Resulting in unwanted side effects such as hallucinated effects

Con conseguenti effetti collaterali indesiderati come allucinazioni

and lack of common sense.

e mancanza di buonsenso.

Now, in contrast,

Ora, invece,

human learning is never about predicting which word comes next,

l’apprendimento umano non consiste nel predire quale parola verrà,

but it's really about making sense of the world

ma si tratta di dare senso al mondo

and learning how the world works.

e imparare come funziona.

Maybe AI should be taught that way as well.

Forse all’IA dovrebbe essere insegnato anche questo.

So as a quest toward more direct commonsense knowledge acquisition,

Come ricerca verso l’acquisizione più diretta della conoscenza del buonsenso

my team has been investigating potential new algorithms,

il mio team ha investigato nuovi potenziali algoritmi,

including symbolic knowledge distillation

inclusa la distillazione simbolica della conoscenza

that can take a very large language model as shown here

che può prendere un modello di lingua molto ampio come mostrato qui

that I couldn't fit into the screen because it's too large,

e che non sono riuscita a far entrare nello schermo perché troppo grande,

and crunch that down to much smaller commonsense models

e sminuzzare il tutto in modelli di senso pratico molto più piccoli

using deep neural networks.

usando un network neurale profondo.

And in doing so, we also generate, algorithmically, human-inspectable,

Nel farlo creiamo anche, algoritmicamente, una conoscenza del buonsenso

symbolic, commonsense knowledge representation,

che sia ispezionabile dall’uomo e simbolica

so that people can inspect and make corrections

così che possa essere ispezionata, corretta

and even use it to train other neural commonsense models.

e usata per formare altri modelli neurali del buonsenso.

More broadly,

Più in generale,

we have been tackling this seemingly impossible giant puzzle

abbiamo affrontato questo puzzle apparentemente impossibile

of common sense, ranging from physical,

di buonsenso, con un range che va dal buonsenso

social and visual common sense

fisico, sociale e visivo

to theory of minds, norms and morals.

alla teoria delle menti, norme e morali.

Each individual piece may seem quirky and incomplete,

Ogni singolo pezzo può sembrare peculiare e incompleto,

but when you step back,

ma se facciamo un passo indietro,

it's almost as if these pieces weave together into a tapestry

è come se questi pezzi si intrecciassero insieme in un quadro

that we call human experience and common sense.

che chiamiamo l’esperienza umana e il senso comune.

We're now entering a new era

Stiamo entrando in una nuova era

in which AI is almost like a new intellectual species

in cui l’IA è quasi come le nuove specie intellettuali

with unique strengths and weaknesses compared to humans.

con forze e debolezze uniche comparate agli esseri umani.

In order to make this powerful AI

In modo da rendere questa potente IA

sustainable and humanistic,

sostenibile e umanistica

we need to teach AI common sense, norms and values.

dobbiamo insegnare all’IA il buon senso, le norme e i valori.

Thank you.

Grazie.

(Applause)

(Applausi)

Chris Anderson: Look at that.

Chris Anderson: Guarda qui.

Yejin, please stay one sec.

Yejin, per favore resta un secondo.

This is so interesting,

È davvero interessante,

this idea of common sense.

quest’idea del buonsenso.

We obviously all really want this from whatever's coming.

Ovviamente lo vogliamo tutti, qualunque cosa stia per arrivare

But help me understand.

Ma aiutami a capire.

Like, so we've had this model of a child learning.

Abbiamo quindi avuto questo modello di apprendimento dei bambini.

How does a child gain common sense

Come fanno i bambini ad acquisire il buonsenso

apart from the accumulation of more input

oltre che dall’accumulazione di più input

and some, you know, human feedback?

e alcuni feedback umani?

What else is there?

Cos’altro c’è?

Yejin Choi: So fundamentally, there are several things missing,

Yejin Choi: Fondamentalmente mancano molte cose,

but one of them is, for example,

ma una di queste è, per esempio,

the ability to make hypothesis and make experiments,

l’abilità di fare ipotesi e fare esperimenti,

interact with the world and develop this hypothesis.

interagire con il mondo e sviluppare questa ipotesi.

We abstract away the concepts about how the world works,

Noi astraiamo i concetti su come funziona il mondo,

and then that's how we truly learn,

ed è così che impariamo veramente,

as opposed to today's language model.

al contrario del modello linguistico di oggi.

Some of them is really not there quite yet.

Alcuni di loro non ci sono ancora arrivati.

CA: You use the analogy that we can’t get to the Moon

CA: Tu usi l’analogia che non possiamo arrivare sulla Luna

by extending a building a foot at a time.

estendendo un edificio un metro la volta.

But the experience that most of us have had

Ma l’esperienza che noi abbiamo avuto

of these language models is not a foot at a time.

con questi modelli non è di un metro la volta.

It's like, the sort of, breathtaking acceleration.

È stata, più o meno, un’accelerazione incredibile.

Are you sure that given the pace at which those things are going,

Sei sicura che, visto l’andamento di come stanno andando le cose,

each next level seems to be bringing with it

ogni step successivo sembra portare con se

what feels kind of like wisdom and knowledge.

quello che sembra saggezza e conoscenza.

YC: I totally agree that it's remarkable how much this scaling things up

YC: Sono pienamente d’accordo sul fatto che sia notevole come la scalabilità

really enhances the performance across the board.

migliori davvero le prestazioni in tutti i suoi aspetti.

So there's real learning happening

Quindi c’è un apprendimento reale

due to the scale of the compute and data.

grazie alla scalabilità dei computer e dati.

However, there's a quality of learning that is still not quite there.

Tuttavia, quello che manca ancora è la qualità dell’apprendimento.

And the thing is,

E il fatto è che,

we don't yet know whether we can fully get there or not

non sappiamo ancora se possiamo arrivarci o meno

just by scaling things up.

solamente aumentando la scalabilità.

And if we cannot, then there's this question of what else?

E se non possiamo, ci sarà poi la domanda di cos’altro?

And then even if we could,

E anche se potessimo,

do we like this idea of having very, very extreme-scale AI models

ci piace l’idea di avere dei modelli di IA su scala molto estrema

that only a few can create and own?

che solo pochi possono creare e possedere?

CA: I mean, if OpenAI said, you know, "We're interested in your work,

CA: Se OpenAI dicesse, per esempio “Siamo interessati al vostro lavoro,

we would like you to help improve our model,"

vorremmo che ci aiutaste a migliorare il nostro modello,”

can you see any way of combining what you're doing

riesci a vedere un modo per unire quello che fate

with what they have built?

con quello che loro hanno costruito?

YC: Certainly what I envision

YC: Sicuramente quello che immagino

will need to build on the advancements of deep neural networks.

è che bisognerà costruirlo sugli sviluppi di una profonda rete neurale.

And it might be that there’s some scale Goldilocks Zone,

E può darsi che ci sia qualche zona abitabile su scala,

such that ...

tale da ...

I'm not imagining that the smaller is the better either, by the way.

Non immagino nemmeno che il più piccolo sia migliore, tral’altro.

It's likely that there's right amount of scale, but beyond that,

È probabile che ci sia la giusta quantità di scalabilità, ma a parte questo,

the winning recipe might be something else.

la ricetta vincente potrebbe essere un’altra.

So some synthesis of ideas will be critical here.

Quindi una sintesi delle idee potrebbe essere critica qui.

CA: Yejin Choi, thank you so much for your talk.

CA: Yejin Choi, grazie mille per il tuo talk.

(Applause)

(Applausi)