Why AI Is Incredibly Smart and Shockingly Stupid | Yejin Choi | TED

Vertaald door: Norah Fartsi Nagekeken door: Dick Stada

So I'm excited to share a few spicy thoughts on artificial intelligence.

Ik wil een paar pittige gedachten over kunstmatige intelligentie met je delen.

But first, let's get philosophical

Maar laten we eerst eens filosofisch worden

by starting with this quote by Voltaire,

door te beginnen met een citaat van Voltaire,

an 18th century Enlightenment philosopher,

een 18e-eeuwse verlichtingsfilosoof die zei:

who said, "Common sense is not so common."

”Gezond verstand is niet zo gewoon.”

Turns out this quote couldn't be more relevant

Relevanter kan dit citaat niet zijn

to artificial intelligence today.

voor de huidige kunstmatige intelligentie.

Despite that, AI is an undeniably powerful tool,

Desondanks is AI een onmiskenbaar krachtig instrument,

beating the world-class "Go" champion,

dat de wereldkampioen ‘Go’ verslaat,

acing college admission tests and even passing the bar exam.

toelatingsexamens van universiteiten haalt en zelfs slaagt voor het balie-examen.

I’m a computer scientist of 20 years,

Ik ben al 20 jaar computerwetenschapper

and I work on artificial intelligence.

en ik werk aan kunstmatige intelligentie.

I am here to demystify AI.

Ik ben hier om AI op te helderen.

So AI today is like a Goliath.

AI is tegenwoordig als een reus.

It is literally very, very large.

Het is letterlijk heel erg groot.

It is speculated that the recent ones are trained on tens of thousands of GPUs

Men speculeert dat de nieuwste versies getraind zijn op tienduizenden GPU’s.

and a trillion words.

en een biljoen woorden.

Such extreme-scale AI models,

Zulke extreem grote AI-modellen,

often referred to as "large language models,"

vaak ‘grote taalmodellen’ genoemd,

appear to demonstrate sparks of AGI,

lijken vonken van AGI te tonen,

artificial general intelligence.

kunstmatige algemene intelligentie.

Except when it makes small, silly mistakes,

Behalve als het domme foutjes maakt,

which it often does.

wat het vaak doet.

Many believe that whatever mistakes AI makes today

Velen geloven dat de fouten die AI maakt,

can be easily fixed with brute force,

makkelijk te herstellen zijn met kracht,

bigger scale and more resources.

grotere schaal en meer middelen.

What possibly could go wrong?

Wat kan er nou fout gaan?

So there are three immediate challenges we face already at the societal level.

Er zijn drie uitdagingen waar we nu al maatschappelijk mee om moeten gaan.

First, extreme-scale AI models are so expensive to train,

Ten eerste zijn AI-modellen dermate duur om te trainen,

and only a few tech companies can afford to do so.

dat maar een paar technische bedrijven zich dat kunnen veroorloven.

So we already see the concentration of power.

We zien dus nu al waar de macht zit.

But what's worse for AI safety,

Maar erger voor de AI-veiligheid is,

we are now at the mercy of those few tech companies

dat we nu overgeleverd zijn aan de genade van die paar bedrijven,

because researchers in the larger community

omdat onderzoekers in de grotere gemeenschap

do not have the means to truly inspect and dissect these models.

niet de middelen hebben om deze modellen goed te inspecteren en te ontleden.

And let's not forget their massive carbon footprint

Laten we ook hun grote ecologische voetafdruk niet vergeten

and the environmental impact.

en hun impact op het milieu.

And then there are these additional intellectual questions.

Dan zijn er nog van die intellectuele vragen.

Can AI, without robust common sense, be truly safe for humanity?

Is AI, zonder gezond verstand, echt veilig voor de mensheid?

And is brute-force scale really the only way

En is brute kracht op deze schaal echt de enige manier

and even the correct way to teach AI?

of zelfs de juiste manier om AI trainen?

So I’m often asked these days

Mij is vaak gevraagd of het wel haalbaar is

whether it's even feasible to do any meaningful research

om zinvol onderzoek te doen

without extreme-scale compute.

zonder heel grootschalige rekenkracht.

And I work at a university and nonprofit research institute,

En ik werk bij een universiteit en een non-profit onderzoeksinstituut,

so I cannot afford a massive GPU farm to create enormous language models.

dus ik kan geen batterij GPU’s betalen om gigantische taalmodellen te maken,

Nevertheless, I believe that there's so much we need to do

Toch geloof ik dat we nog veel meer moeten doen

and can do to make AI sustainable and humanistic.

en kunnen doen om AI duurzaam en menselijk te maken.

We need to make AI smaller, to democratize it.

We moeten AI kleiner maken om het te democratiseren.

And we need to make AI safer by teaching human norms and values.

En we moeten AI veiliger maken door het menselijke normen en waarden aan te leren.

Perhaps we can draw an analogy from "David and Goliath,"

Je zou het kunnen vergelijken met ‘David en Goliath’,

here, Goliath being the extreme-scale language models,

met Goliath als de grootschalige taalmodellen,

and seek inspiration from an old-time classic, "The Art of War,"

die inspiratie zoekt bij een oude klassieker, ′The Art of War’,

which tells us, in my interpretation,

die ons volgens mij vertelt,

know your enemy, choose your battles, and innovate your weapons.

dat je je vijanden moet kennen, je gevechten kiest en je wapens verbetert.

Let's start with the first, know your enemy,

Laten we beginnen met de eerste: ken je vijanden,

which means we need to evaluate AI with scrutiny.

wat betekent dat we AI kritisch moeten evalueren.

AI is passing the bar exam.

AI slaagt voor het balie-examen.

Does that mean that AI is robust at common sense?

Betekent dat dat AI een gezond verstand heeft?

You might assume so, but you never know.

Je zou dat kunnen denken, maar je weet het maar nooit.

So suppose I left five clothes to dry out in the sun,

Stel dat ik vijf kledingstukken in de zon heb laten drogen,

and it took them five hours to dry completely.

en het duurde 5 uur voordat ze helemaal droog waren.

How long would it take to dry 30 clothes?

Hoe lang zou het duren met 30 kledingstukken?

GPT-4, the newest, greatest AI system says 30 hours.

GPT-4, het nieuwste en beste AI-systeem zegt 30 uur.

Not good.

Fout.

A different one.

Een andere.

I have 12-liter jug and six-liter jug,

Ik heb een kan van 12 liter en een kan van 6 liter,

and I want to measure six liters.

en ik wil graag 6 liter meten.

How do I do it?

Hoe doe ik dat?

Just use the six liter jug, right?

Gebruik gewoon de kan van 6 liter, toch?

GPT-4 spits out some very elaborate nonsense.

GPT-4 spuugt uitgebreid onzin uit.

(Laughter)

(Gelach)

Step one, fill the six-liter jug,

Stap 1: vul de kan van 6 liter,

step two, pour the water from six to 12-liter jug,

stap 2: giet het water van die kan in de kan van 12 liter,

step three, fill the six-liter jug again,

stap 3: vul de kan van 6 liter nog een keer,

step four, very carefully, pour the water from six to 12-liter jug.

stap 4: giet het water voorzichtig van die kan in de kan van 12 liter,

And finally you have six liters of water in the six-liter jug

en uiteindelijk heb je zes liter water in de kan van zes liter

that should be empty by now.

die nu leeg zou moeten zijn.

(Laughter)

(Gelach)

OK, one more.

Oké, nog eentje.

Would I get a flat tire by bicycling over a bridge

Krijg ik een lekke band als ik over een brug fiets

that is suspended over nails, screws and broken glass?

die over spijkers, schroeven en gebroken glas hangt?

Yes, highly likely, GPT-4 says,

Ja, zeer waarschijnlijk, zegt GPT-4,

presumably because it cannot correctly reason

vermoedelijk omdat het niet goed kan beredeneren

that if a bridge is suspended over the broken nails and broken glass,

dat bij een brug die over gebroken spijkers en glas hangt,

then the surface of the bridge doesn't touch the sharp objects directly.

het brugdek de scherpe voorwerpen niet rechtstreeks aanraakt.

OK, so how would you feel about an AI lawyer that aced the bar exam

Wat vind je dan van een AI-advocaat die slaagde voor het balie-examen

yet randomly fails at such basic common sense?

maar toch faalt bij zulke algemene kennis?

AI today is unbelievably intelligent and then shockingly stupid.

AI is tegenwoordig ongelofelijk intelligent en toch verbazingwekkend dom.

(Laughter)

(Gelach)

It is an unavoidable side effect of teaching AI through brute-force scale.

Het is een onvermijdelijk bijeffect als je AI traint met brute kracht.

Some scale optimists might say, “Don’t worry about this.

Sommige optimisten zeggen: “Maak je geen zorgen.

All of these can be easily fixed by adding similar examples

Dat los je makkelijk op door het met soortgelijke voorbeelden te voeden

as yet more training data for AI."

als extra trainingsgegevens voor AI.”

But the real question is this.

Maar de echte vraag is: waarom zou je dat überhaupt doen?

Why should we even do that?

You are able to get the correct answers right away

Jij kunt het correcte antwoord zo geven

without having to train yourself with similar examples.

zonder jezelf te hoeven trainen met soortgelijke voorbeelden.

Children do not even read a trillion words

Kinderen lezen echt geen biljoenen woorden

to acquire such a basic level of common sense.

om zo’n basisniveau van gezond verstand te krijgen.

So this observation leads us to the next wisdom,

Dus deze observatie leidt ons naar de volgende wijsheid:

choose your battles.

kies je gevechten.

So what fundamental questions should we ask right now

Welke fundamentele vragen zou je nu moeten stellen

and tackle today

en aanpakken

in order to overcome this status quo with extreme-scale AI?

om deze status quo te overwinnen met AI op extreme schaal?

I'll say common sense is among the top priorities.

Ik denk dat gezond verstand een van de topprioriteiten is.

So common sense has been a long-standing challenge in AI.

Gezond verstand is al een tijd een uitdaging voor AI.

To explain why, let me draw an analogy to dark matter.

Om uit te leggen waarom, wil ik het vergelijken met donkere materie.

So only five percent of the universe is normal matter

Slechts vijf procent van het universum is normale materie

that you can see and interact with,

die je kunt zien en waar je iets mee kan.

and the remaining 95 percent is dark matter and dark energy.

De resterende 95 procent is donkere materie en donkere energie.

Dark matter is completely invisible,

Donkere materie is onzichtbaar,

but scientists speculate that it's there because it influences the visible world,

maar wetenschappers speculeren dat het er is om de zichtbare wereld te beïnvloeden.

even including the trajectory of light.

zelfs inclusief de baan van het licht.

So for language, the normal matter is the visible text,

Voor taal is de normale materie de zichtbare tekst,

and the dark matter is the unspoken rules about how the world works,

en de donkere materie zijn de onbesproken regels over hoe de wereld in elkaar zit,

including naive physics and folk psychology,

inclusief de volksnatuurkunde en volkspsychologie,

which influence the way people use and interpret language.

die de manier beïnvoeden waarop men de taal gebruikt en interpreteert.

So why is this common sense even important?

Waarom is gezond verstand überhaupt belangrijk?

Well, in a famous thought experiment proposed by Nick Bostrom,

In een bekend gedachte-experiment waar Nick Bostrom mee kwam,

AI was asked to produce and maximize the paper clips.

werd AI gevraagd om zoveel mogelijk paperclips te produceren.

And that AI decided to kill humans to utilize them as additional resources,

En die AI besloot mensen te doden om ze als extra grondstof te gebruiken,

to turn you into paper clips.

om paperclips van je te maken.

Because AI didn't have the basic human understanding about human values.

Omdat AI niet de basiskennis had van de menselijke waarden.

Now, writing a better objective and equation

Het schrijven van een betere doelstelling en vergelijking

that explicitly states: “Do not kill humans”

die expliciet zegt: “Dood geen mensen”

will not work either

zal ook niet werken,

because AI might go ahead and kill all the trees,

omdat AI dan alle bomen gaat vellen,

thinking that's a perfectly OK thing to do.

omdat het denkt dat dat prima is.

And in fact, there are endless other things

En in feite zijn er ontelbaar veel dingen

that AI obviously shouldn’t do while maximizing paper clips,

die AI zeker niet moet doen als ze paperclips maximaliseren,

including: “Don’t spread the fake news,” “Don’t steal,” “Don’t lie,”

inclusief: Verspreid geen nepnieuws, Steel niet, Lieg niet,

which are all part of our common sense understanding about how the world works.

wat allemaal onderdeel is van ons gezond verstand over hoe de wereld werkt.

However, the AI field for decades has considered common sense

Het AI-veld heeft echter decennialang gezond verstand gezien

as a nearly impossible challenge.

als een bijna onmogelijke uitdaging.

So much so that when my students and colleagues and I

Zozeer zelfs dat toen mijn studenten, collega’s en ik

started working on it several years ago, we were very much discouraged.

er enkele jaren geleden mee begonnen, we erg ontmoedigd waren.

We’ve been told that it’s a research topic of ’70s and ’80s;

Er was ons verteld dat onderzoek is gedaan in de jaren 70 en 80;

shouldn’t work on it because it will never work;

“niet aan werken omdat het toch nooit gaat werken;

in fact, don't even say the word to be taken seriously.

noem het woord liever niet om serieus genomen te worden”.

Now fast forward to this year,

Nu snel vooruit naar dit jaar,

I’m hearing: “Don’t work on it because ChatGPT has almost solved it.”

Ik hoor: “Stop er maar mee, omdat ChatGPT het al bijna heeft opgelost.”

And: “Just scale things up and magic will arise,

En: ”Schaal het gewoon op, dan ontstaat magie.”

and nothing else matters.”

En: “Niets anders doet ertoe.”

So my position is that giving true common sense

Mijn standpunt is dat het geven van gezond verstand aan AI,

human-like robots common sense to AI, is still moonshot.

menselijk gezond verstand aan robots, nog steeds een grote stap zal zijn.

And you don’t reach to the Moon

En je komt niet op de maan

by making the tallest building in the world one inch taller at a time.

door het hoogste gebouw van de wereld steeds een stukje hoger te maken.

Extreme-scale AI models

AI-modellen op extreme schaal

do acquire an ever-more increasing amount of commonsense knowledge,

krijgen steeds meer gezond verstand, dat geef ik toe.

I'll give you that.

But remember, they still stumble on such trivial problems

Maar ze hebben nog steeds moeite met alledaagse problemen

that even children can do.

die zelfs kinderen kunnen oplossen.

So AI today is awfully inefficient.

De huidige AI is vreselijk inefficiënt.

And what if there is an alternative path or path yet to be found?

En stel dat er een alternatieve route is of een route die nog niet gevonden is?

A path that can build on the advancements of the deep neural networks,

Een route die kan voortbouwen op de verbeterde diepe neurale netwerken,

but without going so extreme with the scale.

maar zonder die extreme grootschaligheid.

So this leads us to our final wisdom:

Dat brengt ons bij de laatste wijsheid:

innovate your weapons.

vernieuw je wapens.

In the modern-day AI context,

In de hedendaagse AI-context

that means innovate your data and algorithms.

gaat dat over het vernieuwen van je gegevens en algoritmen.

OK, so there are, roughly speaking, three types of data

Er zijn grofweg drie soorten gegevens

that modern AI is trained on:

waarop moderne AI wordt getraind:

raw web data,

onbewerkte webgegevens,

crafted examples custom developed for AI training,

speciaal voor AI ontwikkelde voorbeelden,

and then human judgments,

en vervolgens beoordelingen door de mens,

also known as human feedback on AI performance.

ook wel bekend als menselijke feedback op AI-prestaties.

If the AI is only trained on the first type, raw web data,

Als AI alleen getraind wordt met de eerste soort, onbewerkte webgegevens,

which is freely available,

die vrij verkrijgbaar zijn,

it's not good because this data is loaded with racism and sexism

is dat niet goed, omdat dat vol zit met racisme, seksisme en desinformatie.

and misinformation.

So no matter how much of it you use, garbage in and garbage out.

Dus hoeveel je er ook van gebruikt, troep erin is troep eruit.

So the newest, greatest AI systems

De nieuwste en beste AI-systemen

are now powered with the second and third types of data

draaien nu op het tweede en derde soort gegevens

that are crafted and judged by human workers.

die gemaakt en beoordeeld zijn door menselijke werknemers.

It's analogous to writing specialized textbooks for AI to study from

Vergelijkbaar met het schrijven van gespecialiseerde studieboeken voor AI

and then hiring human tutors to give constant feedback to AI.

en het aannemen van menselijke mentoren om constant feedback te geven aan AI.

These are proprietary data, by and large,

Dit zijn bedrijfseigen gegevens,

speculated to cost tens of millions of dollars.

waarvan men denkt dat ze tientallen miljoenen dollars kosten.

We don't know what's in this,

We weten niet wat erin zit,

but it should be open and publicly available

maar het zou openbaar moeten zijn,

so that we can inspect and ensure [it supports] diverse norms and values.

zodat je kunt garanderen dat aan diverse normen en waarden voldaan wordt.

So for this reason, my teams at UW and AI2

Dus daarom hebben mijn teams bij UW en AI2

have been working on commonsense knowledge graphs

gewerkt aan grafieken met gezond verstand

as well as moral norm repositories

en aan databanken met morele waarden

to teach AI basic commonsense norms and morals.

om AI basisnormen en gezond verstand bij te brengen.

Our data is fully open so that anybody can inspect the content

Onze gegevens zijn openbaar zodat iedereen de inhoud kan inspecteren

and make corrections as needed

en kan corrigeren waar nodig

because transparency is the key for such an important research topic.

omdat transparantie de sleutel is voor zo’n belangrijk onderzoeksonderwerp.

Now let's think about learning algorithms.

Wat betreft het aanleren van algoritmes:

No matter how amazing large language models are,

hoe verbazingwekkend groot taalmodellen ook zijn,

by design

door hun ontwerp zijn ze wellicht niet het meest geschikt

they may not be the best suited to serve as reliable knowledge models.

als betrouwbare kennisbank.

And these language models do acquire a vast amount of knowledge,

En deze taalmodellen verkrijgen een enorme hoeveelheid kennis,

but they do so as a byproduct as opposed to direct learning objective.

maar krijgen ze via een bijproduct in tegenstelling tot een direct leerdoel.

Resulting in unwanted side effects such as hallucinated effects

Met ongewenste bijwerkingen als hallucinerende effecten tot gevolg

and lack of common sense.

en een gebrek aan gezond verstand.

Now, in contrast,

Maar bij menselijk leren gaat het nooit om het voorspellen welk woord er volgt,

human learning is never about predicting which word comes next,

but it's really about making sense of the world

maar vooral om het zinvol te maken

and learning how the world works.

en om hoe de wereld werkt.

Maybe AI should be taught that way as well.

Misschien moet AI ook op die manier onderwezen worden.

So as a quest toward more direct commonsense knowledge acquisition,

Dus als een zoektocht naar directere kennisverwerving van gezond verstand,

my team has been investigating potential new algorithms,

heeft mijn team geïnvesteerd in potentiële nieuwe algoritmes

including symbolic knowledge distillation

inclusief het distilleren van symbolische kennis

that can take a very large language model as shown here

dat een heel groot taalmodel kan hebben, zoals dit hier,

that I couldn't fit into the screen because it's too large,

dat niet op het scherm past, omdat het te groot is,

and crunch that down to much smaller commonsense models

en dat inkrimpen tot veel kleinere modellen met gezond verstand

using deep neural networks.

die diepe neurale netwerken gebruiken.

And in doing so, we also generate, algorithmically, human-inspectable,

Zo genereren we ook een algoritmische, door de mens te controleren,

symbolic, commonsense knowledge representation,

symbolische representatie met gezond verstand,

so that people can inspect and make corrections

zodat men het kan controleren en corrigeren

and even use it to train other neural commonsense models.

en het zelfs gebruiken om andere neurale modellen te trainen.

More broadly,

Meer in het algemeen

we have been tackling this seemingly impossible giant puzzle

hebben we deze schijnbare onmogelijke gigantische puzzel

of common sense, ranging from physical,

van gezond verstand aangepakt,

social and visual common sense

variërend van fysiek, sociaal en zichtbaar gezond verstand

to theory of minds, norms and morals.

tot aan de theorie van gedachtes, normen en moralen.

Each individual piece may seem quirky and incomplete,

Elk afzonderlijk deel lijkt misschien eigenzinnig en onvolledig,

but when you step back,

maar als je een stap terug doet,

it's almost as if these pieces weave together into a tapestry

lijkt het bijna alsof we deze stukjes tot een tapijt weven

that we call human experience and common sense.

dat we menselijke ervaring en gezond verstand noemen.

We're now entering a new era

We gaan een nieuw tijdperk in

in which AI is almost like a new intellectual species

waar AI bijna lijkt op een nieuw intellectueel soort

with unique strengths and weaknesses compared to humans.

met unieke sterke en zwakke punten vergeleken met de mens.

In order to make this powerful AI

Om deze krachtige AI

sustainable and humanistic,

duurzaam en menselijk te maken,

we need to teach AI common sense, norms and values.

moeten we AI gezond verstand, normen en waarden leren.

Thank you.

Dank je wel.

(Applause)

(Applaus)

Chris Anderson: Look at that.

Chris Anderson: Moet je zien.

Yejin, please stay one sec.

Yejin, blijf alsjeblieft nog even.

This is so interesting,

Dit is zo interessant,

this idea of common sense.

het idee van gezond verstand.

We obviously all really want this from whatever's coming.

Dat willen we natuurlijk, wat er ook komen gaat.

But help me understand.

Maar help me het te begrijpen.

Like, so we've had this model of a child learning.

Dus je had dat model van een lerend kind.

How does a child gain common sense

Hoe krijgt een kind gezond verstand

apart from the accumulation of more input

los van het opstapelen van meer input

and some, you know, human feedback?

en wat menselijke feedback?

What else is there?

Wat is er nog meer?

Yejin Choi: So fundamentally, there are several things missing,

Yejin Choi: Fundamenteel ontbreken er dus verschillende dingen,

but one of them is, for example,

maar een ervan is het vermogen

the ability to make hypothesis and make experiments,

om hypotheses te maken en experimenten uit te voeren,

interact with the world and develop this hypothesis.

omgaan met de wereld en die hypotheses te ontwikkelen.

We abstract away the concepts about how the world works,

We leiden de concepten af van hoe de wereld werkt.

and then that's how we truly learn,

Zo leren we echt,

as opposed to today's language model.

in tegenstelling tot het huidige taalmodel.

Some of them is really not there quite yet.

Ze zijn er nog niet helemaal.

CA: You use the analogy that we can’t get to the Moon

CA: Je gebruikt de analogie dat we de maan niet bereiken

by extending a building a foot at a time.

door een gebouw steeds op te hogen.

But the experience that most of us have had

Maar de ervaring die de meesten hebben

of these language models is not a foot at a time.

met deze taalmodellen is niet beetje bij beetje.

It's like, the sort of, breathtaking acceleration.

Het is meer een soort adembenemende versnelling.

Are you sure that given the pace at which those things are going,

Weet je zeker dat, gezien het tempo waarin die dingen gaan,

each next level seems to be bringing with it

elk volgend niveau iets lijkt toe te voegen

what feels kind of like wisdom and knowledge.

wat lijkt op wijsheid en kennis?

YC: I totally agree that it's remarkable how much this scaling things up

YC: Ik ben het er totaal mee eens

dat het opmerkelijk is hoeveel deze schaalvergroting

really enhances the performance across the board.

de presentaties over de hele breedte verbetert.

So there's real learning happening

Er vindt dus echt leren plaats

due to the scale of the compute and data.

dankzij de schaal van de rekenkracht en gegevens.

However, there's a quality of learning that is still not quite there.

Toch is er de kwaliteit van het leren nog niet alles.

And the thing is,

En het punt is dat we nog niet weten

we don't yet know whether we can fully get there or not

of we zover kunnen komen

just by scaling things up.

door alles gewoon op te schalen.

And if we cannot, then there's this question of what else?

En als het niet lukt, dan luidt de vraag: hoe dan wél?

And then even if we could,

En zelfs als we het zouden kunnen,

do we like this idea of having very, very extreme-scale AI models

is het dan aantrekkelijk van AI-modellen op zeer, zeer extreme schaal

that only a few can create and own?

dat maar enkelen die kunnen maken en bezitten?

CA: I mean, if OpenAI said, you know, "We're interested in your work,

CA: Als Open AI zegt: “We zijn geïnteresseerd in je werk,

we would like you to help improve our model,"

we willen je graag helpen met het verbeteren van ons model”,

can you see any way of combining what you're doing

zie je dan een manier om te combineren wat je doet

with what they have built?

met wat zij gemaakt hebben?

YC: Certainly what I envision

YC: Wat ik me voorstel,

will need to build on the advancements of deep neural networks.

zou zeker moeten voortbouwen op de vorderingen van diepe neurale netwerken.

And it might be that there’s some scale Goldilocks Zone,

En misschien is een Goldilocks Zone op schaal,

such that ...

zodat ...

I'm not imagining that the smaller is the better either, by the way.

Ik denk trouwens ook niet dat het is hoe kleiner, hoe beter.

It's likely that there's right amount of scale, but beyond that,

Waarschijnlijk is er een optimale schaal, maar

the winning recipe might be something else.

het winnende idee kan ook iets anders zijn.

So some synthesis of ideas will be critical here.

Dus combinaties van ideeën zijn van belang.

CA: Yejin Choi, thank you so much for your talk.

CA: Yejin Choi, erg bedankt voor je presentatie.

(Applause)

(Applaus)