How we teach computers to understand pictures | Fei Fei Li

Vertaald door: Dick Stada Nagekeken door: Rik Delaet

Let me show you something.

Ik laat je wat zien.

(Video) Meisje: Oké, dat is een poes die in bed zit.

(Video) Girl: Okay, that's a cat sitting in a bed.

The boy is petting the elephant.

De jongen verzorgt de olifant.

Those are people that are going on an airplane.

Dat zijn mensen die met het vliegtuig gaan.

That's a big airplane.

Dat is een groot vliegtuig.

Fei-Fei Li: This is a three-year-old child

Fei-Fei Li: Dit is een kind van drie

describing what she sees in a series of photos.

dat beschrijft wat het ziet op een serie foto's.

She might still have a lot to learn about this world,

Het moet nog veel leren over de wereld,

but she's already an expert at one very important task:

maar het is nu al een expert in iets heel belangrijks:

to make sense of what she sees.

iets zinnigs maken van wat het ziet.

Onze maatschappij is technologisch verder dan ooit.

Our society is more technologically advanced than ever.

We send people to the moon, we make phones that talk to us

We sturen mensen naar de maan, maken telefoons die tegen ons praten,

of stellen radiozenders samen, die alleen muziek uitzenden die we mooi vinden.

or customize radio stations that can play only music we like.

Yet, our most advanced machines and computers

Toch worstelen onze geavanceerde machines en computers met deze taak.

still struggle at this task.

So I'm here today to give you a progress report

Ik ben hier vandaag om je de voortgang te laten zien

on the latest advances in our research in computer vision,

van de recentste ontwikkelingen in ons onderzoek naar computervisie,

one of the most frontier and potentially revolutionary

een van de meest grensverleggende en mogelijk revolutionaire technologieën

technologies in computer science.

in de computerwetenschap.

Yes, we have prototyped cars that can drive by themselves,

Ja, we hebben prototypes van auto's die zelf kunnen rijden,

but without smart vision, they cannot really tell the difference

maar zonder slim zicht, zien ze het verschil niet

between a crumpled paper bag on the road, which can be run over,

tussen een verfrommelde papieren zak op de weg, waar je overheen kan rijden,

and a rock that size, which should be avoided.

en een evengrote kei, waar je omheen moet rijden.

We have made fabulous megapixel cameras,

We hebben geweldige megapixelcamera's gemaakt,

but we have not delivered sight to the blind.

maar we kunnen blinden nog niet laten zien.

Drones can fly over massive land,

Drones kunnen grote afstanden vliegen,

but don't have enough vision technology

maar hun visie-technologie schiet tekort

to help us to track the changes of the rainforests.

om veranderingen te helpen opsporen in het regenwoud.

Security cameras are everywhere,

Er zijn overal veiligheidscamera's,

but they do not alert us when a child is drowning in a swimming pool.

maar die waarschuwen ons niet als een kind verdrinkt in een zwembad.

Photos and videos are becoming an integral part of global life.

Foto's en filmpjes zijn deel van ons leven geworden.

They're being generated at a pace that's far beyond what any human,

Ze verschijnen sneller dan welk mens,

or teams of humans, could hope to view,

of welk team mensen ooit kan bekijken,

and you and I are contributing to that at this TED.

en jullie en ik dragen daaraan bij op deze TED.

Yet our most advanced software is still struggling at understanding

Onze meest geavanceerde software heeft nog steeds moeite met het begrijpen

and managing this enormous content.

van deze enorme hoeveelheid gegevens.

So in other words, collectively as a society,

Met andere woorden, we zijn met z'n allen heel erg blind,

we're very much blind,

because our smartest machines are still blind.

omdat onze slimste machines ook nog blind zijn.

"Why is this so hard?" you may ask.

Je zal je afvragen waarom het zo moeilijk is.

Cameras can take pictures like this one

Camera's kunnen dit soort foto's nemen

door licht om te zetten naar een 2-dimensionale serie getallen,

by converting lights into a two-dimensional array of numbers

bekend als pixels.

known as pixels,

but these are just lifeless numbers.

Maar dit zijn slechts levenloze getallen.

They do not carry meaning in themselves.

Ze hebben zelf geen betekenis.

Just like to hear is not the same as to listen,

Horen is niet hetzelfde als luisteren.

to take pictures is not the same as to see,

Foto's nemen is niet hetzelfde als zien.

and by seeing, we really mean understanding.

En met zien bedoelen we echt begrijpen.

Het kostte Moeder Natuur 540 miljoen jaar hard werken

In fact, it took Mother Nature 540 million years of hard work

to do this task,

om dit te doen.

and much of that effort

Veel van die inspanning

went into developing the visual processing apparatus of our brains,

ging zitten in het ontwikkelen van het verwerkingsgedeelte in ons brein.

not the eyes themselves.

Niet de ogen zelf.

So vision begins with the eyes,

Gezichtsvermogen begint bij de ogen,

but it truly takes place in the brain.

maar het gebeurt in feite in de hersenen.

So for 15 years now, starting from my Ph.D. at Caltech

Al 15 jaar, vanaf mijn promoveren aan Caltech,

en later, toen ik de leiding had van het Stanford Vision Lab,

and then leading Stanford's Vision Lab,

I've been working with my mentors, collaborators and students

werk ik samen met mijn mentoren, medewerkers en studenten

to teach computers to see.

om computers te leren zien.

Our research field is called computer vision and machine learning.

Ons onderzoeksgebied heet computervisie en machine-leren.

It's part of the general field of artificial intelligence.

Het is onderdeel van het algemene gebied van kunstmatige intelligentie.

Uiteindelijk willen we de machines aanleren wat wijzelf ook doen:

So ultimately, we want to teach the machines to see just like we do:

naming objects, identifying people, inferring 3D geometry of things,

voorwerpen benoemen, mensen herkennen, ruimtelijke vormen afleiden,

understanding relations, emotions, actions and intentions.

het begrijpen van verhoudingen, emoties, acties en bedoelingen.

You and I weave together entire stories of people, places and things

Jullie en ik maken complete verhalen van mensen, plaatsen en dingen,

the moment we lay our gaze on them.

op het moment dat we ernaar kijken.

The first step towards this goal is to teach a computer to see objects,

Eerst moeten we de computer leren voorwerpen te zien,

the building block of the visual world.

de bouwsteen van de visuele wereld.

In its simplest terms, imagine this teaching process

Heel simpel gezegd: stel je dit leerproces voor

as showing the computers some training images

als het aan de computer laten zien van oefenplaatjes

of a particular object, let's say cats,

van bepaalde voorwerpen, bijvoorbeeld katten,

and designing a model that learns from these training images.

en ontwerp een model dat leert van deze oefenplaatjes.

How hard can this be?

Hoe moeilijk is dat?

After all, a cat is just a collection of shapes and colors,

Een kat is tenslotte alleen maar een verzameling vormen en kleuren.

and this is what we did in the early days of object modeling.

En dit deden we in het begintijd van het modelleren van voorwerpen.

We'd tell the computer algorithm in a mathematical language

We moesten de computer algoritmes leren in een wiskundige taal,

that a cat has a round face, a chubby body,

dat een kat een ronde kop heeft, een mollig lijf,

two pointy ears, and a long tail,

twee puntoren en een lange staart.

and that looked all fine.

En dat leek goed te gaan.

But what about this cat?

Maar deze kat dan?

(Laughter)

(Gelach)

Die ligt helemaal opgekruld.

It's all curled up.

Now you have to add another shape and viewpoint to the object model.

Nu moet je nog een vorm en gezichtspunt toevoegen aan je model.

But what if cats are hidden?

Maar als katten zijn verstopt?

What about these silly cats?

Deze grappige katten bijvoorbeeld.

(Gelach)

Now you get my point.

Nu ga je het snappen.

Even something as simple as a household pet

Zelf iets simpels als een huisdier

can present an infinite number of variations to the object model,

kan zorgen voor ontelbaar veel variaties van het model.

and that's just one object.

Dat is nog maar één voorwerp.

So about eight years ago,

Acht jaar geleden

a very simple and profound observation changed my thinking.

veranderde een simpele en grondige observatie mijn denken.

No one tells a child how to see,

Niemand vertelt aan een kind hoe het moet kijken.

Zeker niet in de eerste jaren.

especially in the early years.

They learn this through real-world experiences and examples.

Ze leren het via ervaringen en voorbeelden uit het echte leven.

If you consider a child's eyes

Bekijk de ogen van kinderen eens

als een paar biologische camera's.

as a pair of biological cameras,

they take one picture about every 200 milliseconds,

Ze nemen elke 200 milliseconden een foto,

the average time an eye movement is made.

de gemiddelde tijd van een oogbeweging.

So by age three, a child would have seen hundreds of millions of pictures

Als het drie is, heeft een kind honderden miljoenen beelden gezien

of the real world.

van de echte wereld.

That's a lot of training examples.

Dat zijn heel wat oefenvoorbeelden.

So instead of focusing solely on better and better algorithms,

In plaats van je alleen te richten op steeds betere algoritmes,

my insight was to give the algorithms the kind of training data

zag ik in dat je de algoritmes de oefengegevens moest geven

that a child was given through experiences

dat een kind ook krijgt door ervaring.

in both quantity and quality.

Zowel qua kwantiteit als kwaliteit.

Once we know this,

Toen we dat wisten,

we knew we needed to collect a data set

wisten we dat we een verzameling gegevens moesten maken

that has far more images than we have ever had before,

die veel meer plaatjes bevat dan wij ooit hebben gehad.

Misschien wel duizenden keren meer.

perhaps thousands of times more,

and together with Professor Kai Li at Princeton University,

Samen met professor Kai Li aan de Princeton Universiteit,

we launched the ImageNet project in 2007.

lanceerden we in 2007 het ImageNet-project.

Luckily, we didn't have to mount a camera on our head

Gelukkig hoefden we geen camera op ons hoofd te zetten

and wait for many years.

en jaren te wachten.

We gingen het internet op,

We went to the Internet,

the biggest treasure trove of pictures that humans have ever created.

de grootste schat aan plaatjes die de mens ooit heeft gemaakt.

We downloaded nearly a billion images

We downloadden meer dan een miljard plaatjes

and used crowdsourcing technology like the Amazon Mechanical Turk platform

en gebruikten crowdsourcing, zoals met de Amazon Mechanische Turk

to help us to label these images.

om ons de plaatjes te helpen kenmerken.

At its peak, ImageNet was one of the biggest employers

Op zijn hoogtepunt was ImageNet een van de grootste werkgevers

of the Amazon Mechanical Turk workers:

voor de Amazon Mechanische Turk-werknemers:

together, almost 50,000 workers

In totaal bijna 50.000 mensen

from 167 countries around the world

uit 167 landen van de wereld

helped us to clean, sort and label

hielpen ons met het opschonen, sorteren en markeren

nearly a billion candidate images.

van bijna een miljard mogelijk bruikbare plaatjes.

That was how much effort it took

Zoveel moeite kostte het

to capture even a fraction of the imagery

om slechts een fractie van de beelden te verwerken

dat een kind opneemt in zijn eerste jaren.

a child's mind takes in in the early developmental years.

Achteraf gezien lijkt dit idee om big data te gebruiken

In hindsight, this idea of using big data

to train computer algorithms may seem obvious now,

om computeralgoritmes te trainen, nogal logisch,

but back in 2007, it was not so obvious.

maar in 2007 was dat niet zo.

We were fairly alone on this journey for quite a while.

We stonden best lang alleen op deze weg.

Some very friendly colleagues advised me to do something more useful for my tenure,

Een paar vriendelijke collega's raadden me aan wat nuttigers te gaan doen,

and we were constantly struggling for research funding.

en we hadden veel moeite om onderzoeksgeld bij elkaar te krijgen.

Once, I even joked to my graduate students

Ik grapte een keer naar mijn studenten

that I would just reopen my dry cleaner's shop to fund ImageNet.

dat ik mijn stomerij zou heropenen om ImageNet te sponsoren.

After all, that's how I funded my college years.

Zo bekostigde ik immers ook mijn studie.

We gingen dus door.

So we carried on.

In 2009 leverde het ImageNet-project een database op

In 2009, the ImageNet project delivered

a database of 15 million images

met 15 miljoen plaatjes

across 22,000 classes of objects and things

in 22.000 categorieën van voorwerpen en dingen

organized by everyday English words.

ingedeeld met alledaagse Engelse woorden.

In both quantity and quality,

Zowel qua kwantiteit als kwaliteit,

this was an unprecedented scale.

was dit een ongekende schaal.

As an example, in the case of cats,

We hebben bijvoorbeeld in het geval van de katten,

we have more than 62,000 cats

meer dan 62.000 katten

of all kinds of looks and poses

in allerlei posities en houdingen

and across all species of domestic and wild cats.

en allerlei soorten wilde en huiskatten.

We were thrilled to have put together ImageNet,

We waren enthousiast toen we ImageNet in elkaar hadden gezet

and we wanted the whole research world to benefit from it,

en we wilden dat de hele onderzoekswereld er plezier van had.

so in the TED fashion, we opened up the entire data set

Dus volgens de TED-methode stelden we gratis de hele verzameling beschikbaar

to the worldwide research community for free.

aan de wereldwijde onderzoeksgemeenschap.

(Applause)

(Applaus)

Now that we have the data to nourish our computer brain,

Nu we de gegevens hebben om het computerbrein te voeden,

we're ready to come back to the algorithms themselves.

kunnen we terugkomen op de algoritmes zelf.

As it turned out, the wealth of information provided by ImageNet

Het bleek dat de overdadige informatie die ImageNet gaf,

was a perfect match to a particular class of machine learning algorithms

precies paste bij een speciaal soort algoritme voor machineleren.

called convolutional neural network,

die convolutioneel neuraal netwerk heet,

pioneered by Kunihiko Fukushima, Geoff Hinton, and Yann LeCun

het eerst aangepakt door Kunihiko Fukushima, Geoff Hinton en Yann LeCun,

back in the 1970s and '80s.

in de jaren zeventig en tachtig.

Just like the brain consists of billions of highly connected neurons,

Net als in de hersenen,

die bestaan uit miljarden goedverbonden neuronen,

a basic operating unit in a neural network

is de basiseenheid van een neuraal netwerk

is a neuron-like node.

een neuronenachtig knooppunt.

It takes input from other nodes

Het ontvangt input van andere knooppunten

and sends output to others.

en stuurt output naar andere.

Deze honderdduizenden, of zelfs miljoenen knooppunten

Moreover, these hundreds of thousands or even millions of nodes

are organized in hierarchical layers,

zijn bovendien in hiërarchische lagen georganiseerd.

Ook weer net als in de hersenen.

also similar to the brain.

In a typical neural network we use to train our object recognition model,

In een neuraal netwerk dat we gebruiken om voorwerpherkenning te trainen,

it has 24 million nodes,

zitten 24 miljoen knooppunten,

140 million parameters,

140 miljoen parameters,

and 15 billion connections.

en 15 miljard verbindingen.

That's an enormous model.

Dat is een gigantisch model.

Powered by the massive data from ImageNet

Mogelijk gemaakt door de enorme hoeveelheid gegevens van IMageNet

and the modern CPUs and GPUs to train such a humongous model,

en moderne processoren om zo'n gigantisch model te trainen,

kwam het convolutioneel neuraal netwerk tot bloei,

the convolutional neural network

blossomed in a way that no one expected.

op een manier die niemand had verwacht.

It became the winning architecture

Het werd de architectuur

die de meeste opwindende nieuwe resultaten leverde

to generate exciting new results in object recognition.

op het gebied van voorwerpherkenning.

Dit is een computer die ons vertelt

This is a computer telling us

this picture contains a cat

dat op deze foto een kat staat

and where the cat is.

en waar de kat is.

Er zijn natuurlijk meer dingen dan katten.

Of course there are more things than cats,

so here's a computer algorithm telling us

Hier is een computeralgoritme dat zegt

the picture contains a boy and a teddy bear;

dat op deze foto een jongen met teddybeer staat,

a dog, a person, and a small kite in the background;

een hond, een persoon en een vliegertje op de achtergrond,

or a picture of very busy things

of een foto met veel dingen,

like a man, a skateboard, railings, a lampost, and so on.

zoals een man, een skateboard, een hek, een lantaarnpaal, enzovoort.

Sometimes, when the computer is not so confident about what it sees,

Soms, als de computer het niet helemaal zeker weet,

we have taught it to be smart enough

hebben we hem geleerd slim genoeg te zijn

to give us a safe answer instead of committing too much,

om een veilig antwoord te geven in plaats van te veel prijs te geven,

just like we would do,

wat wij ook zouden doen.

but other times our computer algorithm is remarkable at telling us

Op andere momenten is het opmerkelijk wat het computeralgoritme ons vertelt

what exactly the objects are,

welke voorwerpen het precies zijn,

like the make, model, year of the cars.

zoals merk, model en bouwjaar van de auto.

We applied this algorithm to millions of Google Street View images

We pasten dit algoritme toe op miljoenen Google Street View-beelden

across hundreds of American cities,

dwars door honderden Amerikaanse steden,

and we have learned something really interesting:

en we bemerkten iets interessants:

first, it confirmed our common wisdom

ten eerste bevestigde het ons vermoeden

that car prices correlate very well

dat autoprijzen gelijk op gaan

with household incomes.

met gezinsinkomens.

But surprisingly, car prices also correlate well

Verrassend is echter, dat autoprijzen ook gelijk op gaan

with crime rates in cities,

met de misdaadcijfers in de steden,

of het stemgedrag met de postcode.

or voting patterns by zip codes.

Wacht even, is dat het?

So wait a minute. Is that it?

Has the computer already matched or even surpassed human capabilities?

Is de computer al net zo goed als de mens of zelfs al beter?

Not so fast.

Niet zo snel.

So far, we have just taught the computer to see objects.

Tot nu toe hebben we de computer alleen geleerd voorwerpen te bekijken.

This is like a small child learning to utter a few nouns.

Net als een kind leren een paar zelfstandige naamwoorden te zeggen.

Een ongelooflijke prestatie,

It's an incredible accomplishment,

but it's only the first step.

maar pas de eerste stap.

Soon, another developmental milestone will be hit,

Er zal vlot een volgende mijlpaal gehaald worden:

het kind zal beginnen te communiceren in zinnen.

and children begin to communicate in sentences.

So instead of saying this is a cat in the picture,

In plaats van te zeggen dat het een kat is op het plaatje,

you already heard the little girl telling us this is a cat lying on a bed.

heb je het meisje al horen zeggen dat de kat op een bed ligt.

So to teach a computer to see a picture and generate sentences,

Om een computer dus te leren om een plaatje te zien en zinnen te maken,

the marriage between big data and machine learning algorithm

moet het huwelijk tussen big data en machineleren

has to take another step.

de volgende stap nemen.

Now, the computer has to learn from both pictures

De computer moet zowel leren van plaatjes

as well as natural language sentences

als van zinnen in natuurlijke taal,

generated by humans.

voortgebracht door mensen.

Just like the brain integrates vision and language,

Net zoals de hersenen die beeld en taal integreren,

we developed a model that connects parts of visual things

hebben we een model ontwikkeld dat delen van zichtbare dingen,

like visual snippets

visuele fragmenten,

with words and phrases in sentences.

verbindt met woorden en zinsdelen.

About four months ago,

Ongeveer vier maanden geleden

we finally tied all this together

voegden we dit allemaal samen

and produced one of the first computer vision models

en maakten een van de eerste computervisie-modellen

that is capable of generating a human-like sentence

dat in staat is mensentaalachtige zinnen te maken

when it sees a picture for the first time.

als het voor de eerste keer een plaatje ziet.

Now, I'm ready to show you what the computer says

Ik ben zover dat ik wil laten zien wat de computer zegt

when it sees the picture

als die het plaatje ziet

that the little girl saw at the beginning of this talk.

van het meisje dat je aan het begin van de talk hebt gezien.

(Video) Computer: A man is standing next to an elephant.

(Video) Computer: Een man staat naast de olifant.

A large airplane sitting on top of an airport runway.

Een groot vliegtuig staat op een startbaan.

FFL: Of course, we're still working hard to improve our algorithms,

FFL: Natuurlijk werken we hard aan het verbeteren van de algoritmes

and it still has a lot to learn.

en er moet nog veel geleerd worden.

(Applause)

(Applaus)

And the computer still makes mistakes.

De computer maakt nog steeds fouten.

(Video) Computer: A cat lying on a bed in a blanket.

(Video) Computer: Een kat ligt op een bed in een laken.

FFL: So of course, when it sees too many cats,

FFL: Als hij te veel katten ziet,

it thinks everything might look like a cat.

kan hij gaan denken dat alles een kat is.

(Video) Computer: A young boy is holding a baseball bat.

(Video) Computer: Een jongetje heeft een honkbalknuppel vast.

(Laughter)

(Gelach)

FFL: Or, if it hasn't seen a toothbrush, it confuses it with a baseball bat.

FFL: Als hij nog nooit een tandenborstel heeft gezien, raakt hij in de war.

(Video) Computer: A man riding a horse down a street next to a building.

(Video) Computer: Een man rijdt paard door een straat langs een gebouw.

(Laughter)

(Gelach)

FFL: We haven't taught Art 101 to the computers.

FFL: We hebben Art 101 nog niet aan de computer geleerd.

(Video) Computer: A zebra standing in a field of grass.

(Video) Computer: Een zebra staat in een grasveld.

FFL: And it hasn't learned to appreciate the stunning beauty of nature

FFL: Het heeft nog niet geleerd de prachtige natuur te waarderen,

like you and I do.

zoals jullie en ik doen.

So it has been a long journey.

De weg is dus lang.

To get from age zero to three was hard.

Het viel niet mee om van nul naar drie jaar te komen

The real challenge is to go from three to 13 and far beyond.

Van drie tot 13 jaar of verder, is helemaal een grote uitdaging.

Let me remind you with this picture of the boy and the cake again.

Denk nog even aan dit plaatje van de jongen en de taart.

So far, we have taught the computer to see objects

Tot nu toe hebben we de computer geleerd om voorwerpen te zien

or even tell us a simple story when seeing a picture.

of zelfs een simpel verhaaltje te vertellen bij het zien van een plaatje.

(Video) Computer: A person sitting at a table with a cake.

(Video) Computer: Een persoon zit aan tafel met een taart.

FFL: But there's so much more to this picture

FFL: Maar er zit meer aan vast

dan alleen een persoon en een taart.

than just a person and a cake.

What the computer doesn't see is that this is a special Italian cake

De computer ziet niet dat dit een speciale Italiaanse taart is

that's only served during Easter time.

die alleen met Pasen wordt gegeten.

De jongen draagt zijn lievelingsshirt

The boy is wearing his favorite t-shirt

given to him as a gift by his father after a trip to Sydney,

die hij heeft gekregen van zijn vader na een reis naar Sydney,

and you and I can all tell how happy he is

en iedereen ziet hoe blij hij is

and what's exactly on his mind at that moment.

en waar hij precies aan denkt op dat moment.

Dit is mijn zoon Leo.

This is my son Leo.

On my quest for visual intelligence,

Bij mijn zoektocht naar visuele intelligentie

I think of Leo constantly

denk ik steeds aan Leo

and the future world he will live in.

en aan zijn toekomstige wereld.

When machines can see,

Als machines kunnen zien,

doctors and nurses will have extra pairs of tireless eyes

zullen doktoren en verpleegsters een extra paar onvermoeibare ogen hebben

to help them to diagnose and take care of patients.

om te helpen bij de diagnose en om voor de patiënten te zorgen.

Cars will run smarter and safer on the road.

Auto's zullen slimmer en veiliger over de weg rijden..

Robots, not just humans,

Robots, niet alleen mensen,

zullen ons helpen rampplekken te betreden om ingeslotenen en gewonden te redden.

will help us to brave the disaster zones to save the trapped and wounded.

We will discover new species, better materials,

We zullen nieuwe soorten ontdekken en betere materialen,

and explore unseen frontiers with the help of the machines.

en ongeziene gebieden verkennen met behulp van machines.

Beetje bij beetje geven we machines gezichtsvermogen.

Little by little, we're giving sight to the machines.

First, we teach them to see.

Eerst leren we ze te kijken.

Daarna helpen ze ons bij het kijken.

Then, they help us to see better.

For the first time, human eyes won't be the only ones

Voor het eerst zijn menselijke ogen niet de enige

pondering and exploring our world.

die over de wereld nadenken en haar verkennen.

We will not only use the machines for their intelligence,

We gaan de machines niet alleen vanwege hun intelligentie gebruiken,

we will also collaborate with them in ways that we cannot even imagine.

en gaan met ze samenwerken

op manieren die we ons niet kunnen voorstellen.

Dit is mijn zoektocht:

This is my quest:

to give computers visual intelligence

computers visuele intelligentie geven

and to create a better future for Leo and for the world.

en een betere toekomst geven aan Leo en aan de wereld.

Thank you.

Dank je wel.

(Applause)

(Applaus)