How to use data to make a hit TV show | Sebastian Wernicke

Vertaald door: Paul Vrancken Nagekeken door: Peter van de Ven

Roy Price is a man that most of you have probably never heard about,

Van Roy Price hebben de meesten van jullie waarschijnlijk nog nooit gehoord,

even though he may have been responsible

hoewel hij verantwoordelijk kan zijn geweest

for 22 somewhat mediocre minutes of your life on April 19, 2013.

voor 22 middelmatige minuten van je leven, op 19 april 2013.

He may have also been responsible for 22 very entertaining minutes,

Hij kan ook verantwoordelijk zijn geweest voor 22 amusante minuten,

but not very many of you.

maar niet voor velen van jullie.

And all of that goes back to a decision

Dat had alles te maken met een beslissing

that Roy had to make about three years ago.

die Roy zo'n drie jaar geleden moest maken.

So you see, Roy Price is a senior executive with Amazon Studios.

Roy Price is senior manager bij de Amazon Studios,

That's the TV production company of Amazon.

het televisieproductiebedrijf van Amazon.

He's 47 years old, slim, spiky hair,

Hij is 47 jaar, slank, heeft stekelhaar

describes himself on Twitter as "movies, TV, technology, tacos."

en omschrijft zichzelf op Twitter als "film, tv, technologie, taco's".

And Roy Price has a very responsible job, because it's his responsibility

Roy Price heeft een hele verantwoordelijke baan,

want hij moet ervoor zorgen de goede shows te kiezen,

to pick the shows, the original content that Amazon is going to make.

de originele producties die Amazon gaat uitbrengen.

And of course that's a highly competitive space.

Dat is natuurlijk een zeer concurrerend terrein.

I mean, there are so many TV shows already out there,

Er zijn al zoveel televisie-shows

that Roy can't just choose any show.

dat Roy niet zomaar een show kan kiezen.

He has to find shows that are really, really great.

Hij moet shows vinden die echt heel goed zijn.

So in other words, he has to find shows

Met andere woorden, hij moet shows vinden

that are on the very right end of this curve here.

die aan de goede kant van deze curve zitten.

So this curve here is the rating distribution

Deze curve toont de waarderingsverdeling

of about 2,500 TV shows on the website IMDB,

van zo'n 2500 tv-shows op de IMDb-website

and the rating goes from one to 10,

en de waardering loopt van 1 tot 10.

and the height here shows you how many shows get that rating.

De hoogte hier toont hoeveel shows die waardering krijgen.

So if your show gets a rating of nine points or higher, that's a winner.

Als je show dus een waardering krijgt van 9 punten of meer, dat is een topper.

Then you have a top two percent show.

Dan hoort je show tot de top 2 procent.

That's shows like "Breaking Bad," "Game of Thrones," "The Wire,"

Dat zijn shows als 'Breaking Bad', 'Game of Thrones' en 'The Wire',

so all of these shows that are addictive,

dus al die shows die verslavend zijn,

whereafter you've watched a season, your brain is basically like,

shows waarvan je hersenen aan het einde van het seizoen zeggen:

"Where can I get more of these episodes?"

"Waar kan ik nog meer afleveringen zien?"

That kind of show.

Zo'n soort show.

On the left side, just for clarity, here on that end,

Links, voor de duidelijkheid, hier aan dit einde,

you have a show called "Toddlers and Tiaras" --

heb je een show getiteld 'Toddlers and Tiaras' --

(Laughter)

(Gelach)

-- which should tell you enough

-- dan weet je direct

about what's going on on that end of the curve.

wat er aan dat eind van de curve gebeurt.

Now, Roy Price is not worried about getting on the left end of the curve,

Roy Price maakt zich geen zorgen om links op de curve te komen,

because I think you would have to have some serious brainpower

omdat je volgens mij heel intelligent moet zijn

to undercut "Toddlers and Tiaras."

om onder 'Toddlers and Tiaras' te scoren.

So what he's worried about is this middle bulge here,

Waar hij zich dus zorgen om maakt, is deze bult in het midden,

the bulge of average TV,

de bult van gemiddelde tv,

you know, those shows that aren't really good or really bad,

de shows die niet echt goed of heel slecht zijn.

they don't really get you excited.

Je raakt er niet echt opgewonden van.

So he needs to make sure that he's really on the right end of this.

Hij moet er dus voor zorgen dat hij aan de rechterkant komt.

So the pressure is on,

De druk is dus hoog

and of course it's also the first time

en het is natuurlijk ook de eerste keer

that Amazon is even doing something like this,

dat Amazon iets dergelijks doet.

so Roy Price does not want to take any chances.

Roy Price wil dus geen risico lopen.

He wants to engineer success.

Hij wil succes creëren.

He needs a guaranteed success,

Hij wil gegarandeerd succes

and so what he does is, he holds a competition.

en wat hij dus doet, is een wedstrijd houden.

So he takes a bunch of ideas for TV shows,

Hij neemt een aantal ideeën voor tv-shows

and from those ideas, through an evaluation,

en door evaluatie

they select eight candidates for TV shows,

kiezen ze acht kandidaten voor tv-shows.

and then he just makes the first episode of each one of these shows

Dan maakt hij de eerste aflevering van elk van deze shows

and puts them online for free for everyone to watch.

en zet ze gratis online, zodat iedereen ze kan zien.

And so when Amazon is giving out free stuff,

Als Amazon dingen voor niks weggeeft,

you're going to take it, right?

dan wil je het hebben ook, toch?

So millions of viewers are watching those episodes.

Dus zien miljoenen kijkers die afleveringen.

What they don't realize is that, while they're watching their shows,

Maar wat ze niet beseffen is dat, terwijl ze zitten te kijken,

actually, they are being watched.

zij zelf ook bekeken worden.

They are being watched by Roy Price and his team,

Ze worden bekeken door Roy Price en zijn team,

who record everything.

die alles opslaan.

They record when somebody presses play, when somebody presses pause,

Ze slaan op wanneer iemand op 'afspelen' of op 'pauze' drukt,

what parts they skip, what parts they watch again.

welke stukken ze overslaan, welke worden herhaald.

So they collect millions of data points,

Ze verzamelen miljoenen gegevens,

because they want to have those data points

omdat ze die data willen hebben

to then decide which show they should make.

om te kunnen beslissen welke show ze moeten maken.

And sure enough, so they collect all the data,

Dus verzamelen ze die data

en als die data zijn geanalyseerd rolt daar een antwoord uit,

they do all the data crunching, and an answer emerges,

and the answer is,

en dat antwoord is:

"Amazon should do a sitcom about four Republican US Senators."

"Amazon moet een serie maken over vier Republikeinse senatoren".

They did that show.

En dat deden ze.

So does anyone know the name of the show?

Weet iemand de naam van de show?

(Audience: "Alpha House.")

(Publiek) 'Alpha House'.

Yes, "Alpha House,"

Ja, 'Alpha House',

but it seems like not too many of you here remember that show, actually,

maar het lijkt erop dat niet veel mensen zich die show herinneren,

because it didn't turn out that great.

hij pakte dan ook niet erg goed uit.

It's actually just an average show,

Eigenlijk is het maar een doorsnee show,

actually -- literally, in fact, because the average of this curve here is at 7.4,

letterlijk, omdat het gemiddelde van deze curve hier 7,4 is

and "Alpha House" lands at 7.5,

en 'Alpha House' kwam op 7,5,

so a slightly above average show,

dus net boven het gemiddelde,

but certainly not what Roy Price and his team were aiming for.

zeker niet waar Roy Price en zijn team op mikten.

Meanwhile, however, at about the same time,

In de tussentijd echter, ongeveer tegelijkertijd,

at another company,

bij een ander bedrijf,

another executive did manage to land a top show using data analysis,

slaagde een andere manager erin een topproductie te maken met data-analyse

and his name is Ted,

en zijn naam is Ted.

Ted Sarandos, who is the Chief Content Officer of Netflix,

Ted Sarandos is bij Netflix hoofd 'eigen productie'

and just like Roy, he's on a constant mission

en net als Roy is hij op een constante missie

to find that great TV show,

die geweldige tv-show te vinden;

and he uses data as well to do that,

hij gebruikt daarbij ook data,

except he does it a little bit differently.

alleen doet hij het een beetje anders.

So instead of holding a competition, what he did -- and his team of course --

In plaats van een competitie te houden keken hij -- en zijn team natuurlijk --

was they looked at all the data they already had about Netflix viewers,

naar alle data die ze al hadden over Netflix-kijkers,

you know, the ratings they give their shows,

dus de waarderingscijfers die ze geven,

the viewing histories, what shows people like, and so on.

waar ze meestal naar kijken, wat ze leuk vinden, enz.

Vervolgens gebruikten ze die data

And then they use that data to discover

all of these little bits and pieces about the audience:

om elk detail over het publiek te ontdekken:

what kinds of shows they like,

welke shows ze leuk vinden,

what kind of producers, what kind of actors.

welke producers, welke acteurs.

And once they had all of these pieces together,

Zodra ze al die details bij elkaar hadden,

they took a leap of faith,

namen ze een sprong in het diepe

and they decided to license

en besloten niet te kiezen voor een programma over vier senatoren

not a sitcom about four Senators

but a drama series about a single Senator.

maar voor een dramaserie over één senator.

You guys know the show?

Kennen jullie die serie?

(Laughter)

(Gelach)

Yes, "House of Cards," and Netflix of course, nailed it with that show,

Ja, 'House of Cards', en Netflix had een voltreffer met die show,

at least for the first two seasons.

in ieder geval voor de eerste twee seizoenen.

(Laughter) (Applause)

(Gelach) (Applaus)

"House of Cards" gets a 9.1 rating on this curve,

'House of Cards' scoort 9.1 op deze curve,

so it's exactly where they wanted it to be.

precies waar ze wilden zitten.

Now, the question of course is, what happened here?

De vraag is nu natuurlijk: wat gebeurde hier?

So you have two very competitive, data-savvy companies.

Je hebt twee concurrerende data-bewuste bedrijven.

They connect all of these millions of data points,

Ze koppelen al deze miljoenen gegevens

and then it works beautifully for one of them,

en dan pakt dat heel goed uit voor de een,

and it doesn't work for the other one.

maar niet voor de ander.

So why?

Waarom eigenlijk?

Because logic kind of tells you that this should be working all the time.

Het lijkt zo vanzelfsprekend dat dit altijd zou moeten werken.

I mean, if you're collecting millions of data points

Ik bedoel, als je miljoenen gegevens verzamelt

on a decision you're going to make,

voor een beslissing die je gaat nemen,

then you should be able to make a pretty good decision.

dan zou je toch een goede beslissing moeten kunnen nemen.

You have 200 years of statistics to rely on.

Je kunt steunen op 200 jaar statistiek.

You're amplifying it with very powerful computers.

Je versterkt het nog met hele krachtige computers.

The least you could expect is good TV, right?

Dan mag je toch in ieder geval wel goede televisie verwachten, niet?

And if data analysis does not work that way,

Mocht data-analyse zo niet werken

then it actually gets a little scary,

dan wordt het een beetje griezelig,

because we live in a time where we're turning to data more and more

want we leven in een tijd waarin we steeds meer op data afgaan

to make very serious decisions that go far beyond TV.

om serieuze beslissingen te nemen die televisie ver te boven gaan.

Does anyone here know the company Multi-Health Systems?

Kent iemand hier het bedrijf Multi-Health Systems?

No one. OK, that's good actually.

Niemand. OK, gelukkig maar.

OK, so Multi-Health Systems is a software company,

Multi-Health Systems is een software-bedrijf

and I hope that nobody here in this room

en ik hoop dat niemand hier in deze zaal

ever comes into contact with that software,

ooit in contact komt met die software,

because if you do, it means you're in prison.

want anders betekent het dat je in de gevangenis zit.

(Laughter)

(Gelach)

If someone here in the US is in prison, and they apply for parole,

Als iemand in de VS in de gevangenis zit en voorwaardelijk vrij wil komen,

then it's very likely that data analysis software from that company

dan is het hoogstwaarschijnlijk dat data-analysesoftware van dat bedrijf

will be used in determining whether to grant that parole.

gebruikt wordt om te bepalen of die aanvraag wordt gehonoreerd.

So it's the same principle as Amazon and Netflix,

Het is dus hetzelfde principe als bij Amazon en Netflix,

but now instead of deciding whether a TV show is going to be good or bad,

maar in plaats van te beslissen of een tv-show het goed zal doen,

you're deciding whether a person is going to be good or bad.

beslis je nu of een persoon het goed of slecht gaat doen.

And mediocre TV, 22 minutes, that can be pretty bad,

Middelmatige tv, 22 minuten lang, kan heel slecht zijn,

but more years in prison, I guess, even worse.

maar meer tijd in de gevangenis zelfs slechter, gok ik.

And unfortunately, there is actually some evidence that this data analysis,

Jammer genoeg zijn er zelfs bewijzen dat deze data-analyse,

despite having lots of data, does not always produce optimum results.

ondanks de beschikbaarheid van veel data, niet altijd de optimale resultaten geeft.

And that's not because a company like Multi-Health Systems

Dat komt niet omdat een bedrijf als Multi-Health Systems

doesn't know what to do with data.

niet met data om kan gaan.

Even the most data-savvy companies get it wrong.

Zelfs de slimste data-analisten kunnen fout zitten.

Yes, even Google gets it wrong sometimes.

Ja, zelfs Google zit soms fout.

In 2009, Google announced that they were able, with data analysis,

In 2009 berichtte Google dat ze met data-analyse

to predict outbreaks of influenza, the nasty kind of flu,

griep-epidemieën konden voorspellen, het vervelende soort griep,

by doing data analysis on their Google searches.

door data-analyse los te laten op wat mensen op Google opzochten.

And it worked beautifully, and it made a big splash in the news,

Het pakte wonderwel goed uit en het werd een hit in het nieuws,

including the pinnacle of scientific success:

tot en met het toppunt van wetenschappelijk succes:

a publication in the journal "Nature."

een publicatie in het tijdschrift Nature.

It worked beautifully for year after year after year,

Eerst werkte het goed, jaar na jaar na jaar,

until one year it failed.

tot het een bepaald jaar niet werkte.

And nobody could even tell exactly why.

Niemand kon precies zeggen waarom.

It just didn't work that year,

Het werkte dat jaar gewoon niet

and of course that again made big news,

en dat haalde weer het nieuws natuurlijk,

including now a retraction

inclusief het terugtrekken

of a publication from the journal "Nature."

van een publicatie in het tijdschrift Nature.

So even the most data-savvy companies, Amazon and Google,

Dus zelfs de grootste data-verzamelaars, Amazon en Google,

they sometimes get it wrong.

hebben het soms mis.

And despite all those failures,

Ondanks al die mislukkingen

data is moving rapidly into real-life decision-making --

neemt het gebruik van data snel toe bij beslissingen in het echte leven:

into the workplace,

op de werkvloer,

law enforcement,

bij wetshandhaving,

medicine.

de geneeskunde.

So we should better make sure that data is helping.

We kunnen er dus maar beter voor zorgen dat die data ook helpen.

Now, personally I've seen a lot of this struggle with data myself,

Zelf heb ik veel gesteggel gezien bij het gebruiken van data,

because I work in computational genetics,

omdat ik werk in de computer-genetica,

which is also a field where lots of very smart people

wat ook een terrein is waar veel slimme mensen

are using unimaginable amounts of data to make pretty serious decisions

ongelooflijke hoeveelheden data gebruiken om serieuze beslissingen te nemen,

like deciding on a cancer therapy or developing a drug.

zoals over een kankertherapie of het ontwikkelen van een medicijn.

And over the years, I've noticed a sort of pattern

Door de jaren heb ik een patroon zien ontstaan,

or kind of rule, if you will, about the difference

of een soort regel als je wilt, over wat het verschil maakt

between successful decision-making with data

tussen succesvolle beslissingen op basis van data

and unsuccessful decision-making,

en niet-succesvolle beslissingen.

and I find this a pattern worth sharing, and it goes something like this.

Ik vind dit een patroon dat ik wil delen en het gaat als volgt.

So whenever you're solving a complex problem,

Als je een complex probleem wilt oplossen,

you're doing essentially two things.

doe je in wezen twee dingen.

The first one is, you take that problem apart into its bits and pieces

Eerst deel je het probleem op in kleine stukjes,

so that you can deeply analyze those bits and pieces,

zodat je die onderdelen grondig kunt analyseren,

and then of course you do the second part.

en dan zet je natuurlijk de tweede stap:

You put all of these bits and pieces back together again

je doet al die stukjes weer bij elkaar

to come to your conclusion.

en je komt tot een conclusie.

And sometimes you have to do it over again,

Soms moet je het nog een keer doen,

but it's always those two things:

maar steeds draait het om twee dingen:

taking apart and putting back together again.

uit elkaar halen en terug zetten.

And now the crucial thing is

Het cruciale is

that data and data analysis

dat voor data en data-analyse

is only good for the first part.

alleen het eerste deel werkt.

Data and data analysis, no matter how powerful,

Data en data-analyse, hoe indrukwekkend ook,

can only help you taking a problem apart and understanding its pieces.

helpen je alleen een probleem te ontrafelen en details te begrijpen.

It's not suited to put those pieces back together again

Het is niet geschikt om die stukjes weer bij elkaar te brengen

and then to come to a conclusion.

en dan tot een conclusie te komen.

There's another tool that can do that, and we all have it,

Een ander hulpmiddel kan dat wel, en we hebben het allemaal:

and that tool is the brain.

het brein.

If there's one thing a brain is good at,

Waar het brein echt goed in is,

it's taking bits and pieces back together again,

is stukjes weer bij elkaar brengen,

even when you have incomplete information,

zelfs als je onvolledige informatie hebt,

and coming to a good conclusion,

en tot een goede conclusie komen,

especially if it's the brain of an expert.

zeker als het het brein van een expert is.

And that's why I believe that Netflix was so successful,

Daarom geloof ik dat Netflix zo'n succes had,

because they used data and brains where they belong in the process.

omdat ze de data en het brein gebruikten waar ze in het proces thuishoren.

They use data to first understand lots of pieces about their audience

Ze gebruiken data om eerst veel details van hun publiek te begrijpen,

that they otherwise wouldn't have been able to understand at that depth,

details die ze anders nooit zo grondig hadden kunnen begrijpen.

but then the decision to take all these bits and pieces

Maar de beslissing om al deze losse stukjes

and put them back together again and make a show like "House of Cards,"

weer bijeen te brengen en een show als House of Cards te maken,

that was nowhere in the data.

dat stond nergens in de data.

Ted Sarandos and his team made that decision to license that show,

Ted Sarandos en zijn team namen de beslissing om die serie goed te keuren,

which also meant, by the way, that they were taking

waarmee ze trouwens ook een groot persoonlijk risico namen.

a pretty big personal risk with that decision.

And Amazon, on the other hand, they did it the wrong way around.

Bij Amazon deden ze het echter omgekeerd, dus fout.

They used data all the way to drive their decision-making,

Ze gebruikten steeds data om hun beslissing te sturen,

first when they held their competition of TV ideas,

eerst toen ze hun wedstrijd van tv-ideeën hielden,

then when they selected "Alpha House" to make as a show.

en later toen ze besloten 'Alpha House' te maken.

Which of course was a very safe decision for them,

Dat was voor hen een hele veilige beslissing,

because they could always point at the data, saying,

omdat ze altijd konden wijzen naar de data en zeggen:

"This is what the data tells us."

"Dit zeggen de data ons."

But it didn't lead to the exceptional results that they were hoping for.

Maar het leidde niet

tot de uitzonderlijke resultaten die ze hadden gehoopt.

So data is of course a massively useful tool to make better decisions,

Data zijn dus een enorm nuttig middel om betere beslissingen te nemen,

but I believe that things go wrong

maar ik denk dat dingen fout gaan

when data is starting to drive those decisions.

zodra data die beslissingen beginnen te sturen.

No matter how powerful, data is just a tool,

Hoe sterk ze ook zijn, data zijn slechts een hulpmiddel

and to keep that in mind, I find this device here quite useful.

en met dat in je achterhoofd vind ik dit ding hier heel nuttig.

Many of you will ...

Velen van jullie zullen .....

(Laughter)

(Gelach)

Before there was data,

Voordat er data waren,

this was the decision-making device to use.

was dit het hulpmiddel om beslissingen te nemen.

(Laughter)

(Gelach)

Many of you will know this.

Velen van jullie kennen het.

This toy here is called the Magic 8 Ball,

Dit speeltje hier heet de Magic 8 Ball,

and it's really amazing,

heel verbazingwekkend,

because if you have a decision to make, a yes or no question,

omdat als je een besluit moet nemen, een ja of nee vraag,

all you have to do is you shake the ball, and then you get an answer --

je alleen de bal maar hoeft te schudden en dan krijg je het antwoord

"Most Likely" -- right here in this window in real time.

-- "Hoogstwaarschijnlijk" -- hier in dit venster, hier en nu.

I'll have it out later for tech demos.

Ik laat hem straks rondgaan ter demonstratie.

(Laughter)

(Gelach)

Now, the thing is, of course -- so I've made some decisions in my life

Wat ik natuurlijk wil zeggen is dat ik besluiten heb genomen in mijn leven

where, in hindsight, I should have just listened to the ball.

waarbij ik achteraf toch naar de bal had moeten luisteren.

But, you know, of course, if you have the data available,

Maar als je de data tot je beschikking hebt,

you want to replace this with something much more sophisticated,

wil je zo'n bal door iets veel geavanceerders vervangen,

like data analysis to come to a better decision.

zoals data-analyse, om tot een besluit te komen.

But that does not change the basic setup.

Maar fundamenteel verandert er niets.

So the ball may get smarter and smarter and smarter,

De bal kan slimmer en slimmer en slimmer worden,

but I believe it's still on us to make the decisions

maar ik denk dat wij nog steeds de beslissingen moeten nemen

if we want to achieve something extraordinary,

als we iets buitengewoons willen bereiken

on the right end of the curve.

aan de rechterkant van de curve.

And I find that a very encouraging message, in fact,

Ik vind dat eigenlijk een hele bemoedigende boodschap,

that even in the face of huge amounts of data,

dat het zelfs onder het oog van grote hoeveelheden data

it still pays off to make decisions,

loont om besluiten te nemen,

to be an expert in what you're doing

om expert te zijn bij wat je doet

and take risks.

en om risico's te nemen.

Because in the end, it's not data,

Want uiteindelijk zijn het niet de data

maar de risico's die je doen belanden aan de rechterzijde van de curve.

it's risks that will land you on the right end of the curve.

Thank you.

Dank je wel.

(Applause)

(Applaus)