Machine intelligence makes human morals more important | Zeynep Tufekci

Vertaald door: Rik Delaet Nagekeken door: Peter van de Ven

So, I started my first job as a computer programmer

Ik begon mijn eerste baan als computerprogrammeur

in my very first year of college --

in mijn eerste jaar aan de universiteit.

basically, as a teenager.

Ik was nog een tiener.

Soon after I started working,

Spoedig nadat ik er begon

writing software in a company,

met het schrijven van software voor een bedrijf,

a manager who worked at the company came down to where I was,

kwam een manager van het bedrijf naar me toe en fluisterde:

and he whispered to me,

"Can he tell if I'm lying?"

"Weet hij of ik lieg?"

There was nobody else in the room.

Er was niemand anders in de kamer.

"Can who tell if you're lying? And why are we whispering?"

Ik: "Weet wie dat je liegt? En waarom fluisteren we?"

The manager pointed at the computer in the room.

De manager wees naar de computer in de kamer.

"Can he tell if I'm lying?"

"Weet hij of ik lieg?"

Well, that manager was having an affair with the receptionist.

Nu had die manager een affaire met de receptioniste.

(Laughter)

(Gelach)

And I was still a teenager.

En ik was nog een tiener.

So I whisper-shouted back to him,

Dus fluister-schreeuwde ik naar hem terug:

"Yes, the computer can tell if you're lying."

"Ja, de computer weet of je liegt."

(Laughter)

(Gelach)

Well, I laughed, but actually, the laugh's on me.

Nou, ik lachte, maar op dit moment zou ik moeten worden uitgelachen.

Nowadays, there are computational systems

Tegenwoordig zijn er computersystemen

that can suss out emotional states and even lying

die emotionele toestanden en zelfs liegen herkennen

from processing human faces.

door het interpreteren van menselijke gezichten.

Advertisers and even governments are very interested.

Adverteerders en zelfs regeringen zijn zeer geïnteresseerd.

I had become a computer programmer

Ik was computerprogrammeur geworden

because I was one of those kids crazy about math and science.

omdat ik een van die kinderen was die gek zijn op wiskunde en wetenschap.

But somewhere along the line I'd learned about nuclear weapons,

Maar ik leerde wat over kernwapens

and I'd gotten really concerned with the ethics of science.

en werd echt bezorgd over de ethiek van de wetenschap.

I was troubled.

Ik was in de war.

However, because of family circumstances,

Door familieomstandigheden

I also needed to start working as soon as possible.

moest ik zo snel mogelijk aan werk geraken.

So I thought to myself, hey, let me pick a technical field

Ik dacht, nou, laat me een technisch gebied uitkiezen

where I can get a job easily

waarin ik gemakkelijk een baan kan vinden

and where I don't have to deal with any troublesome questions of ethics.

en waar ik niet hoef in te gaan op eventuele lastige vragen over ethiek.

So I picked computers.

Dus koos ik voor computers.

(Laughter)

(Gelach)

Well, ha, ha, ha! All the laughs are on me.

Nou ja, ha, ha, ha! Lach maar.

Nowadays, computer scientists are building platforms

Tegenwoordig bouwen computerwetenschappers systemen

that control what a billion people see every day.

die elke dag een miljard mensen controleren.

They're developing cars that could decide who to run over.

Ze ontwikkelen auto's die zouden kunnen beslissen wie ze overrijden.

They're even building machines, weapons,

Ze bouwen zelfs machines, wapens,

that might kill human beings in war.

die in de oorlog mensen zouden kunnen doden.

It's ethics all the way down.

Het is ethiek, al wat de klok slaat.

Machine intelligence is here.

Machine-intelligentie is hier.

We're now using computation to make all sort of decisions,

We nemen allerlei beslissingen aan de hand van berekeningen,

but also new kinds of decisions.

maar ook nieuwe typen beslissingen.

We're asking questions to computation that have no single right answers,

We stellen vragen aan de computer waar niet één enkel antwoord op is,

that are subjective

die subjectief zijn

and open-ended and value-laden.

met een open einde en waardegeladen.

We're asking questions like,

We stellen vragen als:

"Who should the company hire?"

"Wie moet het bedrijf inhuren?"

"Which update from which friend should you be shown?"

"Welke update van welke vriend moet je te zien krijgen?"

"Which convict is more likely to reoffend?"

"Welke gevangene heeft meer kans om te recidiveren?"

"Which news item or movie should be recommended to people?"

"Welke nieuwsbericht of film moeten we aanbevelen?"

Look, yes, we've been using computers for a while,

Ik weet dat we al een tijdje computers gebruiken,

but this is different.

maar dit is anders.

This is a historical twist,

Dit is een historisch keerpunt,

because we cannot anchor computation for such subjective decisions

omdat we voor dergelijke subjectieve beslissingen

niet op berekeningen kunnen vertrouwen,

the way we can anchor computation for flying airplanes, building bridges,

zoals we dat doen voor het vliegen van vliegtuigen, het bouwen van bruggen

going to the moon.

of naar de maan gaan.

Are airplanes safer? Did the bridge sway and fall?

Zijn vliegtuigen veiliger? Is de brug gaan zwaaien en ingestort?

There, we have agreed-upon, fairly clear benchmarks,

Daar hebben we vrij duidelijke normen voor afgesproken

and we have laws of nature to guide us.

en we hebben natuurwetten om ons te leiden.

We have no such anchors and benchmarks

Dergelijke ijkpunten en normen hebben we niet

for decisions in messy human affairs.

voor besluiten in rommelige menselijke aangelegenheden.

To make things more complicated, our software is getting more powerful,

Om de zaken nog ingewikkelder te maken, wordt onze software steeds krachtiger,

but it's also getting less transparent and more complex.

maar ook steeds minder transparant en complexer.

Recently, in the past decade,

Recentelijk, in het afgelopen decennium,

complex algorithms have made great strides.

hebben complexe algoritmen grote vooruitgang geboekt.

They can recognize human faces.

Ze kunnen menselijke gezichten herkennen.

They can decipher handwriting.

Ze kunnen handschrift ontcijferen.

They can detect credit card fraud

Ze kunnen creditcardfraude detecteren,

and block spam

spam blokkeren

and they can translate between languages.

en vertalingen maken.

They can detect tumors in medical imaging.

Ze kunnen tumoren detecteren bij medische beeldvorming.

They can beat humans in chess and Go.

Ze kunnen mensen met schaken en go verslaan.

Much of this progress comes from a method called "machine learning."

Een groot deel van deze vooruitgang

komt van een methode 'machine learning' genaamd.

Machine learning is different than traditional programming,

Machine learning is anders dan het traditionele programmeren,

where you give the computer detailed, exact, painstaking instructions.

waar je de computer gedetailleerde, exacte, nauwgezette instructies geeft.

It's more like you take the system and you feed it lots of data,

Het is meer alsof je het systeem veel data voert,

including unstructured data,

ook ongestructureerde data,

like the kind we generate in our digital lives.

zoals we ze genereren in ons digitale leven.

And the system learns by churning through this data.

En het systeem leert door op deze gegeven te broeden.

And also, crucially,

Ook van cruciaal belang is

these systems don't operate under a single-answer logic.

dat deze systemen niet werken met een één-antwoord logica.

They don't produce a simple answer; it's more probabilistic:

Ze geven geen simpel antwoord; het is meer probabilistisch:

"This one is probably more like what you're looking for."

"Dit is waarschijnlijk meer wat je zoekt."

Now, the upside is: this method is really powerful.

Het voordeel is dat deze methode echt krachtig is.

The head of Google's AI systems called it,

Het hoofd van Google's AI-systemen noemde het:

"the unreasonable effectiveness of data."

"De onredelijke effectiviteit van data."

The downside is,

Het nadeel is

we don't really understand what the system learned.

dat we niet echt begrijpen wat het systeem leerde.

In fact, that's its power.

Dat is in feite zijn kracht.

This is less like giving instructions to a computer;

Dit lijkt minder op het geven van instructies aan een ​​computer

it's more like training a puppy-machine-creature

dan op het trainen van een puppy-machine-schepsel

we don't really understand or control.

dat we niet echt begrijpen of controleren.

So this is our problem.

Dus dit is ons probleem.

It's a problem when this artificial intelligence system gets things wrong.

Als het kunstmatige-intelligentie systeem in de fout gaat, hebben we een probleem.

It's also a problem when it gets things right,

Het is ook een probleem wanneer het goed werkt,

because we don't even know which is which when it's a subjective problem.

omdat we niet eens weten

wanneer het in de fout gaat bij een subjectief probleem.

We don't know what this thing is thinking.

We weten niet wat dit ding denkt.

So, consider a hiring algorithm --

Denk eens aan een algoritme voor aanwerving --

a system used to hire people, using machine-learning systems.

een systeem dat wordt gebruikt om mensen aan te nemen

met behulp van machine learning-systemen.

Such a system would have been trained on previous employees' data

Een dergelijk systeem werd getraind met data van vroegere werknemers

and instructed to find and hire

en geïnstrueerd voor het vinden en inhuren

people like the existing high performers in the company.

van mensen zoals de beste presteerders in het bedrijf.

Sounds good.

Klinkt goed.

I once attended a conference

Ik heb eens een conferentie bijgewoond

that brought together human resources managers and executives,

met human-resourcesmanagers en leidinggevenden,

hoge pieten,

high-level people,

die dergelijke systemen voor het inhuren gebruiken.

using such systems in hiring.

They were super excited.

Ze waren superenthousiast.

They thought that this would make hiring more objective, less biased,

Ze dachten dat dit het inhuren

objectiever en minder bevooroordeeld zou maken

and give women and minorities a better shot

en vrouwen en minderheden betere kansen zouden geven

against biased human managers.

ten opzichte van vooringenomen menselijke managers.

And look -- human hiring is biased.

En ja -- het inhuren door mensen is bevooroordeeld.

I know.

Ik weet het.

I mean, in one of my early jobs as a programmer,

In een van mijn eerste banen als programmeur

my immediate manager would sometimes come down to where I was

kwam mijn directe manager soms naar me toe,

really early in the morning or really late in the afternoon,

heel vroeg in de ochtend of erg laat in de middag,

and she'd say, "Zeynep, let's go to lunch!"

en zei: "Zeynep, laten we gaan lunchen!"

I'd be puzzled by the weird timing.

Ik was verbaasd over de vreemde timing.

It's 4pm. Lunch?

Het is vier uur in de namiddag. Lunch?

I was broke, so free lunch. I always went.

Ik was blut. Dus gratis lunch? Ik ging altijd mee.

I later realized what was happening.

Ik besefte pas later wat er loos was.

My immediate managers had not confessed to their higher-ups

Mijn directe managers hadden hun oversten niet verteld

dat de programmeur die ze voor een serieuze baan hadden ingehuurd

that the programmer they hired for a serious job was a teen girl

who wore jeans and sneakers to work.

een tienermeisje was

dat op het werk een spijkerbroek en sportschoenen droeg.

Ik deed mijn werk goed, ik zag er alleen niet uit

I was doing a good job, I just looked wrong

and was the wrong age and gender.

en had de verkeerde leeftijd en geslacht.

So hiring in a gender- and race-blind way

Dus inhuren zonder oog voor geslacht of ras,

certainly sounds good to me.

daar kan ik alleen maar blij mee zijn.

But with these systems, it is more complicated, and here's why:

Maar met deze systemen ligt het ingewikkelder en wel hierom:

Currently, computational systems can infer all sorts of things about you

momenteel kunnen computersystemen allerlei dingen over je afleiden

from your digital crumbs,

uit je digitale kruimels,

even if you have not disclosed those things.

zelfs als je die dingen niet hebt verteld.

They can infer your sexual orientation,

Ze kunnen je seksuele geaardheid afleiden,

your personality traits,

je persoonlijkheidskenmerken,

your political leanings.

je politieke kleur.

They have predictive power with high levels of accuracy.

Ze kunnen met grote nauwkeurigheid voorspellen.

Remember -- for things you haven't even disclosed.

Nogmaals -- ook voor dingen die je nog niet eens hebt bekendgemaakt.

This is inference.

Dat is inferentie.

I have a friend who developed such computational systems

Ik heb een vriend die dergelijke computersystemen heeft ontwikkeld

to predict the likelihood of clinical or postpartum depression

om de waarschijnlijkheid van klinische of postpartumdepressie te voorspellen

from social media data.

op basis van social-mediagegevens.

The results are impressive.

De resultaten zijn indrukwekkend.

Her system can predict the likelihood of depression

Haar systeem kan de kans op depressie voorspellen

months before the onset of any symptoms --

maanden vóór het begin van de symptomen --

months before.

maanden eerder.

No symptoms, there's prediction.

Geen symptomen, wel een voorspelling.

She hopes it will be used for early intervention. Great!

Ze hoopt dat ​​het zal worden gebruikt voor vroege interventie. Geweldig!

But now put this in the context of hiring.

Maar bekijk dat nu eens in het kader van aanwerven.

So at this human resources managers conference,

Op deze conferentie voor human-resourcesmanagers

I approached a high-level manager in a very large company,

benaderde ik een vooraanstaande manager van een zeer groot bedrijf

and I said to her, "Look, what if, unbeknownst to you,

en zei tegen haar: "Kijk, wat als zonder dat je het weet,

your system is weeding out people with high future likelihood of depression?

je systeem mensen met een hoge toekomstige kans op depressie uitwiedt?

They're not depressed now, just maybe in the future, more likely.

Ze zijn nu niet depressief, maar in de toekomst waarschijnlijk wel.

What if it's weeding out women more likely to be pregnant

Wat als het vrouwen uitwiedt omdat ze kans hebben om zwanger te worden

in the next year or two but aren't pregnant now?

in de volgende paar jaar, maar nu niet zwanger zijn?

What if it's hiring aggressive people because that's your workplace culture?"

Wat als het agressieve mensen inhuurt, omdat dat jullie werkplekcultuur is?"

Je weet dit niet door te kijken naar analyses voor geslacht.

You can't tell this by looking at gender breakdowns.

Those may be balanced.

Die kunnen in evenwicht zijn.

And since this is machine learning, not traditional coding,

En aangezien dit machine learning is en geen traditioneel programmeren,

there is no variable there labeled "higher risk of depression,"

is er geen variabele gelabeld 'groter risico op depressie',

"higher risk of pregnancy,"

'hoger risico op zwangerschap'

"aggressive guy scale."

of een 'agressieve-man-schaal'.

Not only do you not know what your system is selecting on,

Niet alleen weet je niet waarop jouw systeem selecteert,

you don't even know where to begin to look.

je weet niet eens waar je moet gaan zoeken.

It's a black box.

Het is een zwarte doos.

It has predictive power, but you don't understand it.

Het heeft voorspellende kracht, maar je begrijpt het niet.

"What safeguards," I asked, "do you have

"Welke garanties", vroeg ik, "heb je

to make sure that your black box isn't doing something shady?"

om ervoor te zorgen dat jouw zwarte doos geen rare dingen gaat doen?"

She looked at me as if I had just stepped on 10 puppy tails.

Ze keek me aan alsof ik op tien puppystaarten tegelijk trapte.

(Laughter)

(Gelach)

She stared at me and she said,

Ze keek me aan en zei:

"I don't want to hear another word about this."

"Hier wil ik geen woord meer over horen."

And she turned around and walked away.

En ze draaide zich om en liep weg.

Mind you -- she wasn't rude.

Let wel -- ze was niet onbeleefd.

It was clearly: what I don't know isn't my problem, go away, death stare.

Het was duidelijk: wat ik niet weet, is mijn probleem niet, ga weg, lege blik.

(Laughter)

(Gelach)

Look, such a system may even be less biased

Kijk, een dergelijk systeem kan misschien minder bevooroordeeld zijn

than human managers in some ways.

dan menselijke managers, in sommige opzichten.

And it could make monetary sense.

Het kan misschien wel geld besparen.

But it could also lead

Maar het kan ook leiden

to a steady but stealthy shutting out of the job market

tot een gestage, maar sluipende uitsluiting uit de arbeidsmarkt

of people with higher risk of depression.

van mensen met een hoger risico op depressie.

Is this the kind of society we want to build,

Is dit het soort samenleving dat we willen,

zonder zelfs maar te weten dat we dat hebben gedaan,

without even knowing we've done this,

because we turned decision-making to machines we don't totally understand?

omdat we besluitvorming delegeerden naar machines

die we niet helemaal begrijpen?

Another problem is this:

Een ander probleem is dit:

these systems are often trained on data generated by our actions,

deze systemen worden vaak getraind met data gegenereerd door onze acties,

human imprints.

menselijke indrukken.

Well, they could just be reflecting our biases,

Nou, die zouden wel eens onze vooroordelen kunnen weerspiegelen,

and these systems could be picking up on our biases

welke die systemen vervolgens vlekkeloos overnemen,

and amplifying them

ze versterken

and showing them back to us,

en weer aan ons terugkaatsen,

while we're telling ourselves,

terwijl we onszelf wijsmaken:

"We're just doing objective, neutral computation."

"We maken objectieve, neutrale berekeningen."

Researchers found that on Google,

Onderzoekers ontdekten dat op Google

women are less likely than men to be shown job ads for high-paying jobs.

vrouwen minder kans hebben dan mannen

om vacatures voor goedbetaalde banen te zien te krijgen.

And searching for African-American names

Het zoeken naar Afro-Amerikaanse namen

is more likely to bring up ads suggesting criminal history,

geeft een grotere kans op advertenties

die een criminele geschiedenis suggereren,

even when there is none.

zelfs wanneer er geen is.

Such hidden biases and black-box algorithms

Dergelijke verborgen vooroordelen en zwarte-doosalgoritmen,

that researchers uncover sometimes but sometimes we don't know,

die onderzoekers soms ontdekken maar soms ook niet,

can have life-altering consequences.

kunnen iemands leven diepgaand beïnvloeden.

In Wisconsin, a defendant was sentenced to six years in prison

In Wisconsin werd een verdachte veroordeeld tot zes jaar gevangenis

for evading the police.

door te gaan lopen voor de politie.

You may not know this,

Misschien weten jullie dit niet,

but algorithms are increasingly used in parole and sentencing decisions.

maar algoritmen worden steeds meer gebruikt

bij voorwaardelijke invrijheidstelling en straftoemeting.

He wanted to know: How is this score calculated?

Hij wilde weten hoe dat deze score berekend wordt.

It's a commercial black box.

Het is een commerciële zwarte doos.

The company refused to have its algorithm be challenged in open court.

Het bedrijf weigerde

zijn algoritme in een openbare rechtszitting te laten betwisten.

But ProPublica, an investigative nonprofit, audited that very algorithm

Maar ProPublica, een onderzoekende non-profit, testte dat algoritme

with what public data they could find,

met openbare gegevens die ze konden vinden,

and found that its outcomes were biased

en vond dat de resultaten ervan bevooroordeeld waren

and its predictive power was dismal, barely better than chance,

en dat de voorspellende kracht onduidelijk en nauwelijks beter dan het toeval was.

and it was wrongly labeling black defendants as future criminals

Ze labelde zwarte verdachten onterecht als toekomstige criminelen

at twice the rate of white defendants.

en wel twee keer zo vaak als blanken.

So, consider this case:

Bekijk dit geval:

This woman was late picking up her godsister

deze vrouw was wat laat om een meisje op te pikken

from a school in Broward County, Florida,

op een school in Broward County, Florida.

running down the street with a friend of hers.

Ze liep op straat met een vriendin.

They spotted an unlocked kid's bike and a scooter on a porch

Op een veranda zagen ze een kinderfiets en een scooter.

and foolishly jumped on it.

Zonder nadenken sprongen ze erop.

As they were speeding off, a woman came out and said,

Terwijl ze wegreden, kwam een vrouw naar buiten en zei:

"Hey! That's my kid's bike!"

"Hé! Dat is de fiets van mijn kind!"

They dropped it, they walked away, but they were arrested.

Ze lieten hem vallen, liepen door, maar werden gearresteerd.

She was wrong, she was foolish, but she was also just 18.

Ze ging in de fout, ze was dom, maar ze was ook pas 18.

She had a couple of juvenile misdemeanors.

Ze had een paar jeugdmisdrijven op haar naam.

Meanwhile, that man had been arrested for shoplifting in Home Depot --

Ondertussen werd deze man gearresteerd voor winkeldiefstal in Home Depot --

85 dollars' worth of stuff, a similar petty crime.

85 dollar aan spullen, soortgelijke kleine criminaliteit.

But he had two prior armed robbery convictions.

Maar hij had twee eerdere veroordelingen voor gewapende overval.

But the algorithm scored her as high risk, and not him.

Het algoritme scoorde haar als hoog risico en hem niet.

Two years later, ProPublica found that she had not reoffended.

Twee jaar later vond ProPublica dat ze niet had gerecidiveerd.

It was just hard to get a job for her with her record.

Maar ze vond wel moeilijk een ​​baan met haar strafblad.

He, on the other hand, did reoffend

Hij daarentegen recidiveerde

and is now serving an eight-year prison term for a later crime.

en zit nu voor acht jaar in de gevangenis voor een latere misdaad.

Clearly, we need to audit our black boxes

Het is duidelijk dat we onze zwarte dozen moeten controleren

and not have them have this kind of unchecked power.

en ze niet dit soort ongecontroleerde macht moeten geven.

(Applause)

(Applaus)

Audits are great and important, but they don't solve all our problems.

Audits zijn geweldig en belangrijk, maar ze lossen niet al onze problemen op.

Take Facebook's powerful news feed algorithm --

Neem Facebook's krachtige nieuwsfeed-algoritme --

you know, the one that ranks everything and decides what to show you

je weet wel, hetgeen dat alles sorteert en beslist wat jij te zien krijgt

from all the friends and pages you follow.

van alle vrienden en pagina's die je volgt.

Should you be shown another baby picture?

Moet je nog een babyfoto voorgeschoteld krijgen?

(Laughter)

(Gelach)

A sullen note from an acquaintance?

Een sombere opmerking van een kennis?

An important but difficult news item?

Een belangrijk maar moeilijk nieuwsbericht?

There's no right answer.

Er is geen juist antwoord.

Facebook optimizes for engagement on the site:

Facebook optimaliseert voor betrokkenheid op de site:

likes, shares, comments.

wat je leuk vindt, deelt of becommentarieert.

In August of 2014,

In augustus 2014

protests broke out in Ferguson, Missouri,

braken protesten uit in Ferguson, Missouri,

after the killing of an African-American teenager by a white police officer,

na het doden van een Afro-Amerikaanse tiener door een blanke politieagent

under murky circumstances.

onder duistere omstandigheden.

The news of the protests was all over

Het nieuws van de protesten was prominent aanwezig

my algorithmically unfiltered Twitter feed,

op mijn algoritmisch ongefilterde Twitter-feed,

but nowhere on my Facebook.

maar nergens op mijn Facebook.

Was it my Facebook friends?

Waren het mijn Facebookvrienden?

I disabled Facebook's algorithm,

Ik schakelde het Facebookalgoritme uit,

which is hard because Facebook keeps wanting to make you

wat moeilijk is, want Facebook houdt je liever

come under the algorithm's control,

onder de controle van het algoritme.

and saw that my friends were talking about it.

Ik zag dat mijn vrienden erover praatten.

It's just that the algorithm wasn't showing it to me.

Maar het algoritme liet het me niet zien.

I researched this and found this was a widespread problem.

Ik onderzocht dit en vond dat dit een wijdverbreid probleem was.

The story of Ferguson wasn't algorithm-friendly.

Het verhaal van Ferguson was niet 'algoritmevriendelijk'.

Het was niet 'sympathiek'.

It's not "likable."

Who's going to click on "like?"

Wie gaat er een 'vind ik leuk' aan geven?

It's not even easy to comment on.

Het is zelfs niet makkelijk te becommentariëren.

Without likes and comments,

Zonder vind-ik-leuk's en commentaar

the algorithm was likely showing it to even fewer people,

toonde het algoritme het waarschijnlijk aan nog minder mensen,

so we didn't get to see this.

zodat we het niet te zien kregen.

Instead, that week,

In plaats daarvan benadrukte Facebook's algoritme die week dit:

Facebook's algorithm highlighted this,

which is the ALS Ice Bucket Challenge.

de ALS Ice Bucket Challenge.

Worthy cause; dump ice water, donate to charity, fine.

Giet ijswater, doneer aan een goed doel, allemaal fijn.

But it was super algorithm-friendly.

Maar het was uiterst algoritmevriendelijk.

The machine made this decision for us.

De machine nam die beslissing voor ons.

A very important but difficult conversation

Een zeer belangrijk maar moeilijk gesprek

might have been smothered,

zou zijn gesmoord,

had Facebook been the only channel.

als Facebook het enige kanaal was geweest.

Now, finally, these systems can also be wrong

Nu kunnen deze systemen ook verkeerd zijn

in ways that don't resemble human systems.

op een manier die niet op menselijke systemen lijkt.

Do you guys remember Watson, IBM's machine-intelligence system

Herinneren jullie zich Watson, IBM's machine-intelligentie-systeem

that wiped the floor with human contestants on Jeopardy?

dat op Jeopardy de vloer aanveegde met de menselijke deelnemers?

It was a great player.

Het was een geweldige speler.

But then, for Final Jeopardy, Watson was asked this question:

Maar in de finale kreeg Watson deze vraag:

"Its largest airport is named for a World War II hero,

"Zijn grootste luchthaven is vernoemd naar een held uit WO II,

its second-largest for a World War II battle."

zijn tweede grootste naar een slag uit WO II."

(Hums Final Jeopardy music)

(Neuriet Final Jeopardy-muziek)

Chicago.

Chicago.

The two humans got it right.

De twee mensen hadden het goed.

Watson, on the other hand, answered "Toronto" --

Maar Watson antwoordde "Toronto" --

for a US city category!

voor een stad van de VS!

The impressive system also made an error

Het indrukwekkende systeem maakte ook een fout

that a human would never make, a second-grader wouldn't make.

die een mens nooit zou maken, die een zevenjarige niet zou maken.

Our machine intelligence can fail

Onze machine-intelligentie kan mislukken

in ways that don't fit error patterns of humans,

op een manier die niet past in foutpatronen van mensen,

in ways we won't expect and be prepared for.

op een onverwachte manier waarop we niet zijn voorbereid.

It'd be lousy not to get a job one is qualified for,

Het zou stom zijn om een ​​baan mis te lopen

waarvoor je gekwalificeerd bent,

but it would triple suck if it was because of stack overflow

maar het zou driedubbel stom zijn als het was vanwege een stack overflow

in some subroutine.

in de een of andere subroutine.

(Laughter)

(Gelach)

In May of 2010,

In mei 2010

a flash crash on Wall Street fueled by a feedback loop

ontstond een flash crash op Wall Street, aangewakkerd door een terugkoppeling

in Wall Street's "sell" algorithm

in Wall Streets 'verkopen'-algoritme.

wiped a trillion dollars of value in 36 minutes.

Het wiste een biljoen dollar weg in 36 minuten.

I don't even want to think what "error" means

Ik wil er niet eens aan denken wat 'fout' betekent

in the context of lethal autonomous weapons.

als het over dodelijke autonome wapens gaat.

So yes, humans have always made biases.

Dus ja, mensen hebben altijd vooroordelen.

Decision makers and gatekeepers,

Beslissers en bewakers,

in courts, in news, in war ...

in rechtbanken, in het nieuws, in de oorlog...

they make mistakes; but that's exactly my point.

maken ze fouten; maar dat is precies wat ik bedoel.

We cannot escape these difficult questions.

We kunnen niet ontsnappen aan deze moeilijke vragen.

We cannot outsource our responsibilities to machines.

We kunnen onze verantwoordelijkheden niet uitbesteden aan machines.

(Applause)

(Applaus)

Artificial intelligence does not give us a "Get out of ethics free" card.

Kunstmatige intelligentie stelt ons niet vrij van de ethische vraagstukken.

Data scientist Fred Benenson calls this math-washing.

Datawetenschapper Fred Benenson noemt dit 'wiskunde-wassen'.

We need the opposite.

We moeten het tegenovergestelde doen.

We need to cultivate algorithm suspicion, scrutiny and investigation.

Algoritmes verdienen een cultuur van achterdocht, controle en onderzoek.

We need to make sure we have algorithmic accountability,

We moeten zorgen voor algoritmische verantwoording,

auditing and meaningful transparency.

auditing en betekenisvolle transparantie.

We need to accept that bringing math and computation

We moeten accepteren dat het toepassen van wiskunde en berekening

to messy, value-laden human affairs

op rommelige, waardegeladen menselijke aangelegenheden

does not bring objectivity;

geen objectiviteit met zich meebrengt,

rather, the complexity of human affairs invades the algorithms.

maar dat de complexiteit van menselijke aangelegenheden in de algoritmen sluipt.

Yes, we can and we should use computation

Ja, we kunnen en we moeten berekening gebruiken

to help us make better decisions.

om ons te helpen om betere beslissingen te nemen.

But we have to own up to our moral responsibility to judgment,

Maar het uiteindelijke oordeel blijft onze morele verantwoordelijkheid,

and use algorithms within that framework,

en binnen dat kader kunnen we algoritmen gebruiken,

not as a means to abdicate and outsource our responsibilities

niet als een middel om onze verantwoordelijkheden

to one another as human to human.

van mens tot mens te ontlopen.

Machine intelligence is here.

Machine-intelligentie is hier.

That means we must hold on ever tighter

Dat betekent dat we steeds strakker moeten vasthouden

to human values and human ethics.

aan menselijke waarden en menselijke ethiek.

Thank you.

Dank je.

(Applause)

(Applaus)