Machine intelligence makes human morals more important | Zeynep Tufekci

Fordító: Peter Balla Lektor: Péter Pallós

So, I started my first job as a computer programmer

Az első munkám számítógép-programozás volt

in my very first year of college --

a főiskola legelső évében,

basically, as a teenager.

amit még tizenévesként kezdtem.

Soon after I started working,

Kezdésem után nem sokkal

writing software in a company,

szoftvereket írtam egy cégnek,

a manager who worked at the company came down to where I was,

amikor a cég egyik főnök odajött hozzám,

and he whispered to me,

és suttogva megkérdezte:

"Can he tell if I'm lying?"

"Ő tudja-e, ha hazudok?"

There was nobody else in the room.

Senki más nem volt a szobában.

"Kicsoda tudja-e, ha hazudsz? És miért suttogunk?"

"Can who tell if you're lying? And why are we whispering?"

The manager pointed at the computer in the room.

A főnök a szobában lévő számítógépre mutatott.

"Can he tell if I'm lying?"

"Ő tudja-e, ha hazudok?"

Well, that manager was having an affair with the receptionist.

Hát, ennek a főnöknek viszonya volt a recepcióssal.

(Laughter)

(Nevetés)

És én még csak tizenéves voltam.

And I was still a teenager.

So I whisper-shouted back to him,

Hangosan visszasuttogtam:

"Yes, the computer can tell if you're lying."

"Igen, a számítógép tudja, mikor hazudsz."

(Nevetés)

(Laughter)

Well, I laughed, but actually, the laugh's on me.

Kinevettem, de igazából engem kellene kinevetni.

Nowadays, there are computational systems

Manapság olyan számítógépes rendszerek vannak,

that can suss out emotional states and even lying

amelyek kiszimatolják az érzelmi állapotot, sőt a hazugságot is

from processing human faces.

az emberi arc tanulmányozásából.

Advertisers and even governments are very interested.

A reklámozók és a hatóságok is erősen érdeklődnek irántuk.

I had become a computer programmer

Azért lettem számítógép-programozó,

because I was one of those kids crazy about math and science.

mert gyerekként megőrültem a matekért és a tudományért.

But somewhere along the line I'd learned about nuclear weapons,

De valamikor később tudomást szereztem a nukleáris fegyverekről,

és komolyan aggódni kezdtem a tudomány etikájáért.

and I'd gotten really concerned with the ethics of science.

Zavarban voltam.

I was troubled.

However, because of family circumstances,

Ám családi körülményeim miatt

I also needed to start working as soon as possible.

minél hamarabb munkába kellett állnom.

So I thought to myself, hey, let me pick a technical field

Úgyhogy azt gondoltam magamban: választok egy műszaki területet,

where I can get a job easily

ahol könnyen találok munkát,

and where I don't have to deal with any troublesome questions of ethics.

és ahol nem kell foglalkoznom semmilyen zavaró etikai kérdéssel.

A számítógépeket választottam.

So I picked computers.

(Laughter)

(Nevetés)

Well, ha, ha, ha! All the laughs are on me.

Hát, ha-ha-ha! Ki lehet engem nevetni.

Manapság az informatikusok olyan felületeket építenek,

Nowadays, computer scientists are building platforms

that control what a billion people see every day.

amelyek azt irányítják, amit egymilliárd ember naponta lát.

Autókat fejlesztenek, amelyek eldönthetik, kit ütnek el.

They're developing cars that could decide who to run over.

They're even building machines, weapons,

Sőt, gépeket és fegyvereket gyártanak,

that might kill human beings in war.

amelyek háborúban embereket ölhetnek meg.

It's ethics all the way down.

Etika végestelen végig.

Machine intelligence is here.

A gépi intelligencia megérkezett.

We're now using computation to make all sort of decisions,

Ma a számítástechnikát mindenféle döntésre használjuk,

but also new kinds of decisions.

újfajta döntésekre is.

We're asking questions to computation that have no single right answers,

Olyan kérdéseket teszünk fel a gépeknek, amelyekre nincs egyetlen helyes válasz,

that are subjective

szubjektív,

and open-ended and value-laden.

nyitott és fontos kérdéseket.

Ilyen kérdéseket teszünk fel:

We're asking questions like,

"Who should the company hire?"

„Kit alkalmazzon a cég?”,

„Melyik ismerős melyik frissítését mutassuk meg neked?”,

"Which update from which friend should you be shown?"

"Which convict is more likely to reoffend?"

„Melyik elítéltről valószínűbb, hogy újból bűnözik?”,

"Which news item or movie should be recommended to people?"

„Melyik hírt vagy mozifilmet ajánljuk az embereknek?”

Look, yes, we've been using computers for a while,

Már használjuk egy ideje a számítógépeket,

but this is different.

de ez most más.

This is a historical twist,

Ez történelmi fordulat,

because we cannot anchor computation for such subjective decisions

mert a számítástechnikát nem tudjuk úgy kötni e szubjektív döntésekhez,

the way we can anchor computation for flying airplanes, building bridges,

ahogy összekapcsoljuk a légi közlekedéssel, a hídépítéssel,

going to the moon.

a holdra szállással.

Are airplanes safer? Did the bridge sway and fall?

Biztonságosabbak a repülőgépek? Kilengett és összedőlt a híd?

There, we have agreed-upon, fairly clear benchmarks,

Ott vannak egyeztetett, elég világos viszonyítási alapjaink,

and we have laws of nature to guide us.

és a természet törvényei irányítanak.

We have no such anchors and benchmarks

A zűrös emberi viszonyokra vonatkozó döntésekhez

for decisions in messy human affairs.

nincsenek ilyen kapcsolódási és viszonyítási pontjaink.

To make things more complicated, our software is getting more powerful,

Hogy bonyolítsa a dolgokat, szoftverünk egyre erősebb,

but it's also getting less transparent and more complex.

ugyanakkor kevésbé átlátható és egyre bonyolultabb lesz.

Recently, in the past decade,

Nemrég, az elmúlt évtizedben,

complex algorithms have made great strides.

a komplex algoritmusok nagyot léptek előre.

They can recognize human faces.

Emberi arcokat ismernek fel.

They can decipher handwriting.

Kézírást silabizálnak ki.

They can detect credit card fraud

Hitelkártyacsalásokat ismernek fel,

and block spam

spamet szűrnek ki,

and they can translate between languages.

és egyik nyelvről a másikra fordítanak.

They can detect tumors in medical imaging.

Az orvosi képalkotásban daganatokat ismernek fel.

They can beat humans in chess and Go.

Megverik az embert sakkban és góban.

Much of this progress comes from a method called "machine learning."

A haladás zöme az ún. „gépi tanulás” módszerének köszönhető.

A gépi tanulás különbözik a hagyományos programozástól,

Machine learning is different than traditional programming,

where you give the computer detailed, exact, painstaking instructions.

ahol a számítógépnek részletes, pontos, precíz utasításokat adunk.

It's more like you take the system and you feed it lots of data,

Inkább olyan, hogy egy rendszerbe beletöltünk egy csomó adatot,

including unstructured data,

strukturálatlan adatokat is,

like the kind we generate in our digital lives.

amilyeneket digitális életünk hoz létre.

And the system learns by churning through this data.

A rendszer az adatok átfésüléséből tanul.

And also, crucially,

Még egy alapvető dolog:

these systems don't operate under a single-answer logic.

e rendszerek nem az egyetlen válasz logikáját követik.

They don't produce a simple answer; it's more probabilistic:

Nem egy egyszerű választ szűrnek le, inkább valószínűséget:

"This one is probably more like what you're looking for."

„Ez inkább hasonlít arra, amit keresel.”

A jó dolog ebben az, hogy a módszer valóban hatásos.

Now, the upside is: this method is really powerful.

A Google MI-rendszer vezetője így nevezte:

The head of Google's AI systems called it,

"the unreasonable effectiveness of data."

„az adatok észszerűtlen hatékonysága”.

The downside is,

A hátránya,

we don't really understand what the system learned.

hogy nemigen értjük, mit tanult a rendszer.

In fact, that's its power.

Valójában ez az erőssége.

This is less like giving instructions to a computer;

Ez nem olyan, mint amikor utasításokat adunk egy számítógépnek,

it's more like training a puppy-machine-creature

inkább olyan, mintha kiképeznénk egy gép-kutyus-szerű lényt,

we don't really understand or control.

akit nemigen értünk, és nem tudunk irányítani.

So this is our problem.

Ez a gondunk.

It's a problem when this artificial intelligence system gets things wrong.

Gond, ha ez az MI-rendszer valamit elszúr.

It's also a problem when it gets things right,

Az is, ha nem szúrja el,

because we don't even know which is which when it's a subjective problem.

mert nem is tudjuk, mi micsoda. ha szubjektív kérdésről van szó.

We don't know what this thing is thinking.

Nem tudjuk, mit gondol ez a dolog.

So, consider a hiring algorithm --

Vegyünk egy felvételi algoritmust,

azaz felvételre való rendszert, amely gépi tanulási rendszert használ.

a system used to hire people, using machine-learning systems.

A rendszert az eddigi alkalmazottak adatain tanították be,

Such a system would have been trained on previous employees' data

and instructed to find and hire

és arra utasították, hogy a cég jelenlegi

people like the existing high performers in the company.

jól teljesítő embereihez hasonlókat találjon és alkalmazzon.

Sounds good.

Jól hangzik.

I once attended a conference

Részt vettem egyszer egy konferencián,

ahol humánerőforrás-ügyintézők és -vezetők gyűltek össze,

that brought together human resources managers and executives,

magas rangú emberek,

high-level people,

using such systems in hiring.

ők ilyeneket használtak felvételhez.

They were super excited.

Rendkívül izgatottak voltak.

They thought that this would make hiring more objective, less biased,

Azt gondolták, hogy ez objektívabbá, pártatlanabbá teszi a felvételt,

and give women and minorities a better shot

és jobb esélyt ad nőknek és a kisebbségeknek

against biased human managers.

a részrehajló ügyintézőkkel szemben.

And look -- human hiring is biased.

De az emberek felvétele részrehajló.

Én tudom.

I know.

I mean, in one of my early jobs as a programmer,

Az egyik korai munkahelyemen programozóként dolgoztam,

my immediate manager would sometimes come down to where I was

és a kisfőnököm néha odajött hozzám

really early in the morning or really late in the afternoon,

nagyon korán reggel vagy nagyon késő délután,

és azt mondta: „Zeynep, menjünk ebédelni!”

and she'd say, "Zeynep, let's go to lunch!"

I'd be puzzled by the weird timing.

Meglepett a fura időzítés.

It's 4pm. Lunch?

Délután négykor ebédeljünk?

Le voltam égve, ingyenes az ebéd... Mindig vele mentem.

I was broke, so free lunch. I always went.

I later realized what was happening.

Később rájöttem, mi történt.

My immediate managers had not confessed to their higher-ups

Kisfőnökeim nem vallották be feletteseiknek,

that the programmer they hired for a serious job was a teen girl

hogy a komoly munkára felvett programozó egy tinilány,

who wore jeans and sneakers to work.

aki farmerben és surranóban jár munkába.

Jól dolgoztam, de nem néztem ki elég jól,

I was doing a good job, I just looked wrong

and was the wrong age and gender.

nem felelt meg a korom és a nemem.

Ezért egy nemtől és rassztól független felvétel

So hiring in a gender- and race-blind way

certainly sounds good to me.

jól hangzik nekem.

De elmondom, hogy e rendszerekkel a helyzet ennél miért bonyolultabb,

But with these systems, it is more complicated, and here's why:

Currently, computational systems can infer all sorts of things about you

Ma már a számítógép-rendszerek mindenfélét ki tudnak következtetni rólunk

from your digital crumbs,

a digitális morzsáinkból,

even if you have not disclosed those things.

még akkor is, ha nem hoztuk nyilvánosságra őket.

They can infer your sexual orientation,

Ki tudják következtetni nemi orientációnkat,

your personality traits,

személyiségjegyeinket,

your political leanings.

politikai szimpátiáinkat.

They have predictive power with high levels of accuracy.

Előrejelző erejük nagy fokú pontossággal párosul.

Remember -- for things you haven't even disclosed.

Figyelem: olyan dolgokról, amelyeket nem is közöltünk.

This is inference.

Ez a kikövetkeztetés.

I have a friend who developed such computational systems

Egyik barátnőm olyan számítógépes rendszereket fejlesztett,

to predict the likelihood of clinical or postpartum depression

amelyek előrejelzik a szülés utáni vagy a súlyos depresszió valószínűségét

from social media data.

a közösségi média adataiból.

The results are impressive.

Az eredmények lenyűgözőek.

Her system can predict the likelihood of depression

Rendszere előrejelzi a depresszió valószínűségét

months before the onset of any symptoms --

hónapokkal a tünetek megjelenése előtt.

months before.

Hónapokkal előtte!

No symptoms, there's prediction.

Nincs még tünet, de előrejelzés már van.

She hopes it will be used for early intervention. Great!

Barátnőm reméli, hogy felhasználják majd a korai beavatkozáshoz. Nagyszerű!

But now put this in the context of hiring.

De nézzük ezt a felvételi szempontjából!

Az említett humánerőforrás-konferencián

So at this human resources managers conference,

odamentem az egyik óriási cég magas rangú vezetőjéhez,

I approached a high-level manager in a very large company,

and I said to her, "Look, what if, unbeknownst to you,

és megkérdeztem tőle: „M van, ha az ön tudta nélkül

your system is weeding out people with high future likelihood of depression?

rendszerük kiszűri azokat,

akiknél a depresszió jövőbeni valószínűsége nagy?

They're not depressed now, just maybe in the future, more likely.

What if it's weeding out women more likely to be pregnant

Mi van, ha kiszűri azokat, akik egy-két éven belül

valószínűleg teherbe esnek, de most nem terhesek?

in the next year or two but aren't pregnant now?

What if it's hiring aggressive people because that's your workplace culture?"

Mi van, ha agresszív embereket vesz fel, mert a munkahelyi kultúrába beleillenek?"

Ez nem derül ki a nemek szerinti bontásból.

You can't tell this by looking at gender breakdowns.

Those may be balanced.

Az lehet, hogy rendben van.

And since this is machine learning, not traditional coding,

Mivel ez gépi tanulás, nem hagyományos kódolás,

there is no variable there labeled "higher risk of depression,"

nincs „magas depressziókockázat”,

"higher risk of pregnancy,"

„magas terhességi kockázat”,

"aggressive guy scale."

„agresszív pasi skála” nevű változó.

Not only do you not know what your system is selecting on,

Nemcsak azt nem tudjuk, mi alapján választ a rendszer,

you don't even know where to begin to look.

hanem azt sem, hol kezd el keresni.

Ez egy fekete doboz.

It's a black box.

It has predictive power, but you don't understand it.

Előrejelző ereje van, de nem értjük.

"What safeguards," I asked, "do you have

„Mi a biztosíték rá – kérdeztem,

to make sure that your black box isn't doing something shady?"

hogy a fekete doboz nem csinál valami kétes dolgot?”

She looked at me as if I had just stepped on 10 puppy tails.

Úgy nézett rám, mintha megöltem volna a tanácselnököt.

(Laughter)

(Nevetés)

Bámult rám, majd azt mondta:

She stared at me and she said,

"I don't want to hear another word about this."

„Nem akarok erről hallani többet egy szót sem”.

And she turned around and walked away.

Sarkon fordult, és elment.

Megjegyezném: nem volt durva.

Mind you -- she wasn't rude.

It was clearly: what I don't know isn't my problem, go away, death stare.

Világos volt: amiről nem tudok, az nem az én problémám, lelépek, bután nézek.

(Laughter)

(Nevetés)

Look, such a system may even be less biased

Egy ilyen rendszer, lehet, hogy kevésbé részrehajló,

than human managers in some ways.

mint bizonyos esetekben az ügyintézők.

And it could make monetary sense.

Pénzügyileg megérheti.

But it could also lead

De ahhoz vezethet,

to a steady but stealthy shutting out of the job market

hogy folyamatosan és alattomosan kizárja a munkaerőpiacról

a magas depressziókockázatúakat.

of people with higher risk of depression.

Is this the kind of society we want to build,

Ilyenfajta társadalmat akarunk építeni,

without even knowing we've done this,

még ha tudtunkon kívül is,

because we turned decision-making to machines we don't totally understand?

csak mert olyan gépeknek adtuk át a döntéshozatalt, amelyeket nem is értünk?

Another problem is this:

Egy másik nehézség:

these systems are often trained on data generated by our actions,

a rendszerek tanítása gyakran tetteinkből létrehozott adatokkal,

human imprints.

emberi lenyomatokkal történik.

Well, they could just be reflecting our biases,

Lehet, hogy ezek tükrözik részrehajlásunkat,

és a rendszerek eltanulják őket,

and these systems could be picking up on our biases

and amplifying them

felerősítik,

and showing them back to us,

és visszatükrözik nekünk,

while we're telling ourselves,

miközben azt mondjuk magunknak

"We're just doing objective, neutral computation."

„Mi csak objektív, semleges számítástechnikát gyakorlunk.”

Researchers found that on Google,

Kutatók kimutatták, hogy a Google nőknek kisebb valószínűséggel mutat

jól fizetett állásokról szóló hirdetéseket, mint férfiaknak.

women are less likely than men to be shown job ads for high-paying jobs.

And searching for African-American names

Ha afroamerikai nevekre keresünk,

gyakrabban hoz fel büntetett előéletet sejtető reklámokat,

is more likely to bring up ads suggesting criminal history,

even when there is none.

akkor is, ha nincs ilyenről szó.

Such hidden biases and black-box algorithms

Az ilyen rejtett részrehajlásokat és „fekete doboz” algoritmusokat

that researchers uncover sometimes but sometimes we don't know,

olykor felfedik a kutatók, de néha nem tudunk róluk,

can have life-altering consequences.

pedig következményeik megváltoztathatják az életet.

In Wisconsin, a defendant was sentenced to six years in prison

Wisconsinban egy vádlottat hat év börtönre ítéltek,

mert kijátszotta a rendőröket.

for evading the police.

You may not know this,

Tán nem tudják: szabadlábra helyezési

but algorithms are increasingly used in parole and sentencing decisions.

és büntetési döntésekhez egyre gyakrabban használnak algoritmust.

Ez az ember meg akarta tudni, hogyan számítják a pontszámot.

He wanted to know: How is this score calculated?

It's a commercial black box.

Ez egy kereskedelmi fekete doboz.

The company refused to have its algorithm be challenged in open court.

A cég visszautasította, hogy nyilvános bíróság elé vigyék az algoritmusát.

But ProPublica, an investigative nonprofit, audited that very algorithm

De a ProPublica nonprofit nyomozó szervezet auditálta az algoritmust

with what public data they could find,

a hozzáférhető nyilvános adatokkal,

and found that its outcomes were biased

és az eredményeket részrehajlónak találta,

and its predictive power was dismal, barely better than chance,

az előrejelző képességét pedig pocséknak, alig jobbnak a véletlennél,

and it was wrongly labeling black defendants as future criminals

kétszer olyan gyakran jelölte hibásan leendő bűnözőnek a fekete,

at twice the rate of white defendants.

mint a fehér elítélteket.

So, consider this case:

Vegyünk egy másik esetet:

egy nőnek el kellett hoznia keresztlányát

This woman was late picking up her godsister

from a school in Broward County, Florida,

az iskolából a floridai Broward megyében.

running down the street with a friend of hers.

Késésben volt, rohant az utcán a barátnőjével.

Egy tornácon lezáratlan gyerekbiciklit és rollert láttak meg,

They spotted an unlocked kid's bike and a scooter on a porch

and foolishly jumped on it.

meggondolatlanul felugrottak rá.

As they were speeding off, a woman came out and said,

Ahogy elhajtottak, kijött egy nő, s azt kiáltotta:

"Hey! That's my kid's bike!"

„Hé! Az a gyerek biciklije!”

They dropped it, they walked away, but they were arrested.

Eldobták, továbbmentek, de letartóztatták őket.

Rosszat tett, őrültség volt, de csak 18 éves volt.

She was wrong, she was foolish, but she was also just 18.

She had a couple of juvenile misdemeanors.

Volt néhány fiatalkori kihágása.

Meanwhile, that man had been arrested for shoplifting in Home Depot --

Ugyanakkor letartóztattak egy férfit 85 dollár értékű áruházi lopásért,

ez egy hasonló kisebb vétség.

85 dollars' worth of stuff, a similar petty crime.

But he had two prior armed robbery convictions.

Volt viszont két korábbi ítélete fegyveres rablásért.

But the algorithm scored her as high risk, and not him.

Az algoritmus mégis a nőt értékelte magas kockázatúnak, nem a férfit.

Two years later, ProPublica found that she had not reoffended.

Két évvel később a ProPublica azt találta, hogy a nő nem követett el új vétséget.

It was just hard to get a job for her with her record.

Csak nehéz volt munkát találnia a priusza miatt.

He, on the other hand, did reoffend

A férfi viszont visszaeső volt,

and is now serving an eight-year prison term for a later crime.

és most nyolcéves büntetését tölti egy későbbi bűncselekmény miatt.

Világos, hogy auditálnunk kell a fekete dobozainkat,

Clearly, we need to audit our black boxes

and not have them have this kind of unchecked power.

s nem engedhetjük, hogy ilyen korlátlan hatalmuk legyen.

(Taps)

(Applause)

Az auditok nagyszerűek és fontosak, de nem oldják meg minden gondunkat.

Audits are great and important, but they don't solve all our problems.

Take Facebook's powerful news feed algorithm --

Vegyük a Facebook hatásos hírválogató algoritmusát,

azt, amelyik mindent sorba rak, és eldönti, mit mutasson meg nekünk

you know, the one that ranks everything and decides what to show you

from all the friends and pages you follow.

az összes követett ismerős és oldal közül.

Should you be shown another baby picture?

Mutasson még egy kisbabás képet?

(Laughter)

(Nevetés)

A sullen note from an acquaintance?

Egy ismerős morcos megjegyzését?

An important but difficult news item?

Egy fontos, de fajsúlyos hírt?

There's no right answer.

Nincs helyes válasz.

Facebook optimizes for engagement on the site:

A Facebook az oldalon zajló tevékenységre optimalizál:

likes, shares, comments.

lájk, megosztás, komment.

2014 augusztusában

In August of 2014,

protests broke out in Ferguson, Missouri,

tüntetések törtek ki a Missouribeli Fergusonban,

after the killing of an African-American teenager by a white police officer,

miután egy fehér rendőr lelőtt egy afroamerikai tinédzsert,

gyanús körülmények között.

under murky circumstances.

The news of the protests was all over

Tele volt a tüntetések híreivel

az algoritmussal nem szűrt Twitter-fiókom,

my algorithmically unfiltered Twitter feed,

but nowhere on my Facebook.

de a Facebookon nem volt semmi.

Was it my Facebook friends?

A Facebook-ismerőseim az oka?

I disabled Facebook's algorithm,

Kikapcsoltam a Facebook algoritmusát,

which is hard because Facebook keeps wanting to make you

ami nehéz, mert a Facebook azt akarja,

come under the algorithm's control,

hogy az algoritmus irányítson minket.

and saw that my friends were talking about it.

Láttam, hogy az ismerőseim beszélgetnek róla.

It's just that the algorithm wasn't showing it to me.

Csakhogy az algoritmus azt nem mutatta meg nekem.

I researched this and found this was a widespread problem.

Kutattam utána, és azt találtam, hogy ez egy elterjedt probléma.

The story of Ferguson wasn't algorithm-friendly.

A fergusoni sztori nem volt szimpatikus az algoritmusnak.

Nem lájkolható.

It's not "likable."

Who's going to click on "like?"

Ki fog a lájkra kattintani?

It's not even easy to comment on.

Még kommentelni sem könnyű.

Without likes and comments,

Lájkok és kommentek nélkül

az algoritmus egyre kisebb valószínűséggel mutatta egyre kevesebbeknek,

the algorithm was likely showing it to even fewer people,

so we didn't get to see this.

így nem láthattuk meg.

Instead, that week,

Ehelyett azon a héten

Facebook's algorithm highlighted this,

a Facebook algoritmusa előtérbe helyezte

which is the ALS Ice Bucket Challenge.

az ALS jeges vödör kihívást.

Worthy cause; dump ice water, donate to charity, fine.

Nemes cél: önts magadra jeges vizet, és adakozz; rendben.

But it was super algorithm-friendly.

Ez szimpatikus volt az algoritmusnak.

The machine made this decision for us.

A gép ezt helyettünk döntötte el.

A very important but difficult conversation

Egy igen fontos, de nehéz beszélgetést

might have been smothered,

fojtott volna el,

had Facebook been the only channel.

ha a Facebook lett volna az egyetlen csatorna.

S végül, e rendszerek úgy is hibázhatnak,

Now, finally, these systems can also be wrong

in ways that don't resemble human systems.

ami nem hasonlít az emberi rendszerekre.

Do you guys remember Watson, IBM's machine-intelligence system

Emlékeznek a Watsonra, az IBM gépi intelligencia rendszerére,

that wiped the floor with human contestants on Jeopardy?

amelyik felmosta a padlót a "Mindent vagy semmit" kvíz versenyzőivel?

Nagyszerű játékos volt.

It was a great player.

But then, for Final Jeopardy, Watson was asked this question:

De az utolsó fordulóban a következő kérdést tették fel a Watsonnak:

"Its largest airport is named for a World War II hero,

„Legnagyobb repterét egy II. világháborús hősről nevezték el,

its second-largest for a World War II battle."

a másodikat egy II. világháborús csatáról.”

(Hums Final Jeopardy music)

(Dúdolja a kvíz zenéjét)

Chicago.

Chicago.

The two humans got it right.

A két ember eltalálta.

Watson, on the other hand, answered "Toronto" --

A Watson válasza viszont Toronto volt –

az USA-város kategóriában!

for a US city category!

The impressive system also made an error

A lenyűgöző rendszer olyan hibát ejtett,

that a human would never make, a second-grader wouldn't make.

amilyet ember sosem tenne, egy másodikos gyerek sem.

Our machine intelligence can fail

A gépi intelligenciánk

in ways that don't fit error patterns of humans,

olyan módon hibázhat, ami nem hasonlít az emberi hibamintákra,

olyan módon, amire nem számítunk, nem vagyunk rá felkészülve.

in ways we won't expect and be prepared for.

Ronda dolog lenne lemaradni egy munkáról, amire megvan a képesítésünk,

It'd be lousy not to get a job one is qualified for,

but it would triple suck if it was because of stack overflow

de háromszoros szívás lenne,

ha ezt egy szubrutinban túlcsordult verem okozná.

in some subroutine.

(Laughter)

(Nevetés)

In May of 2010,

2010 májusában

a flash crash on Wall Street fueled by a feedback loop

a Wall Street villámkrachja, amit a tőzsdei „eladási” algoritmus

in Wall Street's "sell" algorithm

visszacsatolási hurka okozott,

wiped a trillion dollars of value in 36 minutes.

egybillió dollárnyi értéket tett semmivé 36 perc alatt.

I don't even want to think what "error" means

Bele sem akarok gondolni, mit jelent a „hiba”

in the context of lethal autonomous weapons.

az autonóm halálos fegyverekkel összefüggésben.

So yes, humans have always made biases.

Igen, az emberek mindig részrehajlók voltak.

Decision makers and gatekeepers,

Döntéshozók és kapuőrök

in courts, in news, in war ...

a bíróságokon, hírekben, háborúban...

they make mistakes; but that's exactly my point.

hibáznak; de éppen erről beszélek.

We cannot escape these difficult questions.

Nem szabadulhatunk meg e fogós kérdésektől.

We cannot outsource our responsibilities to machines.

Nem szervezhetjük ki felelősségünket gépekbe.

(Applause)

(Taps)

A mesterséges intelligencia nem ment föl az etikus gondolkodás alól.

Artificial intelligence does not give us a "Get out of ethics free" card.

Data scientist Fred Benenson calls this math-washing.

Fred Benenson adatkutató „math-washing”-nak nevezi ezt.

Az ellenkezője szükséges.

We need the opposite.

We need to cultivate algorithm suspicion, scrutiny and investigation.

Gyanakodnunk kell az algoritmusokra, és vizsgálnunk kell őket.

We need to make sure we have algorithmic accountability,

Gondoskodnunk kell róla, hogy az algoritmusok számon kérhetők,

auditing and meaningful transparency.

auditálhatók és észszerűen átláthatók legyenek.

We need to accept that bringing math and computation

El kell fogadnunk, hogy a matek és az informatika bevonása

to messy, value-laden human affairs

a zavaros, értékeket hordozó emberi viszonyokba

does not bring objectivity;

nem eredményez objektivitást;

ehelyett az emberi viszonyok komplexitása átitatja az algoritmust.

rather, the complexity of human affairs invades the algorithms.

Igen, lehet és kell használnunk az informatikát,

Yes, we can and we should use computation

to help us make better decisions.

hogy segítsen jobb döntéseket hozni.

But we have to own up to our moral responsibility to judgment,

De ítéleteinkért az erkölcsi felelősséget nekünk kell viselnünk,

és az algoritmusokat azon keretek között kell használnunk,

and use algorithms within that framework,

not as a means to abdicate and outsource our responsibilities

nem pedig arra, hogy lemondjunk az egymás iránti felelősségünkről,

to one another as human to human.

és azt kiszervezzük.

Machine intelligence is here.

A gépi intelligencia megérkezett.

That means we must hold on ever tighter

Ez azt jelenti, hogy még szigorúbban kell ragaszkodnunk

to human values and human ethics.

az emberi értékekhez és etikához.

Köszönöm.

Thank you.

(Applause)

(Taps) (Üdvrivalgás)