Machine intelligence makes human morals more important | Zeynep Tufekci

Tłumaczenie: Anna Kowalczyk Korekta: Marta Rytwinska

So, I started my first job as a computer programmer

Zaczęłam pracować jako programistka na pierwszym roku studiów,

in my very first year of college --

basically, as a teenager.

jeszcze jako nastolatka.

Soon after I started working,

Niedługo później zaczęłam pracować dla firmy tworzącej oprogramowania.

writing software in a company,

a manager who worked at the company came down to where I was,

Pewnego razu jeden z managerów podszedł do mnie i wyszeptał:

and he whispered to me,

"Czy on wie kiedy kłamię?".

"Can he tell if I'm lying?"

There was nobody else in the room.

Byliśmy sami w pokoju.

"Niby kto ma wiedzieć kiedy kłamiesz?

"Can who tell if you're lying? And why are we whispering?"

I dlaczego szepczemy?"

The manager pointed at the computer in the room.

Manager wskazał na komputer.

"Can he tell if I'm lying?"

"Czy on wie kiedy kłamię?"

Well, that manager was having an affair with the receptionist.

Ten menadżer miał romans z recepcjonistką.

(Laughter)

(Śmiech)

And I was still a teenager.

Byłam nastolatką, więc odkrzyknęłam szeptem:

So I whisper-shouted back to him,

"Yes, the computer can tell if you're lying."

"Tak, komputer wie kiedy kłamiesz!".

(Laughter)

(Śmiech)

Well, I laughed, but actually, the laugh's on me.

Wtedy się z tego śmiałam, ale teraz można śmiać się ze mnie.

Nowadays, there are computational systems

Obecnie istnieją programy, które potrafią ropoznawać

that can suss out emotional states and even lying

stany emocjonalne i kłamstwo na podstawie zdjęć twarzy.

from processing human faces.

Spece od marketingu i organy rządowe wyrażają zainteresowanie.

Advertisers and even governments are very interested.

Zostałam programistką, bo od dziecka uwielbiałam matematykę i naukę.

I had become a computer programmer

because I was one of those kids crazy about math and science.

Dowiedziawszy się o broni jądrowej, przejęłam się kwestią etyki w nauce.

But somewhere along the line I'd learned about nuclear weapons,

and I'd gotten really concerned with the ethics of science.

Byłam w kropce.

I was troubled.

However, because of family circumstances,

Ze względu na sytuację rodzinną musiałam jak najszybciej zacząć pracować.

I also needed to start working as soon as possible.

So I thought to myself, hey, let me pick a technical field

Pomyślałam, że wybiorę dziedzinę, w której łatwo znajdę pracę

where I can get a job easily

and where I don't have to deal with any troublesome questions of ethics.

i nie będę musiała myśleć o zawiłych kwestiach etycznych.

Wybrałam informatykę.

So I picked computers.

(Laughter)

(Śmiech)

Well, ha, ha, ha! All the laughs are on me.

Ha, ha, ha. Można się ze mnie nabijać.

Programiści tworzą platformy, które kontrolują to,

Nowadays, computer scientists are building platforms

that control what a billion people see every day.

co każdego dnia widzą miliardy ludzi.

Tworzą samochody, mogące zdecydować, kogo przejechać.

They're developing cars that could decide who to run over.

Tworzą nawet broń mechaniczną, która mogłaby być użyta w czasie wojny.

They're even building machines, weapons,

that might kill human beings in war.

To są od początku do końca kwestie etyczne.

It's ethics all the way down.

Sztuczna inteligencja to rzeczywistość.

Machine intelligence is here.

We're now using computation to make all sort of decisions,

Korzystamy z obliczeń komputerowych do podejmowania różnych decyzji,

but also new kinds of decisions.

również decyzji nowego rodzaju.

Próbujemy z pomocą komputerów, uzyskać odpowiedzi na pytania,

We're asking questions to computation that have no single right answers,

na które nie ma jednej dobrej odpowiedzi,

that are subjective

które są subiektywne, otwarte i wartościujące.

and open-ended and value-laden.

Pytamy: "Kogo powinno się zatrudnić?

We're asking questions like,

"Who should the company hire?"

Który i czyj post dana osoba powinna zobaczyć?

"Which update from which friend should you be shown?"

"Which convict is more likely to reoffend?"

Który skazaniec prawdopodobnie popełni kolejne przestępstwo?

"Which news item or movie should be recommended to people?"

Jaka informacja lub film powinny być zarekomendowane widowni?".

Look, yes, we've been using computers for a while,

Używamy komputerów od lat, ale to są kwestie innego rodzaju.

but this is different.

This is a historical twist,

To jest historyczna zmiana,

because we cannot anchor computation for such subjective decisions

bo nie możemy powiązać obliczeń z tak subiektywnymi kwestiami,

the way we can anchor computation for flying airplanes, building bridges,

w taki sam sposób gdy w grę wchodzi

latanie samolotami, budowa mostów i wyprawy na Księżyc.

going to the moon.

Czy samoloty są bezpieczniejsze?

Are airplanes safer? Did the bridge sway and fall?

Czy mosty chwieją się i walą?

There, we have agreed-upon, fairly clear benchmarks,

Dla takich spraw mamy jasne standardy i prawa natury, które wskazują drogę.

and we have laws of nature to guide us.

We have no such anchors and benchmarks

Nie mamy takich standardów dla decyzji w pogmatwanych ludzkich sprawach.

for decisions in messy human affairs.

To make things more complicated, our software is getting more powerful,

Tymczasem, oprogramowanie staje się coraz potężniejsze,

but it's also getting less transparent and more complex.

ale również coraz mniej przejrzyste i bardziej złożone.

W ciągu ostatnich dziesięcioleci skomplikowane algorytmy

Recently, in the past decade,

complex algorithms have made great strides.

dokonały milowego kroku do przodu.

They can recognize human faces.

Potrafią rozpoznawać twarze,

They can decipher handwriting.

odczytywać odręczne pismo,

wykrywać kradzieże na kartach kredytowych,

They can detect credit card fraud

and block spam

blokować spam, tłumaczyć teksty,

and they can translate between languages.

They can detect tumors in medical imaging.

wykryć guz w obrazowaniu medycznym

They can beat humans in chess and Go.

i pokonać człowieka w szachy.

Much of this progress comes from a method called "machine learning."

Większą część tego postępu zawdzięczamy metodzie

zwanej "samouczeniem maszyn".

Machine learning is different than traditional programming,

Samouczenie maszyn różni się od klasycznego programowania,

where you give the computer detailed, exact, painstaking instructions.

w którym wydaje się komputerowi dokładną i szczegółową instrunkcję.

Polega bardziej na wprowadzaniu dużej ilości danych do systemu,

It's more like you take the system and you feed it lots of data,

including unstructured data,

również danych przypadkowych, takich jakie generujemy w sieci.

like the kind we generate in our digital lives.

System uczy się, przedzierając się przez te dane.

And the system learns by churning through this data.

And also, crucially,

Najistotniejszy jest fakt, że te systemy

these systems don't operate under a single-answer logic.

nie pracują zgodnie z logiką jednoznacznych odpowiedzi.

They don't produce a simple answer; it's more probabilistic:

Nie dają prostej odpowiedzi, tylko określają prawdopodobieństwo:

"This one is probably more like what you're looking for."

"To jest być może bardziej podobne, do tego czego szukasz".

Plusem jest to, że ta metoda ma bardzo duży potencjał.

Now, the upside is: this method is really powerful.

Szef systemów sztucznej inteligencji Google

The head of Google's AI systems called it,

nazwał tę metodę "nieuzasadnioną skutecznością danych".

"the unreasonable effectiveness of data."

The downside is,

Minusem jest to, że nie rozumiemy, czego nauczył się system

we don't really understand what the system learned.

In fact, that's its power.

i to właśnie stanowi jego siłę.

This is less like giving instructions to a computer;

To nie przypomina wydawania instrukcji komputerowi.

Przypomina raczej trenowanie mechanicznego szczeniaczka,

it's more like training a puppy-machine-creature

którego nie rozumiemy i nie potrafimy kontrolować.

we don't really understand or control.

So this is our problem.

I to jest problem.

It's a problem when this artificial intelligence system gets things wrong.

Problem pojawia się, gdy ta sztuczna inteligencja się myli.

Problem pojawia się również wtedy, gdy ma rację,

It's also a problem when it gets things right,

because we don't even know which is which when it's a subjective problem.

ponieważ nie umiemy tego rozróżnić w przypadku subiektywnej kwestii.

We don't know what this thing is thinking.

Nie mamy pojęcia, co ten system sobie myśli.

So, consider a hiring algorithm --

Rozważmy algorytm odpowiedzialny za rekrutację pracowników.

a system used to hire people, using machine-learning systems.

Algorytm rekrutujący oparty na metodzie samouczenia się maszyn.

Such a system would have been trained on previous employees' data

Taki system byłby oparty na danych pracowników danej firmy

and instructed to find and hire

i miałby zatrudniać ludzi o takim profilu jak obecni najwydajniejsi pracownicy.

people like the existing high performers in the company.

Sounds good.

Brzmi nieźle.

I once attended a conference

Byłam raz na konferencji, na której obecne były także osoby

that brought together human resources managers and executives,

zajmujące się rekrutacją, managerowie i dyrektorzy używający takich systemów.

high-level people,

using such systems in hiring.

They were super excited.

Wszyscy byli zachwyceni.

They thought that this would make hiring more objective, less biased,

Sądzili, że dzięki temu zatrudnianie stanie się bardziej obiektywne,

mniej tendencyjne i gwarantujące kobietom i przedstawicielom mniejszości

and give women and minorities a better shot

większe szanse zatrudnienia wobec tendencyjnych decyzji managerów.

against biased human managers.

And look -- human hiring is biased.

Ludzkie decyzje dotyczące zatrudnienia są stronnicze.

I know.

W jednej z moich pierwszych prac, moja bezpośrednia przełożona

I mean, in one of my early jobs as a programmer,

my immediate manager would sometimes come down to where I was

czasem przychodziła do mnie bardzo wcześnie rano

really early in the morning or really late in the afternoon,

lub bardzo późnym popołudniem i mówiła: "Chodźmy na lunch!".

and she'd say, "Zeynep, let's go to lunch!"

Byłam zaskoczona dziwną porą,

I'd be puzzled by the weird timing.

It's 4pm. Lunch?

ale byłam też spłukana, więc zawsze się zgadzałam.

I was broke, so free lunch. I always went.

I later realized what was happening.

Później zorientowałam się o co chodziło.

My immediate managers had not confessed to their higher-ups

Moi bezpośredni przełożeni nie przyznali się swoim szefom,

że do poważnej roboty zatrudnili programistę-nastolatkę,

that the programmer they hired for a serious job was a teen girl

who wore jeans and sneakers to work.

noszącą jeansy i trampki do pracy.

Robiłam dobrą robotę, ale wyglądałam nie tak,

I was doing a good job, I just looked wrong

and was the wrong age and gender.

byłam w nieodpowiednim wieku i nieodpowiedniej płci.

So hiring in a gender- and race-blind way

Popieram zatrudnianie bez uwzględniania płci czy rasy.

certainly sounds good to me.

Ale w przypadku tych systemów to wszystko jest bardziej skomplikowane.

But with these systems, it is more complicated, and here's why:

Currently, computational systems can infer all sorts of things about you

Obecnie, te systemy mogą wyciągnąć wiele wniosków

na podstawie strzępów elektronicznej informacji,

from your digital crumbs,

even if you have not disclosed those things.

nawet jeśli te informacje nie są jawne.

They can infer your sexual orientation,

Mogą wnioskować na temat orientacji seksualnej,

your personality traits,

cech osobowości, przekonań politycznych.

your political leanings.

They have predictive power with high levels of accuracy.

Te przewidywania są niezwykle trafne.

Remember -- for things you haven't even disclosed.

Pamiętajcie - te przewidywania dotyczą spraw, których nawet nie ujawniliście.

This is inference.

I have a friend who developed such computational systems

Moja przyjaciółka stworzyła system tego rodzaju, aby przewidywać

to predict the likelihood of clinical or postpartum depression

prawdopodobieństwo zapadnięcia na depresję kliniczną lub poporodową

na podstawie danych zaczerpniętych z serwisów społecznościowych.

from social media data.

The results are impressive.

Wyniki są imponujące.

Her system can predict the likelihood of depression

Jej system potrafi przewidzieć prawdopodobieństwo

wystąpienia depresji miesiące przed wystąpieniem jakichkolwiek objawów.

months before the onset of any symptoms --

months before.

Miesiące przed. Nie ma objawów, jest przewidywanie.

No symptoms, there's prediction.

She hopes it will be used for early intervention. Great!

Moja przyjaciółka ma nadzieję, że system posłuży wczesnemu leczeniu.

Wspaniale.

But now put this in the context of hiring.

Ale spójrzmy na to w kontekście zatrudniania.

Na tamtej konferencji podeszłam do jednej wysokopostawionej managerki

So at this human resources managers conference,

I approached a high-level manager in a very large company,

pracującej dla jednej z wielkich firm i powiedziałam:

and I said to her, "Look, what if, unbeknownst to you,

"Co jeśli twój system za twoimi plecami wyklucza osoby

your system is weeding out people with high future likelihood of depression?

o większym prawdopodobieństwie zachorowania na depresję?

Nie mają depresji teraz, ale być może w przyszłości.

They're not depressed now, just maybe in the future, more likely.

What if it's weeding out women more likely to be pregnant

Co jeśli wyklucza kobiety, które prawdopodobnie za rok lub dwa

in the next year or two but aren't pregnant now?

mogą być w ciąży, ale teraz nie są?

What if it's hiring aggressive people because that's your workplace culture?"

Co jeśli zatrudnia osoby agresywne,

bo to odpowiada kulturze pracy w waszej firmie?".

Nie można tego stwierdzić patrząc na zestawienia pracowników

You can't tell this by looking at gender breakdowns.

Those may be balanced.

pod względem płci; te mogą się równoważyć.

And since this is machine learning, not traditional coding,

Ponieważ to jest uczenie maszynowe a nie klasyczne programowanie,

there is no variable there labeled "higher risk of depression,"

nie ma zmiennych podpisanych: "depresja" "ciąża" lub "wysoki poziom agresji".

"higher risk of pregnancy,"

"aggressive guy scale."

Not only do you not know what your system is selecting on,

Nie znasz kryteriów, na podstawie których twój system dokonuje wyboru.

you don't even know where to begin to look.

Nie wiesz nawet gdzie zacząć ich szukać.

To jest technologia czarnej skrzynki.

It's a black box.

It has predictive power, but you don't understand it.

Potrafi przewidywać, ale nie rozumiesz jak działa.

"What safeguards," I asked, "do you have

"Jakie masz zabezpieczenia, żeby upewnić się,

to make sure that your black box isn't doing something shady?"

że twoja czarna skrzynka nie robi czegoś podejrzanego?"

Spojrzała na mnie jakbym nadepnęła na ogon szczeniaczkowi.

She looked at me as if I had just stepped on 10 puppy tails.

(Laughter)

(Śmiech)

Popatrzyła na mnie i powiedziała: "Ani słowa więcej".

She stared at me and she said,

"I don't want to hear another word about this."

And she turned around and walked away.

Odwróciła się i odeszła.

Uwaga - nie była niegrzeczna.

Mind you -- she wasn't rude.

It was clearly: what I don't know isn't my problem, go away, death stare.

Ewidentnie chciała powiedzieć:

"Jeśli o czymś nie wiem, to nie jest mój problem, odejdź".

Na odchodne rzuciła mordercze spojrzenie.

(Laughter)

Look, such a system may even be less biased

(Śmiech)

Takie systemy mogą być mniej stronnicze niż managerowie.

than human managers in some ways.

And it could make monetary sense.

Mogą być również opłacalne.

But it could also lead

Ale mogą też prowadzić do stopniowego i niepostrzeżonego zamykania

to a steady but stealthy shutting out of the job market

rynku pracy dla osób z większym ryzykiem zachorowań na depresję.

of people with higher risk of depression.

Is this the kind of society we want to build,

Czy takie społeczeństwo chcemy budować, nie wiedząc nawet o tym, że to robimy,

without even knowing we've done this,

because we turned decision-making to machines we don't totally understand?

bo powierzamy proces decyzyjny systemom,

których do końca nie rozumiemy?

Another problem is this:

Kolejny problem: te systemy pracują na danych opartych na ludzkich działaniach

these systems are often trained on data generated by our actions,

human imprints.

Well, they could just be reflecting our biases,

Mogą po prostu odzwierciedlać nasze własne uprzedzenia,

wzmacniać je i zwracać w postaci wyniku,

and these systems could be picking up on our biases

and amplifying them

and showing them back to us,

który będziemy interpretować jako obiektywne i neutralne obliczenia.

while we're telling ourselves,

"We're just doing objective, neutral computation."

Udowodniono, że wyszukiwarka Google

Researchers found that on Google,

rzadziej pokazuje kobietom dobrze płatne oferty pracy.

women are less likely than men to be shown job ads for high-paying jobs.

A wyszukiwanie afroamerykańskich nazwisk

And searching for African-American names

is more likely to bring up ads suggesting criminal history,

jest skorelowane z ogłoszeniami sugerującymi kryminalną przeszłość,

even when there is none.

nawet jeśli takowej nie ma.

Such hidden biases and black-box algorithms

Tego typu ukryte uprzedzenia i algorytmy typu czarnej skrzynki,

które czasem odkrywamy, a czasem nie,

that researchers uncover sometimes but sometimes we don't know,

mogą diametralnie wpływać na ludzkie życie.

can have life-altering consequences.

In Wisconsin, a defendant was sentenced to six years in prison

Pewien pozwany został skazany na 6 lat więzienia za ucieczkę przed policją.

for evading the police.

You may not know this,

Algorytmy są coraz częściej stosowane przy wydawaniu wyroków.

but algorithms are increasingly used in parole and sentencing decisions.

Mężczyzna chciał wiedzieć, jak ten wynik jest obliczany.

He wanted to know: How is this score calculated?

It's a commercial black box.

Używano komercyjnej czarnej skrzynki.

The company refused to have its algorithm be challenged in open court.

Firma, która ją sprzedaje,

sprzeciwiła się zweryfikowaniu algorytmu podczas otwartej rozprawy.

But ProPublica, an investigative nonprofit, audited that very algorithm

Śledcza organizacja non-profit, ProPublica, zweryfikowała ten algorytm

with what public data they could find,

na podstawie publicznie dostępnych danych i dowiodła,

and found that its outcomes were biased

że generowane przez niego wyniki były stronnicze,

and its predictive power was dismal, barely better than chance,

a jego moc przewidywania niewielka, niewiele lepsza od losowej,

and it was wrongly labeling black defendants as future criminals

a algorytm bezzasadnie wskazywał czarnoskórych oskarżonych

jako możliwych przyszłych przestępców dwukrotnie częściej niż białych.

at twice the rate of white defendants.

So, consider this case:

Kolejna sprawa: ta kobieta była spóźniona po odbiór chrześnicy ze szkoły.

This woman was late picking up her godsister

from a school in Broward County, Florida,

running down the street with a friend of hers.

Biegła ulicą w towarzystwie przyjaciela i na jednym z ganków zauważyli

They spotted an unlocked kid's bike and a scooter on a porch

niezapięty rowerek dziecięcy i hulajnogę, na które bezmyślnie wskoczyli.

and foolishly jumped on it.

As they were speeding off, a woman came out and said,

Gdy odjeżdżali, z domu wybiegła kobieta krzycząc: "To rowerek mojego dziecka!".

"Hey! That's my kid's bike!"

Zostawili rower i hulajnogę i odeszli, ale zostali aresztowani.

They dropped it, they walked away, but they were arrested.

Dziewczyna postąpiła głupio i źle, ale miała tylko 18 lat.

She was wrong, she was foolish, but she was also just 18.

She had a couple of juvenile misdemeanors.

Miała już na koncie kilka młodzieńczych wykroczeń.

Meanwhile, that man had been arrested for shoplifting in Home Depot --

W tym samym czasie aresztowano mężczyznę za kradzież towarów o wartości 85 dolarów,

85 dollars' worth of stuff, a similar petty crime.

równie niewielkie wykroczenie.

But he had two prior armed robbery convictions.

Ale on już wcześniej był dwukrotnie skazany za napad z bronią.

But the algorithm scored her as high risk, and not him.

Algorytm przypisał jej większe ryzyko ponownego popełnienia przestępstwa.

Two years later, ProPublica found that she had not reoffended.

Dwa lata później, ProPublica odkryła, że kobieta nie popełniła więcej wykroczeń,

miała tylko problemy ze znalezieniem pracy z taką historią wykroczeń.

It was just hard to get a job for her with her record.

He, on the other hand, did reoffend

Mężczyzna natomiast odsiadywał ośmioletni wyrok

and is now serving an eight-year prison term for a later crime.

za przestępstwo, którego dopuścił się ponownie.

Jest jasne, że musimy dokonywać rewizji czarnych skrzynek

Clearly, we need to audit our black boxes

and not have them have this kind of unchecked power.

i ograniczać ich niekontrolowaną władzę.

(Applause)

(Brawa)

Audits are great and important, but they don't solve all our problems.

Rewizje są dobre i potrzebne, ale nie rozwiążą wszystkich problemów.

Spójrzmy na algorytm Facebooka, który nadaje wszystkiemu jakąś wagę

Take Facebook's powerful news feed algorithm --

you know, the one that ranks everything and decides what to show you

i decyduje o tym, co powinniście zobaczyć

from all the friends and pages you follow.

spośród tego wszystkiego, co publikują wasi znajomi.

Should you be shown another baby picture?

Czy trzeba zobaczyć kolejne zdjęcie bobasa?

(Laughter)

(Śmiech)

A sullen note from an acquaintance?

Ponury post jednego ze znajomych?

Ważną i trudną informację?

An important but difficult news item?

Nie ma jednej dobrej odpowiedzi.

There's no right answer.

Facebook optimizes for engagement on the site:

Facebook ocenia liczbę reakcji: komentarze, udostępnienia, polubienia.

likes, shares, comments.

W sierpniu 2014 roku w Missouri wybuchł protest po śmierci

In August of 2014,

protests broke out in Ferguson, Missouri,

afroamerykańskiego nastolatka zabitego przez białego policjanta

after the killing of an African-American teenager by a white police officer,

w niejasnych okolicznościach.

under murky circumstances.

The news of the protests was all over

Wiadomości na ten temat zalały mój niefiltrowany profil na Tweeterze,

my algorithmically unfiltered Twitter feed,

but nowhere on my Facebook.

ale nie było ich na moim Facebooku.

Czyżby moi znajomi o tym nie rozmawiali?

Was it my Facebook friends?

I disabled Facebook's algorithm,

Zablokowałam algorytm Facebooka, co jest trudne,

which is hard because Facebook keeps wanting to make you

bo Facebook dąży do tego, żeby nas kontrolować

come under the algorithm's control,

i zobaczyłam, że przyjaciele rozmawiali o tej sprawie.

and saw that my friends were talking about it.

It's just that the algorithm wasn't showing it to me.

Po prostu ja tego nie widziałam, bo Facebook mi tego nie pokazywał.

I researched this and found this was a widespread problem.

Okazało się, że to rozległy problem.

The story of Ferguson wasn't algorithm-friendly.

Ta historia nie była wysoko oceniona przez algorytm.

Niełatwo ją "polubić".

It's not "likable."

Who's going to click on "like?"

It's not even easy to comment on.

Nie jest nawet łatwo ją skomentować.

Without likes and comments,

Bez lajków i komentarzy algorytm prawdopodobnie pokazywał

the algorithm was likely showing it to even fewer people,

tę informację coraz mniejszej ilości osób i dlatego jej nie widzieliśmy.

so we didn't get to see this.

Instead, that week,

Równocześnie algorytm Facebooka wypromował Ice Bucket Challenge.

Facebook's algorithm highlighted this,

which is the ALS Ice Bucket Challenge.

Szlachetna sprawa: oblej się zimną wodą, ofiaruj pieniądze, super.

Worthy cause; dump ice water, donate to charity, fine.

But it was super algorithm-friendly.

To było wysoko ocenione przez algorytm.

The machine made this decision for us.

Maszyna podjęła za nas decyzję.

A very important but difficult conversation

Bardzo ważna lecz trudna dyskusja mogła zostać wyciszona,

might have been smothered,

had Facebook been the only channel.

gdyby Facebook był jedynym medium.

Te systemy mogą się też mylić w sposób,

Now, finally, these systems can also be wrong

in ways that don't resemble human systems.

który nie przypomina ludzkich błędów.

Do you guys remember Watson, IBM's machine-intelligence system

Pamiętacie Watsona, system sztucznej inteligencji IBM,

that wiped the floor with human contestants on Jeopardy?

który zmiażdżył uczestników konkursu wiedzy Jeopardy?

It was a great player.

To był świetny gracz.

But then, for Final Jeopardy, Watson was asked this question:

Ale w finałowym odcinku padło pytanie:

"Its largest airport is named for a World War II hero,

"Największe lotnisko tego miasta nosi nazwę bohatera

its second-largest for a World War II battle."

drugiej co do wielkości bitwy podczas II wojny światowej".

(Hums Final Jeopardy music)

Chicago.

Chicago.

The two humans got it right.

Dwóch uczestników-ludzi odpowiedziało poprawnie.

Watson, on the other hand, answered "Toronto" --

Watson odpowiedział "Toronto" w kategorii dotyczącej miast w USA.

for a US city category!

Ten imponujący system zrobił błąd,

The impressive system also made an error

that a human would never make, a second-grader wouldn't make.

którego żaden człowiek by nie popełnił, nawet drugoklasista.

Sztuczna inteligencja może zawieść w sposób,

Our machine intelligence can fail

in ways that don't fit error patterns of humans,

który nie przypomina ludzkich pomyłek,

którego się nie spodziewamy, i na który nie będziemy gotowi.

in ways we won't expect and be prepared for.

It'd be lousy not to get a job one is qualified for,

Byłoby głupio nie dostać pracy, na którą się zasługuje,

but it would triple suck if it was because of stack overflow

ale byłoby potrójnie beznadziejnie, gdyby to się stało

z powodu nadmiaru danych w jakimś podprogramie.

in some subroutine.

(Laughter)

(Śmiech)

In May of 2010,

W maju 2010 roku krach giełdy na Wall Street

a flash crash on Wall Street fueled by a feedback loop

wzmocniony sprzężeniem zwrotnym algorytmu "sprzedaży"

in Wall Street's "sell" algorithm

doprowadził do zniknięcia trylionów dolarów w 36 minut.

wiped a trillion dollars of value in 36 minutes.

I don't even want to think what "error" means

Nie chcę nawet myśleć, co taka "pomyłka" oznaczałaby

in the context of lethal autonomous weapons.

w przypadku automatycznej broni śmiercionośnej.

So yes, humans have always made biases.

Tak, ludzie są stronniczy.

Decision makers and gatekeepers,

Ludzie podejmujący decyzje w sądach, mediach, na wojnie... popełniają błędy.

in courts, in news, in war ...

they make mistakes; but that's exactly my point.

Ale o tym właśnie mówię.

We cannot escape these difficult questions.

Nie możemy uciec od tych trudnych kwestii.

Nie możemy zrzucić naszej odpowiedzialności na maszyny.

We cannot outsource our responsibilities to machines.

(Applause)

(Brawa)

Artificial intelligence does not give us a "Get out of ethics free" card.

Sztuczna inteligencja nie zwalnia nas z myślenia etycznego.

Fred Benenson, specjalista od danych, nazywał to "matematycznym praniem mózgu".

Data scientist Fred Benenson calls this math-washing.

Potrzebujemy czegoś odwrotnego.

We need the opposite.

We need to cultivate algorithm suspicion, scrutiny and investigation.

Musimy rozwijać w sobie sceptycyzm wobec algorytmów

i daleko posuniętą ostrożność oraz dokładność w ich badaniu.

We need to make sure we have algorithmic accountability,

Musimy mieć pewność, że mamy algorytmiczną odpowiedzialność,

auditing and meaningful transparency.

rewizję i sensowną przejrzystość.

We need to accept that bringing math and computation

Musimy zaakceptować, że wprowadzenie matematyki i obliczeń

to messy, value-laden human affairs

do zawikłanych i wymagających wartościowania ludzkich spraw

does not bring objectivity;

nie wprowadza obiektywizacji.

rather, the complexity of human affairs invades the algorithms.

Przeciwnie: komplikacja ludzkich spraw

najedzie algorytmy.

Yes, we can and we should use computation

Można i trzeba korzystać z obliczeń,

to help us make better decisions.

aby móc podejmować lepsze decyzje.

But we have to own up to our moral responsibility to judgment,

Ale trzeba uznać moralną odpowiedzialność

za podejmowanie decyzji i używać algorytmów w jej granicach,

and use algorithms within that framework,

not as a means to abdicate and outsource our responsibilities

a nie jako środek do zrzeczenia się i odrzucenia tej odpowiedzialności.

to one another as human to human.

Machine intelligence is here.

Sztuczna inteligencja jest faktem.

That means we must hold on ever tighter

To oznacza, że tym mocniej musimy trzymać się ludzkich wartości i etyki.

to human values and human ethics.

Dziękuję

Thank you.

(Brawa)

(Applause)