Machine intelligence makes human morals more important | Zeynep Tufekci

Translator: Levan Lashauri Reviewer: Mate Kobalia

So, I started my first job as a computer programmer

ჩემი პირველი სამსახური პროგრამისტად დავიწყე.

in my very first year of college --

ეს იყო კოლეჯის პირველ წელს,

basically, as a teenager.

როცა ფაქტიურად თინეიჯერი ვიყავი.

Soon after I started working,

მუშაობის დაწყებიდან მალევე,

writing software in a company,

რაც კომპანიისთვის პროგრამების წერას გულისხმობდა,

a manager who worked at the company came down to where I was,

კომპანიაში მომუშავე მენეჯერი მოვიდა ჩემთან

and he whispered to me,

და ჩამჩურჩულა:

"Can he tell if I'm lying?"

"შეუძლია მას მიხვდეს, ვიტყუები თუ არა?"

There was nobody else in the room.

ოთახში მეტი არავინ იყო.

"ვის შეუძლია მიხვდეს? და რატომ ვჩურჩულებთ?"

"Can who tell if you're lying? And why are we whispering?"

The manager pointed at the computer in the room.

მენეჯერმა ოთახში მდგარ კომპიუტერზე მიმანიშნა.

"Can he tell if I'm lying?"

"შეუძლია მიხვდეს, რომ ვიტყუები?"

Well, that manager was having an affair with the receptionist.

ამ მენეჯერს მდივანთან რომანი ჰქონდა.

(Laughter)

(სიცილი)

მე ჯერ კიდევ თინეიჯერი ვიყავი

And I was still a teenager.

So I whisper-shouted back to him,

და ჩურჩულით დავუყვირე:

"Yes, the computer can tell if you're lying."

"დიახ, კომპიუტერს შეუძლია მიხვდეს, რომ იტყუებით"

(სიცილი)

(Laughter)

Well, I laughed, but actually, the laugh's on me.

მე კი ვიცინე, მაგრამ ახლა მე ვარ დასაცინი.

Nowadays, there are computational systems

დღესდღეობით არსებობს გამოთვლითი სისტემები,

that can suss out emotional states and even lying

რომლებსაც შეუძლიათ ადამიანის სახის დამუშავებით,

from processing human faces.

ემოციური მდგომარეობის და ტყუილის გამოცნობაც კი.

Advertisers and even governments are very interested.

სარეკლამოები და მთავრობებიც კი, ძალიან დაინტერესებულები არიან.

I had become a computer programmer

მე პროგრამისტი იმიტომ გავხდი,

because I was one of those kids crazy about math and science.

რომ ერთ-ერთი იმ ბავშთაგანი ვიყავი, ვინც მათემატიკაზე და მეცნიერებაზე გიჟდება,

But somewhere along the line I'd learned about nuclear weapons,

მაგრამ რაღაც მომენტში ბირთვულ იარაღზე შევიტყვე

და სერიოზულად დავფიქრდი სამეცნიერო ეთიკაზე.

and I'd gotten really concerned with the ethics of science.

ამან შემაწუხა.

I was troubled.

However, because of family circumstances,

თუმცა, ოჯახური გარემოებების გამო

I also needed to start working as soon as possible.

სამსახურის დაწყება სასწრაფოდ მჭირდებოდა.

So I thought to myself, hey, let me pick a technical field

ამიტომ ტექნიკური სფეროს არჩევა გადავწყვიტე,

where I can get a job easily

სადაც სამსახურს უფრო ადვილად ვიშოვიდი

and where I don't have to deal with any troublesome questions of ethics.

და სადაც არ მომიწევდა პრობლემურ ეთიკურ კითხვებთან ჭიდილი.

შედეგად კომპიუტერები ავარჩიე.

So I picked computers.

(Laughter)

(სიცილი)

Well, ha, ha, ha! All the laughs are on me.

ჰა ჰა ჰა.. მე ვარ დასაცინი.

დღესდღეობით, კოპიუტერული მეცნიერები ქმნიან პლატფორმებს,

Nowadays, computer scientists are building platforms

that control what a billion people see every day.

რომლებიც აკონტროლებენ, თუ რას ნახულობს მილიარდობით ადამიანი ყოველდღე.

ისინი ქმნიან მანქანებს, რომლებიც წყვეტენ თუ ვის დაარტყან.

They're developing cars that could decide who to run over.

They're even building machines, weapons,

ისინი ისეთ მანქანებს და იარაღებსაც კი ქმნიან,

that might kill human beings in war.

რომლებსაც ადამიანების მოკვლა შეუძლიათ ომში.

It's ethics all the way down.

აქ ყველგან ეთიკაა.

Machine intelligence is here.

მანქანური ინტელექტი აწმყოა.

We're now using computation to make all sort of decisions,

ჩვენ ამჟამად კომპიუტერებს მთელი რიგი გადაწყვეტილებების მისაღებად ვიყენებთ

but also new kinds of decisions.

და ასევე ახალი გადაწყვეტებისთვისაც.

We're asking questions to computation that have no single right answers,

ჩვენ კომპიუტერებს ისეთ კითხვებს ვუსვამთ, რომლებსაც არ აქვთ ერთი სწორი პასუხი,

that are subjective

რომლებიც სუბიექტურია

and open-ended and value-laden.

და ღიაა ინტერპრეტაციებისა და შეფასებისთვის.

მაგალთად ვუსვამთ კითხვებს:

We're asking questions like,

"Who should the company hire?"

"ვინ უნდა იქირაოს კომპანიამ?"

"რომელი მეგობრის, რომელი სიახლე უნდა გაჩვენოთ"

"Which update from which friend should you be shown?"

"Which convict is more likely to reoffend?"

"რომელმა ნასამართლევმა უფრო დიდი შანსია, რომ გაიმეოროს დანაშაული"

"Which news item or movie should be recommended to people?"

"რომელი სიახლე, ან ფილმი უნდა შევთავაზოთ ხალხს?"

Look, yes, we've been using computers for a while,

დიახ, ჩვენ დიდი ხანია ვიყენებთ კომპიუტერებს,

but this is different.

მაგრამ ეს სხვა რამეა.

This is a historical twist,

ეს ისტორიული შემობრუნებაა,

because we cannot anchor computation for such subjective decisions

რადგან ჩვენ ვერ დავაფუძნებთ კომპიუტერებზე ასეთ სუბიექტურ გადაწყვეტილებებს,

the way we can anchor computation for flying airplanes, building bridges,

როგორც ვაკეთებდით თვითმფრინავის მართვის, ხიდების აშენების,

going to the moon.

და მთვარეზე გაფრენის შემთხვევაში.

Are airplanes safer? Did the bridge sway and fall?

თვითმფინავები ხომ უფრო უსაფრთხოა? ხიდებიც არ ინგრევა.

There, we have agreed-upon, fairly clear benchmarks,

ამ შემთხვევებში მკაფიო წესებზე შევთანხმდით

and we have laws of nature to guide us.

და ბუნების კანონებით ვხემძღვანელობთ.

We have no such anchors and benchmarks

ჩვენ არ გვაქვს მსგავსი ნიშნულები და წესები

for decisions in messy human affairs.

ადამიანთა უწესრიგო ურთიერთობებში.

To make things more complicated, our software is getting more powerful,

ამ ყველაფერს ის უფრო ამძიმებს, რომ ჩვენი პროგრამები სულ უფრო ძლევამოსილი

but it's also getting less transparent and more complex.

და ამავე დროს ნაკლებად გასაგები და უფრო კომპლექსური ხდება

Recently, in the past decade,

ცოტა ხნის წინ, გასულ ათწლეულში,

complex algorithms have made great strides.

კომპლექსურ ალგირითმებს დიდი მიღწევები ჰქონდათ.

They can recognize human faces.

მათ ადამიანის სახეების ამოცნობა შეუძლიათ.

They can decipher handwriting.

ხელნაწერის გარჩევა შეუძლიათ,

They can detect credit card fraud

შეუძლიათ ყალბი საკრედიტო ბარათი ამოიცნონ

and block spam

და დაბლოკონ სპამი.

and they can translate between languages.

ასევე თარგმნონ სხვადასხვა ენებზე.

They can detect tumors in medical imaging.

მათ რენტგენის სურათზე სიმსივნის აღმოჩენა შეუძლიათ.

They can beat humans in chess and Go.

ისინი ჭადრაკში ადამიანს ამარცხებენ.

Much of this progress comes from a method called "machine learning."

ამ პროგრესის უმეტესობა ე.წ. "მანქანური სწავლებით" მიიღწევა.

მანქანური სწავლება განსხვავდება ტრადიციული პროგრამირებისგან,

Machine learning is different than traditional programming,

where you give the computer detailed, exact, painstaking instructions.

როცა კომპიუტერს ზუსტ და დეტალურ ინსტრუქციებს აძლევთ.

It's more like you take the system and you feed it lots of data,

ამ შემთხვევაში სისტემას ბევრ მონაცემს აწვდით,

მათ შორის უსტრუქტურო მონაცემს.

including unstructured data,

like the kind we generate in our digital lives.

ისეთი ტიპის მონაცემებს, რომლებსაც ჩვენ ციფრულ ცხოვრებაში ვქმნით

And the system learns by churning through this data.

და სისტემა ამ მონაცემების გარჩევას სწავლობს.

And also, crucially,

ასევე, საკვანძოა,

these systems don't operate under a single-answer logic.

რომ ეს სისტემები ერთპასუხიანი ლოგიკით არ მუშაობენ.

They don't produce a simple answer; it's more probabilistic:

ისინი მარტივ პასუხს არ იძლევიან; პასუხი უფრო სავარაუდოა:

"This one is probably more like what you're looking for."

"სავარაუდოდ ამას უფრო ეძებდით"

ამის დადებითი მხარე ისაა, რომ ეს მეთოდი მართლაც ეფექტურია.

Now, the upside is: this method is really powerful.

გუგლის ხელოვნური ინტელექტის სისტემების ხელმძღვანელმა მათ უწოდა:

The head of Google's AI systems called it,

"the unreasonable effectiveness of data."

"მონაცემების ირაციონალური ეფექტურობა"

The downside is,

უარყოფითი მხარე კი,

we don't really understand what the system learned.

რომ ჩვენ რეალურად არ ვიცით რა ისწავლა სისტემამ.

In fact, that's its power.

პრინციპში, სწორედ ესაა მისი ძალა.

This is less like giving instructions to a computer;

ეს კომპიუტერისთვის ინსტრუქციების მიცემას არ ჰგავს.

it's more like training a puppy-machine-creature

ეს უფრო ლეკვ-მანქანის წვრთნაა.

we don't really understand or control.

ჩვენ რეალურად არ გვესმის და ვერ ვაკონტროლებთ.

So this is our problem.

ჩვენი პრობლემაც ესაა.

It's a problem when this artificial intelligence system gets things wrong.

პრობლემაა, როცა ხელოვნურ ინტელექტს რაღაც არასწორად ესმის.

It's also a problem when it gets things right,

ასევე პრობლემაა, როცა მას რაღაც სწორად ესმის,

because we don't even know which is which when it's a subjective problem.

რადგან ჩვენ არც კი ვიცით რა, რა არის, როცა პრობლემა სუბიექტურია.

We don't know what this thing is thinking.

ჩვენ არ ვიცით ეს მოწყობილობა რას ფიქრობს.

So, consider a hiring algorithm --

განვიხილოთ კადრების ალგორითმი.

სისტემა, რომელსაც თანამშრომლები მანქანური სწავლების გამოყენებით აჰყავს.

a system used to hire people, using machine-learning systems.

ასეთი სისტემა, არსებული თანამშეომლების მონაცემებზეა გაწვრთნილი,

Such a system would have been trained on previous employees' data

and instructed to find and hire

რომ იპოვოს და შეარჩიოს

people like the existing high performers in the company.

არსებული მაღალი შედეგების მქონე თანამშრომლების მსგავსი ხალხი.

Sounds good.

მშვენივრად ჟღერს.

I once attended a conference

ერთხელ კონფერენციას დავესწარი,

რომელსაც კადრების მენეჯერები და აღმასრულებლები ესწრებოდნენ,

that brought together human resources managers and executives,

მაღალი თანამდებობის ხალხი,

high-level people,

using such systems in hiring.

რომლებიც მსგავს სისტემებს იყენებდნენ.

They were super excited.

ისინი აღტაცებულები იყვნენ,

They thought that this would make hiring more objective, less biased,

მათ წარმოედგინათ, რომ ეს თანამშრომლების აყვანის პროცესს უფრო ობიექტურს გახდიდა

and give women and minorities a better shot

და ქალებს და უმცირესობებს, ადამიანი მენეჯერების

against biased human managers.

ტენდენციურობასთან შედარებით მეტ შანსს მისცემდა.

And look -- human hiring is biased.

და მართლაც ადამიანების მიერ შერჩევა ტენდენციურია.

ეს ვიცი.

I know.

I mean, in one of my early jobs as a programmer,

ერთ-ერთ ჩემ პირველ სამსახურში სადაც პროგრამისტი ვიყავი,

my immediate manager would sometimes come down to where I was

ჩემი უფროსი ზოგჯერ მოვიდოდა ხოლმე,

really early in the morning or really late in the afternoon,

ძალიან ადრე დილას, ან გვიან შუადღეს და მეტყოდა:

"ზეინეპ, მოდი, ლანჩზე წავიდეთ!"

and she'd say, "Zeynep, let's go to lunch!"

I'd be puzzled by the weird timing.

მე გაკვირვებული ვიყავი ხოლმე ასეთ დროს.

It's 4pm. Lunch?

4 საათია, ლანჩი?

საშუალება არ მქონდა, ამიტომ ამ უფასო ლანჩზე მივდიოდი.

I was broke, so free lunch. I always went.

I later realized what was happening.

მოგვიანებით აღმოვაჩინე რაც ხდებოდა.

My immediate managers had not confessed to their higher-ups

ჩემ უშუალო უფროსს თავისი უფროსისთვის არ უთქვამს,

that the programmer they hired for a serious job was a teen girl

რომ პროგრამისტი, რომელიც სერიოზული სამუშაოსთის აიყვანა

who wore jeans and sneakers to work.

თინეიჯერი გოგო იყო, რომელიც ჯინსებით და ბოტასებით დადიოდა სამსახურში.

მე კარგად ვმუშაობდი, უბრალოდ არასათანადოდ გამოვიყურებოდი

I was doing a good job, I just looked wrong

and was the wrong age and gender.

და შეუსაბამო ასაკის და სქესის ვიყავი.

So hiring in a gender- and race-blind way

ასე რომ, სქესის და რასის გარეშე სამსახურში აყვანა

certainly sounds good to me.

ნამდვილად კარგად ჟღერს.

თუმცა, ამ სისტემებით ეს უფრო რთულია და აი რატომ:

But with these systems, it is more complicated, and here's why:

Currently, computational systems can infer all sorts of things about you

დღესდღეობით გამოთვლით სისტემებს ბევრი რამის ამოცნობა შეუძლიათ თქვენ შესახებ,

from your digital crumbs,

თქვენი ციფრული კვალის მიხედვით

even if you have not disclosed those things.

მაშინაც კი, თუ ეს მონაცემები არსად განგითავსებიათ.

They can infer your sexual orientation,

მათ შეუძლიათ ამოიცნონ თქვენი სექსუალური ორიენტაცია,

your personality traits,

პიროვნული თვისებები,

your political leanings.

პოლიტიკური გემოვნება.

They have predictive power with high levels of accuracy.

მათ მაღალი სიზუსტით პროგნოზირების უნარი აქვთ.

Remember -- for things you haven't even disclosed.

გახსოვდეთ... ისეთი რამეების, რაც თქვენ არ გაგიმხელიათ.

This is inference.

ეს ვარაუდით ხდება.

I have a friend who developed such computational systems

მე მყავს მეგობარი, რომელმაც ასეთი გამოთვლითი სისტემა შექმნა.

to predict the likelihood of clinical or postpartum depression

ეს სისტემა სოციალური ქსელების მონაცემების მიხედვით

კლინიკური, ან პოსტნატალური დეპრესიის ალბათობას პროგნოზირებს.

from social media data.

The results are impressive.

შედეგები შთამბეჭდავია.

Her system can predict the likelihood of depression

მის სისტემას დეპრესიის პროგნოზირება

months before the onset of any symptoms --

ნაბისმიერი სიმპტომების გაჩენამდე, თვეებით ადრე შეუძლია...

months before.

თვეებით ადრე.

No symptoms, there's prediction.

პროგნოზი უსიმპტომებოდ.

She hopes it will be used for early intervention. Great!

ის იმედოვნებს, რომ ამას ადრეული ინტერვენციისთვის გამოიყენებენ. მშვენიერია!

But now put this in the context of hiring.

ახლა ეს სამსახურში აყვანის კონტექსტში ჩავსვათ.

მაშ, ამ კადრების მენეჯერების კონფერენციაზე,

So at this human resources managers conference,

მე მივედი ერთი ძალიან დიდი კომპანიის მაღალი დონის მენეჯერთან

I approached a high-level manager in a very large company,

and I said to her, "Look, what if, unbeknownst to you,

და ვუთხარი: "იქნებ თქვენ არ იცით

your system is weeding out people with high future likelihood of depression?

და სისტემა ისეთ ხალხს აგირჩევთ, რომელთაც დეპრესიის დიდი ალბათობა აქვთ მომავალში.

They're not depressed now, just maybe in the future, more likely.

ისინი ამჟამად არ არიან დეპრესიაში, მომავალში კი ალბათობა დიდია.

What if it's weeding out women more likely to be pregnant

ან იქნებ ისეთ ქალს აარჩევს, რომელიც დიდი შანსია

in the next year or two but aren't pregnant now?

შემდეგი ერთი ორი წლის განმავლობაში დაფეხმძიმდეს?

What if it's hiring aggressive people because that's your workplace culture?"

ან იქნებ აგრესიული ხალხი აგირჩიოთ, რადგან ასეთია თქვენი სამუშაო გარემო?"

თქვენ ამას სქესების მიხედვით ჩაშლით ვერ მიხვდებით.

You can't tell this by looking at gender breakdowns.

Those may be balanced.

ისინი შეიძლება დაბალანსებული იყოს.

And since this is machine learning, not traditional coding,

რადგან ეს მანქანური სწავლებაა და არა ტრადიციული კოდირება,

there is no variable there labeled "higher risk of depression,"

არ არსებობს ცვლადი სახელად: "დეპრესიის მომატებული რისკი"

"higher risk of pregnancy,"

ან "დაფეხმძმების მომატებული რისკი"

"aggressive guy scale."

ან "აგრესიული მამაკაცის შკალა"

Not only do you not know what your system is selecting on,

არა მხოლოდ ის არ იცით, როს მიხედვით არჩევს სისტემა,

you don't even know where to begin to look.

არამედ ისიც კი არ იცით, საიდან დაიწყოთ ამის გარკვევა.

It's a black box.

შავი ყუთია.

It has predictive power, but you don't understand it.

მას პროგნოზირების უნარი აქვს, მაგრამ თქვენ ის არ გესმით.

"What safeguards," I asked, "do you have

"რა უსაფრთხოების საშუალებები გაქვთ" ვკითხე მე,

to make sure that your black box isn't doing something shady?"

"იმისთვის რომ დარწმუნდეთ, რომ თქვენი შავი ყუთი რამე საეჭვოს არ აკეთებს?"

She looked at me as if I had just stepped on 10 puppy tails.

მან ისე შემომხედა, თითქოს 10 ლეკვს ერთად დავაბიჯე კუდზე.

(Laughter)

(სიცილი)

შემომხედა და მითხრა:

She stared at me and she said,

"I don't want to hear another word about this."

"ამაზე მეტის მოსმენას აღარ ვაპირებ"

And she turned around and walked away.

გატრიალდა და წავიდა.

გაითვალისწინეთ, ის არ უხეშობდა.

Mind you -- she wasn't rude.

It was clearly: what I don't know isn't my problem, go away, death stare.

მისი პოზიცია იყო: რაც არ ვიცი, ჩემი პრობლემა არაა, მომშორდი, ცივი მზერით.

(Laughter)

(სიცილი)

Look, such a system may even be less biased

ესეთი სისტემა მართლაც შეიძლება იყოს ნაკლებად ტენდენციური,

than human managers in some ways.

ვიდრე ადამიანი მენეჯერები გარკვეულწილად.

And it could make monetary sense.

და შეიძლება ეს ფინანსურადაც აზრიანი იყოს,

But it could also lead

მაგრამ ამან ასევე შეიძლება

to a steady but stealthy shutting out of the job market

სამუშაო ბაზრიდან დეპრესიის მომატებული რისკის მქონე ხალხის

მუდმივ და ფარულ განდევნას შეუწყოს ხელი.

of people with higher risk of depression.

Is this the kind of society we want to build,

გვინდა კი, ასეთი საზოგადოების შენება,

without even knowing we've done this,

როცა არც კი ვიცით, რომ ამას ვაკეთებთ,

because we turned decision-making to machines we don't totally understand?

რადგან გადაწყვეტულების მიღება, ისეთ მანქანებს მივანდეთ,

რომლებიც არც კი გვესმის.

Another problem is this:

კიდევ ერთი პრობლემა ისაა,

რომ ეს სისტემები ხშირად იწვრთნებიან მონაცემებზე, რომლებსაც ჩვენ ვქმნით.

these systems are often trained on data generated by our actions,

human imprints.

ადამიანის კვალზე.

Well, they could just be reflecting our biases,

ისინი შეიძლება ჩვენს ტენდენციურობებს ასახავდეს

და ეს სისტემებიც ჩეიძლება ჩვენს ტენდენციებს იზიარებდნენ,

and these systems could be picking up on our biases

and amplifying them

აძლიერებდნენ მათ

and showing them back to us,

და უკან გვიბრუნებდნენ.

while we're telling ourselves,

ჩვენ კი ამ დროს თავს ვიტყუებთ:

"We're just doing objective, neutral computation."

"ჩვენ მხოლოდ ობიექტურ და ნეიტრალურ გამოთვლებს ვაწარმოებთ"

Researchers found that on Google,

მკვლევარებმა დაადგინეს, რომ გუგლში

ქალებმა უფრო პატარა შანსია მაღალანაზღაურებადი სამუშაოს რეკლამა ნახონ,

women are less likely than men to be shown job ads for high-paying jobs.

ვიდრე კაცებმა.

და აფრო-ამერიკული სახელების ძიებისას,

And searching for African-American names

უფრო დიდი შანსია კრიმინალური ხასიათის ამბავი ამოგიხტეთ

is more likely to bring up ads suggesting criminal history,

even when there is none.

მაშინაც კი როცა ის არ არსებობს.

Such hidden biases and black-box algorithms

ასეთმა ფარულმა ტენდენციურობებმა და შავი ყუთის ალგორითმებმა,

that researchers uncover sometimes but sometimes we don't know,

რომლებსაც მკვლევარები ზოგჯერ აღმოაჩენენ, ზოგჯერ კი არც ვიცით,

can have life-altering consequences.

შეიძლება დრამატულ შედეგებამდე მიგვიყვანოს.

In Wisconsin, a defendant was sentenced to six years in prison

უისკონსინში ბრალდებულს 6 წელი მიუსაჯეს

პოლიციისგან გაქცევის გამო.

for evading the police.

You may not know this,

თქვენ შეიძლება არ იცით,

მაგრამ განაჩენის გამოტანისას, ალგორითმები მზარდად გამოიყენება.

but algorithms are increasingly used in parole and sentencing decisions.

მას უნდოდა გაეგო: როგორ გამოითვალეს?

He wanted to know: How is this score calculated?

It's a commercial black box.

ეს კომერციული შავი ყუთია.

The company refused to have its algorithm be challenged in open court.

კომპანიამ უარი განაცადა მათი ალგორითმი ღია სასამართლოზე განეხილათ,

But ProPublica, an investigative nonprofit, audited that very algorithm

მაგრამ არასამთავრობო "ProPublica"-მ ეს ალგორითმი შეამოწმა,

with what public data they could find,

იმ გასაჯაროებული მონაცემებით რაც იპოვეს

and found that its outcomes were biased

და აღმჩნდა, რომ შედეგები ტენდენციური იყო

and its predictive power was dismal, barely better than chance,

და პროგნოზირების უნარი საშინელი. შემთხვევითობაზე ოდნავ უკეთესი.

and it was wrongly labeling black defendants as future criminals

ის შავკანიან ბრალდებულებს, მომავალ კრიმინალებად

at twice the rate of white defendants.

ორჯერ უფრო ხშირად აფასებდა ვიდრე თეთრკანიანებს.

So, consider this case:

განვიხილოთ ასეთი შემთხვევა:

ამ ქალს ბროუარდის ოლქში, ფლორიდაში

This woman was late picking up her godsister

from a school in Broward County, Florida,

სკოლიდან საკუთარი სულიერი დის წამოსაყვანად აგვიანდებოდა,

running down the street with a friend of hers.

როცა ქუჩაში მირბოდა მის მეგობართან ერთად,

მათ საბავშვო ველოსიპედი და სკუტერი შენიშნეს

They spotted an unlocked kid's bike and a scooter on a porch

and foolishly jumped on it.

და სისულელით შეხტნენ მათზე.

As they were speeding off, a woman came out and said,

იმ ადგილს რომ შორდებოდნენ, ქალი გამოვიდა და თქვა:

"Hey! That's my kid's bike!"

"ეი! ეს ჩემი ბავშვის ველოსიპედია!"

They dropped it, they walked away, but they were arrested.

მათ დატოვეს ველოსიპედი და სკუტერი და წავიდნენ, მაგრამ ისინი მაინც დააკავეს.

She was wrong, she was foolish, but she was also just 18.

ის შეცდა, სულელურად მოიქცა, მაგრამ ის მხოლოდ 18 იყო.

She had a couple of juvenile misdemeanors.

მას რამდენიმე ახალგაზრდული წვრილმანი დანაშაული ჰქონდა.

Meanwhile, that man had been arrested for shoplifting in Home Depot --

ამ დროს, ეს კაცი მაღაზია "Home Depot "-ს გაქურდვისთვის დააკავეს

85 დოლარის ღირებულების საქონელი მოიპარა. საკმაოდ მსგავსი დანაშაული,

85 dollars' worth of stuff, a similar petty crime.

But he had two prior armed robbery convictions.

მაგრამ ის ადრე 2 შეიარაღებული ყაჩაღობისთვისაც იყო გასამართლებული.

But the algorithm scored her as high risk, and not him.

თუმცა, ალგორითმა უფრო მაღალი რისკის მქონედ ქალი შეაფასა და არა ის.

Two years later, ProPublica found that she had not reoffended.

2 წლის შემდეგ "ProPublica"-მ აღმოაჩინა რომ მას განმეორებითი დანაშაული არ ჩაუდენია.

It was just hard to get a job for her with her record.

სამუშაოს შოვნა კი გაუძნელდა, ასეთი წარსულის გამო.

He, on the other hand, did reoffend

თავის მხრივ, იმ კაცმა დანაშაული გაიმეორა

and is now serving an eight-year prison term for a later crime.

და ამჟამად 8 წლიან სასჯელს იხდის ბოლო დანაშაულისთვის.

ცხადია, ჩვენი შავი ყუთები უნდა შევამოწმოთ

Clearly, we need to audit our black boxes

and not have them have this kind of unchecked power.

და არ უნდა მივცეთ მათ, ასეთი უკონტროლო ძალაუფლება.

(აპლოდისმენტები)

(Applause)

შემოწმება და კონტროლი მნიშვნელოვანია, მაგრამ ეს ყველა პრობლემას არ აგვარებს.

Audits are great and important, but they don't solve all our problems.

Take Facebook's powerful news feed algorithm --

ავიღოთ ფეისბუკის სიახლეების მძლავრი ალგორითმი.

აი ის, ყველაფერს რომ ახარისხებს და წყვეტს რა უნდა გაჩვენოთ,

you know, the one that ranks everything and decides what to show you

from all the friends and pages you follow.

ყველა მეგობრიდან და გვერდიდან, რომელის გამომწერიც ხართ.

Should you be shown another baby picture?

უნდა გაჩვენოთ თუ არა, კიდევ ერთი ბავშვის სურათი?

(Laughter)

(სიცილი)

A sullen note from an acquaintance?

ნაცნობის სევდიანი წერილი?

An important but difficult news item?

მნიშვნელოვანი, მაგრამ მძიმე სიახლე?

There's no right answer.

არ არსებობს სწორი პასუხი.

Facebook optimizes for engagement on the site:

ფეისბუკი თქვენი ქმედებების ოპტიმიზაციას აკეთებს

likes, shares, comments.

მოწონებები, გაზიარებები, კომენტარები.

2014 წლის აგვისტოში

In August of 2014,

protests broke out in Ferguson, Missouri,

ფერგიუსონში, მისური, თეთრკანიანი პოლიციელის მიერ

after the killing of an African-American teenager by a white police officer,

ბუნდოვან ვითარებაში აფრო-ამერიკელი თინეიჯერის მკვლელობას,

პროტესტის ტალღა მოჰყვა.

under murky circumstances.

The news of the protests was all over

პროტესტის ამბები

ჩემ ალგორითმულად დაუფილტრავ ტვიტერზე ყველგან იყო,

my algorithmically unfiltered Twitter feed,

but nowhere on my Facebook.

მაგრამ ფეისბუკზე არსად ჩანდა.

შეიძლება ჩემი ფეისბუკ მეგობრების გამო იყო ასე?

Was it my Facebook friends?

I disabled Facebook's algorithm,

გავთიშე ფეისბუკის ალგორითმი,

which is hard because Facebook keeps wanting to make you

რაც რთულია, რადგან ფეისბუკი მუდმივად ცდილობს

come under the algorithm's control,

ალგორითმის კონტროლის ქვეშ მოგაქციოთ.

and saw that my friends were talking about it.

გათიშვის შემდეგ, ვნახე რომ მეგობრები საუბრობენ ამაზე.

It's just that the algorithm wasn't showing it to me.

უბრალოდ ალგორითმი არ მაჩვენებდა ამას.

I researched this and found this was a widespread problem.

გამოვიკვლიე და აღმოვაჩინე, რომ ეს გავრცელებული პრობლემაა.

The story of Ferguson wasn't algorithm-friendly.

ფერგიუსონის თემა, ალგორითმისთვის არ იყო პრიორიტეტული.

არ იყო "მოწონებადი"

It's not "likable."

Who's going to click on "like?"

ვინ დააჭერდა "მოწონებას"?

It's not even easy to comment on.

მასზე კომენტარიც კი რთულია.

Without likes and comments,

მოწონებებისა და კომენტარების გარეშე,

the algorithm was likely showing it to even fewer people,

ალგორითმი უფრო ცოტა ადამიანს აჩვენებს მას,

so we didn't get to see this.

ამიტომაც ვერ ვნახულობდით მას.

Instead, that week,

სამაგიეროდ, იმ კვირას,

Facebook's algorithm highlighted this,

ფეისბუკის ალგორითმმა ეს გამოკვეთა:

which is the ALS Ice Bucket Challenge.

"ყინულიანი სათლის გამოწვევის" კამპანია.

Worthy cause; dump ice water, donate to charity, fine.

ღირებული რამაა; ვისხამთ ყინულიან წყალს და ვრიცხავთ შემოწირულობას. მშვენიერია.

But it was super algorithm-friendly.

ის ალგორითმისთვის ძალიან პრიორიტეტული იყო.

The machine made this decision for us.

მანქანამ ეს გადაწყვეტილება ჩვენ მაგივრად მიიღო.

A very important but difficult conversation

რთული, მაგრამ ძალიან მნიშვნელოვანი დისკუსია,

might have been smothered,

შეიძლება არ შემდგარიყო,

had Facebook been the only channel.

ფეისბუკი ერთადერთი საშუალება რომ ყოფილიყო.

და ბოლოს, ეს სისტემები შეიძლება

Now, finally, these systems can also be wrong

in ways that don't resemble human systems.

ადამიანებისთვის არადამახასიათებლად ცდებოდნენ.

Do you guys remember Watson, IBM's machine-intelligence system

გახსოვთ უოტსონი, IBM-ის მანქანური ინტელექტის სისტემა,

that wiped the floor with human contestants on Jeopardy?

რომელმაც ვიქტორინა "Jeopardy"-ში მონაწილე ადამიანი გაანადგურა?

ის დიდებული მოთამაშე იყო.

It was a great player.

But then, for Final Jeopardy, Watson was asked this question:

თუმცა, ფინალში უოტსონს ჰკითხეს:

"მისი უდიდესი აეროპორტი მეორე მსოფლიო ომის გმირის სახელობისაა,

"Its largest airport is named for a World War II hero,

მისი სიდიდით მეორე აეროპორტი მეორე მსოფლიო ომის ბრძოლის სახელობის."

its second-largest for a World War II battle."

(Hums Final Jeopardy music)

(Jeopardy-ს საფინალო მუსიკა)

Chicago.

ჩიკაგო.

The two humans got it right.

ორმა ადამიანმა სწორად უპასუხა.

Watson, on the other hand, answered "Toronto" --

უოტსონმა უპასუხა: "ტორონტო"...

აშშ-ს ქალაქების კატეგორიაში.

for a US city category!

The impressive system also made an error

შთამბეჭდავმა სისტემამ ისეთი შეცდომა დაუშვა,

that a human would never make, a second-grader wouldn't make.

რომელსაც ადამიანი არასდროს დაუშვებდა. მეორე კლასელი არ დაუშვებდა.

Our machine intelligence can fail

მანქანურმა ინტელექტმა შეიძლება ისეთი შეცდომები დაუშვას,

in ways that don't fit error patterns of humans,

რომლებიც ადამიანური შეცდომების ხასიათში არ ჯდება.

და რომლებსაც შეიძლება არ ველოდოთ და მოუმზადებლები აღმოვჩნდეთ.

in ways we won't expect and be prepared for.

სამწუხაროა, როცა სამუშაოზე შესაბამისი კადრი ვერ აღმოჩნდება,

It'd be lousy not to get a job one is qualified for,

but it would triple suck if it was because of stack overflow

მაგრამ ბევრად უარესია, თუ ეს რომელიღაც ქვეპროგრამაში,

in some subroutine.

სტეკის გადავსების გამო მოხდა.

(Laughter)

(სიცილი)

In May of 2010,

2010 წლის მაისში,

a flash crash on Wall Street fueled by a feedback loop

"უოლ სტრიტის" საფონდო ბირჟის ვარდნამ, რომელიც "უოლ სტრიტის"

in Wall Street's "sell" algorithm

"გაყიდვის" ალგორითმის, უკუკავშირის ციკლით იყო გამოწევეული,

wiped a trillion dollars of value in 36 minutes.

ტრილიონი დოლარის ღირებულების დაკარგვა გამოიწვია 36 წუთში.

I don't even want to think what "error" means

წარმოსადგენადაც კი რთულია რას შეიძლება ნიშნავდეს "შეცდომა"

in the context of lethal autonomous weapons.

ავტომატური ლეტალური იარაღის შემთხვევაში.

So yes, humans have always made biases.

ასე რომ, დიახ ადამიანები ყოველთვის ტენდენციურები არიან.

Decision makers and gatekeepers,

გადაწყვეტილების მიმღებები და დარაჯები,

in courts, in news, in war ...

სასამართლოებში, ახალ ამბებში, ომში...

they make mistakes; but that's exactly my point.

ისინი შეცდომებს უშვებენ, მაგრამ სწორედ ამაშია საქმე.

We cannot escape these difficult questions.

ჩვენ გვერდს ვერ ავუვლით ამ რთულ კითხვებს.

We cannot outsource our responsibilities to machines.

ჩვენ ვერ გადავაბარებთ ჩვენს ვალდებულებებს მანქანებს.

(Applause)

(აპლოდისმენტები)

ხელოვნური ინტელექტი ვერ მოგცვემს ეთიკური პრობლემების თავიდან აცილების საშუალებას.

Artificial intelligence does not give us a "Get out of ethics free" card.

Data scientist Fred Benenson calls this math-washing.

მონაცემების სპეციალისტი ფრედ ბენენსონი ამას მათემატიკურ-წმენდას ეძახის.

ჩვენ ამის საპირისპირო გვჭირდება.

We need the opposite.

We need to cultivate algorithm suspicion, scrutiny and investigation.

ჩვენ ალგორითმის მიმართ ეჭვის, შესწავლის და კვლევის წახალისება გვჭირდება.

We need to make sure we have algorithmic accountability,

უნდა დავრწმუნდეთ ჩვენ ალგორითმულ ანგარიშვალდებულებაში,

auditing and meaningful transparency.

შემოწმებასა და გამჭვირვალობაში.

We need to accept that bringing math and computation

ჩვენ უნდა გვესმოდეს, რომ მათემატიკის და გამოთვლის შემოტანას,

to messy, value-laden human affairs

უწესრიგო, ღირებულებებით სავსე ადამიანურ ურთიერთობებში

does not bring objectivity;

არ მოაქვს ობიექტურობა,

არამედ ადამიანური ურთიერთობების სირთულე იჭრება ალგორითმებში.

rather, the complexity of human affairs invades the algorithms.

დიახ, ჩვენ შეგვიძლია და უნდა გამოვიყენოთ გამოთვლა,

Yes, we can and we should use computation

to help us make better decisions.

უკეთესი გადაწყვეტულებების მისაღებად,

But we have to own up to our moral responsibility to judgment,

მაგრამ ასევე მორალური პასუხისმგებლობა უნდა ავიღოთ გადაწყვეტილებებზე

და ამ სქემაში გამოვიყენოთ ალგორითმები

and use algorithms within that framework,

not as a means to abdicate and outsource our responsibilities

და არა ერთმანეთზე, როგორც ადამიანიდან ადამიანზე

to one another as human to human.

პასუხისმგებლობების გადაბარების საშუალებად.

Machine intelligence is here.

მანქანური ინტელექტი აწმყოა.

That means we must hold on ever tighter

ეს ნიშნავს, რომ ჩვენ

კიდევ უფრო მეტად უნდა ჩავეჭიდოთ ადამიანურ ფასეულობებსა და ადამიანურ ეთიკას

to human values and human ethics.

მადლობა.

Thank you.

(Applause)

(აპლოდისმენტები)