The era of blind faith in big data must end | Cathy O'Neil

Translator: urjoshi sinha Reviewer: Palash Ranjan Sanyal

Algorithms are everywhere.

অ্যালগরিদম সব জায়গায় উপস্থিত|

They sort and separate the winners from the losers.

তারা পরাজিতদের বিজয়ীদের থেকে আলাদা করে|

The winners get the job

or a good credit card offer.

বা ক্রেডিট কার্ড অফার পায়|

The losers don't even get an interview

ক্ষতিগ্রস্তরা একটা সাক্ষাৎকারও পায়না বা

or they pay more for insurance.

তাদের বীমার জন্য বেশি টাকা দিতে হয়|

We're being scored with secret formulas that we don't understand

আমাদের গোপন সূত্র দিয়ে মাপা হচ্ছে যা আমরা বুঝতে পারিনা

that often don't have systems of appeal.

এবং যার বিরুদ্ধে আবেদন করার ব্যবস্থা নেই |

That begs the question:

তাই এই প্রশ্নটা ওঠে:

What if the algorithms are wrong?

যদি অ্যালগরিদম গুলো ভুল হয়ে তাহলে কি হবে?

To build an algorithm you need two things:

অ্যালগরিদম নির্মাণের জন্য দুটি জিনিসের

you need data, what happened in the past,

প্রয়োজন: আপনার দরকার তথ্য,অতীতে কি ঘটেছে,

and a definition of success,

এবং সাফল্যের একটি সংজ্ঞা,

the thing you're looking for and often hoping for.

আপনি কি খুঁজছেন এবং কিসের জন্য প্রত্যাশী |

You train an algorithm by looking, figuring out.

আপনি দেখে এবং বিবেচনা করে একটি অ্যালগরিদম কে শেখান |

The algorithm figures out what is associated with success.

অ্যালগরিদমটি সাফল্যের সাথে কি যুক্ত তা প্রকাশ করে।

What situation leads to success?

কোন পরিস্থিতি সফলতার দিকে এগিয়ে নিয়ে যায়?

Actually, everyone uses algorithms.

বাস্তবে সবাই অ্যালগরিদম ব্যবহার করে।

They just don't formalize them in written code.

তারা লিখিত কোডে তা প্রকাশ করেনা |

Let me give you an example.

একটি উদাহরণ নিন |

I use an algorithm every day to make a meal for my family.

আমি প্রতিদিন এক অ্যালগরিদম ব্যবহার করে আমার পরিবারের জন্য খাবার বানাই|

The data I use

আমার জন্য তথ্য হল

is the ingredients in my kitchen,

রান্নাঘরের সকল উপাদানগুলি,

the time I have,

আমার সময়,

the ambition I have,

আমার উচ্চাকাঙ্খা,

and I curate that data.

এবং আমি সেই তথ্যগুলি সংগঠিত করি |

I don't count those little packages of ramen noodles as food.

আমি খাবার হিসাবে রামেন নুডলস এর প্যাকেজগুলো গণনা করিনা |

(Laughter)

(হাসি )

My definition of success is:

আমার কাছে সাফল্যের বর্ণনা হল:

a meal is successful if my kids eat vegetables.

আমার বাচ্চারা সবজি খেলে একটি আহার সফল হয় |

It's very different from if my youngest son were in charge.

এটা আলাদা হত যদি আমার ছোট ছেলে এই কাজের কর্মকর্তা হত |

He'd say success is if he gets to eat lots of Nutella.

সে বলত আহার সফল তখনি হবে যখন সে অনেক নিউটেলা খেতে পারবে |

But I get to choose success.

কিন্তু এ ক্ষেত্রে আমি সফলতার বর্ণনা ঠিক করে দিচ্ছি|

I am in charge. My opinion matters.

আমি কর্মকর্তা | আমার মতামত গুরুত্বপূর্ণ |

That's the first rule of algorithms.

এটা অ্যালগরিদমের প্রথম নিয়ম।

Algorithms are opinions embedded in code.

অ্যালগরিদম কিছু মতামত যা কোডের মধ্যে উদ্ভিত করা থাকে|

It's really different from what you think most people think of algorithms.

এটি অধিকাংশ মানুষ যা ভাবে এর সম্পর্কে তার চেয়ে ভিন্ন|

They think algorithms are objective and true and scientific.

তারা মনে করেন অ্যালগরিদমগুলি উদ্ধেষপূর্ণ এবং সত্য এবং বৈজ্ঞানিক।

That's a marketing trick.

এটি একটি বিজ্ঞাপনের কৌশল|

It's also a marketing trick

একটি বিজ্ঞাপনের কৌশলের মতন

to intimidate you with algorithms,

অ্যালগরিদমের দ্বারা আপনাদের ভীতি বাড়ানো হয়,

to make you trust and fear algorithms

যাতে আপনারা অ্যালগরিদমকে বিশ্বাস করেন এবং ভয় পান

because you trust and fear mathematics.

কারণ আপনারা অঙ্ককে বিশ্বাস করেন এবং ভয় পান|

A lot can go wrong when we put blind faith in big data.

বিগ ডাটা এ অন্ধ বিশ্বাস করলে অনেক ভুল হতে পারে|

This is Kiri Soares. She's a high school principal in Brooklyn.

ইনি কিরি সোয়ার্স|তিনি ব্রুক্লিনের এক উচ্চ বিদ্যালয়ের প্রধান|

In 2011, she told me her teachers were being scored

২0১১ সালে, তিনি আমাকে বলেছিলেন যে তার শিক্ষকদের

with a complex, secret algorithm

একটি জটিল, গোপন অ্যালগরিদম দিয়ে অবহিত করা হচ্ছে

called the "value-added model."

জাকে বলা হয় "মূল্য-সংযোজন মডেল।"

I told her, "Well, figure out what the formula is, show it to me.

আমি তাকে বলেছিলাম, "আচ্ছা, সূত্রটা কী, তা আমাকে দেখিয়ে দাও।

I'm going to explain it to you."

আমি আপনাকে এটা ব্যাখ্যা করব|"

She said, "Well, I tried to get the formula,

তিনি বলেন, "আমি সূত্রটি পেতে চেষ্টা করেছি,

but my Department of Education contact told me it was math

কিন্তু আমাদের শিক্ষা বিভাগ আমাকে বলল এটি

and I wouldn't understand it."

গণিত এবং আমি তা বুঝতে পারবনা|"

It gets worse.

আরো খারাপ হতে পারে|

The New York Post filed a Freedom of Information Act request,

নিউইয়র্ক পোস্ট তথ্য অধিকারের স্বাধীনতা

got all the teachers' names and all their scores

আইন অনুযায়ী আবেদন করে সমস্ত শিক্ষকের নাম

and they published them as an act of teacher-shaming.

এবং নম্বরের ও সেগুলি শিক্ষক-শিষ্টাচারের রূপে প্রকাশ করে।

When I tried to get the formulas, the source code, through the same means,

যখন আমি সূত্রগুলো পাওয়ার চেষ্টা করি, সোর্স কোড গুলো, একই পথে,

I was told I couldn't.

আমায় বলা হয়ে যে আমায় তা দেওয়া হবেনা|

I was denied.

আমায় বাধা দেওয়া হয়|

I later found out

আমি পরে জানতে পারলাম

that nobody in New York City had access to that formula.

নিউ ইয়র্কে কারোই সেই কোড জানা নেই|

No one understood it.

কেউ তা বুঝতোনা |

Then someone really smart got involved, Gary Rubinstein.

তারপর একদিন এক শিক্ষিত মানুষ জড়িয়ে পড়লেন, গ্যারি রুবিনস্টাইন|

He found 665 teachers from that New York Post data

তিনি লক্ষ্য করলেন নিউ ইয়র্ক পোস্টের তথ্যে

that actually had two scores.

৬৬৫ শিক্ষকের দুটি নম্বর ছিল|

That could happen if they were teaching

এটা তখনই সম্ভব যদি তারা সপ্তম

seventh grade math and eighth grade math.

এবং অষ্টম দুই শ্রেণীতেই অঙ্ক পড়ান|

He decided to plot them.

তিনি এগুলি চিত্র লেখন করেন।

Each dot represents a teacher.

একটি দাগ একটি শিক্ষককে বোঝায়|

(Laughter)

(হাসি )

What is that?

এটা কি?

(Laughter)

(হাসি)

That should never have been used for individual assessment.

এরকম ব্যক্তিগতভাবে মূল্যায়ন করা সঠিক না।

It's almost a random number generator.

এটি প্রায় একটি এলোমেলো সংখ্যা উৎপাদক।

(Applause)

(তালি)

But it was.

কিন্তু তাই ছিল|

This is Sarah Wysocki.

ইনি সারা ওয়াসকি |

She got fired, along with 205 other teachers,

তাকে ওয়াশিংটনে,ডিসি স্কুল জেলার ২০৫ জন

from the Washington, DC school district,

অন্যান্য শিক্ষকের সাথে বহিষ্কার করা হয়,

even though she had great recommendations from her principal

যদিও তার স্কুলের প্রধান ও বাচ্চাদের পিতামাতাদের

and the parents of her kids.

থেকে ভালো সুপারিশ ছিল।

I know what a lot of you guys are thinking,

আমি জানি আপনারা এখানে কি ভাবছেন, বিশেষত

especially the data scientists, the AI experts here.

যারা তথ্য বৈজ্ঞানিক এবং এ.আই বিশেষজ্ঞ|

You're thinking, "Well, I would never make an algorithm that inconsistent."

আপনারা ভাবছেন,"আমরা কখনো এরকম অসঙ্গত অ্যালগরিদম তৈরী করবোনা|"

But algorithms can go wrong,

কিন্তু অ্যালগরিদমে ভুল হতে পারে,

even have deeply destructive effects with good intentions.

এমনকি ভাল উদ্দেশ্যর সঙ্গে গভীরভাবে ধ্বংসাত্মক প্রভাব থাকতে পারে।

And whereas an airplane that's designed badly

ঠিক যেভাবে খারাপ ভাবে নকশা করা

crashes to the earth and everyone sees it,

একটি বিমান যেমন মাটিতে ভেঙে পড়তে পারে,

an algorithm designed badly

একটি খারাপ ভাবে পরিকল্পিত অ্যালগরিদমও

can go on for a long time, silently wreaking havoc.

দীর্ঘ সময় ধরে চলে, ক্ষয় করতে পারে|

This is Roger Ailes.

ইনি রজার আইলেস |

(Laughter)

(হাসি )

He founded Fox News in 1996.

তিনি ১৯৯৬ সালে ফক্স নিউজ প্রতিষ্ঠা করেন।

More than 20 women complained about sexual harassment.

২0 জনের বেশি মহিলা যৌন হয়রানি সম্পর্কে অভিযোগ করেছে।

They said they weren't allowed to succeed at Fox News.

তারা জানিয়েছে যে তাদের ফক্স নাউসে সফলতা হাসিল করতে দেওয়া হয়নি|

He was ousted last year, but we've seen recently

গত বছর তিনি ক্ষমতাচ্যুত হন

that the problems have persisted.

কিন্তু আমরা দেখছি সমস্যাগুলি অব্যাহত।

That begs the question:

তাই প্রশ্নটি ওঠে:

What should Fox News do to turn over another leaf?

পাল্টানোর জন্য ফক্স নিউজের কি করণীয়?

Well, what if they replaced their hiring process

কি হবে তারা যদি নিয়োগের প্রক্রিয়াটি একটি মেশিন-লার্নিং

with a machine-learning algorithm?

অ্যালগরিদম দিয়ে প্রতিস্থাপন করে?

That sounds good, right?

তা শুনতে ভালো লাগে তাইনা?

Think about it.

এ বিষয় ভাবুন।

The data, what would the data be?

তথ্যটি কি হবে?

A reasonable choice would be the last 21 years of applications to Fox News.

একটি যুক্তিসঙ্গত পছন্দ হল ফক্স নিউজের সর্বশেষ ২১ বছরের অ্যাপ্লিকেশন।

Reasonable.

যৌক্তিক।

What about the definition of success?

এবং সাফল্যের বর্ণনাটি কি হবে?

Reasonable choice would be,

একটি যৌক্তিক উত্তর হল,

well, who is successful at Fox News?

ফক্স নিউজে কারা সফলতা লাভ করেছে?

I guess someone who, say, stayed there for four years

ধরুন যে চার বছর কাজ করেছে এবং

and was promoted at least once.

অন্তত যার একবার পদোন্নতি হযেছে।

Sounds reasonable.

যৌক্তিক শোনাচ্ছে।

And then the algorithm would be trained.

এবং তারপর অ্যালগরিদমটিকে শেখানো হবে।

It would be trained to look for people to learn what led to success,

এটা কীভাবে সাফল্যের দিকে পরিচালিত হবে তা জানতে লোকেদের সন্ধান করতে

what kind of applications historically led to success

প্রশিক্ষণ করা হবে, ঐতিহ্যগত ভাবে কোন অ্যাপ্লিকেশন সাফল্যলাভ

by that definition.

করেছে সেই বর্ণনার দ্বারা।

Now think about what would happen

এবার ভাবুন কি হবে

if we applied that to a current pool of applicants.

আমরা যদি এটা বর্তমানে একদল আবেদনকারীদের

It would filter out women

উপর প্রয়োগ করি। তাহলে তা

because they do not look like people who were successful in the past.

নারীদের বাদ দিয়ে দেবে কারণ নারীরা এক সময় সফল ছিলনা।

Algorithms don't make things fair

অন্ধের মতন অ্যালগরিদম প্রয়োগ

if you just blithely, blindly apply algorithms.

করলে তা যৌক্তিক হয়না

They don't make things fair.

তা ন্যায্য হয়না।

They repeat our past practices,

তা আমাদের অতীতের ব্যবহারগুলো,

our patterns.

পুনরায় অনুসরণ করে।

They automate the status quo.

তারা স্থিতাবস্তায় স্বয়ংক্রিয় পদ্ধতি

That would be great if we had a perfect world,

প্রয়োগ করে। যদি পৃথিবীতে সবাই নিখুঁত হত তাহলে তা

but we don't.

ঠিক ছিল,কিন্তু তা নয়।

And I'll add that most companies don't have embarrassing lawsuits,

এবং বেশিরভাগ সংস্থায় লজ্জাজনক কোন মামলা হয় না,

but the data scientists in those companies

তবে সেখানকার তথ্য বিজ্ঞানীদের তথ্যগুলি অনুসরণ

are told to follow the data,

করতে বলা হয়,

to focus on accuracy.

সঠিকতায় গুরুত্ব দিতে বলা হয়।

Think about what that means.

ভাবুন তার মানে কি।

Because we all have bias, it means they could be codifying sexism

যেহেতু আমাদের সকলের মধ্যে পক্ষপাতিত্ব রয়েছে,এর মানে তা কোন রকমের প্রাধান্য

or any other kind of bigotry.

বা ধর্মানুশাসনকে শ্রেণীবদ্ধ করে।

Thought experiment,

চিন্তাশীল পরীক্ষা নিরীক্ষা,

because I like them:

কারণ আমার তা ভাল লাগে:

an entirely segregated society --

একটি সম্পূর্ণ পৃথকীকৃত সমাজ --

racially segregated, all towns, all neighborhoods

জাতিগতভাবে পৃথকিত, সমস্ত শহর, সমস্ত এলাকা

and where we send the police only to the minority neighborhoods

এবং যেখানে আমরা পুলিশকে সংখ্যালঘু প্রতিবেশীদের

to look for crime.

অপরাধের খোঁজে পাঠাই।

The arrest data would be very biased.

What if, on top of that, we found the data scientists

তা ছাড়া,আমরা যদি তথ্য বৈজ্ঞানিদের খুঁজে বার করে

and paid the data scientists to predict where the next crime would occur?

তাদের টাকা দিয়ে ভবিষ্যতে কোন জায়গায় অপরাধ ঘটবে তা জানার জন্য তাহলে কি হবে?

Minority neighborhood.

সংখ্যালঘুদের পরিবেশে।

Or to predict who the next criminal would be?

বা এটা জানতে পরের অপরাধীটি কে হবে?

A minority.

একজন সংখ্যালঘু ব্যাক্তি।

The data scientists would brag about how great and how accurate

তথ্য বিজ্ঞানীরা তাদের মডেলের সঠিকতার

their model would be,

সম্পর্কে প্রশংসা করবে,

and they'd be right.

এবং তারা সঠিক।

Now, reality isn't that drastic, but we do have severe segregations

কিন্তু,বাস্তবতটা অতটা তীব্র নয় কিন্তু,

in many cities and towns,

অনেক শহরে পৃথকীকরণ বিরাজমান

and we have plenty of evidence

এবং আমাদের কাছে প্রমান আছে সেই

of biased policing and justice system data.

পক্ষপাতমূলক বিষয় এবং

And we actually do predict hotspots,

আমরা সে সব হটস্পটগুলির উপস্থিতি আন্দাজ করি

places where crimes will occur.

যেখানে পরের অপরাধটি ঘটবে।

And we do predict, in fact, the individual criminality,

এবং আমরা পূর্বাভাস করি এক একটি অপরাধ,

the criminality of individuals.

ব্যক্তিদের অপরাধ।

The news organization ProPublica recently looked into

সংবাদ সংস্থা প্রোপাবলিকা সম্প্রতি একটি

one of those "recidivism risk" algorithms,

"অপরাধপ্রবণতা ঝুঁকি" অ্যালগোরিদমের দিকে

as they're called,

তাকিয়ে দেখেছে, যা

being used in Florida during sentencing by judges.

ফ্লোরিডায় ব্যাবহার করা হয় বিচারকদের দ্বারা শাস্তি প্রদানের সময়।

Bernard, on the left, the black man, was scored a 10 out of 10.

বার্নার্ড,বাঁদিকের কালো মানুষটিকে ১০ এ ১০ নম্বর দেওয়া হয়।

Dylan, on the right, 3 out of 10.

ডাইলান, ডান দিকে,পায় ১০ এ ৩।

10 out of 10, high risk. 3 out of 10, low risk.

১০ এ ১০,অর্থাৎ উচ্চ ঝুঁকি। ১০ এ ৩,অর্থাৎ নিম্ন ঝুঁকি।

They were both brought in for drug possession.

তাদের দুজনের কাছেই নেশার পদার্থ পাওয়া যায়। দুজনেরই

They both had records,

অপরাধের তালিকায় নাম,

but Dylan had a felony

ডাইলান আগে এক গুরুতর অপরাধে জড়িত ছিল

but Bernard didn't.

কিন্তু বার্নার্ড তা নয়।

This matters, because the higher score you are,

এটি গুরুত্বপূর্ণ, কারণ আপনার যত উচ্চতর নম্বর,

the more likely you're being given a longer sentence.

আপনার লম্বা শাস্তি পাওয়ার সম্ভবনাটাও অতটা বেশি।

What's going on?

কি হচ্ছে এটা?

Data laundering.

তথ্য পাচার।

It's a process by which technologists hide ugly truths

এই প্রক্রিয়ার দ্বারা প্রযুক্তিবিজ্ঞানীরা কালো বক্স অ্যালগোরিদমগুলির

inside black box algorithms

মধ্যে কুশ্রী সত্য লুকিয়ে রাখে

and call them objective;

এবং তাদের উদ্দেশ্য বলে;

call them meritocratic.

কল্যাণকামী বলে।

When they're secret, important and destructive,

যখন তারা গুপ্ত, গুরুত্বপূর্ণ এবং ধ্বংসাত্মক হয়,

I've coined a term for these algorithms:

আমি এই অ্যালগোরিদমগুলির এক নামকরণ করেছি:

"weapons of math destruction."

"গণিতের দ্বারা ধ্বংসের অস্ত্র।"

(Laughter)

(হাসি )

(Applause)

(হাততালি)

They're everywhere, and it's not a mistake.

তারা সব জায়গায় উপস্থিত, এবং এটা কোন ভুল নয়।

These are private companies building private algorithms

এগুলি কিছু বেসরকারি সংস্থা যা তাদের ব্যক্তিগত প্রয়োজনে কিছু ব্যক্তিগত

for private ends.

অ্যালগোরিদম বানাচ্ছে।

Even the ones I talked about for teachers and the public police,

এমনকি যেগুলোর বিষয় আমি আলোচনা করলাম শিক্ষক ও সরকারি পুলিশের বিষয়ে,

those were built by private companies

সেগুলো কিছু বেসরকারি সংস্থা তৈরী করে

and sold to the government institutions.

তা সরকারি সংস্থাদের কাছে বিক্রি করেছে।

They call it their "secret sauce" --

তারা এটাকে তাদের "গোপন সস" বলে--

that's why they can't tell us about it.

তাই আমাদের সেই বিষয়ে জানতে দিতে চায়না।

It's also private power.

এটি বেসরকারি ক্ষমতা।

They are profiting for wielding the authority of the inscrutable.

তারা অবর্ণনীয় কিছু ব্যক্তিদের হাতে ক্ষমতা তুলে দিয়ে লাভ করছে।

Now you might think, since all this stuff is private

আপনারা হয়তো ভাবছেন, যেহুতু এইগুলো বেসরকারি বিষয়ে

and there's competition,

এবং প্রতিযোগিতা রয়েছে,

maybe the free market will solve this problem.

তাহলে হয়তো স্বাধীন বাজার এই সমস্যার সমাধান করবে।

It won't.

তা হবেনা।

There's a lot of money to be made in unfairness.

অসৎ পথে অনেক টাকা আয় হয়।

Also, we're not economic rational agents.

এছাড়া,আমরা অর্থনৈতিক যুক্তিসঙ্গত প্রতিনিধি নই।

We all are biased.

আমরা সকলে পক্ষপাতদুষ্ট।

We're all racist and bigoted in ways that we wish we weren't,

আমরা সবাই বর্ণবাদী সে সকল রূপে যা হয়তো আমরা চাইনা,

in ways that we don't even know.

বা হয়তো জানিনা,

We know this, though, in aggregate,

কিন্তু আমরা জানি, সামগ্রিকভাবে,

because sociologists have consistently demonstrated this

কারণ সমাজতাত্ত্বিকরা বারবার তাদের পরীক্ষার

with these experiments they build,

দ্বারা তা উল্লেখ করেছেন,

where they send a bunch of applications to jobs out,

যেখানে তারা একগুচ্ছ চাকরির আবেদনপত্র পাঠায়,

equally qualified but some have white-sounding names

সকলের সমান যোগ্যতা থাকে কিন্তু তার মধ্যে কারো

and some have black-sounding names,

নাম ভাল শোনায় কারো শোনায় না,

and it's always disappointing, the results -- always.

এবং এটা সবসময় হতাশাজনক, ফলাফলটা - সবসময়।

So we are the ones that are biased,

কাজেই আমরাই পক্ষপাতদুষ্ট,

and we are injecting those biases into the algorithms

এবং আমরা সেই দোষটা অ্যালগোরিদম মধ্যে প্রদান করি

by choosing what data to collect,

কোন তথ্য সংগ্রহ করা হবে তা বলে দিয়ে,

like I chose not to think about ramen noodles --

ঠিক যেমন আমি রামেন নুডলস সম্পর্কে ভাবতে পছন্দ করিনা--

I decided it was irrelevant.

আমি মনে করি এটি অপ্রাসঙ্গিক।

But by trusting the data that's actually picking up on past practices

কিন্তু অতীতের প্রথাগুলির উপর নির্ভর থেকে

and by choosing the definition of success,

এবং সফলতার সংজ্ঞা বেছে নিয়ে,আমরা

how can we expect the algorithms to emerge unscathed?

অ্যালগোরিদমগুলিকে ত্রুটিহীন মেনে নিতে পারি কি?

We can't. We have to check them.

আমরা পারিনা। আমাদের উচিত তা যাচাই করা ।

We have to check them for fairness.

আমাদের ন্যায্যতা যাচাই করতে হবে।

The good news is, we can check them for fairness.

ভাল খবর হল,আমরা তাদের ন্যায্যতা পরীক্ষা করতে পারি।

Algorithms can be interrogated,

অ্যালগরিদমগুলিকে জেরা করা যেতে পারে,

and they will tell us the truth every time.

এবং তারা প্রত্যেকবার সত্যিটাই বলবে।

And we can fix them. We can make them better.

আমরা তা ঠিক করতে পারি।আমরা তাদের ভাল করে তুলতে পারি।

I call this an algorithmic audit,

আমি এটাকে বলি অ্যালগরিদমিক নিরীক্ষা,

and I'll walk you through it.

এবং আমি এ বিষয়টি আপনাদের বোঝাবো।

First, data integrity check.

প্রথম, তথ্য অখণ্ডতা পরীক্ষা।

For the recidivism risk algorithm I talked about,

যে অপরাধপ্রবণতা ঝুঁকি অ্যালগরিদমগুলির সম্পর্কে বললাম,

a data integrity check would mean we'd have to come to terms with the fact

একটি তথ্য অখণ্ডতা পরীক্ষার অর্থ হবে আমরা এটা শিকার করি যে

that in the US, whites and blacks smoke pot at the same rate

মার্কিন যুক্তরাষ্ট্রে, সাদা এবং কালো দুজনরাই একই পরিমানে নেশা করে

but blacks are far more likely to be arrested --

অথচ একটি কালো মানুষের গ্রেফতার হওয়ার সম্ভবনা বেশি--

four or five times more likely, depending on the area.

এলাকার উপর নির্ভর করে সম্ভবত চার বা পাঁচ গুণ বেশি।

What is that bias looking like in other crime categories,

অন্য ধরণের অপরাধের মধ্যে এই পক্ষপাতিত্ব কিরকম রয়েছে,

and how do we account for it?

এবং কীভাবে আমরা এর জন্য দায়ী?

Second, we should think about the definition of success,

দ্বিতীয়ত, আমাদের সাফল্যের সংজ্ঞা সম্পর্কে ভাবা উচিত,

audit that.

তা নিরীক্ষা করা দরকার।

Remember -- with the hiring algorithm? We talked about it.

মনে আছে-সেই নিয়োগের অ্যালগরিদমের কথা যা আমি আলোচনা করলাম।

Someone who stays for four years and is promoted once?

কাউর চার বছর পর যদি একবার পদোন্নতি হয়?

Well, that is a successful employee,

সে এক সফল কর্মী, কিন্তু এটি একটি

but it's also an employee that is supported by their culture.

এমন কর্মী যে তার সংস্কৃতির দ্বারা সমর্থন পায়।

That said, also it can be quite biased.

এটিও খুব পক্ষপাতদুষ্ট হতে পারে।

We need to separate those two things.

আমাদের সেই দুটি জিনিস আলাদা করা উচিত।

We should look to the blind orchestra audition

আমরা উদাহরণ হিসাবে একটি অন্ধ অর্কেস্ট্রা শ্রুতি

as an example.

কল্পনা করতে পারি।

That's where the people auditioning are behind a sheet.

যারা নিজেদের শিল্প পেশ করছে তারা একটি চাদরের পিছনে।

What I want to think about there

আমি ভাবতে চাই

is the people who are listening have decided what's important

এক দল মানুষ যারা তা শুনছে তারা নির্ণয় নিয়ে নিয়েছে যে তারা কি শুনতে চায়

and they've decided what's not important,

এবং কোনটা প্রয়োজনী এবং কোনটা অপ্রয়োজনী,

and they're not getting distracted by that.

এবং তারা এর দ্বারা বিভ্রান্ত হচ্ছেনা।

When the blind orchestra auditions started,

যখন এরূপ অন্ধ অর্কেস্ট্রা অডিশন শুরু হয়,

the number of women in orchestras went up by a factor of five.

অর্কেস্ট্রায় মহিলাদের সংখ্যা পাঁচগুন্ বেড়ে উঠতে দেখা যায়।

Next, we have to consider accuracy.

আমাদের পরবর্তী কাজ, সঠিকতা বিবেচনা করা।

This is where the value-added model for teachers would fail immediately.

এই জায়গায় শিক্ষকদের জন্য তৈরী মূল্য-যুক্ত মডেলটি অবিলম্বে নিষ্ফল হবে।

No algorithm is perfect, of course,

কোন এলগোরিদমই সম্পূর্ণ নিখুঁত নয় অবশ্য,

so we have to consider the errors of every algorithm.

তাই আমাদের উচিত প্রতিটি আলগোরিদমের ত্রুটি বিবেচনা করা।

How often are there errors, and for whom does this model fail?

এতে ভুল কতটা সাধারণ, এবং কাদের বিষয় এই মডেল ব্যর্থ হয়?

What is the cost of that failure?

এই ব্যর্থতার খরচ কি?

And finally, we have to consider

এবং অবশেষে, আমাদের অ্যালগরিদমের

the long-term effects of algorithms,

দীর্ঘমেয়াদী প্রভাব বিবেচনা করতে হবে,

the feedback loops that are engendering.

প্রতিক্রিয়ার বৃত্তমান পথগুলি প্ররোচিত করে।

That sounds abstract,

এটি বিমূর্ত শোনায় ,

but imagine if Facebook engineers had considered that

ভাবুন যদি ফেইসবুকের প্রকৌশলীরা এটি ভেবে থাকতেন

before they decided to show us only things that our friends had posted.

আমাদের বন্ধুদের পোস্ট গুলো আমাদের দেখানোর আগে।

I have two more messages, one for the data scientists out there.

আমার আরও দুটি বার্তা আছে, এক তথ্য বিজ্ঞানীদের জন্য।

Data scientists: we should not be the arbiters of truth.

তথ্য বিজ্ঞানীরা: আমাদের সত্যের সালিশ হতে হবেনা।

We should be translators of ethical discussions that happen

আমাদের এই বৃহত্তর সমাজে নৈতিক আলোচনাগুলির

in larger society.

অনুবাদক হওয়া উচিত।

(Applause)

(হাততালি)

And the rest of you,

এবং বাকিদের জন্য, যারা

the non-data scientists:

তথ্য বৈজ্ঞানিক নন:

this is not a math test.

এটি অংকের পরীক্ষা নয়।

This is a political fight.

এটি একটি রাজনৈতিক যুদ্ধ।

We need to demand accountability for our algorithmic overlords.

আমাদের অ্যালগরিদমের জমিদারির বিরুদ্ধে দায়বদ্ধতা দাবি করতে হবে।

(Applause)

(হাততালি)

The era of blind faith in big data must end.

'বিগ ডাটা' এ অন্ধবিশ্বাসের যুগ শেষ করতে হবে|

Thank you very much.

(Applause)

ধন্যবাদ |

(হাততালি)