The danger of AI is weirder than you think | Janelle Shane

Translator: Mehdi Fezy Reviewer: Masoud Motamedifar

So, artificial intelligence

خب، هوش مصنوعی

is known for disrupting all kinds of industries.

به مختل کردن تمامی صنایع مشهور است.

What about ice cream?

صنعت بستنی سازی چطور؟

What kind of mind-blowing new flavors could we generate

چه نوع مزه های جدید و جالب را می توانیم

with the power of an advanced artificial intelligence?

با قدرت هوش مصنوعی پیشرفته تولید کنیم؟

So I teamed up with a group of coders from Kealing Middle School

خب، من با گروهی از برنامه نویسان از مدرسه متوسطه کیلینگ تیم شدیم

to find out the answer to this question.

تا پاسخ این سوال را پیدا کنیم.

They collected over 1,600 existing ice cream flavors,

آنها بیش از ۱,۶۰۰ نوع مزه بستنی یافتند،

and together, we fed them to an algorithm to see what it would generate.

و ما با هم، آنها در الگوریتمی قرار دادیم تا ببینیم جه چیزی تولید می شود.

And here are some of the flavors that the AI came up with.

و اینها برخی از مزه هایی است که هوش مصنوعی آنها را تولید کرده است.

[Pumpkin Trash Break]

[آشغال کدو تنبل]

(Laughter)

(صدای خنده)

[Peanut Butter Slime]

[لجنِ کره بادام زمینی]

[Strawberry Cream Disease]

[مرض خامه توت فرنگی]

(Laughter)

(صدای خنده)

These flavors are not delicious, as we might have hoped they would be.

این طعم ها اصلا خوشمزه نیستند در حالی که ما انتظار خوشمزه بودن آنها را داشتیم.

So the question is: What happened?

سوال اینجاست که: چه اتفاقی افتاد؟

What went wrong?

اشتباه از کجا بود؟

Is the AI trying to kill us?

آیا هوش مصنوعی سعی در کشتن ما را دارد؟

Or is it trying to do what we asked, and there was a problem?

یا که سعی دارد آن کاری که ما خواستیم را انجام دهد، و سپس مشکل پیش آمده است؟

In movies, when something goes wrong with AI,

در فیلم ها، زمانی که مشکلی برای هوش مصنوعی رخ می دهد

it's usually because the AI has decided

معمولاً به این خاطر است که هوش مصنوعی تصمیم داشته

that it doesn't want to obey the humans anymore,

که از دستورات انسان ها دیگر پیروی نکند،

and it's got its own goals, thank you very much.

و هدفهای خودش را دارد، خیلی ممنون.

In real life, though, the AI that we actually have

اما در زندگی واقعی، هوش مصنوعی که ما در اختیار داریم

is not nearly smart enough for that.

هنوز برای آن کارها آنقدر باهوش نیست.

It has the approximate computing power

هوش مصنوعی ما قدرت محاسباتی نزدیک به

of an earthworm,

یک کرم خاکی،

or maybe at most a single honeybee,

یا حداکثر یک زنبور عسل را دارد،

and actually, probably maybe less.

و در واقع حتی کمتر از آن.

Like, we're constantly learning new things about brains

ما مدام در حال یادگیری جنبه های جدیدی از مغز هستیم که

that make it clear how much our AIs don't measure up to real brains.

مشخص می کند هوشهای مصنوعی ما هنوز نزدیک به مغزهای واقعی نیستند.

So today's AI can do a task like identify a pedestrian in a picture,

خب، امروزه هوش های مصنوعی می توانند وظیفه ای مثل تشخیص پیاده رو در یک عکس را

but it doesn't have a concept of what the pedestrian is

انجام دهند اما آنها از مفهوم پیاده رو چیزی جز یک سری

beyond that it's a collection of lines and textures and things.

خطوط و بافت نمی دانند.

It doesn't know what a human actually is.

آنها حتی نمی دانند انسان چیست.

So will today's AI do what we ask it to do?

پس آیا هوش های مصنوعی امروزه کاری که می خواهیم را انجام می دهند؟

It will if it can,

در صورتی که بتوانند انجام می دهند

but it might not do what we actually want.

اما ممکن است کاری که ما می خواهیم نباشد.

So let's say that you were trying to get an AI

خب بگذارید فرض کنیم که شما می خواهید یک هوش مصنوعی

to take this collection of robot parts

مجموعه ای از بخشهای یک روبات را بگیرد

and assemble them into some kind of robot to get from Point A to Point B.

و آن را به رباتی تبدیل کند که از نقطه A به نقطه B می رود.

Now, if you were going to try and solve this problem

حالا، اگر شما می خواستید این مسئله را با

by writing a traditional-style computer program,

نوشتن یک برنامه سنتی کامپیوتری حل کنید،

you would give the program step-by-step instructions

شما به برنامه دستورالعملهای پله پله می دادید

on how to take these parts,

که چطور این بخش را برداشته،

how to assemble them into a robot with legs

به هم بچسباند تا رباتی دو پا بسازد

and then how to use those legs to walk to Point B.

و سپس به وسیله آن پاها به نقطه B برود.

But when you're using AI to solve the problem,

اما زمانی که در حال استفاده از هوش مصنوعی هستید

it goes differently.

مسئله متفاوت است.

You don't tell it how to solve the problem,

شما به آن نمی گویید چطور مسئله را حال کند،

you just give it the goal,

شما تنها به آن هدف را می دهید،

and it has to figure out for itself via trial and error

و او می بایست از طریق آزمایش و خطا

how to reach that goal.

خودش به هدف برسد.

And it turns out that the way AI tends to solve this particular problem

و اینطور به نظر می رسد که هوش مصنوعی این مسئله خاص را

is by doing this:

بدین گونه حل می کند:

it assembles itself into a tower and then falls over

ابتدا خودش را به یک برج تبدیل می کند و سپس سقوط می کند

and lands at Point B.

و در نقطه B به زمین می خورد.

And technically, this solves the problem.

و از لحاظ تکنیکی مسئله حل شده است.

Technically, it got to Point B.

از لحاظ تکنیکی به نقطه B رسیده است.

The danger of AI is not that it's going to rebel against us,

خطر هوش مصنوعی این نیست که او قرار است علیه ما شورش کند،

it's that it's going to do exactly what we ask it to do.

خطر این است که او دقیقاً کاری که ما بخواهیم را انجام می دهد.

So then the trick of working with AI becomes:

پس ترفند استفاده از هوش مصنوعی این است که:

How do we set up the problem so that it actually does what we want?

ما چطور مسئله را طرح کنیم که در واقع کاری که می خواهیم را انجام دهد؟

So this little robot here is being controlled by an AI.

این ربات کوچک در اینجا توسط یک هوش مصنوعی کنترل می شود.

The AI came up with a design for the robot legs

هوش مصنوعی به طرحی برای پاهای ربات رسیده است

and then figured out how to use them to get past all these obstacles.

و چگونگی استفاده از این پاها را برای گذشتن از این موانع را فهمیده است.

But when David Ha set up this experiment,

اما زمانی که دیوید ها این آزمایش را ساخته است،

he had to set it up with very, very strict limits

محدودیتهای بسیار زیادی در رابطه با

on how big the AI was allowed to make the legs,

اندازه مجاز پاها گذاشته است.

because otherwise ...

زیرا در غیر این صورت ...

(Laughter)

(صدای خنده)

And technically, it got to the end of that obstacle course.

و از لحاظ تکنیکی، به انتهای موانع رسیده است.

So you see how hard it is to get AI to do something as simple as just walk.

پس می بینید که یک کار ساده مانند به راه انداختن هوش مصنوعی چقدر سخت است.

So seeing the AI do this, you may say, OK, no fair,

خب، با دیدن انجام این کار از هوش مصنوعی شما ممکن است بگویید، عادلانه نیست،

you can't just be a tall tower and fall over,

شما نمی توانی یک برج بلند باشی و فقط سقوط کنی

you have to actually, like, use legs to walk.

شما باید از پاهایت برای راه رفتن استفاده کنی.

And it turns out, that doesn't always work, either.

اینطور که معلوم است، این نظر همیشه صادق نیست.

This AI's job was to move fast.

کار این هوش مصنوعی این بوده است که سریع حرکت کند.

They didn't tell it that it had to run facing forward

آنها نگفتند که باید رو به جلو حرکت کند

or that it couldn't use its arms.

یا نمی تواند از دست هایش استفاده کند.

So this is what you get when you train AI to move fast,

پس زمانی که از یک هوش مصنوعی می خواهیم که سریع حرکت کند،

you get things like somersaulting and silly walks.

چیزی شبیه پُشتک زدن و ابلهانه راه رفتن می گیرید.

It's really common.

کاملاً معمول است.

So is twitching along the floor in a heap.

همینطور پیچ خوردن روی زمین.

(Laughter)

(صدای خنده)

So in my opinion, you know what should have been a whole lot weirder

پس به عقیده من، چیزی که می بایست خیلی عجیب تر باشد

is the "Terminator" robots.

ربات های فیلم ترمیناتور است.

Hacking "The Matrix" is another thing that AI will do if you give it a chance.

هک کردن «ماتریکس» نیز کار دیگر ایست که هوش مصنوعی اگر شانسش را داشت انجام می داد.

So if you train an AI in a simulation,

پس اگر یک هوش مصنوعی را در یک شبیه سازی آموزش دهید

it will learn how to do things like hack into the simulation's math errors

یاد میگیرد که کارهایی چون استفاده از خطاهای ریاضی شبیه سازی

and harvest them for energy.

و استفاده از آنها برای انرژی را انجام دهد.

Or it will figure out how to move faster by glitching repeatedly into the floor.

یا اینکه چگونه با پیچیدن به زمین سریع تر حرکت کند.

When you're working with AI,

زمانیکه شما در حال کار با هوش مصنوعی هستید

it's less like working with another human

کمتر شبیه به کار با انسانی دیگر است

and a lot more like working with some kind of weird force of nature.

و بیشتر شبیه به کار با نیروی عجیبی از طبیعت است.

And it's really easy to accidentally give AI the wrong problem to solve,

و به صورت اتفاقی دادن مسئله اشتباه برای حل به هوش مصنوعی آسان است،

and often we don't realize that until something has actually gone wrong.

و اغلب ما متوجه نمی شویم تا زمانی که اشتباهی رخ دهد.

So here's an experiment I did,

خب، این یک آزمایش است که من انجام داده ام

where I wanted the AI to copy paint colors,

که در آن از هوش مصنوعی خواستم تا رنگ ها را تکثیر کند

to invent new paint colors,

تا به رنگ های جدیدی برسد،

given the list like the ones here on the left.

با دادن لیستی که در سمت چپ می بینید.

And here's what the AI actually came up with.

و این چیزی است که هوش مصنوعی به آن رسیده است.

[Sindis Poop, Turdly, Suffer, Gray Pubic]

[ساندیس مدفوع، پشکل، زجر، موی قهوه ای]

(Laughter)

(صدای خنده)

So technically,

از لحاظ تکنیکی،

it did what I asked it to.

او کاری را که من خواسته بودم انجام داد.

I thought I was asking it for, like, nice paint color names,

من فکر کردم که از او نام رنگ های زیبا می خواهم

but what I was actually asking it to do

اما در واقع از او می خواستم که

was just imitate the kinds of letter combinations

ترکیب حروف را تقلید کند

that it had seen in the original.

که در نسخه اصلی دیده است.

And I didn't tell it anything about what words mean,

و من چیزی در رابطه با معنای کلمات به او نگفتم،

or that there are maybe some words

یا اینکه ممکن است کلماتی وجود داشته باشند

that it should avoid using in these paint colors.

که او می بایست از استفاده آنها برای این رنگ ها خودداری کند.

So its entire world is the data that I gave it.

بنابراین تمام دنیای او داده هایی است که من به او داده ام.

Like with the ice cream flavors, it doesn't know about anything else.

همانند طعم بستنی ها، او از هیچ چیز دیگر باخبر نیست.

So it is through the data

پس از طریق داده است که

that we often accidentally tell AI to do the wrong thing.

ما اغلب به اشتباه به هوش مصنوعی می گوییم کاری را انجام دهد.

This is a fish called a tench.

این یک ماهی به نام «تنچ» است.

And there was a group of researchers

گروهی از محققان

who trained an AI to identify this tench in pictures.

هوش مصنوعی را پرورش دادند تا این ماهی را در تصاویر تشخیص دهد.

But then when they asked it

اما زمانی که از او پرسیدند

what part of the picture it was actually using to identify the fish,

که از طریق کدام بخش عکس این شناسایی را انجام داده است

here's what it highlighted.

او این قسمت را نشان داده است.

Yes, those are human fingers.

بله، آنها انگشت انسان هستند.

Why would it be looking for human fingers

چرا او باید به دنبال انگشت انسانها باشد

if it's trying to identify a fish?

اگر هدف یافتن ماهی است؟

Well, it turns out that the tench is a trophy fish,

خب، اینطور که معلوم است ماهی تنچ یک نوع جایزه است،

and so in a lot of pictures that the AI had seen of this fish

بنابراین در تصاویر زیادی که هوش مصنوعی در طول آموزش

during training,

مشاهد کرده است،

the fish looked like this.

ماهی بدین صورت بوده است.

(Laughter)

(صدای خنده)

And it didn't know that the fingers aren't part of the fish.

هوش مصنوعی از این حقیقت مطلع نبوده است که انگشت ها عضوی از ماهی نیستند.

So you see why it is so hard to design an AI

بنابراین شما می بینید که چرا طراحی یک هوش مصنوعی که

that actually can understand what it's looking at.

تشخیص دهد به چه چیزی می نگرد دشوار است.

And this is why designing the image recognition

و به همین دلیل طراحی دوربین های تشخیص چهره

in self-driving cars is so hard,

در خودروهای بدون سرنشین بسیار دشوار است،

and why so many self-driving car failures

و علت بسیاری از مشکلات خودروهای بدون سرنشین

are because the AI got confused.

گیچ شدن هوش مصنوعی است.

I want to talk about an example from 2016.

می خواهم در رابطه با مثالی در سال ۲۰۱۶ صحبت کنم.

There was a fatal accident when somebody was using Tesla's autopilot AI,

فردی با استفاده از راننده خودکار تسلا وارد تصادفی خطرناک شده بود.

but instead of using it on the highway like it was designed for,

او بجای استفاده از این تکنولوژی بر اساس طراحی آن در بزرگراه

they used it on city streets.

آن را در خیابان های شهر استفاده کرده بود.

And what happened was,

اتفاقی که رخ داد چنین بود

a truck drove out in front of the car and the car failed to brake.

کامیونی جلوی خودرو آمد و خودرو نتوانست ترمز بگیرد.

Now, the AI definitely was trained to recognize trucks in pictures.

خب، هوش مصنوعی کاملاً آموزش دیده بود تا کامیون ها را در عکس تشخیص دهد

But what it looks like happened is

اما اتفاقی که افتاد چنین بود که

the AI was trained to recognize trucks on highway driving,

هوش مصنوعی آموزش دیده بود تا کامیون ها را در بزرگراه تشخیص دهد

where you would expect to see trucks from behind.

که شما انتظار دارید کامیون ها را پشت سرتان ببینید.

Trucks on the side is not supposed to happen on a highway,

کامیون های کناری قرار نیست در بزرگراه ها باشند،

and so when the AI saw this truck,

پس زمانی که هوش مصنوعی این کامیون را دیده،

it looks like the AI recognized it as most likely to be a road sign

به احتمال زیاد آن را یکی از علائم خیابانی دیده است

and therefore, safe to drive underneath.

و به همین دلیل، رفتن به سمت آن امن بوده.

Here's an AI misstep from a different field.

این یک اشتباه دیگر از هوش مصنوعی در زمینه ای دیگر است.

Amazon recently had to give up on a résumé-sorting algorithm

اخیراً شرکت آمازون مجبور شد الگوریتمی که طبقه بندی رزومه ها را

that they were working on

انجام می داد کنار بگذارد

when they discovered that the algorithm had learned to discriminate against women.

زیرا آنها دریافتند که آن الگوریتم تمایزهای ضد زن داشته است.

What happened is they had trained it on example résumés

اتفاقی که افتاد به این صورت بود که آن ها هوش مصنوعی را بر

of people who they had hired in the past.

رزومه های نمونه افرادی که از قبل می شناختند آموزش داده بودند

And from these examples, the AI learned to avoid the résumés of people

و از این نمونه ها، هوش مصنوعی یاد گرفته بود که از رزومه افرادی

who had gone to women's colleges

که به کالج های زنانه رفته اند یا

or who had the word "women" somewhere in their resume,

کلمه «زن» در هر جای رزومه آنها بوده، دوری کند،

as in, "women's soccer team" or "Society of Women Engineers."

مانند، «تیم فوتبال زنان»، «جامعه مهندسان زن».

The AI didn't know that it wasn't supposed to copy this particular thing

هوش مصنوعی نمی دانسته که نباید این مورد خاص را

that it had seen the humans do.

که انسان ها انجام می دهند کپی کند.

And technically, it did what they asked it to do.

و از لحاظ تکنیکی هوش مصنوعی کاری را انجام داده که از او خواسته اند.

They just accidentally asked it to do the wrong thing.

آنها به طور اتفاقی از او خواسته بودند که کار اشتباهی را انجام دهد.

And this happens all the time with AI.

این مسئله برای تمام هوش های مصنوعی رخ می دهد.

AI can be really destructive and not know it.

هوش مصنوعی می تواند بدون آنکه بداند بسیار مخرب باشد.

So the AIs that recommend new content in Facebook, in YouTube,

پس هوش مصنوعی که محتوای جدید در فیسبوک و یوتیوب پیشنهاد می کند،

they're optimized to increase the number of clicks and views.

طوری برنامه ریزی شده است که تعداد بیننده و کلیک ها را افزایش دهد.

And unfortunately, one way that they have found of doing this

و متاسفانه، راهی که هوش مصنوعی برای انجام اینکار یافته این است که

is to recommend the content of conspiracy theories or bigotry.

محتوای متعصابه و تئوری های توطئه را پیشنهاد کند.

The AIs themselves don't have any concept of what this content actually is,

هوش مصنوعی خودش نمی داند که این محتوا چه معنایی دارد

and they don't have any concept of what the consequences might be

و از عواقب پیشنهاد کردن آن

of recommending this content.

هیچ اطلاعی ندارد.

So, when we're working with AI,

پس، زمانی که ما با هوش مصنوعی کار می کنیم،

it's up to us to avoid problems.

دوری کردن از مشکلات به خود ما بستگی دارد.

And avoiding things going wrong,

و همچنین دوری کردن از مسادلی که به خطا می روند

that may come down to the age-old problem of communication,

و منجر به مشکلات قدیمی ارتباطات می شود

where we as humans have to learn how to communicate with AI.

که ما می بایست به عنوان انسان چگونگی تعامل با هوش مصنوعی را بیاموزیم.

We have to learn what AI is capable of doing and what it's not,

ما باید بدانیم که هوش مصنوعی قادر به انجام چه کارهایی می باشد

and to understand that, with its tiny little worm brain,

و برای فهمیدن هوش مصنوعی، و مغز کوچک آن

AI doesn't really understand what we're trying to ask it to do.

باید بدانیم که هوش مصنوعی از کاری که ما از آن می خواهیم چیزی نمی داند.

So in other words, we have to be prepared to work with AI

به بیان دیگر، ما باید آماده باشیم تا با هوش مصنوعی کار کنیم که

that's not the super-competent, all-knowing AI of science fiction.

قادر مطلق یا عالم مطلق، آن طور که در فیلم های تخیلی دیده می شود نیست.

We have to be prepared to work with an AI

ما باید آماده باشیم تا با هوش مصنوعی کار کنیم که

that's the one that we actually have in the present day.

در حال حاضر در دسترس داریم

And present-day AI is plenty weird enough.

و هوش مصنوعی در دسترس ما به اندازه کافی عجیب است.

Thank you.

ممنونم.

(Applause)

(تشویق حضار)