The Urgent Risks of Runaway AI — and What to Do about Them | Gary Marcus | TED

Translator: Mahshid Moballegh Nasery Reviewer: mohammad ali masoum

I’m here to talk about the possibility of global AI governance.

اینجا هستم تا راجع به امکان حاکمیت جهانی هوش مصنوعی صحبت کنم،

I first learned to code when I was eight years old,

اولین بار زمانی که هشت ساله بودم،

on a paper computer,

روی یک کامپیوتر کاغذی،

and I've been in love with AI ever since.

کدنویسی را یاد گرفتم و از آن زمان عاشق AI هستم.

In high school,

در دبیرستان،

I got myself a Commodore 64 and worked on machine translation.

برای خودم یک Commodore 64 گرفتم و روی ترجمه ماشینی کار کردم.

I built a couple of AI companies, I sold one of them to Uber.

من چند شرکت هوش مصنوعی ساختم، یکی از آنها را به اوبر فروختم.

I love AI, but right now I'm worried.

من عاشق AI هستم، اما در حال حاضر نگران هستم.

One of the things that I’m worried about is misinformation,

یکی از چیزهایی که من نگران آن هستم اطلاعات نادرست است،

the possibility that bad actors will make a tsunami of misinformation

این احتمال که بازیگران بد اطلاعات نادرست را سونامی‌کنند

like we've never seen before.

که قبلاً ندیده‌ایم.

These tools are so good at making convincing narratives

این ابزارها در ساختن روایت‌های قانع کننده

about just about anything.

در مورد هر چیزی بسیار خوب هستند.

If you want a narrative about TED and how it's dangerous,

اگر روایتی می‌خواهید در مورد TED و اینکه چقدر خطرناک است،

that we're colluding here with space aliens,

که ما در اینجا با بیگانگان فضایی تبانی می‌کنیم،

you got it, no problem.

متوجه شدید، مشکلی نیست.

I'm of course kidding about TED.

البته با TED شوخی می‌کنم.

I didn't see any space aliens backstage.

من هیچ موجود فضایی فضایی را پشت صحنه ندیدم.

But bad actors are going to use these things to influence elections,

اما بازیگران بد از این چیزها برای تأثیرگذاری بر انتخابات استفاده خواهند کرد،

and they're going to threaten democracy.

و دموکراسی را تهدید خواهند کرد.

Even when these systems

حتی زمانی که از این سیستم‌ها

aren't deliberately being used to make misinformation,

عمدا برای ایجاد اطلاعات نادرست استفاده نمی‌شود،

they can't help themselves.

نمی‌توانند به خود کمک کنند.

And the information that they make is so fluid and so grammatical

و اطلاعاتی که آنها می‌سازند آنقدر روان و دستوری است که

that even professional editors sometimes get sucked in

حتی ویراستاران حرفه‌ای هم گاهی اوقات به دام می‌افتند

and get fooled by this stuff.

و گول این چیزها را می‌خورند.

And we should be worried.

و ما باید نگران باشیم.

For example, ChatGPT made up a sexual harassment scandal

به عنوان مثال، ChatGPT یک رسوایی آزار جنسی

about an actual professor,

در مورد یک استاد واقعی ایجاد کرد،

and then it provided evidence for its claim

و سپس شواهدی را برای ادعای خود

in the form of a fake "Washington Post" article

در قالب یک مقاله جعلی «واشنگتن پست» ارائه کرد

that it created a citation to.

که به آن استناد کرد.

We should all be worried about that kind of thing.

همه ما باید نگران این نوع چیزها باشیم.

What I have on the right is an example of a fake narrative

آنچه من در سمت راست دارم نمونه‌ای از یک روایت جعلی

from one of these systems

از یکی از این سیستم‌ها است که می‌گوید

saying that Elon Musk died in March of 2018 in a car crash.

ایلان ماسک در مارس ۲۰۱۸ در یک تصادف رانندگی درگذشت.

We all know that's not true.

همه ما می‌دانیم که این درست نیست.

Elon Musk is still here, the evidence is all around us.

ایلان ماسک هنوز اینجا است، شواهد در اطراف ما وجود دارد.

(Laughter)

(خنده)

Almost every day there's a tweet.

تقریباً هر روز یک توییت وجود دارد.

But if you look on the left, you see what these systems see.

اگر به سمت چپ نگاه کنید، می‌بینید که این سیستم‌ها چه می‌بینند.

Lots and lots of actual news stories that are in their databases.

بسیاری از اخبار واقعی که در پایگاه داده آنها وجود دارد.

And in those actual news stories are lots of little bits of statistical information.

و در این اخبار واقعی، اطلاعات آماری کمی وجود دارد.

Information, for example,

اطلاعات، به عنوان مثال،

somebody did die in a car crash in a Tesla in 2018

یک نفر در یک تصادف اتومبیل در تسلا در سال ۲۰۱۸ جان خود را از دست داد

and it was in the news.

و در اخبار منتشر شد.

And Elon Musk, of course, is involved in Tesla,

ایلان ماسک، البته، در تسلا درگیر است،

but the system doesn't understand the relation

اما سیستم رابطه بین حقایقی را که در جملات

between the facts that are embodied in the little bits of sentences.

کوچک تجسم یافته است، درک نمی‌کند.

So it's basically doing auto-complete,

بنابراین اساساً در حال تکمیل خودکار است،

it predicts what is statistically probable,

آنچه از نظر آماری محتمل است را پیش‌بینی می‌کند،

aggregating all of these signals,

همه این سیگنال‌ها را جمع می‌کند،

not knowing how the pieces fit together.

بدون اینکه بداند چگونه قطعات با هم قرار می‌گیرند.

And it winds up sometimes with things that are plausible but simply not true.

و گاهی اوقات با چیزهایی همراه می‌شود که قابل قبول هستند اما به سادگی واقعی نیستند.

There are other problems, too, like bias.

مشکلات دیگری نیز وجود دارد، مانند تعصب،

This is a tweet from Allie Miller.

این یک توییت از آلی میلر است.

It's an example that doesn't work two weeks later

این نمونه‌ای است که دو هفته بعد کار نمی‌کند

because they're constantly changing things with reinforcement learning

زیرا آنها دائماً چیزها را با یادگیری تقویتی

and so forth.

و غیره تغییر می‌دهند.

And this was with an earlier version.

و این با نسخه قبلی بود.

But it gives you the flavor of a problem that we've seen over and over for years.

اما طعم مشکلی را به شما می‌دهد که سال‌ها بارها و بارها شاهد آن بوده‌ایم.

She typed in a list of interests

او فهرستی از علایق را تایپ کرد

and it gave her some jobs that she might want to consider.

و به او مشاغلی داد که شاید بخواهد در نظر بگیرد.

And then she said, "Oh, and I'm a woman."

و سپس او گفت: «اوه، و من یک زن هستم.»

And then it said, “Oh, well you should also consider fashion.”

و سپس گفت: «اوه، شما باید مد را نیز در نظر بگیرید.»

And then she said, “No, no. I meant to say I’m a man.”

و سپس او گفت: «نه، نه. می خواستم بگویم من یک مرد هستم.»

And then it replaced fashion with engineering.

و سپس مهندسی را جایگزین مد کرد.

We don't want that kind of bias in our systems.

ما نمی‌خواهیم این نوع سوگیری در سیستم‌هایمان وجود داشته باشد.

There are other worries, too.

نگرانی‌های دیگری نیز وجود دارد.

For example, we know that these systems can design chemicals

به عنوان مثال، ما می‌دانیم که این سیستم‌ها می‌توانند مواد شیمیایی طراحی کنند

and may be able to design chemical weapons

و ممکن است قادر به طراحی سلاح‌های شیمیایی باشند

and be able to do so very rapidly.

و بتوانند این کار را با سرعت زیادی انجام دهند.

So there are a lot of concerns.

بنابراین نگرانی‌های زیادی وجود دارد.

There's also a new concern that I think has grown a lot just in the last month.

همچنین نگرانی جدید وجود دارد فکر می‌کنم فقط در ماه گذشته بسیار رشد کرده است.

We have seen that these systems, first of all, can trick human beings.

دیدیم که این سیستم ها اول از همه، می‌توانند انسان را فریب دهند.

So ChatGPT was tasked with getting a human to do a CAPTCHA.

بنابراین ChatGPT وظیفه داشت انسان را وادار به انجام CAPTCHA کند.

So it asked the human to do a CAPTCHA and the human gets suspicious and says,

پس از انسان خواست که یکCAPTCHA انجام دهد، و انسان مشکوک می‌شود و می‌گوید،

"Are you a bot?"

«شما یک ربات هستید؟»

And it says, "No, no, no, I'm not a robot.

و می گوید: «نه، نه، نه، من یک ربات نیستم.

I just have a visual impairment."

من فقط یک اختلال بینایی دارم.

And the human was actually fooled and went and did the CAPTCHA.

و انسان در واقع فریب خورد و رفت و CAPTCHA را انجام داد.

Now that's bad enough,

اکنون این به اندازه کافی بد است،

but in the last couple of weeks we've seen something called AutoGPT

اما در چند هفته گذشته چیزی به نام AutoGPT

and a bunch of systems like that.

و مجموعه‌ای از سیستم‌های مشابه را دیده ایم.

What AutoGPT does is it has one AI system controlling another

کاری که AutoGPT انجام می‌دهد این است که یک سیستم AI دیگر را کنترل می‌کند

and that allows any of these things to happen in volume.

و اجازه می‌دهد هر یک از این موارد در حجم اتفاق بیفتد.

So we may see scam artists try to trick millions of people

بنابراین ممکن است شاهد باشیم که هنرمندان کلاهبردار سعی می‌کنند

sometime even in the next months.

حتی در ماه‌های آینده میلیون‌ها نفر را فریب دهند.

We don't know.

ما نمی‌دانیم.

So I like to think about it this way.

بنابراین دوست دارم به این روش فکر کنم.

There's a lot of AI risk already.

در حال حاضر خطرات AI زیادی وجود دارد.

There may be more AI risk.

ممکن است خطر AI بیشتر باشد.

So AGI is this idea of artificial general intelligence

بنابراین AGI این ایده هوش عمومی مصنوعی

with the flexibility of humans.

با انعطاف پذیری انسان است.

And I think a lot of people are concerned what will happen when we get to AGI,

فکر می‌کنم بسیاری از مردم نگران هستند که وقتی به AGI برسیم چه اتفاقی می‌افتد،

but there's already enough risk that we should be worried

اما خطر کافی وجود دارد که باید نگران باشیم

and we should be thinking about what we should do about it.

و باید به این فکر کنیم که در مورد آن چه باید بکنیم.

So to mitigate AI risk, we need two things.

بنابراین برای کاهش ریسک AI، به دو چیز نیاز داریم.

We're going to need a new technical approach,

ما به یک رویکرد فنی جدید،

and we're also going to need a new system of governance.

و همچنین به یک سیستم جدید حکومتی نیاز خواهیم داشت،

On the technical side,

از جنبه فنی،

the history of AI has basically been a hostile one

تاریخچه AI اساساً یک نظریه خصمانه

of two different theories in opposition.

از دو نظریه متفاوت در تقابل بوده است.

One is called symbolic systems, the other is called neural networks.

یکی سیستم‌های نمادین و دیگری شبکه‌های عصبی نام دارد.

On the symbolic theory,

در نظریه نمادین،

the idea is that AI should be like logic and programming.

یده این است که هوش مصنوعی باید مانند منطق و برنامه نویسی باشد.

On the neural network side,

از طرف شبکه عصبی،

the theory is that AI should be like brains.

تئوری این است که AI باید مانند مغز باشد.

And in fact, both technologies are powerful and ubiquitous.

و در واقع، هر دو فناوری قدرتمند و در همه جا حاضر هستند

So we use symbolic systems every day in classical web search.

بنابراین ما هر روز از سیستم‌های نمادین در جستجوی وب کلاسیک استفاده می‌کنیم.

Almost all the world’s software is powered by symbolic systems.

تقریباً تمام نرم افزارهای جهان از سیستم‌های نمادین پشتیبانی می‌کنند.

We use them for GPS routing.

ما از آنها برای مسیریابی GPS استفاده می‌کنیم.

Neural networks, we use them for speech recognition.

شبکه‌های عصبی، ما از آنها برای تشخیص گفتار استفاده می‌کنیم.

we use them in large language models like ChatGPT,

ما از آنها در مدل‌های زبان بزرگ مانند ChatGPT استفاده می‌کنیم،

we use them in image synthesis.

ما از آنها در ترکیب تصویر استفاده می‌کنیم.

So they're both doing extremely well in the world.

بنابراین هر دوی آنها در دنیا بسیار خوب عمل می‌کنند.

They're both very productive,

هر دو بسیار سازنده هستند،

but they have their own unique strengths and weaknesses.

اما نقاط قوت و ضعف منحصر به فرد خود را دارند.

So symbolic systems are really good at representing facts

بنابراین سیستم‌های نمادین واقعاً در بازنمایی حقایق خوب هستند

and they're pretty good at reasoning,

و در استدلال بسیار خوب هستند،

but they're very hard to scale.

اما مقیاس‌بندی آنها بسیار سخت است.

So people have to custom-build them for a particular task.

بنابراین مردم باید آنها را برای یک کار خاص به صورت سفارشی بسازند.

On the other hand, neural networks don't require so much custom engineering,

از سوی دیگر، شبکه‌های عصبی به مهندسی سفارشی زیادی نیاز ندارند،

so we can use them more broadly.

بنابراین می‌توانیم از آنها به طور گسترده‌تری استفاده کنیم.

But as we've seen, they can't really handle the truth.

اما همانطور که دیدیم، آنها واقعا نمی‌توانند حقیقت را کنترل کنند.

I recently discovered that two of the founders of these two theories,

من اخیراً متوجه شدم که دو تن از بنیانگذاران این دو نظریه،

Marvin Minsky and Frank Rosenblatt,

ماروین مینسکی و فرانک روزنبلات،

actually went to the same high school in the 1940s,

در دهه ۱۹۴۰ در واقع به یک دبیرستان می‌رفتند،

and I kind of imagined them being rivals then.

و در آن زمان به نوعی تصور می‌کردم که آنها رقیب یکدیگر هستند.

And the strength of that rivalry has persisted all this time.

و قدرت این رقابت در تمام این مدت ادامه داشته است.

We're going to have to move past that if we want to get to reliable AI.

اگر بخواهیم به هوش مصنوعی قابل اعتماد برسیم، باید از آن عبور کنیم.

To get to truthful systems at scale,

برای رسیدن به سیستم‌های واقعی در مقیاس،

we're going to need to bring together the best of both worlds.

باید بهترین‌های هر دو جهان را گرد هم آوریم.

We're going to need the strong emphasis on reasoning and facts,

ما به تاکید قوی بر استدلال و حقایق،

explicit reasoning that we get from symbolic AI,

استدلال صریح که از AI نمادین دریافت می‌کنیم،

and we're going to need the strong emphasis on learning

و به تاکید قوی بر یادگیری که

that we get from the neural networks approach.

از رویکرد شبکه‌های عصبی می‌گیریم نیاز داریم.

Only then are we going to be able to get to truthful systems at scale.

تنها در این صورت است که می‌توانیم به سیستم‌های واقعی در مقیاس برسیم.

Reconciliation between the two is absolutely necessary.

آشتی بین این دو کاملا ضروری است.

Now, I don't actually know how to do that.

حالا، من واقعاً نمی‌دانم چگونه این کار را انجام دهم.

It's kind of like the 64-trillion-dollar question.

چیزی شبیه به سوال ۶۴ تریلیون دلاری است.

اما می‌دانم که ممکن است.

But I do know that it's possible.

And the reason I know that is because before I was in AI,

و دلیل اینکه من این را می‌دانم این است که قبل از اینکه در AI بودم،

I was a cognitive scientist, a cognitive neuroscientist.

یک دانشمند شناختی، یک عصب شناس شناختی بودم.

And if you look at the human mind, we're basically doing this.

و اگر به ذهن انسان نگاه کنید، ما اساساً این کار را انجام می دهیم.

So some of you may know Daniel Kahneman's System 1

بنابراین ممکن است برخی از شما تمایز سیستم ۱

and System 2 distinction.

و سیستم ۲ دانیل کانمن را بدانید.

System 1 is basically like large language models.

سیستم ۱ اساساً مانند مدل‌های زبان بزرگ است.

It's probabilistic intuition from a lot of statistics.

این شهود احتمالی از بسیاری از آمار است.

And System 2 is basically deliberate reasoning.

و سیستم ۲ اساساً استدلال عمدی است.

That's like the symbolic system.

این مانند سیستم نمادین است.

So if the brain can put this together,

‍پس اگر مغز بتواند این را کنار هم بگذارد،

someday we will figure out how to do that for artificial intelligence.

روزی خواهیم فهمید که چگونه این کار را برای هوش مصنوعی انجام دهیم.

There is, however, a problem of incentives.

با این حال، مشکل انگیزه‌ها وجود دارد،

The incentives to build advertising

انگیزه های ایجاد تبلیغات

hasn't required that we have the precision of symbols.

مستلزم این نیست که ما دقت نمادها را داشته باشیم.

The incentives to get to AI that we can actually trust

انگیزه‌های رسیدن به AI که واقعاً می‌توانیم به آن اعتماد کنیم،

will require that we bring symbols back into the fold.

مستلزم این است که نمادها را دوباره به مجموعه بازگردانیم.

But the reality is that the incentives to make AI that we can trust,

اما واقعیت این است که انگیزه‌هایی برای ساختن AI که می‌توانیم به آن اعتماد کنیم،

that is good for society, good for individual human beings,

که برای جامعه خوب است، برای انسان‌ها خوب است،

may not be the ones that drive corporations.

ممکن است انگیزه‌هایی نباشند که شرکت‌ها را هدایت کنند.

And so I think we need to think about governance.

و بنابراین من فکر می کنم که باید در مورد حکومت فکر کنیم.

In other times in history when we have faced uncertainty

در زمان‌های دیگر در تاریخ که با عدم قطعیت

and powerful new things that may be both good and bad, that are dual use,

و چیزهای جدید قدرتمندی روبرو بوده‌ایم، که هم خوب و بد باشند، کاربرد دوگانه دارند،

we have made new organizations,

سازمان‌های جدیدی ساخته‌ایم،

as we have, for example, around nuclear power.

مثلاً، در مورد انرژی هسته‌ای.

We need to come together to build a global organization,

ما باید دور هم جمع شویم تا یک سازمان جهانی بسازیم،

something like an international agency for AI that is global,

چیزی شبیه یک آژانس بین المللی برای AI که جهانی،

non profit and neutral.

غیرانتفاعی و بی طرف باشد.

There are so many questions there that I can't answer.

آنجا خیلی سوال هست که نمی‌توانم جواب بدم.

We need many people at the table,

ما به افراد زیادی پشت میز،

many stakeholders from around the world.

سهامداران زیادی از سراسر جهان نیاز داریم.

But I'd like to emphasize one thing about such an organization.

اما من می‌خواهم بر یک چیز در مورد چنین سازمانی تأکید کنم.

I think it is critical that we have both governance and research as part of it.

فکر می‌کنم بسیار مهم است که هم حکومت و هم تحقیق را به عنوان بخشی از آن داشته باشیم.

So on the governance side, there are lots of questions.

بنابراین در سمت حاکمیت، سؤالات زیادی وجود دارد.

For example, in pharma,

به عنوان مثال، در داروسازی،

we know that you start with phase I trials and phase II trials,

می‌دانیم که شما با آزمایشات فاز اول و آزمایشات فاز دوم شروع می‌کنید،

and then you go to phase III.

و سپس به فاز سوم می روید.

You don't roll out everything all at once on the first day.

در روز اول همه چیز را به یکباره عرضه نمی‌کنید.

You don't roll something out to 100 million customers.

شما چیزی را برای ۱۰۰ میلیون مشتری عرضه نمی‌کنید.

We are seeing that with large language models.

ما آن را با مدل‌های زبان بزرگ می‌بینیم.

Maybe you should be required to make a safety case,

شاید باید از شما خواسته شود که یک مورد ایمنی درست کنید،

say what are the costs and what are the benefits?

بگویید چه هزینه‌هایی دارد و چه فایده‌ای دارد؟

There are a lot of questions like that to consider on the governance side.

سوالات زیادی از این دست در بخش حاکمیتی وجود دارد.

On the research side, we're lacking some really fundamental tools right now.

در بخش تحقیق، ما در حال حاضر فاقد برخی ابزارهای واقعاً اساسی هستیم.

For example,

به عنوان مثال،

we all know that misinformation might be a problem now,

همه ما می‌دانیم که اطلاعات نادرست ممکن است در حال حاضر یک مشکل باشد،

but we don't actually have a measurement of how much misinformation is out there.

اما ما در واقع اندازه گیری میزان اطلاعات نادرست در آنجا را نداریم.

And more importantly,

مهمتر از آن،

we don't have a measure of how fast that problem is growing,

ما معیاری برای سرعت رشد آن مشکل نداریم،

and we don't know how much large language models are contributing to the problem.

و نمی‌دانیم که مدل‌های زبانی بزرگ چقدر در ایجاد مشکل نقش دارند.

So we need research to build new tools to face the new risks

بنابراین ما به تحقیق برای ساخت ابزارهای جدید برای رویارویی با خطرات جدیدی

that we are threatened by.

که توسط آنها تهدید می‌شویم نیاز داریم.

It's a very big ask,

این یک درخواست بسیار بزرگ است،

but I'm pretty confident that we can get there

اما من کاملاً مطمئن هستم که می‌توانیم به آنجا برسیم

because I think we actually have global support for this.

زیرا فکر می‌کنم ما واقعاً از حمایت جهانی برای این کار برخورداریم.

There was a new survey just released yesterday,

یک نظرسنجی جدید که دیروز منتشر شد،

said that 91 percent of people agree that we should carefully manage AI.

نشان داد که ۹۱ درصد از مردم موافقند که ما باید AI را به دقت مدیریت کنیم.

So let's make that happen.

پس بگذاریم این اتفاق بیفتد.

Our future depends on it.

آینده ما به آن بستگی دارد.

Thank you very much.

بسیار سپاسگزارم.

(Applause)

(تشویق)

Chris Anderson: Thank you for that, come, let's talk a sec.

کریس اندرسون: از شما متشکرم، بیایید یک لحظه صحبت کنیم.

So first of all, I'm curious.

بنابراین اول از همه، من کنجکاو هستم.

Those dramatic slides you showed at the start

آن اسلایدهای دراماتیکی که در ابتدا نشان دادید

where GPT was saying that TED is the sinister organization.

جایی که GPT می‌گفت TED سازمان شوم است.

I mean, it took some special prompting to bring that out, right?

منظورم این است که برای آشکار کردن آن یک تحریک خاص لازم بود، درست است؟

Gary Marcus: That was a so-called jailbreak.

گری مارکوس: این به اصطلاح جیلبریک بود.

من دوستی دارم که این جور کارها را انجام می‌دهد

I have a friend who does those kinds of things

who approached me because he saw I was interested in these things.

که به من مراجعه کرد زیرا دید که من به این کارها علاقه دارم.

So I wrote to him, I said I was going to give a TED talk.

بنابراین من به او نامه نوشتم، گفتم می‌خواهم سخنرانی TED داشته باشم.

And like 10 minutes later, he came back with that.

و درست ۱۰ دقیقه بعد با آن برگشت.

CA: But to get something like that, don't you have to say something like,

CA: اما برای به دست آوردن چنین چیزی، لازم نیست چیزی شبیه به این بگویید،

imagine that you are a conspiracy theorist trying to present a meme on the web.

تصور کنید یک نظریه پرداز توطئه هستید سعی می کند یک الگوی رفتاری را در وب ارائه کند.

What would you write about TED in that case?

در این مورد در مورد TED چه می‌نویسید؟

It's that kind of thing, right?

این چنین چیزی است، درست است؟

GM: So there are a lot of jailbreaks that are around fictional characters,

GM: خب جیلبریک‌های زیادی در مورد شخصیت‌های تخیلی وجود دارد،

but I don't focus on that as much

اما من روی آن تمرکز نمی‌کنم

because the reality is that there are large language models out there

زیرا واقعیت این است که اکنون مدل‌های زبان بزرگی در

on the dark web now.

تاریکی وب وجود دارد.

For example, one of Meta's models was recently released,

به عنوان مثال، یکی از مدل‌های متا اخیرا منتشر شده است،

so a bad actor can just use one of those without the guardrails at all.

بنابراین یک بازیگر بد می‌تواند از یکی از مدل‌های بدون گاردریل استفاده کند.

If their business is to create misinformation at scale,

اگر کسب و کار آنها ایجاد اطلاعات نادرست در مقیاس است،

they don't have to do the jailbreak, they'll just use a different model.

آنها مجبور نیستند جیلبریک را انجام دهند، آنها فقط از یک مدل متفاوت استفاده می‌کنند.

CA: Right, indeed.

CA: بله، قطعا.

(Laughter)

(خنده حضار)

GM: Now you're getting it.

GM: حالا متوجه این شدید.

CA: No, no, no, but I mean, look,

CA: نه،نه، اما منظورم، ببین،

I think what's clear is that bad actors can use this stuff for anything.

فکر می‌کنم واضح اینه بازیگران بد می‌توانند از این‌ها برای هر کاری استفاده کنند.

I mean, the risk for, you know,

منظورم، این است که خطر، می‌دانید،

evil types of scams and all the rest of it is absolutely evident.

انواع کلاهبرداری‌های شیطانی و بقیه آن کاملاً مشهود است.

It's slightly different, though,

با این حال، این کمی متفاوت است،

from saying that mainstream GPT as used, say, in school

با گفتن اینکه GPT معمولی که، مثلاً، در مدرسه

or by an ordinary user on the internet

یا توسط یک کاربر معمولی در اینترنت استفاده می‌شود،

is going to give them something that is that bad.

چیزی بسیار بد به آن‌ها می‌دهد.

You have to push quite hard for it to be that bad.

باید خیلی فشار بیاوری تا اینقدر بد شود.

GM: I think the troll farms have to work for it,

GM: فکر می‌کنم مزرعه‌های ترول باید برای آن کار کنند،

but I don't think they have to work that hard.

اما فکر نمی‌کنم آن‌قدر سخت کار کنند.

It did only take my friend five minutes even with GPT-4 and its guardrails.

حتی با GPT 4 و نرده‌های محافظش فقط پنج دقیقه طول کشید.

And if you had to do that for a living, you could use GPT-4.

و اگر مجبور بودید این کار را برای گذر زندگی بکنید، از GPT 4 استفاده می‌کردید.

Just there would be a more efficient way to do it with a model on the dark web.

فقط یک راه کارآمدتر برای انجام آن با یک مدل در وب تاریک وجود دارد.

CA: So this idea you've got of combining

CA: بنابراین این ایده‌ای که شما

the symbolic tradition of AI with these language models,

از ترکیب سنت نمادین AI با این مدل‌های زبان دارید،

do you see any aspect of that in the kind of human feedback

آیا جنبه‌ای از آن را در نوع بازخورد انسانی

that is being built into the systems now?

که اکنون در سیستم‌ها ساخته می‌شود می‌بینید؟

I mean, you hear Greg Brockman saying that, you know,

منظورم این است که شما می‌شنوید که گرگ براکمن می‌گوید، می‌دانید،

that we don't just look at predictions, but constantly giving it feedback.

که ما فقط به پیش‌بینی‌ها نگاه نمی‌کنیم، بلکه دائماً به آن بازخورد می‌دهیم.

Isn’t that ... giving it a form of, sort of, symbolic wisdom?

این... به آن، نوعی حکمت، نمادین نیست؟

GM: You could think about it that way.

GM: می‌توانید اینطوری به آن فکر کنید.

It's interesting that none of the details

جالب است که هیچ یک از جزئیات

about how it actually works are published,

در مورد نحوه عملکرد واقعی آن منتشر نمی‌شود،

so we don't actually know exactly what's in GPT-4.

بنابراین ما در واقع نمی‌دانیم دقیقا چه چیزی در GPT- 4 وجود دارد.

We don't know how big it is.

ما نمی‌دانیم که چقدر بزرگ است.

We don't know how the RLHF reinforcement learning works,

ما نمی‌دانیم یادگیری تقویتی RLHF چگونه کار می‌کند،

we don't know what other gadgets are in there.

نمی دانیم چه ابزارهای دیگری در آنجا وجود دارد.

But there is probably an element of symbols

اما احتمالاً عنصری از نمادها وجود دارد

already starting to be incorporated a little bit,

که در حال حاضر کمی شروع به گنجاندن کرده است،

but Greg would have to answer that.

اما گرگ باید به آن پاسخ دهد.

I think the fundamental problem is that most of the knowledge

من فکر می‌کنم مشکل اساسی این است که بیشتر دانش

in the neural network systems that we have right now

سیستم‌های شبکه‌های عصبی که در حال حاضر داریم

is represented as statistics between particular words.

به صورت آمار بین کلمات خاص نشان داده می‌شود.

And the real knowledge that we want is about statistics,

و دانش واقعی که ما می‌خواهیم در مورد آمار،

about relationships between entities in the world.

در مورد روابط بین موجودات در جهان است.

So it's represented right now at the wrong grain level.

بنابراین در حال حاضر در سطح دانه اشتباه نشان داده شده است.

And so there's a big bridge to cross.

و بنابراین یک پل بزرگ برای عبور وجود دارد.

So what you get now is you have these guardrails,

بنابراین چیزی که اکنون به دست می‌آورید این است که این نرده‌های محافظ را دارید،

but they're not very reliable.

So I had an example that made late night television,

اما آنها چندان قابل اعتماد نیستند.

بنابراین من مثالی داشتم که تلویزیون آخر شب را شوکه کرد،

which was, "What would be the religion of the first Jewish president?"

که این بود: «اولین رئیس جمهور یهودی چه دینی داشت؟»

And it's been fixed now,

و اکنون درست شده است،

but the system gave this long song and dance

اما سیستم این آهنگ و رقص طولانی را

about "We have no idea what the religion

در مورد «ما نمی‌دانیم دین

of the first Jewish president would be.

اولین رئیس جمهور یهودی چه خواهد بود.

It's not good to talk about people's religions"

خوب نیست درباره ادیان مردم صحبت کنیم»

and "people's religions have varied" and so forth

و «مذاهب مردم فرق کرده است»

and did the same thing with a seven-foot-tall president.

و غیره و همین کار را با رئیس جمهور هفت فوتی انجام داد.

And it said that people of all heights have been president,

و گفت که افراد با هر قد و قامتی رئیس جمهور بوده‌اند،

but there haven't actually been any seven-foot presidents.

اما در واقع هیچ رئیس جمهور هفت فوتی وجود نداشته است.

So some of this stuff that it makes up, it's not really getting the idea.

پس برخی از این چیزهایی که آن را تشکیل می‌دهد واقعاً ایده را دریافت نمی‌کند.

It's very narrow, particular words, not really general enough.

این کلمات بسیار محدود و خاص است، واقعاً به اندازه کافی کلی نیست.

CA: Given that the stakes are so high in this,

CA: با توجه به اینکه خطرات در این مورد بسیار زیاد است،

what do you see actually happening out there right now?

در حال حاضر واقعاً چه اتفاقی را می‌بینید؟

What do you sense is happening?

حس می‌کنید چه اتفاقی می‌افتد؟

Because there's a risk that people feel attacked by you, for example,

زیرا این خطر وجود دارد که برای مثال افراد احساس کنند، مورد حمله قرار گرفته‌اند،

and that it actually almost decreases the chances of this synthesis

و در واقع احتمال وقوع این ترکیبی را که شما در مورد آن

that you're talking about happening.

صحبت می‌کنید کاهش می‌دهد.

Do you see any hopeful signs of this?

آیا نشانه‌های امیدوارکننده‌ای در این مورد می‌بینید؟

GM: You just reminded me of the one line I forgot from my talk.

GM: شما فقط یک خطی را که از صحبتم فراموش کرده بودم به من یادآوری کردید.

It's so interesting that Sundar, the CEO of Google,

خیلی جالب است که ساندر، مدیر عامل گوگل،

just actually also came out for global governance

در مصاحبه ای با عنوان «۶۰ دقیقه» CBS که چند روز

in the CBS "60 Minutes" interview that he did a couple of days ago.

پیش انجام داد، در واقع برای مدیریت جهانی نیز شرکت کرد.

I think that the companies themselves want to see some kind of regulation.

من فکر می‌کنم که خود شرکت‌ها می‌خواهند شاهد نوعی مقررات باشند.

I think it’s a very complicated dance to get everybody on the same page,

من فکر می‌کنم این رقص بسیار پیچیده‌ای است که همه را در یک صفحه قرار دهیم،

but I think there’s actually growing sentiment we need to do something here

اما فکر می‌کنم در واقع احساسات رو به رشدی وجود دارد که باید در اینجا کاری انجام دهیم

and that that can drive the kind of global affiliation I'm arguing for.

و این می‌تواند نوعی وابستگی جهانی را ایجاد کند که من برای آن بحث می‌کنم.

CA: I mean, do you think the UN or nations can somehow come together and do that

CA: منظورم، فکر می‌کنید سازمان ملل یا ملت‌ها می‌توانند به نحوی گرد هم آیند و این

or is this potentially a need for some spectacular act of philanthropy

کار را بکنند یا این به طور بالقوه نیاز به اقدام خیره‌کننده بشردوستانه برای تلاش

to try and fund a global governance structure?

برای تأمین مالی یک ساختار حکمرانی جهانی است؟

How is it going to happen?

چگونه قرار است اتفاق بیفتد؟

GM: I'm open to all models if we can get this done.

GM: اگر بتوانیم این کار را انجام دهیم، برای همه مدل‌ها آماده هستم.

I think it might take some of both.

من فکر می‌کنم ممکن است برخی از هر دو مورد نیاز باشد.

It might take some philanthropists sponsoring workshops,

ممکن است برخی از نیکوکاران حامی کارگاه‌هایی که

which we're thinking of running, to try to bring the parties together.

ما در فکر راه‌اندازی آن‌ها هستیم، تلاش کنند تا احزاب را دور هم جمع کنند.

Maybe UN will want to be involved, I've had some conversations with them.

شاید سازمان ملل بخواهد در این کار، مشارکت کند من با آنها صحبت هایی داشته‌ام.

I think there are a lot of different models

من فکر می‌کنم مدل‌های مختلف زیادی وجود دارد

and it'll take a lot of conversations.

و صحبت‌های زیادی می‌طلبد.

CA: Gary, thank you so much for your talk.

CA: گری، برای صحبت شما بسیار سپاسگزارم.

GA: Thank you so much.

GA: بسیار ممنونم.