The Dark Side of Competition in AI | Liv Boeree | TED

Çeviri: Ramazan Şen Gözden geçirme: esra kurul

Competition.

Rekabet,

It's a fundamental part of human nature.

insan doğasının temel bir parçasıdır.

I was a professional poker player for 10 years,

10 yıl profesyonel poker oyunculuğu yaptım,

so I've very much seen all the good, bad and ugly ways it can manifest.

bu yüzden tezahür edebileceği tüm iyi, kötü ve çirkin yolları çok gördüm.

When it's done right,

Doğru yapıldığında,

it can drive us to incredible feats in sports and innovation,

sporda ve inovasyonda bizi inanılmaz başarılara götürebilir.

like when car companies compete over who can build the safest cars

Otomobil şirketlerinin en güvenli arabaları yapması

veya en verimli güneş panellerinin yapımı için rekabet edilmesi gibi.

or the most efficient solar panels.

Those are all examples of healthy competition,

Bunların hepsi sağlıklı rekabet örnekleridir,

çünkü bireysel şirketler gelip gidebilse de

because even though individual companies might come and go,

in the long run,

uzun vadede

the game between them creates win-win outcomes

aralarındaki oyun sonunda herkesin yararına olan

where everyone benefits in the end.

çift taraflı kazanç yaratır.

But sometimes competition is not so great

Ancak bazen rekabet o kadar iyi değildir

and can create lose-lose outcomes where everyone's worse off than before.

ve herkesin eskisinden daha kötü durumda olduğu çift taraflı kayıp yaratabilir.

Take these AI beauty filters, for example.

Örneğin, şu AI güzellik filtrelerini ele alalım.

As you can see, they're a very impressive technology.

Gördüğünüz gibi çok etkileyici bir teknoloji.

They can salvage almost any picture.

Neredeyse her resmi kurtarabilirler.

They can even make Angelina and Margot more beautiful.

Angelina ve Margot’u daha güzel hâle getirebiliyorlar.

So they're very handy,

Bu yüzden,

especially for influencers who, now, at the click of a button,

özellikle bir tıkla kendilerini en güzel Hollywood versiyonlarına dönüştüren

can transform into the most beautiful Hollywood versions of themselves.

fenomenler için çok kullanışlılar.

But handy doesn't always mean healthy.

Ancak kullanışlı her zaman sağlıklı anlamına gelmez.

And I've personally noticed how quickly these things can train you

Bu şeylerin sizi doğal yüzünüzden nefret etmeniz için

to hate your natural face.

ne kadar çabuk eğitebileceğini bizzat fark ettim.

And there's growing evidence that they're creating issues

Ve özellikle gençlerde beden algı bozukluğu gibi

like body dysmorphia, especially in young people.

sorunlar yarattıklarına dair artan kanıtlar var.

Nonetheless, these things are now endemic to social media

Her şeye rağmen, bunlar artık sosyal medyaya özgü olmuş durumda

because the nature of the game demands it.

çünkü oyunun doğası bunu talep ediyor.

The platforms are incentivized to provide them

Platformlar bunları sağlamaya teşvik ediliyor

because hotter pictures means more hijacked limbic systems,

çünkü daha çekici resimler daha çok gasp edilmiş limbik sistem demek,

which means more scrolling and thus more ad revenue.

bu da, daha fazla kaydırma ve daha fazla reklam geliri demek.

And users are incentivized to use them

Kullanıcılar bunları kullanmaya teşvik ediliyor,

because hotter pictures get you more followers.

çünkü daha çekici resim size daha fazla takipçi kazandırır.

But this is a trap,

Ama bu bir tuzak

because once you start using these things,

çünkü bunları kullanmaya başladığınızda,

it's really hard to go back.

geri dönmek gerçekten zor.

Plus, you don't even get a competitive advantage from them anymore

Artı, artık onlardan rekabet avantajı elde edemezsiniz

because everyone else is already using them too.

çünkü herkes onları kullanıyor.

So influencers are stuck using these things

Bu yüzden fenomenler bunları kullanmaya mecbur kaldı,

with all the downsides

tüm dezavantajlarına

and very little upside.

ve çok az avantajına rağmen.

A lose-lose game.

İki tarafın da kaybettiği bir oyun.

A similar kind of trap is playing out in our news media right now,

Benzer bir tuzak şu anda haber medyamızda ortaya çıkıyor,

but with much worse consequences.

ancak çok daha kötü sonuçları var.

You'd think since the internet came along

İnternet ortaya çıktığından beri

that the increased competition between news outlets

haber kuruluşları arasındaki artan rekabetin

would create a sort of positive spiral,

bir tür pozitif sarmal yaratacağı düşünülürdü;

like a race to the top of nuanced, impartial, accurate journalism.

incelikli, tarafsız, doğru haberciliğin zirvesine doğru bir yarış gibi.

Instead, we're seeing a race to the bottom of clickbait and polarization,

Bunun yerine, tık tuzağı ve kutuplaşmanın dibine giden bir yarış görüyoruz

ve saygın gazeteler bile bu tür kalitesiz, partizan taktiklere

where even respectable papers are increasingly leaning

into these kind of low-brow partisan tactics.

giderek daha fazla meylediyor.

Again, this is due to crappy incentives.

Tekrar edersek bu, berbat özendirmelerden kaynaklanıyor.

Today, we no longer just read our news.

Bugün artık sadece haberleri okumuyoruz.

We interact with it by sharing and commenting.

Paylaşarak ve yorum yaparak onlarla etkileşime giriyoruz.

And headlines that trigger emotions like fear or anger

Korku veya öfke gibi duyguları tetikleyen manşetlerin

are far more likely to go viral than neutral or positive ones.

yayılma olasılığı yansız veya olumlu olanlardan çok daha fazla.

So in many ways, news editors are in a similar kind of trap

Bu nedenle, haber editörleri bir çok açıdan fenomenlerle

as the influencers,

benzer bir tuzağın içinde;

where, the more their competitors lean into clickbaity tactics,

rakipleri tık tuzağı taktiklerine ne kadar çok meylederse

the more they have to as well.

onlar da o kadar mecbur kalyor.

Otherwise, their stories just get lost in the noise.

Aksi takdirde, hikâyeleri gürültüde kaybolur.

But this is terrible for everybody,

Ama bu herkes için korkunç,

because now the media get less trust from the public,

çünkü artık medya halktan daha az güven alıyor,

but also it becomes harder and harder for anyone to discern truth from fiction,

ama aynı zamanda herkesin gerçeği kurgudan ayırt etmesi giderek zorlaşıyor

which is a really big problem for democracy.

ki bu demokrasi için gerçekten büyük bir sorun.

Now, this process of competition gone wrong

Şimdi, yanlış giden bu rekabet süreci

is actually the driving force behind so many of our biggest issues.

aslında en büyük sorunlarımızın çoğunun arkasındaki itici güçtür.

Plastic pollution,

Plastik kirliliği,

deforestation,

ormansızlaşma,

antibiotic overuse in farming,

tarımda aşırı antibiyotik kullanımı,

arms races,

silahlanma yarışları,

greenhouse gas emissions.

sera gazı emisyonları.

These are all a result of crappy incentives,

Bunların hepsi kötü teşviklerin,

of poorly designed games that push their players --

oyuncuları olan insanları, şirketleri veya hükümetleri

be them people, companies or governments --

maliyetleri ve zararları geleceğe erteleyen

into taking strategies and tactics that defer costs and harms to the future.

stratejilere ve taktiklere iten kötü tasarlanmış oyunların bir sonucudur.

And what's so ridiculous is that most of the time,

Ve çok saçma olan şey, çoğu zaman,

these guys don't even want to be doing this.

bu adamların bunu yapmak istememeleri.

You know, it's not like packaging companies

Yani, ambalaj şirketleri okyanusları

want to fill the oceans with plastic

plastikle doldurmak istemiyor

or farmers want to worsen antibiotic resistance.

ya da çiftçiler antibiyotik direncini kötüleştirmek istemiyor.

But they’re all stuck in the same dilemma of:

Ama hepsi aynı ikilemde sıkışıp kalmışlar:

"If I don't use this tactic,

“Bu taktiği kullanmazsam,

I’ll get outcompeted by all the others who do.

bunu yapan diğerleri tarafından alt edileceğim.

So I have to do it, too.”

Bu yüzden ben de yapmak zorundayım.”

This is the mechanism we need to fix as a civilization.

Bir medeniyet olarak düzeltmemiz gereken mekanizma budur.

And I know what you're probably all thinking, "So it's capitalism."

Muhtemelen ne düşündüğünü biliyorum, “Yani kapitalizm.”

Hayır, kapitalizm değil.

No, it's not capitalism.

Which, yes, can cause problems,

Bu, evet, sorunlara neden olabilir,

but it can also solve them and has been fantastic in general.

ancak bunları çözebilir de ve genel olarak harika oldu.

It's something much deeper.

Çok daha derin bir şey.

It's a force of misaligned incentives of game theory itself.

Bu, oyun teorisinin kendisinin hizasız teşviklerinin bir gücüdür.

So a few years ago, I retired from poker,

Bu yüzden birkaç yıl önce, pokerden emekli oldum,

in part because I wanted to understand this mechanism better.

kısmen bu mekanizmayı daha iyi anlamak istediğim için.

Because it takes many different forms, and it goes by many different names.

Çünkü pek çok farklı biçimi vardır ve birçok farklı isimle anılır.

These are just some of those names.

Bunlar o isimlerden sadece birkaçı.

You can see they're a little bit abstract and clunky, right?

Biraz soyut ve kullanışsız olduklarını görebiliyorsunuz, değil mi?

They don't exactly roll off the tongue.

Söylenmesi çok kolay değil.

And given how insidious and connected all of these problems are,

Tüm bu sorunların ne kadar sinsi ve bağlantılı olduğu düşünüldüğünde,

it helps to have a more visceral way of recognizing them.

onları tanımak için içgüdüsel bir tavra sahip olmak faydalı olur.

So this is probably the only time

Bu, muhtemelen bu konferansta

you're going to hear about the Bible at this conference.

İncil hakkında duyacağınız tek zamandır.

Ama size ondan kısa bir hikâye anlatmak istiyorum,

But I want to tell you a quick story from it,

because allegedly, back in the Canaanite days,

çünkü iddialara göre, Kenan günlerinde,

there was a cult who wanted money and power so badly,

para ve güç çok isteyen bir tarikat vardı

they were willing to sacrifice their literal children for it.

ve bunun için öz çocuklarını feda etmeye bile razıydılar.

And they did this by burning them alive in an effigy

Ve bunu, onları bu nihai kurban için ödüllendireceğine inandıkları

of a God that they believed would then reward them

bir Tanrı heykeli içinde

for this ultimate sacrifice.

diri diri yakarak yaptılar.

And the name of this god was Moloch.

Ve bu tanrının adı Molek idi.

Bit of a bummer, as stories go.

Hikâyenin devamı pek hoş değil.

But you can see why it's an apt metaphor,

Ama bunun yerinde bir benzetme olduğunu anlayabilirsiniz,

because sometimes we get so lost in winning the game right in front of us,

çünkü bazen tam önümüzdeki oyunu kazanmaya o kadar odaklanırız ki

we lose sight of the bigger picture

büyük resmi gözden kaçırırız

and sacrifice too much in our pursuit of victory.

ve zafer arayışımızda çok fazla fedakarlık yaparız.

So just like these guys were sacrificing their children for power,

Tıpkı bu adamların çocuklarını güç için feda ettikleri gibi

those influencers are sacrificing their happiness for likes.

bu fenomenler de beğeniler için mutluluklarını feda ediyorlar.

Those news editors are sacrificing their integrity for clicks,

Bu haber editörleri tıklamalar için dürüstlüklerini feda ediyor

and polluters are sacrificing the biosphere for profit.

ve kirleticiler biyosferi kâr için feda ediyor.

In all these examples,

Tüm bu örneklerde,

the short-term incentives of the games themselves are pushing,

oyunların kısa vadeli teşvikleri zorluyor,

they're tempting their players

oyuncularını geleceklerini

to sacrifice more and more of their future,

giderek daha fazla feda etmeye teşvik ediyor,

trapping them in a death spiral where they all lose in the end.

onları sonunda hepsinin kaybettiği bir felaketler zincirine hapsediyor.

That's Moloch's trap.

Bu Molek’in tuzağı.

The mechanism of unhealthy competition.

Sağlıksız rekabet mekanizması.

And the same is now happening in the AI industry.

Aynısı şimdi AI endüstrisinde oluyor.

We're all aware of the race that's heating up

Şu anda şirketler arasındaki kızışan yarışın

between companies right now

hepimiz farkındayız.

over who can score the most compute,

En çok hesaplama puanını, en büyük yatırımı

who can get the biggest funding round or get the top talent.

veya en iyi yetenekleri almaya çalışıyorlar.

Well, as more and more companies enter this race,

Daha fazla şirket bu yarışa girdikçe,

the greater the pressure for everyone to go as fast as possible

herkesin mümkün olduğunca hızlı gitmesi ve

and sacrifice other important stuff like safety testing.

güvenlik testi gibi diğer önemli şeylerden ödün vermesi için baskı o kadar artar.

This has all the hallmarks of a Moloch trap.

Bu, bir Molek tuzağının tüm özelliklerini taşıyor.

Because, like, imagine you're a CEO who, you know, in your heart of hearts,

Bir CEO olduğunuzu hayal edin.

Tüm kalbinizle, son derece güçlü bir AI’ı güvenli bir şekilde inşa edebilecek

believes that your team is the best

to be able to safely build extremely powerful AI.

en iyi ekibe sahip olduğunuza inanıyorsunuz.

Well, if you go too slowly, then you run the risk of other,

Çok yavaş giderseniz, çok daha az temkinli diğer ekiplerin

much less cautious teams getting there first

sizin önünüze geçmesi ve sistemlerini sizden önce

devreye alması riskiyle karşı karşıya kalırsınız.

and deploying their systems before you can.

So that in turn pushes you to be more reckless yourself.

Böylece bu da sizi daha kayıtsız olmaya zorlar.

And given how many different experts and researchers,

Ve hem bu şirketlerdeki hem de tamamen bağımsız şirketlerdeki

both within these companies

farklı uzman ve araştırmacının

but also completely independent ones,

bizi aceleye getirilmiş yapay zekanın

have been warning us about the extreme risks of rushed AI,

aşırı riskleri konusunda uyardığı göz önüne alındığında,

this approach is absolutely mad.

bu yaklaşım kesinlikle çılgınca.

Plus, almost all AI companies

Ayrıca, neredeyse tüm yapay zeka şirketleri

are beholden to satisfying their investors,

yatırımcılarını tatmin etmeye mecburdur;

a short-term incentive which, over time, will inevitably start to conflict

bu kısa vadeli bir teşvik zamanla kaçınılmaz olarak

herhangi bir iyicil misyonla çatışmaya başlayacaktır.

with any benevolent mission.

And this wouldn't be a big deal

Mesele ekmek kızartma makinesi olsaydı

if this was really just toasters we're talking about here.

çok da dert etmezdik.

But AI, and especially AGI,

Ancak yapay zeka ve özellikle AGI,

is set to be a bigger paradigm shift

tarımsal veya endüstriyel devrimlerden

than the agricultural or industrial revolutions.

daha büyük bir paradigma değişimi olacak.

A moment in time so pivotal,

Bu, zaman içerisinde o kadar önemli bir an ki,

it's deserving of reverence and reflection,

hürmeti ve üzerinde düşünmeyi hak ediyor.

not something to be reduced to a corporate rat race

Bu, kimin daha fazla günlük aktif kullanıcı çekeceği

of who can score the most daily active users.

kurumsal bir yarışa indirgenmemeli.

I'm not saying I know

Hızlanma ve güvenlik arasındaki doğru ödünleşmenin

what the right trade-off between acceleration and safety is,

ne olduğunu bildiğimi söylemiyorum,

but I do know that we'll never find out what that right trade-off is

ama doğru ödünleşmenin ne olduğuna Molek’in karar vermesine izin verirsek

if we let Moloch dictate it for us.

bunu asla öğrenemeyeceğimizi biliyorum.

So what can we do?

Peki ne yapabiliriz?

Well, the good news is we have managed to coordinate

İyi haber şu ki, daha önce Molek’in tuzaklarından kaçmak için

to escape some of Moloch's traps before.

birlikte çalışmayı başardık.

We managed to save the ozone layer from CFCs

Montreal Protokolü yardımıyla ozon tabakasını

with the help of the Montreal Protocol.

CFC’lerden kurtarmayı başardık.

We managed to reduce the number of nuclear weapons on Earth

1991′deki Stratejik Silahların Azaltılması Antlaşması’nın yardımıyla

by 80 percent,

with the help of the Strategic Arms Reduction Treaty in 1991.

Dünya’daki nükleer silah sayısını

yüzde 80 azaltmayı başardık.

So smart regulation may certainly help with AI too,

Yani, akıllı düzenleme kesinlikle yapay zeka konusunda da yardımcı olabilir,

but ultimately,

ancak nihayetinde,

it's the players within the game who have the most influence on it.

en fazla etkiye sahip olanlar oyunun içindeki oyunculardır.

So we need AI leaders to show us

Bu yüzden AI liderlerinin

bize sadece teknolojilerinin yarattığı risklerin değil,

that they're not only aware of the risks their technologies pose,

but also the destructive nature of the incentives

şu anda borçlu oldukları teşviklerin yıkıcı doğasının da farkında olduklarını

that they're currently beholden to.

göstermelerine ihtiyacımız var.

As their technological capabilities reach towards the power of gods,

Teknolojik yetenekleri tanrıların gücüne ulaştıkça,

they're going to need the godlike wisdom to know how to wield them.

onları nasıl kullanacaklarını bilmek için tanrısal bilgeliğe ihtiyaçları olacak.

So it doesn't fill me with encouragement

Bu yüzden çok büyük bir şirketin CEO'sunun

when I see a CEO of a very major company saying something like,

“İnsanların rakibimizi oynattırdığımızı bilmelerini istiyorum.” gibi bir şey

"I want people to know we made our competitor dance."

söylediğini gördüğümde cesaretlenemiyorum.

That is not the type of mindset we need here.

Burada ihtiyacımız olan düşünce yapısı bu değil.

We need leaders who are willing to flip Moloch's playbook,

Molek’in taktik tahtasınıı tersine çevirmeye istekli,

who are willing to sacrifice their own individual chance of winning

bütünün iyiliği için kendi bireysel kazanma şanslarını feda etmeye istekli

for the good of the whole.

liderlere ihtiyacımız var.

Now, fortunately, the three leading labs are showing some signs of doing this.

Neyse ki, önde gelen üç şirket buna dair bazı işaretler gösteriyor.

Anthropic recently announced their responsible scaling policy,

Anthropic, geçenlerde sorumlu ölçeklendirme politikalarını duyurdu.

which pledges to only increase capabilities

Bu politika, belirli güvenlik kriterleri karşılandıktan sonra

once certain security criteria have been met.

yetenekleri artırma sözü veriyor.

OpenAI have recently pledged

OpenAI yakın zamanda

to dedicate 20 percent of their compute purely to alignment research.

hesaplamalarının yüzde 20′sini sadece uyumlama araştırmalarına adama sözü verdi.

And DeepMind have shown a decade-long focus

Ve DeepMind, on yıldır

of science ahead of commerce,

ticaretten ziyade bilime odaklandı;

like their development of AlphaFold,

geliştirdikleri AlphaFold’u

which they gave away to the science community for free.

bilim topluluğuna ücretsiz sundular.

These are all steps in the right direction,

Bunların hepsi doğru yönde atılan adımlar,

but they are still nowhere close to being enough.

ancak hâlâ yeterli olmaya yakın değiller.

I mean, most of these are currently just words,

Yani, bunların çoğu şu anda sadece sözler,

they're not even proven actions.

kanıtlanmış eylemler bile değiller.

So we need a clear way to turn the AI race into a definitive race to the top.

AI yarışını zirveye doğru kesin bir yarışa dönüştürmek için net bir yol gerek.

Perhaps companies can start competing over who can be within these metrics,

Belki şirketler, bu metrikler içinde kimin yer alacağı veya

en iyi güvenlik kriterlerini kimin geliştireceği konusunda yarışabilirler.

over who can develop the best security criteria.

A race of who can dedicate the most compute to alignment.

En çok hesaplamayı uyumlamaya adamak için bir yarış.

Now that would truly flip the middle finger to Moloch.

İşte bu, Molek’e orta parmağı gerçekten çevirtirdi.

Competition can be an amazing tool,

Rekabet inanılmaz bir araç olabilir,

provided we wield it wisely.

akıllıca kullanmamız kaydıyla.

And we're going to need to do that

Ve bunu yapmamız gerekecek

because the stakes we are playing for are astronomical.

çünkü oynadığımız bahisler astronomik.

If we get AI, and especially AGI, wrong,

AI’i ve özellikle AGI’yi yanlış anlamak

it could lead to unimaginable catastrophe.

hayal edilemez bir felakete yol açabilir.

But if we get it right,

Ama eğer doğru anlarsak

it could be our path out of many of these Moloch traps

bu, bugün bahsettiğim Molek tuzaklarının bir çoğundan

that I've mentioned today.

çıkış yolumuz olabilir.

And as things get crazier over the coming years,

Ve önümüzdeki yıllarda işler çılgına döndükçe,

which they're probably going to,

ki muhtemelen öyle olacak,

it's going to be more important than ever

buradaki gerçek düşmanın Molek’in olduğunu

that we remember that it is the real enemy here, Moloch.

hatırlamamız her zamankinden daha önemli olacak.

Not any individual CEO or company, and certainly not one another.

Herhangi bir CEO veya şirket değil, ve kesinlikle birbirleri değil.

So don't hate the players,

Yani, oyunculardan nefret etmeyin,

change the game.

oyunu değiştirin.

(Applause)

(Alkışlar)