AI Is Dangerous, but Not for the Reasons You Think | Sasha Luccioni | TED

Переводчик: Irina Magnitskaya Редактор: Olga Mansurova

So I've been an AI researcher for over a decade.

Я исследую искусственный интеллект уже более 10 лет.

And a couple of months ago, I got the weirdest email of my career.

И недавно мне на почту пришло очень странное письмо.

A random stranger wrote to me

Какой-то незнакомец написал мне,

saying that my work in AI is going to end humanity.

что человечество вымрет из-за моей работы в области ИИ.

Now I get it, AI, it's so hot right now.

Понимаю, сейчас ИИ жутко модная тема.

(Laughter)

(Смех)

It's in the headlines pretty much every day,

Про это много пишут в медиа каждый день.

sometimes because of really cool things

Иногда из-за правда потрясающих вещей

like discovering new molecules for medicine

вроде открытия новых молекул для медицины

or that dope Pope in the white puffer coat.

или дурацких фото папы римского в белом пуховике.

But other times the headlines have been really dark,

Но иногда заголовки совсем мрачные,

like that chatbot telling that guy that he should divorce his wife

вроде того, что чат-бот предлагает парню развестись с женой

or that AI meal planner app proposing a crowd pleasing recipe

или что приложение ИИ по планированию питания предлагает популярный рецепт

featuring chlorine gas.

с использованием хлоргаза.

And in the background,

В то же время

we've heard a lot of talk about doomsday scenarios,

мы слышим много разговоров о конце света,

existential risk and the singularity,

экзистенциальных рисках и сингулярности:

with letters being written and events being organized

люди пишут письма политикам и организуют мероприятия,

to make sure that doesn't happen.

чтобы убедиться, что этого не случится.

Now I'm a researcher who studies AI's impacts on society,

Как исследователь, изучающий влияние искусственного интеллекта на общество,

and I don't know what's going to happen in 10 or 20 years,

я не знаю, что произойдёт через 10 или 20 лет.

and nobody really does.

Да и никто на самом деле не знает.

But what I do know is that there's some pretty nasty things going on right now,

Но я точно знаю, что неприятные события сейчас происходят из-за того,

because AI doesn't exist in a vacuum.

что ИИ существует не в вакууме.

It is part of society, and it has impacts on people and the planet.

Это часть общества, и он влияет на людей и планету.

AI models can contribute to climate change.

Модели ИИ могут способствовать изменению климата.

Their training data uses art and books created by artists

Данные их обучения используют рисунки художников и книги

and authors without their consent.

без согласия авторов.

And its deployment can discriminate against entire communities.

И такое использование моделей может дискриминировать целые сообщества.

But we need to start tracking its impacts.

Нам пора отслеживать его последствия.

We need to start being transparent and disclosing them and creating tools

Нам нужно раскрывать информацию и создавать инструменты,

so that people understand AI better,

позволяющие людям лучше понимать ИИ,

so that hopefully future generations of AI models

чтобы будущие поколения моделей ИИ

are going to be more trustworthy, sustainable,

стали более надёжными и экологичными,

maybe less likely to kill us, if that's what you're into.

чтобы уменьшить вероятность, что они нас убьют, в конце концов.

But let's start with sustainability,

Но давайте начнём с экологичности,

because that cloud that AI models live on is actually made out of metal, plastic,

ведь облако с моделями ИИ состоит на самом деле из металла и пластика

and powered by vast amounts of energy.

и питается огромным количеством энергии.

And each time you query an AI model, it comes with a cost to the planet.

И каждый раз ваш запрос к модели ИИ сказывается на планете.

Last year, I was part of the BigScience initiative,

В прошлом году я принимала участие в инициативе BigScience,

which brought together a thousand researchers

где собрались вместе тысячи учёных

from all over the world to create Bloom,

со всего мира, чтобы создать Bloom,

the first open large language model, like ChatGPT,

первую открытую большую языковую модель вроде ChatGPT,

but with an emphasis on ethics, transparency and consent.

но с акцентом на этику, прозрачность и согласие.

And the study I led that looked at Bloom's environmental impacts

И проведённое мной исследование по влиянию Bloom на природу

found that just training it used as much energy

показало, что только на тренировку ИИ тратится столько же энергии,

as 30 homes in a whole year

сколько потребляют 30 домов за целый год,

and emitted 25 tons of carbon dioxide,

и выделяется 25 тонн углекислого газа

which is like driving your car five times around the planet

столько, сколько от вашей машины, объехавшей вокруг Земли пять раз.

just so somebody can use this model to tell a knock-knock joke.

И всё это, чтобы кто-то использовал модель ИИ для глупой шутки.

And this might not seem like a lot,

Может показаться, что это не так уж и много,

but other similar large language models,

однако другие подобные крупные языковые модели,

like GPT-3,

такие как GPT-3,

emit 20 times more carbon.

выделяют в 20 раз больше углекислого газа.

But the thing is, tech companies aren't measuring this stuff.

А ведь технологические компании не измеряют этот показатель.

They're not disclosing it.

Эти данные скрыты.

And so this is probably only the tip of the iceberg,

Похоже, нам видна лишь верхушка айсберга,

even if it is a melting one.

даже если это тающий айсберг.

And in recent years we've seen AI models balloon in size

И в последние годы модели ИИ начали стремительно увеличиваться,

because the current trend in AI is "bigger is better."

ведь сейчас считается, что чем больше, тем лучше.

But please don't get me started on why that's the case.

Я даже не хочу объяснять почему.

In any case, we've seen large language models in particular

В любом случае, мы видим, что крупные языковые модели

grow 2,000 times in size over the last five years.

выросли в размере в 2 000 раз за последние пять лет.

And of course, their environmental costs are rising as well.

И, конечно, их экологические издержки также растут.

The most recent work I led, found that switching out a smaller,

Во время моего последнего исследования оказалось, что при замене компактной

more efficient model for a larger language model

и более эффективной языковой модели на более крупную

emits 14 times more carbon for the same task.

выделяется в 14 раз больше углерода при выполнении одной и той же задачи.

Like telling that knock-knock joke.

Это касается и тех самых глупых шуток.

And as we're putting in these models into cell phones and search engines

По мере того, как мы внедряем эти модели в смартфоны, поисковые системы,

and smart fridges and speakers,

умные холодильники и динамики,

the environmental costs are really piling up quickly.

экологические издержки растут всё быстрее и быстрее.

So instead of focusing on some future existential risks,

И чтобы не фокусироваться на некоторых будущих экзистенциальных рисках,

let's talk about current tangible impacts

давайте поговорим о текущих последствиях

and tools we can create to measure and mitigate these impacts.

и о том, что можно сделать, чтобы их измерить и смягчить.

I helped create CodeCarbon,

Я помогала создать CodeCarbon,

a tool that runs in parallel to AI training code

приложение, работающее параллельно с обучающим кодом ИИ

that estimates the amount of energy it consumes

и оценивающее количество потребляемой энергии

and the amount of carbon it emits.

и выделяемого углерода.

And using a tool like this can help us make informed choices,

CodeCarbon поможет нам делать осознанный выбор,

like choosing one model over the other because it's more sustainable,

например, мы сможем выбрать модель на основе её экологичности

or deploying AI models on renewable energy,

или внедрить модели ИИ, использующие возобновляемую энергию,

which can drastically reduce their emissions.

что позволит значительно сократить выбросы.

But let's talk about other things

Но давайте поговорим и о других вещах,

because there's other impacts of AI apart from sustainability.

потому что важна не только экологичность.

For example, it's been really hard for artists and authors

Например, художникам и авторам очень трудно доказать,

to prove that their life's work has been used for training AI models

что работа их жизни использовалась для обучения моделей ИИ

without their consent.

без согласия авторов.

And if you want to sue someone, you tend to need proof, right?

Если вы хотите обвинить кого-то, вам нужны доказательства, верно?

So Spawning.ai, an organization that was founded by artists,

Поэтому Spawning.ai, организация, основанная художниками,

created this really cool tool called “Have I Been Trained?”

создала крутой инструмент, названный «Have I Been Trained?»

And it lets you search these massive data sets

Он позволяет вам проводить поиск по массивам данных,

to see what they have on you.

чтобы узнать, что там есть про вас.

Now, I admit it, I was curious.

Признаюсь, мне стало любопытно.

I searched LAION-5B,

Я забила своё имя в LAION-5B,

which is this huge data set of images and text,

это огромный набор изображений с текстом,

to see if any images of me were in there.

чтобы узнать, есть ли там мои изображения.

Now those two first images,

Здесь первые два фото

that's me from events I've spoken at.

с мероприятий, на которых я выступала.

But the rest of the images, none of those are me.

Но на остальных изображениях меня нет.

They're probably of other women named Sasha

Вероятно, это другие женщины по имени Саша,

who put photographs of themselves up on the internet.

которые разместили свои фотографии в интернете.

And this can probably explain why,

И это может объяснить, почему

when I query an image generation model

запрос модели генерации изображений

to generate a photograph of a woman named Sasha,

сгенерировать фото женщины по имени Саша,

more often than not I get images of bikini models.

чаще выдаёт изображения моделей в бикини.

Sometimes they have two arms,

Иногда у них две руки,

sometimes they have three arms,

иногда три руки,

but they rarely have any clothes on.

но они редко одеты.

And while it can be interesting for people like you and me

И хотя таким людям, как мы с вами, может быть интересно

to search these data sets,

исследовать эти наборы данных,

for artists like Karla Ortiz,

для таких художников, как Карла Ортис,

this provides crucial evidence that her life's work, her artwork,

они являются доказательством того, что дело всей её жизни, её работы,

was used for training AI models without her consent,

использовались для обучения моделей ИИ без её согласия.

and she and two artists used this as evidence

Вместе с двумя другими художниками

to file a class action lawsuit against AI companies

она подала коллективный иск против разработчиков моделей ИИ

for copyright infringement.

за нарушение авторских прав.

And most recently --

А совсем недавно...

(Applause)

(Аплодисменты)

And most recently Spawning.ai partnered up with Hugging Face,

организация Spawning.ai вместе с компанией Hugging Face,

the company where I work at,

в которой я работаю,

to create opt-in and opt-out mechanisms for creating these data sets.

создали механизмы добавления и удаления работ в этих базах данных.

Because artwork created by humans shouldn’t be an all-you-can-eat buffet

Потому что произведения, созданные людьми, нельзя брать без спроса

for training AI language models.

ради тренировки моделей ИИ.

(Applause)

(Аплодисменты)

The very last thing I want to talk about is bias.

И, наконец, я хочу сказать о предвзятости.

You probably hear about this a lot.

Вы, наверное, часто об этом слышите.

Formally speaking, it's when AI models encode patterns and beliefs

По сути, это когда в код моделей ИИ закладывают образы и убеждения,

that can represent stereotypes or racism and sexism.

которые могут представлять собой стереотипы расизма и сексизма.

One of my heroes, Dr. Joy Buolamwini, experienced this firsthand

Доктор Джой Буоламвини, одна из моих героинь, сама убедилась в этом,

when she realized that AI systems wouldn't even detect her face

когда узнала, что системы ИИ не могут даже распознать её лицо

unless she was wearing a white-colored mask.

без белой маски.

Digging deeper, she found that common facial recognition systems

Копнув глубже, она обнаружила, что обычные системы распознавания лиц

were vastly worse for women of color compared to white men.

хуже распознавали цветных женщин, чем белых мужчин.

And when biased models like this are deployed in law enforcement settings,

Использование подобных предвзятых моделей в правоохранительных органах

this can result in false accusations, even wrongful imprisonment,

может привести к ложным обвинениям и даже тюремному заключению невиновных,

which we've seen happen to multiple people in recent months.

что уже случилось несколько раз за последние месяцы.

For example, Porcha Woodruff was wrongfully accused of carjacking

Например, беременная Порча Вудрафф была ошибочно обвинена в угоне

at eight months pregnant

на восьмом месяце,

because an AI system wrongfully identified her.

поскольку система ИИ неверно распознала её лицо.

But sadly, these systems are black boxes,

Такие системы являются чёрными ящиками,

and even their creators can't say exactly why they work the way they do.

и даже их создатели не могут объяснить, что происходит внутри них.

And for example, for image generation systems,

Возьмём системы генерации изображений.

if they're used in contexts like generating a forensic sketch

Если использовать их для создания фотороботов

based on a description of a perpetrator,

на основе описания внешности преступника,

they take all those biases and they spit them back out

все предубеждения данных ИИ проявляются,

for terms like dangerous criminal, terrorists or gang member,

когда упоминается «опасный преступник», «террорист» или «член банды»,

which of course is super dangerous

что, конечно, очень опасно,

when these tools are deployed in society.

когда эти инструменты используются в обществе.

And so in order to understand these tools better,

Чтобы лучше понять эти инструменты,

I created this tool called the Stable Bias Explorer,

я создала инструмент под названием «Stable Bias Explorer».

which lets you explore the bias of image generation models

Он позволяет исследовать предвзятость систем генерации изображений

through the lens of professions.

сквозь призму профессий.

So try to picture a scientist in your mind.

Попробуйте представить себе образ учёного.

Don't look at me.

Не смотрите на меня.

What do you see?

Что вы видите?

A lot of the same thing, right?

Все результаты одинаковы.

Men in glasses and lab coats.

Мужчины в очках и лабораторных халатах.

And none of them look like me.

Никто из них не похож на меня.

And the thing is,

Когда мы изучили разные модели генерации изображений, мы обнаружили,

is that we looked at all these different image generation models

and found a lot of the same thing:

что такое однообразие вездесуще:

significant representation of whiteness and masculinity

в большинстве представлены белые мужчины

across all 150 professions that we looked at,

всех 150 рассматриваемых нами профессий.

even if compared to the real world,

Это отличается от реальной ситуации,

the US Labor Bureau of Statistics.

согласно бюро статистики труда США.

These models show lawyers as men,

Модели ИИ показывают юристов как мужчин

and CEOs as men, almost 100 percent of the time,

и генеральных директоров как мужчин почти в 100 процентах случаев,

even though we all know not all of them are white and male.

хотя все мы знаем, что не все из них белые и мужчины.

And sadly, my tool hasn't been used to write legislation yet.

К сожалению, моя программа пока не использовалась в написании законов,

But I recently presented it at a UN event about gender bias

но я представила её на заседании ООН о гендерных предрассудках

as an example of how we can make tools for people from all walks of life,

как пример того, как можно помочь людям из всех слоёв общества,

even those who don't know how to code,

даже тем, кто не знает программирования,

to engage with and better understand AI because we use professions,

лучше понять ИИ, используя профессии.

but you can use any terms that are of interest to you.

Можно, конечно, использовать любые другие категории.

And as these models are being deployed,

По мере внедрения этих моделей

are being woven into the very fabric of our societies,

они вплетаются в саму структуру нашего общества.

our cell phones, our social media feeds,

Наши смартфоны, материал в социальных сетях

even our justice systems and our economies have AI in them.

и даже системы правосудия и экономики используют ИИ.

And it's really important that AI stays accessible

Очень важно, чтобы ИИ оставался доступным,

so that we know both how it works and when it doesn't work.

чтобы мы знали и как он работает, и когда он не работает.

And there's no single solution for really complex things like bias

Нет уникального решения таких проблем, как предвзятость,

or copyright or climate change.

авторские права или изменение климата.

But by creating tools to measure AI's impact,

Однако, создавая инструменты для измерения влияния ИИ,

we can start getting an idea of how bad they are

мы можем начать распознавать их проблемы

and start addressing them as we go.

и решать их по ходу дела.

Start creating guardrails to protect society and the planet.

Мы можем создать нужные ограничения, чтобы защитить общество и планету.

And once we have this information,

Как только мы получим эту информацию,

companies can use it in order to say,

компании могут выбирать по принципу:

OK, we're going to choose this model because it's more sustainable,

хорошо, эта модель лучше, потому что она более экологична,

this model because it respects copyright.

а эта из-за соблюдения авторских прав.

Legislators who really need information to write laws,

Законодатели, которым нужна такая информация, могут использовать

can use these tools to develop new regulation mechanisms

эти инструменты для разработки новых механизмов регулирования

or governance for AI as it gets deployed into society.

или управления для ИИ по мере его внедрения в общество.

And users like you and me can use this information

А такие пользователи, как мы, с помощью них смогут

to choose AI models that we can trust,

выбрать те модели ИИ, которым можно доверять,

not to misrepresent us and not to misuse our data.

а не те, что искажают факты и злоупотребляют данными.

But what did I reply to that email

Так что же я ответила на письмо о том,

that said that my work is going to destroy humanity?

что моя работа уничтожит человечество?

I said that focusing on AI's future existential risks

Я написала, что, фокусируясь на потенциальных рисках ИИ,

is a distraction from its current,

мы отвлекаемся от его нынешних,

very tangible impacts

очень ощутимых последствий

and the work we should be doing right now, or even yesterday,

и от работы, которую нам стоило проделать сегодня или даже вчера,

for reducing these impacts.

чтобы уменьшить эти последствия.

Because yes, AI is moving quickly, but it's not a done deal.

Да, ИИ развивается быстро, но мы ещё можем всё изменить.

We're building the road as we walk it,

Мы строим дорогу по мере движения по ней

and we can collectively decide what direction we want to go in together.

и можем решить, в каком направлении мы хотим двигаться вместе.

Thank you.

Спасибо.

(Applause)

(Аплодисменты)