Your Right to Repair AI Systems | Rumman Chowdhury | TED

Переводчик: Alena Chernykh Редактор: Olga Mansurova

I want to tell you a story

Я хочу рассказать вам историю

about artificial intelligence and farmers.

об искусственном интеллекте и фермерах.

Now, what a strange combination, right?

Странная комбинация, правда?

Two topics could not sound more different from each other.

Две темы, как нельзя более отличные друг от друга.

But did you know that modern farming actually involves a lot of technology?

Но знаете ли вы, что современное сельское хозяйство

на самом деле включает в себя множество технологий?

So computer vision is used to predict crop yields.

Компьютерное зрение используется для прогноза урожайности культур.

And artificial intelligence is used to find,

А искусственный интеллект используется для поиска,

identify and get rid of insects.

идентификации и избавления от насекомых.

Predictive analytics helps figure out extreme weather conditions

Прогнозирующая аналитика помогает выявлять экстремальные погодные условия,

like drought or hurricanes.

такие как засуха или ураганы.

But this technology is also alienating to farmers.

Но эта технология отталкивает фермеров.

And this all came to a head in 2017

Ситуация обострилась в 2017 году,

with the tractor company John Deere when they introduced smart tractors.

когда тракторная компания John Deere представила умные тракторы.

So before then, if a farmer's tractor broke,

Раньше, если трактор фермера ломался,

they could just repair it themselves or take it to a mechanic.

трактор можно было просто починить самим или передать механику.

Well, the company actually made it illegal

А компания фактически запретила

for farmers to fix their own equipment.

фермерам ремонтировать собственное оборудование.

You had to use a licensed technician

Нужно было обращаться к лицензированному специалисту,

and farmers would have to wait for weeks

и фермерам приходилось неделями ждать,

while their crops rot and pests took over.

в то время как их посевы гнили и вредители атаковали урожай.

So they took matters into their own hands.

Поэтому фермеры взяли дело в свои руки.

Some of them learned to program,

Некоторые научились программировать

and they worked with hackers to create patches to repair their own systems.

и вместе с хакерами создали патчи для восстановления своих систем.

In 2022,

В 2022 году

at one of the largest hacker conferences in the world, DEFCON,

на одной из крупнейших в мире конференций хакеров, DEFCON,

a hacker named Sick Codes and his team

хакер по имени Sick Codes и его команда

showed everybody how to break into a John Deere tractor,

показали всем, как взломать трактор John Deere,

showing that, first of all, the technology was vulnerable,

доказав, во-первых, что эта технология уязвима,

but also that you can and should own your own equipment.

а во-вторых, что вы можете и должны владеть собственным оборудованием.

To be clear, this is illegal,

Поясню, что это незаконно,

but there are people trying to change that.

но есть люди, которые пытаются это изменить.

Now that movement is called the “right to repair.”

Теперь это движение называется «правом на ремонт».

The right to repair goes something like this.

Право на ремонт выглядит примерно так.

If you own a piece of technology,

Если у вас есть техника,

it could be a tractor, a smart toothbrush,

например, трактор, умная зубная щётка,

a washing machine,

стиральная машина,

you should have the right to repair it if it breaks.

вы должны иметь право отремонтировать её в случае поломки.

So why am I telling you this story?

Почему я рассказываю вам эту историю?

The right to repair needs to extend to artificial intelligence.

Право на ремонт должно распространяться и на искусственный интеллект.

Now it seems like every week

Кажется, что каждую неделю в области ИИ

there is a new and mind-blowing innovation in AI.

появляется новая и потрясающая инновация.

But did you know that public confidence is actually declining?

Но знаете ли вы, что общественное доверие на самом деле падает?

A recent Pew poll showed that more Americans are concerned

Недавний опрос центра Pew показал, что американцы скорее обеспокоены

than they are excited about the technology.

этой технологией, чем воодушевлены ею.

This is echoed throughout the world.

Это находит отклик во всём мире.

The World Risk Poll shows

Всемирный опрос о рисках показывает,

that respondents from Central and South America and Africa

что респонденты из Центральной и Южной Америки и Африки

all said that they felt AI would lead to more harm than good for their people.

все заявили, что ИИ, по их мнению, принесёт им больше вреда, чем пользы.

As a social scientist and an AI developer,

Меня как социолога и разработчика ИИ

this frustrates me.

это расстраивает.

I'm a tech optimist

Я технологический оптимист,

because I truly believe this technology can lead to good.

так как искренне верю, что эта технология может принести пользу.

So what's the disconnect?

Так в чём же расхождение?

Well, I've talked to hundreds of people over the last few years.

За последние несколько лет я общалась с сотнями людей.

Architects and scientists, journalists and photographers,

Архитекторы и учёные, журналисты и фотографы,

ride-share drivers and doctors,

водители и врачи,

and they all say the same thing.

все они говорят одно и то же.

People feel like an afterthought.

Люди чувствуют себя отодвинутыми на второй план.

They all know that their data is harvested often without their permission

Все они знают, что их данные часто собираются без их разрешения

to create these sophisticated systems.

на создание этих сложных систем.

They know that these systems are determining their life opportunities.

Они знают, что эти системы определяют их жизненные возможности.

They also know that nobody ever bothered to ask them

Они также знают, что никто не удосужился спросить их,

how the system should be built,

как построить систему,

and they certainly have no idea where to go if something goes wrong.

и они, конечно, понятия не имеют, куда идти, если что-то пойдёт не так.

We may not own AI systems,

Возможно, мы и не владеем системами ИИ,

but they are slowly dominating our lives.

но они постепенно начинают доминировать в нашей жизни.

We need a better feedback loop

Нужна лучшая система обратной связи

between the people who are making these systems,

между людьми, создающими эти системы,

and the people who are best determined to tell us

и людьми, которые лучше всех могут рассказать нам,

how these AI systems should interact in their world.

как эти системы ИИ должны взаимодействовать в своём мире.

One step towards this is a process called red teaming.

Одним из шагов к этому является процесс, называемый Red teaming.

Now, red teaming is a practice that was started in the military,

Сейчас практика «красных команд», зародившаяся в армии,

and it's used in cybersecurity.

используется в кибербезопасности.

In a traditional red-teaming exercise,

В рамках традиционной практики «красных команд»

external experts are brought in to break into a system,

для проникновения в систему привлекаются внешние эксперты,

sort of like what Sick Codes did with tractors, but legal.

как это было в случае с тракторами компании Sick Codes, но легально.

So red teaming acts as a way of testing your defenses

Таким образом, «красная команда» позволяет проверить вашу защиту,

and when you can figure out where something will go wrong,

а когда вы поймёте, где что-то пойдёт не так,

you can figure out how to fix it.

вы сможете решить, как это исправить.

But when AI systems go rogue,

Но когда системы ИИ выходят из-под контроля,

it's more than just a hacker breaking in.

это не просто хакерский взлом.

The model could malfunction or misrepresent reality.

Модель может выйти из строя или исказить реальность.

So, for example, not too long ago,

Например, не так давно

we saw an AI system attempting diversity

мы видели, как система ИИ пыталась внести разнообразие,

by showing historically inaccurate photos.

показывая исторически неточные фотографии.

Anybody with a basic understanding of Western history

Любой, кто хоть немного разбирается в истории Запада,

could have told you that neither the Founding Fathers

мог бы сказать вам, что ни отцы-основатели,

nor Nazi-era soldiers would have been Black.

ни солдаты-нацисты не были чернокожими.

In that case, who qualifies as an expert?

В таком случае, кого можно считать экспертом?

You.

Вас.

I'm working with thousands of people all around the world

Я работаю с тысячами людей по всему миру

on large and small red-teaming exercises,

на больших и малых практиках «красных команд»,

and through them we found and fixed mistakes in AI models.

и благодаря им мы обнаружили и исправили ошибки в моделях ИИ.

We also work with some of the biggest tech companies in the world:

Мы также сотрудничаем с крупнейшими технологическими компаниями мира:

OpenAI, Meta, Anthropic, Google.

OpenAI, Meta, Anthropic, Google.

And through this, we've made models work better for more people.

Благодаря этому мы улучшили работу моделей для большего числа людей.

Here's a bit of what we've learned.

Вот кое-что из того, что мы узнали.

We partnered with the Royal Society in London to do a scientific,

В партнёрстве с Королевским обществом в Лондоне мы провели научное

mis- and disinformation event with disease scientists.

мероприятие по дезинформации с участием учёных-инфекционистов.

What these scientists found

Эти учёные обнаружили,

is that AI models actually had a lot of protections

что модели ИИ на самом деле в значительной степени

against COVID misinformation.

защищают от дезинформации о COVID.

But for other diseases like measles, mumps and the flu,

Но к другим заболеваниям, таким как корь, эпидемический паротит и грипп,

the same protections didn't apply.

такие меры защиты не применялись.

We reported these changes,

Мы сообщили об этих изменениях,

they’re fixed and now we are all better protected

они исправлены, и теперь мы все лучше защищены

against scientific mis- and disinformation.

от научных заблуждений и дезинформации.

We did a really similar exercise with architects at Autodesk University,

Мы провели аналогичную работу с архитекторами на Autodesk University

and we asked them a simple question:

и задали им простой вопрос:

Will AI put them out of a job?

сможет ли искусственный интеллект оставить их без работы?

Or more specifically,

Или, точнее, могут ли они представить

could they imagine a modern AI system

современную систему ИИ,

that would be able to design the specs of a modern art museum?

способную спроектировать музей современного искусства?

The answer, resoundingly, was no.

Ответ, несомненно, был отрицательным.

Here's why, architects do more than just draw buildings.

Вот почему архитекторы делают больше, чем просто рисуют здания.

They have to understand physics and material science.

Они должны разбираться в физике и материаловедении,

They have to know building codes,

должны знать строительные нормы

and they have to do that

и при этом создавать

while making something that evokes emotion.

нечто, вызывающее эмоции.

What the architects wanted was an AI system

Архитекторам нужна была система ИИ,

that interacted with them, that would give them feedback,

которая взаимодействовала бы с ними, давала обратную связь

maybe proactively offer design recommendations.

и, возможно, предлагала рекомендации по проектированию.

And today's AI systems, not quite there yet.

Но современные системы ИИ пока не могут это делать.

But those are technical problems.

Хотя это технические проблемы.

People building AI are incredibly smart,

Люди, создающие ИИ, невероятно умны,

and maybe they could solve all that in a few years.

и, возможно, они смогут решить это за несколько лет.

But that wasn't their biggest concern.

Но это не было их главной заботой.

Their biggest concern was trust.

Более всего их беспокоило доверие.

Now architects are liable if something goes wrong with their buildings.

Сейчас архитекторы несут ответственность, если с их зданиями что-то пойдёт не так.

They could lose their license,

Они могут лишиться лицензии,

they could be fined, they could even go to prison.

их могут оштрафовать и даже отправить в тюрьму.

And failures can happen in a million different ways.

И неудачи могут произойти миллионом разных способов.

For example, exit doors that open the wrong way,

Например, двери на выходе открываются не в ту сторону,

leading to people being crushed in an evacuation crisis,

что приведёт к столкновению людей во время эвакуации,

or broken glass raining down onto pedestrians in the street

или попадание битого стекла на пешеходов на улице

because the wind blows too hard and shatters windows.

из-за сильного ветра и разбитых окон.

So why would an architect trust an AI system with their job,

Так зачем архитектору доверять свою работу,

with their literal freedom,

полную свободу в использовании систем ИИ,

if they couldn't go in and fix a mistake if they found it?

если в случае обнаружения ошибки он не может войти и исправить ошибку?

So we need to figure out these problems today, and I'll tell you why.

Нам нужно решить эти проблемы сегодня, и я расскажу вам почему.

The next wave of artificial intelligence systems, called agentic AI,

Новая волна систем искусственного интеллекта, названная агентским ИИ, —

is a true tipping point

настоящий переломный момент

between whether or not we retain human agency,

между тем, сохраняем ли мы свободу действий человека,

or whether or not AI systems make our decisions for us.

или же системы искусственного интеллекта принимают решения за нас.

Imagine an AI agent as kind of like a personal assistant.

Представьте себе агента ИИ, похожего на личного помощника.

So, for example, a medical agent might determine

Например, медицинский агент может определить,

whether or not your family needs doctor's appointments,

нужно ли вашей семье посещение врача,

it might refill prescription medications, or in case of an emergency,

пополнить запасы лекарств по рецепту или, в экстренных случаях,

send medical records to the hospital.

отправить медицинскую документацию в больницу.

But AI agents can't and won't exist

Но агенты ИИ не могут и не будут существовать,

unless we have a true right to repair.

если не будет реального права на лечение.

What parent would trust their child's health to an AI system

Какой родитель доверит здоровье своего ребёнка системе ИИ,

unless you could run some basic diagnostics?

если вы не проведёте базовую диагностику?

What professional would trust an AI system with job decisions,

Какой специалист доверит системе ИИ принятие решений о работе,

unless you could retrain it the way you might a junior employee?

если вы не сможете переобучить её так же, как и младшего сотрудника?

Now, a right to repair might look something like this.

Теперь право на ремонт может выглядеть примерно так.

You could have a diagnostics board

У вас может быть диагностическая плата,

where you run basic tests that you design,

на которой вы будете проводить собственные базовые тесты,

and if something's wrong, you could report it to the company

и, если что-то не так, вы можете сообщить об этом компании

and hear back when it's fixed.

и получить ответ после решения проблемы.

Or you could work with third parties like ethical hackers

Или можете работать, например, с белыми хакерами,

who make patches for systems like we do today.

которые вносят исправления в системы, как мы делаем сегодня.

You can download them and use them to improve your system

Вы можете загрузить их и использовать

the way you want it to be improved.

для улучшения своей системы.

Or you could be like these intrepid farmers and learn to program

Или как те бесстрашные фермеры вы можете научиться программировать

and fine-tune your own systems.

и настраивать свои собственные системы.

We won't achieve the promised benefits of artificial intelligence

Мы не сможем реализовать обещанные преимущества ИИ,

unless we figure out how to bring people into the development process.

пока не придумаем, как вовлечь людей в процесс разработки.

I've dedicated my career to responsible AI,

Я посвятила свою карьеру ответственному ИИ,

and in that field we ask the question,

и в этой области мы задаём вопрос:

what can companies build to ensure that people trust AI?

что могут создать компании, чтобы люди доверяли ИИ?

Now, through these red-teaming exercises, and by talking to you,

И сейчас, выполнив эти практики красной команды и поговорив с вами,

I've come to realize that we've been asking the wrong question all along.

я поняла, что мы всегда задавали неправильный вопрос.

What we should have been asking is what tools can we build

Нам стоило спросить, какие инструменты мы можем создать,

so people can make AI beneficial for them?

чтобы люди могли использовать ИИ в своих интересах?

Technologists can't do it alone.

Технологи не могут сделать это в одиночку.

We can only do it with you.

Мы можем сделать это только вместе с вами.

Thank you.

Спасибо.

(Applause)

(Аплодисменты)