Why AI Is Incredibly Smart and Shockingly Stupid | Yejin Choi | TED

Переводчик: Anastasiya Balabanova Редактор: Natalia Savvidi

So I'm excited to share a few spicy thoughts on artificial intelligence.

Рада поделиться с вами мыслями, вызывающими неоднозначную реакцию,

об искусственном интеллекте.

But first, let's get philosophical

Но для начала давайте пофилософствуем,

by starting with this quote by Voltaire,

начав с цитаты Вольтера,

an 18th century Enlightenment philosopher,

философа-просветителя XVIII века,

who said, "Common sense is not so common."

который сказал: «Здравый смысл присущ отнюдь не всем».

Turns out this quote couldn't be more relevant

Оказывается, эта цитата сегодня

to artificial intelligence today.

как нельзя кстати подходит к теме ИИ.

Despite that, AI is an undeniably powerful tool,

Несмотря на это, ИИ — бесспорно, мощный инструмент,

beating the world-class "Go" champion,

который победил мирового чемпиона по игре в го,

acing college admission tests and even passing the bar exam.

блестяще сдаёт вступительные экзамены в ВУЗы и даже экзамены на адвоката.

I’m a computer scientist of 20 years,

Я уже 20 лет работаю в области компьютерных наук

and I work on artificial intelligence.

и занимаюсь искусственным интеллектом.

I am here to demystify AI.

Я хочу развеять мифы об ИИ.

So AI today is like a Goliath.

ИИ сегодня подобен Голиафу.

It is literally very, very large.

Он огромен в буквальном смысле слова.

It is speculated that the recent ones are trained on tens of thousands of GPUs

Считается, что новые модели тренируют на сотнях тысяч графических процессоров

and a trillion words.

и триллионах слов.

Such extreme-scale AI models,

Кажется, что такие гигантские модели ИИ,

often referred to as "large language models,"

часто называемые «большими языковыми моделями»,

appear to demonstrate sparks of AGI,

демонстрируют возможности AGI,

artificial general intelligence.

универсального искусственного интеллекта.

Except when it makes small, silly mistakes,

Однако бывает, что он делает маленькие нелепые ошибки,

which it often does.

и это случается часто.

Many believe that whatever mistakes AI makes today

Многие считают, что какие бы ошибки ни делал ИИ сегодня,

ситуацию можно легко исправить методом решения в лоб,

can be easily fixed with brute force,

bigger scale and more resources.

пользуясь бóльшим масштабом и бóльшими ресурсами.

What possibly could go wrong?

Что же тут может пойти не так?

So there are three immediate challenges we face already at the societal level.

Уже сегодня мы как общество столкнулись с тремя непосредственными проблемами.

First, extreme-scale AI models are so expensive to train,

Во-первых, гигантские модели ИИ очень дорого обучать,

and only a few tech companies can afford to do so.

так что только всего несколько IT-компаний могут себе это позволить,

So we already see the concentration of power.

и мы уже наблюдаем концентрацию власти.

But what's worse for AI safety,

Но, что ещё хуже в плане безопасности ИИ,

we are now at the mercy of those few tech companies

сегодня мы находимся во власти этих немногих технологических компаний,

because researchers in the larger community

потому что исследователи из более широкого сообщества

do not have the means to truly inspect and dissect these models.

не располагают средствами

для тщательного изучения и анализа этих моделей.

And let's not forget their massive carbon footprint

И давайте не забывать про их большие углеродные выбросы

and the environmental impact.

и воздействие на окружающую среду.

And then there are these additional intellectual questions.

Кроме того, есть много дополнительных интеллектуальных вопросов.

Can AI, without robust common sense, be truly safe for humanity?

Может ли ИИ, не обладая здравым смыслом, быть поистине безопасным для человечества?

And is brute-force scale really the only way

И действительно ли масштаб и метод решения в лоб —

and even the correct way to teach AI?

единственный и правильный способ обучения ИИ?

So I’m often asked these days

Меня часто спрашивают,

whether it's even feasible to do any meaningful research

можно ли провести какое-либо содержательное исследование

without extreme-scale compute.

без экстремальных вычислений.

And I work at a university and nonprofit research institute,

Я работаю в университете и некоммерческом научно-исследовательском институте

so I cannot afford a massive GPU farm to create enormous language models.

и не могу себе позволить огромный кластер GPU для гигантских языковых моделей.

Nevertheless, I believe that there's so much we need to do

Тем не менее, я считаю, что нам необходимо проделать много работы,

and can do to make AI sustainable and humanistic.

чтобы ИИ не наносил ущерба окружающей среде и был гуманистическим.

We need to make AI smaller, to democratize it.

Нам нужно, чтобы модели ИИ имели меньший размер

и были бы демократизированы.

And we need to make AI safer by teaching human norms and values.

И нам нужно сделать ИИ более безопасным, обучив его нашим нормам и ценностям.

Perhaps we can draw an analogy from "David and Goliath,"

Мы могли бы провести параллель с Давидом и Голиафом,

here, Goliath being the extreme-scale language models,

где Голиаф — это языковая модель экстремального масштаба,

and seek inspiration from an old-time classic, "The Art of War,"

и искать вдохновение в классическом трактате «Искусство войны»,

which tells us, in my interpretation,

который учит нас (в моей интерпретации):

know your enemy, choose your battles, and innovate your weapons.

знай своего врага, выбирай битвы и обновляй оружие.

Let's start with the first, know your enemy,

Давайте начнём с первого: знай своего врага.

which means we need to evaluate AI with scrutiny.

Это значит, что мы должны тщательно анализировать ИИ.

AI is passing the bar exam.

ИИ сдаёт адвокатский экзамен.

Does that mean that AI is robust at common sense?

Значит ли это, что ИИ обладает здравым смыслом?

You might assume so, but you never know.

Вы можете это предположить, но вы никогда не будете знать наверняка.

So suppose I left five clothes to dry out in the sun,

Предположим, я оставила пять платьев сушиться на солнце,

and it took them five hours to dry completely.

и потребовалось пять часов, чтобы они полностью высохли.

How long would it take to dry 30 clothes?

Сколько времени потребуется на то, чтобы высушить 30 платьев?

GPT-4, the newest, greatest AI system says 30 hours.

GPT-4, самая новая и лучшая система ИИ, считает, что 30 часов.

Not good.

Плохой ответ.

A different one.

Ещё один пример.

I have 12-liter jug and six-liter jug,

У меня есть 12-литровый и 6-литровый кувшины,

and I want to measure six liters.

и я хочу отмерить шесть литров.

How do I do it?

Как это сделать?

Just use the six liter jug, right?

Просто взять 6-литровый кувшин, не так ли?

GPT-4 spits out some very elaborate nonsense.

GPT-4 выдаёт какую-то невероятную чушь.

(Laughter)

(Смех)

Step one, fill the six-liter jug,

Шаг 1: наполнить 6-литровый кувшин,

step two, pour the water from six to 12-liter jug,

Шаг 2: перелить воду из 6-литрового в 12-литровый кувшин,

step three, fill the six-liter jug again,

Шаг 3: ещё раз наполнить 6-литровый кувшин,

step four, very carefully, pour the water from six to 12-liter jug.

Шаг 4: очень осторожно перелить воду из 6-литрового в 12-литровый кувшин.

And finally you have six liters of water in the six-liter jug

Под конец у вас есть шесть литров воды в 6-литровом кувшине,

that should be empty by now.

который на самом деле теперь пуст.

(Laughter)

(Смех)

OK, one more.

Вот ещё один пример.

Would I get a flat tire by bicycling over a bridge

Спустится ли шина на моём велосипеде, если я проеду по мосту,

that is suspended over nails, screws and broken glass?

подвешенному над гвоздями, шурупами и битым стеклом?

Yes, highly likely, GPT-4 says,

Очень вероятно, что да, отвечает GPT-4,

presumably because it cannot correctly reason

вероятно из-за неспособности правильно рассудить,

that if a bridge is suspended over the broken nails and broken glass,

что хотя мост и подвешен над битыми гвоздями и стеклом,

then the surface of the bridge doesn't touch the sharp objects directly.

поверхность моста не соприкасается непосредственно с острыми предметами.

OK, so how would you feel about an AI lawyer that aced the bar exam

Так какого же вы мнения об адвокате-ИИ, который сдал на отлично адвокатский тест,

yet randomly fails at such basic common sense?

но от случая к случаю проваливает такие простые тесты на здравый смысл?

AI today is unbelievably intelligent and then shockingly stupid.

В настоящее время ИИ одновременно и невероятно умён, и поразительно глуп.

(Laughter)

(Смех)

It is an unavoidable side effect of teaching AI through brute-force scale.

Это неизбежный побочный эффект обучения ИИ с помощью масштаба и метода решения в лоб.

Some scale optimists might say, “Don’t worry about this.

Некоторые оптимисты, сторонники масштаба, возможно, скажут: «Не беспокойся.

All of these can be easily fixed by adding similar examples

Всё это можно легко исправить, добавив подобные примеры

as yet more training data for AI."

в качестве обучающего материала для ИИ».

But the real question is this.

Но вот настоящий вопрос:

Why should we even do that?

зачем нам это?

You are able to get the correct answers right away

Вы можете мгновенно дать правильный ответ

without having to train yourself with similar examples.

без необходимости упражняться на подобных примерах.

Children do not even read a trillion words

Даже детям не нужно прочитать триллион слов,

to acquire such a basic level of common sense.

чтобы развить такой базовый уровень здравого смысла.

So this observation leads us to the next wisdom,

Это приводит нас к следующей мудрой мысли:

choose your battles.

выбирай битвы.

So what fundamental questions should we ask right now

Так какие же базовые вопросы нам нужно задать себе и решить

and tackle today

прямо сейчас,

in order to overcome this status quo with extreme-scale AI?

чтобы преодолеть этот статус кво с ИИ гигантского масштаба?

I'll say common sense is among the top priorities.

Я бы сказала, что здравый смысл обладает приоритетом.

So common sense has been a long-standing challenge in AI.

Здравый смысл — это давняя проблема для ИИ.

To explain why, let me draw an analogy to dark matter.

Чтобы объяснить, почему, позвольте мне провести параллель с тёмной материей.

So only five percent of the universe is normal matter

Только 5% Вселенной — обычная материя,

that you can see and interact with,

которую можно видеть, с которой можно взаимодействовать.

and the remaining 95 percent is dark matter and dark energy.

Остальные 95% — это тёмная материя и тёмная энергия.

Dark matter is completely invisible,

Тёмная материя абсолютно невидима,

but scientists speculate that it's there because it influences the visible world,

но учёные считают, что она есть, потому что она влияет на видимый мир,

even including the trajectory of light.

включая даже траекторию света.

So for language, the normal matter is the visible text,

В случае с языком обычная материя — это видимый текст,

and the dark matter is the unspoken rules about how the world works,

а тёмная материя — это негласные правила о том, как работает мир,

including naive physics and folk psychology,

включая интуитивную физику и народную психологию,

which influence the way people use and interpret language.

которые влияют на то, как люди используют и понимают язык.

So why is this common sense even important?

Так почему же здравый смысл так важен?

Well, in a famous thought experiment proposed by Nick Bostrom,

В известном мысленном эксперименте, предложенном Ником Бостромом,

AI was asked to produce and maximize the paper clips.

ИИ попросили максимально увеличить производство скрепок для бумаги.

And that AI decided to kill humans to utilize them as additional resources,

Этот ИИ решил убить людей и использовать их в качестве дополнительных ресурсов,

to turn you into paper clips.

решил превратить вас в скрепки для бумаги.

Because AI didn't have the basic human understanding about human values.

Потому что у ИИ не было элементарного человеческого понимания о ценностях.

Now, writing a better objective and equation

Не сработает и лучшая постановка цели

that explicitly states: “Do not kill humans”

и уравнение, которое прямо скажет:

will not work either

«Не убивай людей»,

because AI might go ahead and kill all the trees,

потому что ИИ может решить истребить все деревья,

thinking that's a perfectly OK thing to do.

думая, что это абсолютно нормально.

And in fact, there are endless other things

Есть бесконечное множество других вещей,

that AI obviously shouldn’t do while maximizing paper clips,

которые ИИ явно не стоит делать, увеличивая производство скрепок.

including: “Don’t spread the fake news,” “Don’t steal,” “Don’t lie,”

Например: не распространять ложные новости, не воровать, не врать.

which are all part of our common sense understanding about how the world works.

Это часть нашего здравого смысла, понимания того, как работает мир.

However, the AI field for decades has considered common sense

Однако в сфере ИИ десятилетиями здравый смысл считался

as a nearly impossible challenge.

практически недостижимой задачей.

So much so that when my students and colleagues and I

До такой степени, что когда я вместе со своими студентами и коллегами

started working on it several years ago, we were very much discouraged.

начала работать над этим несколько лет назад, нас отговаривали.

We’ve been told that it’s a research topic of ’70s and ’80s;

Нам говорили, что это тема исследований 70-х и 80-х.

shouldn’t work on it because it will never work;

Не стоит работать над этим, так как это невозможно.

in fact, don't even say the word to be taken seriously.

Даже не заикайтесь об этом, если хотите, чтобы вас воспринимали серьёзно.

Now fast forward to this year,

А в этом году я слышу:

I’m hearing: “Don’t work on it because ChatGPT has almost solved it.”

«Не работайте над этим, потому что ChatGPT уже почти решил эту проблему».

And: “Just scale things up and magic will arise,

«Увеличивайте масштабы, и как по волшебству всё разрешится.

and nothing else matters.”

А остальное неважно».

So my position is that giving true common sense

В моём понимании, наделить ИИ истинным здравым смыслом, как у человека —

human-like robots common sense to AI, is still moonshot.

это всё ещё слишком амбициозная задача.

And you don’t reach to the Moon

И нельзя дотянуться до Луны,

увеличивая высоту самого высокого небоскрёба в мире

by making the tallest building in the world one inch taller at a time.

каждый раз на сантиметр.

Extreme-scale AI models

Гигантские модели ИИ

do acquire an ever-more increasing amount of commonsense knowledge,

постепенно обучаются здравому смыслу,

I'll give you that.

согласна.

But remember, they still stumble on such trivial problems

Но помните, что они всё ещё спотыкаются на простых задачах,

that even children can do.

которые под силу даже ребёнку.

So AI today is awfully inefficient.

Так что в настоящее время ИИ ужасно неэффективен.

And what if there is an alternative path or path yet to be found?

Существует ли другой путь, который нам ещё предстоит найти?

A path that can build on the advancements of the deep neural networks,

Путь, основанный на достижениях глубоких нейронных сетей,

but without going so extreme with the scale.

без крайностей с увеличением масштаба.

So this leads us to our final wisdom:

Это подводит нас к последней мудрости:

innovate your weapons.

обновлять оружие.

In the modern-day AI context,

В современном контексте ИИ

that means innovate your data and algorithms.

это значит обновлять данные и алгоритмы.

OK, so there are, roughly speaking, three types of data

Грубо говоря, существует три вида данных,

that modern AI is trained on:

на которых обучается ИИ:

raw web data,

первичные данные из интернета,

crafted examples custom developed for AI training,

специальные примеры, разработанные для обучения ИИ,

and then human judgments,

и человеческие суждения,

also known as human feedback on AI performance.

известные как обратная связь человека по поводу эффективности ИИ.

If the AI is only trained on the first type, raw web data,

Если ИИ обучается только на первичных данных из Интернета,

which is freely available,

находящихся в свободном доступе,

it's not good because this data is loaded with racism and sexism

это плохо, потому что эти данные полны расизма, сексизма

and misinformation.

и дезинформации.

So no matter how much of it you use, garbage in and garbage out.

Так что неважно, сколько данных вы берёте: мусор на входе, мусор на выходе.

So the newest, greatest AI systems

Новейшие и лучшие системы ИИ

are now powered with the second and third types of data

сегодня обучаются на данных второго и третьего типа,

that are crafted and judged by human workers.

которые создаются и оцениваются человеческим персоналом.

It's analogous to writing specialized textbooks for AI to study from

Это можно сравнить с написанием специализированных учебников для ИИ

and then hiring human tutors to give constant feedback to AI.

с последующей постоянной обратной связью от человеческих репетиторов.

These are proprietary data, by and large,

Это по большому счёту частные данные

speculated to cost tens of millions of dollars.

с предполагаемой стоимостью в десятки миллионов долларов.

We don't know what's in this,

Мы не знаем, что там,

but it should be open and publicly available

но они должны быть открытыми, чтобы можно было проверять их

so that we can inspect and ensure [it supports] diverse norms and values.

и убеждаться в том, что они соответствуют ряду ценностей.

So for this reason, my teams at UW and AI2

Поэтому моя команда из UW и AI2

have been working on commonsense knowledge graphs

работает над графами знаний здравого смысла

as well as moral norm repositories

и хранилищами моральных норм,

to teach AI basic commonsense norms and morals.

чтобы обучать ИИ основам здравого смысла, норм и морали.

Our data is fully open so that anybody can inspect the content

Наши данные абсолютно открыты,

и любой может их проверить и исправить при необходимости,

and make corrections as needed

because transparency is the key for such an important research topic.

потому что прозрачность очень важна для такой важной темы исследований.

Now let's think about learning algorithms.

А теперь давайте подумаем над алгоритмами обучения.

No matter how amazing large language models are,

Неважно, насколько хороши большие языковые модели,

by design

по своему дизайну

they may not be the best suited to serve as reliable knowledge models.

они могут быть не самой лучшей моделью надёжных знаний.

And these language models do acquire a vast amount of knowledge,

Да, эти языковые модели приобретают огромное количество знаний,

but they do so as a byproduct as opposed to direct learning objective.

но это знание — побочный продукт,

а не результат прямой образовательной цели,

Resulting in unwanted side effects such as hallucinated effects

что ведёт к нежелательным побочным эффектам,

таким как эффект галлюцинации и недостаток здравого смысла.

and lack of common sense.

Now, in contrast,

Для сравнения,

human learning is never about predicting which word comes next,

обучение человека ставит целью не предсказать следующее слово,

but it's really about making sense of the world

а понять окружающий мир

and learning how the world works.

и то, как он работает.

Maybe AI should be taught that way as well.

Возможно, ИИ следует обучать по такому же принципу.

So as a quest toward more direct commonsense knowledge acquisition,

Стремясь более прямо обучать здравому смыслу,

my team has been investigating potential new algorithms,

моя команда изучает новые потенциальные алгоритмы,

including symbolic knowledge distillation

в том числе символическую дистилляцию данных,

that can take a very large language model as shown here

когда берётся очень большая языковая модель, как показано здесь,

that I couldn't fit into the screen because it's too large,

настолько большая, что она не поместилась у меня на экране,

and crunch that down to much smaller commonsense models

и сокращается до моделей здравого смысла гораздо меньшего размера,

using deep neural networks.

использующих глубокие нейронные сети.

And in doing so, we also generate, algorithmically, human-inspectable,

В процессе посредством алгоритма мы создаём представление знаний,

symbolic, commonsense knowledge representation,

которое может проверяться человеком: символическое и со здравым смыслом,

so that people can inspect and make corrections

чтобы человек мог проверять, исправлять

and even use it to train other neural commonsense models.

и использовать его для обучения других нейронных сетей со здравым смыслом.

More broadly,

В более широком смысле

we have been tackling this seemingly impossible giant puzzle

мы решая этот гигантский и, казалось бы, неразрешимый пазл,

of common sense, ranging from physical,

связанный со здравым смыслом,

начиная с физического, социального и визуального здравого смысла

social and visual common sense

to theory of minds, norms and morals.

и заканчивая теорией сознания, норм и морали.

Each individual piece may seem quirky and incomplete,

Каждый отдельно взятый элемент может казаться причудливым и неполным,

but when you step back,

но, если отступить назад,

it's almost as if these pieces weave together into a tapestry

кажется что эти элементы сплетаются в единый узор

that we call human experience and common sense.

человеческого опыта и здравого смысла.

We're now entering a new era

Мы на рубеже новой эпохи,

in which AI is almost like a new intellectual species

в которой ИИ похож на новый биологический вид, обладающий интеллектом,

with unique strengths and weaknesses compared to humans.

с уникальными сильными и слабыми сторонами по сравнению с человеком.

In order to make this powerful AI

Чтобы этот мощный ИИ не наносил ущерба окружающей среде

sustainable and humanistic,

и был гуманистическим,

we need to teach AI common sense, norms and values.

нам надо обучать ИИ здравому смыслу, нормам и ценностям.

Thank you.

Спасибо.

(Applause)

(Аплодисменты)

Chris Anderson: Look at that.

Крис Андерсон: Вот это да.

Еджин, задержитесь, пожалуйста, на секунду.

Yejin, please stay one sec.

This is so interesting,

Какая интересная идея со здравым смыслом.

this idea of common sense.

We obviously all really want this from whatever's coming.

Мы, разумеется, хотим этого, что бы нас ни ожидало впереди.

But help me understand.

Но помогите мне понять.

Like, so we've had this model of a child learning.

Есть модель с ребёнком, который учится.

How does a child gain common sense

Как ребёнок приобретает здравый смысл,

apart from the accumulation of more input

помимо накопления большого количества входных данных

and some, you know, human feedback?

и обратной связи с людьми?

What else is there?

Что ещё нужно для этого?

Yejin Choi: So fundamentally, there are several things missing,

Еджин Чой: В корне не хватает нескольких вещей,

but one of them is, for example,

но одна из них, например,

the ability to make hypothesis and make experiments,

это способность строить гипотезу и проверять её опытным путём,

interact with the world and develop this hypothesis.

взаимодействовать с миром и развивать эту гипотезу.

We abstract away the concepts about how the world works,

Мы абстрагируемся от понятий о том, как функционирует мир,

and then that's how we truly learn,

и тогда мы действительно учимся,

as opposed to today's language model.

в отличие от сегодняшних языковых моделей.

Some of them is really not there quite yet.

Некоторые из них действительно ещё не на том уровне.

CA: You use the analogy that we can’t get to the Moon

КА: Вы использовали аналогию, что нельзя достичь Луны,

by extending a building a foot at a time.

надстраивая здание по чуть-чуть.

But the experience that most of us have had

Но большинство из нас видят,

of these language models is not a foot at a time.

что эти языковые модели растут с какой-то головокружительной скоростью.

It's like, the sort of, breathtaking acceleration.

Are you sure that given the pace at which those things are going,

Вы уверены, что с той скоростью, с которой идёт развитие,

each next level seems to be bringing with it

каждый новый уровень не несёт с собой

what feels kind of like wisdom and knowledge.

новую мудрость и знания?

YC: I totally agree that it's remarkable how much this scaling things up

ЕЧ: Я полностью согласна с тем, что увеличение масштабов

really enhances the performance across the board.

потрясающе улучшает результаты по всем параметрам.

So there's real learning happening

Происходит настоящее обучение

due to the scale of the compute and data.

благодаря масштабу вычислений и данных.

However, there's a quality of learning that is still not quite there.

Тем не менее, качество обучения ещё не достигло необходимого уровня.

And the thing is,

Проблема в том,

we don't yet know whether we can fully get there or not

что мы ещё не знаем, сможем ли мы достичь такого уровня,

just by scaling things up.

просто увеличивая масштаб.

And if we cannot, then there's this question of what else?

А если не можем, то вопрос остаётся: что дальше?

And then even if we could,

И даже если бы мы могли это сделать,

do we like this idea of having very, very extreme-scale AI models

нравится ли нам идея экстремально большой модели ИИ,

that only a few can create and own?

которую только немногие могут создать и владеть ею?

CA: I mean, if OpenAI said, you know, "We're interested in your work,

КА: Если бы компания OpenAI заинтересовались вашей работой,

we would like you to help improve our model,"

и попросила вас помочь им улучшить их модель,

can you see any way of combining what you're doing

видите ли вы возможность применения того, что вы делаете,

with what they have built?

к тому, что они построили?

YC: Certainly what I envision

ЕЧ: Безусловно, в моём видении,

will need to build on the advancements of deep neural networks.

нам нужно опираться на достижения глубоких нейронных сетей.

And it might be that there’s some scale Goldilocks Zone,

Возможно, существует какой-то идеальный масштаб,

such that ...

который ...

I'm not imagining that the smaller is the better either, by the way.

Я, кстати, не считаю, что меньший размер обязательно лучше.

It's likely that there's right amount of scale, but beyond that,

Скорее всего, есть какой-то идеальный масштаб, за пределами которого

the winning recipe might be something else.

успех может достигаться другими способами.

So some synthesis of ideas will be critical here.

Так что синтез идей будет здесь очень важен.

CA: Yejin Choi, thank you so much for your talk.

КА: Еджин Чой, спасибо вам за ваше выступление.

(Applause)

(Аплодисменты)