How humans and AI can work together to create better businesses | Sylvain Duranton

Translator: Ivana Korom Reviewer: Krystian Aparta

Переводчик: Zhanna Nizamutdinova Редактор: Anna Kotova

Let me share a paradox.

Позвольте поделиться парадоксом.

For the last 10 years,

Последние 10 лет

many companies have been trying to become less bureaucratic,

многие компании стараются быть менее бюрократичными,

to have fewer central rules and procedures,

иметь меньше общих правил и уставов,

more autonomy for their local teams to be more agile.

больше независимости для команд для большей гибкости.

And now they are pushing artificial intelligence, AI,

Теперь они продвигают искусственный интеллект (ИИ),

unaware that cool technology

не задумываясь о том, что крутые технологии

might make them more bureaucratic than ever.

могут сделать их бюрократичнее, чем когда-либо.

Why?

Почему?

Because AI operates just like bureaucracies.

Потому что ИИ работает точно так же, как бюрократия.

The essence of bureaucracy

Суть бюрократии в том,

is to favor rules and procedures over human judgment.

что правила и процедуры ставятся превыше человеческого мнения.

And AI decides solely based on rules.

ИИ принимает решения только в соответствии с правилами.

Many rules inferred from past data

Со множеством правил, основанных на прошлых данных, —

but only rules.

но только правил.

And if human judgment is not kept in the loop,

И если процесс происходит без человеческой оценки,

AI will bring a terrifying form of new bureaucracy --

ИИ породит новую ужасающую форму бюрократии.

I call it "algocracy" --

Я называю её «алгократия».

where AI will take more and more critical decisions by the rules

ИИ будет принимать всё более важные решения по правилам

outside of any human control.

и без какого-либо контроля со стороны человека.

Is there a real risk?

Есть ли в этом реальный риск?

Yes.

Да.

I'm leading a team of 800 AI specialists.

Я руковожу командой из 800 специалистов по ИИ.

We have deployed over 100 customized AI solutions

Мы развернули более 100 уникальных решений с использованием ИИ

for large companies around the world.

для крупных компаний по всему миру.

And I see too many corporate executives behaving like bureaucrats from the past.

И я вижу так много топ-менеджеров, ведущих себя как бюрократы из прошлого.

They want to take costly, old-fashioned humans out of the loop

Они хотят отказаться от дорогостоящих, старомодных людей

and rely only upon AI to take decisions.

и положиться только на решения, которые принимает ИИ.

I call this the "human-zero mindset."

Я называю это «бесчеловечный подход».

And why is it so tempting?

Почему это так заманчиво?

Because the other route, "Human plus AI," is long,

Потому что другой путь — «Человек плюс ИИ» — долгий,

costly and difficult.

дорогой и сложный.

Business teams, tech teams, data-science teams

Команды сотрудников от бизнеса, ИТ и анализа данных

have to iterate for months

должны работать месяцами,

to craft exactly how humans and AI can best work together.

чтобы вручную подобрать наилучшую комбинацию из ИИ и людей.

Long, costly and difficult.

Долго, дорого и сложно.

But the reward is huge.

Но награда того стоит.

A recent survey from BCG and MIT

Недавнее исследование консалтинговой группы BCG и университета MIT

shows that 18 percent of companies in the world

показало, что 18% компаний в мире

are pioneering AI,

являются первопроходцами в сфере ИИ,

making money with it.

зарабатывая на этом.

Those companies focus 80 percent of their AI initiatives

Эти компании фокусируют 80% инициатив в сфере ИИ

on effectiveness and growth,

на эффективности и развитии,

taking better decisions --

принятии оптимальных решений,

not replacing humans with AI to save costs.

а не замене людей на ИИ в целях экономии.

Why is it important to keep humans in the loop?

Почему так важно участие людей?

Simply because, left alone, AI can do very dumb things.

Просто потому, что ИИ без присмотра может делать глупости.

Sometimes with no consequences, like in this tweet.

Например, что-то без особых последствий, как в этом твите.

"Dear Amazon,

«Добрый день, Amazon.

I bought a toilet seat.

Я купил туалетное сиденье.

Necessity, not desire.

По необходимости, а не из прихоти.

I do not collect them,

Я их не коллекционирую,

I'm not a toilet-seat addict.

и я не заядлый любитель туалетных сидений.

No matter how temptingly you email me,

Как бы заманчиво не выглядели ваши письма,

I am not going to think, 'Oh, go on, then,

я не стану думать: «Ну так и быть,

one more toilet seat, I'll treat myself.' "

куплю ещё одно сиденье, побалую себя».

(Laughter)

(Смех)

Sometimes, with more consequence, like in this other tweet.

Иногда это влечёт больше последствий, как в этом твите.

"Had the same situation

«Был в такой же ситуации,

with my mother's burial urn."

купив погребальную урну для матери.

(Laughter)

(Смех)

"For months after her death,

Месяцами после её смерти

I got messages from Amazon, saying, 'If you liked that ...' "

я получал сообщения от Amazon "Если вам понравился этот товар..."»

(Laughter)

(Смех)

Sometimes with worse consequences.

Иногда последствия могут быть хуже.

Take an AI engine rejecting a student application for university.

Взять, к примеру, ИИ, отклоняющий заявки на поступление в университет.

Why?

Почему?

Because it has "learned," on past data,

Потому что он вычислил на предыдущих данных

characteristics of students that will pass and fail.

характеристики успешных и неуспешных студентов.

Some are obvious, like GPAs.

Некоторые очевидные, например средний балл.

But if, in the past, all students from a given postal code have failed,

Но если в прошлом все студенты с одним почтовым индексом не прошли,

it is very likely that AI will make this a rule

то весьма вероятно, что ИИ примет это за правило

and will reject every student with this postal code,

и откажет каждому студенту с этим почтовым индексом,

not giving anyone the opportunity to prove the rule wrong.

не давая никому возможности опровергнуть это правило.

And no one can check all the rules,

При этом никто не может проверить все правила,

because advanced AI is constantly learning.

потому что продвинутый ИИ постоянно учится.

And if humans are kept out of the room,

И если люди остаются в стороне,

there comes the algocratic nightmare.

наступает алгократический кошмар.

Who is accountable for rejecting the student?

Кто в ответе за отказ студенту?

No one, AI did.

Никто, это ИИ отказал.

Is it fair? Yes.

Это честно? Да.

The same set of objective rules has been applied to everyone.

Один и тот же набор объективных правил применили ко всем.

Could we reconsider for this bright kid with the wrong postal code?

Можно ли всё-таки принять одарённого ребёнка с неудачным почтовым индексом?

No, algos don't change their mind.

Нет, алгоритм не может передумать.

We have a choice here.

У нас есть выбор.

Carry on with algocracy

Продолжать алгократию

or decide to go to "Human plus AI."

или выбрать подход «Человек плюс ИИ».

And to do this,

И для этого

we need to stop thinking tech first,

мы должны перестать думать в первую очередь о технологиях

and we need to start applying the secret formula.

и начать применять секретную формулу.

To deploy "Human plus AI,"

Чтобы применить подход «Человек плюс ИИ»,

10 percent of the effort is to code algos;

10% усилий уйдёт на создание алгоритмов,

20 percent to build tech around the algos,

20% — на технологии вокруг алгоритмов,

collecting data, building UI, integrating into legacy systems;

сбор данных, разработку интерфейса, интеграцию с унаследованными системами,

But 70 percent, the bulk of the effort,

но 70% — большинство усилий —

is about weaving together AI with people and processes

уйдёт на то, чтобы переплести ИИ, людей и процессы,

to maximize real outcome.

чтобы получить максимальный результат.

AI fails when cutting short on the 70 percent.

ИИ терпит неудачу, если урезать эти 70%.

The price tag for that can be small,

Возможно, ценник при этом будет низкий —

wasting many, many millions of dollars on useless technology.

миллионы долларов, потраченные впустую на бесполезные технологии.

Anyone cares?

Кого-то это волнует?

Or real tragedies:

Возможны и реальные трагедии:

346 casualties in the recent crashes of two B-737 aircrafts

346 погибших в результате крушения двух «Боингов-737»,

when pilots could not interact properly

когда пилоты не справились

with a computerized command system.

с компьютерной системой управления.

For a successful 70 percent,

Первый шаг к успешным 70% —

the first step is to make sure that algos are coded by data scientists

это алгоритмы, созданные специалистами по анализу данных

and domain experts together.

совместно с экспертами в данной области.

Take health care for example.

Рассмотрим, к примеру, здравоохранение.

One of our teams worked on a new drug with a slight problem.

Одна из наших команд работала над новым лекарством с маленьким недостатком.

When taking their first dose,

При приёме первой дозы

some patients, very few, have heart attacks.

у некоторых пациентов, очень немногих, случался инфаркт.

So, all patients, when taking their first dose,

Поэтому все пациенты при приёме первой дозы

have to spend one day in hospital,

должны были провести один день в стационаре

for monitoring, just in case.

под наблюдением, на всякий случай.

Our objective was to identify patients who were at zero risk of heart attacks,

Нашей целью было определить пациентов с нулевой вероятностью инфаркта,

who could skip the day in hospital.

которым не нужен этот день в стационаре.

We used AI to analyze data from clinical trials,

Мы использовали ИИ для анализа данных клинических испытаний,

to correlate ECG signal, blood composition, biomarkers,

чтобы соотнести результаты ЭКГ, анализ крови и биомаркеры

with the risk of heart attack.

с риском инфаркта.

In one month,

Всего за месяц

our model could flag 62 percent of patients at zero risk.

наша модель смогла выделить 62% пациентов с нулевым риском.

They could skip the day in hospital.

Они могли не проводить день в стационаре.

Would you be comfortable staying at home for your first dose

Вы бы хотели остаться дома, принимая первую дозу,

if the algo said so?

если так сказал алгоритм?

(Laughter)

(Смех)

Doctors were not.

Врачи были против.

What if we had false negatives,

Что, если мы получили ложноотрицательный результат,

meaning people who are told by AI they can stay at home, and die?

то есть ИИ разрешил людям остаться дома и умереть?

(Laughter)

(Смех)

There started our 70 percent.

Здесь начались наши 70%.

We worked with a team of doctors

Мы работали с командой врачей,

to check the medical logic of each variable in our model.

чтобы проверить медицинский смысл каждой переменной в нашей модели.

For instance, we were using the concentration of a liver enzyme

Например, мы использовали концентрацию одного из ферментов печени

as a predictor,

как один из параметров,

for which the medical logic was not obvious.

медицинская логика для которого была не очевидна.

The statistical signal was quite strong.

Статистически сигнал был довольно уверенный.

But what if it was a bias in our sample?

Но что, если это всего лишь ограничение в наших данных?

That predictor was taken out of the model.

Мы исключили этот параметр из нашей модели.

We also took out predictors for which experts told us

Мы также исключили параметры, которые, согласно оценке экспертов,

they cannot be rigorously measured by doctors in real life.

невозможно точно измерить в реальности.

After four months,

Четыре месяца спустя

we had a model and a medical protocol.

у нас была модель и медицинский протокол.

They both got approved

И они были одобрены

my medical authorities in the US last spring,

органами здравоохранения США прошлой весной,

resulting in far less stress for half of the patients

что значительно уменьшило стресс для половины пациентов

and better quality of life.

и улучшило их качество жизни.

And an expected upside on sales over 100 million for that drug.

Потенциальный рост продаж этого лекарства — более 100 миллионов.

Seventy percent weaving AI with team and processes

Переплетение ИИ с командой и процессами на 70%

also means building powerful interfaces

также означает создание эффективных интерфейсов,

for humans and AI to solve the most difficult problems together.

чтобы люди и ИИ решали самые сложные задачи совместно.

Once, we got challenged by a fashion retailer.

Однажды мы получили сложное задание от розничной сети модной одежды.

"We have the best buyers in the world.

«У нас лучшие байеры в мире.

Could you build an AI engine that would beat them at forecasting sales?

Вы сможете построить ИИ, который обойдёт их в предсказании продаж?

At telling how many high-end, light-green, men XL shirts

В предсказании, сколько дорогостоящих светло-зелёных мужских рубашек размера XL

we need to buy for next year?

нам нужно закупить на следующий год?

At predicting better what will sell or not

Который лучше предскажет, что мы продадим, а что нет,

than our designers."

чем наши дизайнеры».

Our team trained a model in a few weeks, on past sales data,

Наша команда за несколько недель обучила модель на исторических данных

and the competition was organized with human buyers.

и организовала соревнование с байерами-людьми.

Result?

Какой результат?

AI wins, reducing forecasting errors by 25 percent.

ИИ победил, уменьшив ошибку в прогнозах на 25%.

Human-zero champions could have tried to implement this initial model

Сторонники бесчеловечного подхода попытались бы применить эту первую модель

and create a fight with all human buyers.

и устроить состязание со всеми байерами-людьми.

Have fun.

Развлекайтесь.

But we knew that human buyers had insights on fashion trends

Но мы знали, что байеры-люди обладают пониманием модных трендов,

that could not be found in past data.

которые нельзя найти в прошлых данных.

There started our 70 percent.

Здесь начались наши 70%.

We went for a second test,

Мы запустили следующий тест,

where human buyers were reviewing quantities

где байеры-люди оценивали количества,

suggested by AI

предложенные ИИ,

and could correct them if needed.

и могли скорректировать их при необходимости.

Result?

Что в результате?

Humans using AI ...

Люди, использующие ИИ,

lose.

проиграли.

Seventy-five percent of the corrections made by a human

75% поправок, сделанных человеком,

were reducing accuracy.

уменьшали точность.

Was it time to get rid of human buyers?

Означало ли это, что надо избавиться от байеров-людей?

No.

Нет.

It was time to recreate a model

Это означало, что надо переделать модель,

where humans would not try to guess when AI is wrong,

чтобы люди не пытались угадать, где ИИ ошибся,

but where AI would take real input from human buyers.

а напротив, чтобы ИИ получал реальные входные данные от байеров-людей.

We fully rebuilt the model

Мы полностью перестроили модель

and went away from our initial interface, which was, more or less,

и ушли от изначального интерфейса, который был из серии

"Hey, human! This is what I forecast,

«Эй, человек! Вот что я прогнозирую,

correct whatever you want,"

поправь, как ты хочешь»,

and moved to a much richer one, more like,

и пришли к более продвинутому вроде

"Hey, humans!

«Эй, люди!

I don't know the trends for next year.

Я не знаю тренды на следующий год.

Could you share with me your top creative bets?"

Вы могли бы поделиться своим самыми креативными догадками?»

"Hey, humans!

«Эй, люди!

Could you help me quantify those few big items?

Вы могли бы помочь мне с количеством этих больших вещей?

I cannot find any good comparables in the past for them."

Я не могу найти для них хорошего соответствия в исторических данных».

Result?

Что в итоге?

"Human plus AI" wins,

«Человек плюс ИИ» побеждает,

reducing forecast errors by 50 percent.

уменьшая ошибки в предсказании на 50%.

It took one year to finalize the tool.

Год ушёл на то, чтобы доделать инструмент.

Long, costly and difficult.

Долго, дорого и сложно.

But profits and benefits

Но выгода и польза

were in excess of 100 million of savings per year for that retailer.

оказались свыше 100 миллионов экономии в год для этой розничной сети.

Seventy percent on very sensitive topics

Относительно сложных тем, 70%

also means human have to decide what is right or wrong

также означают, что человек должен решить, что правильно, а что — нет,

and define rules for what AI can do or not,

и определить правила, что разрешено делать ИИ, а что — нет,

like setting caps on prices to prevent pricing engines

например, ограничить цены, чтобы механизм формирования цен

[from charging] outrageously high prices to uneducated customers

не мог выставить возмутительно высокие цены ничего не подозревающим покупателям,

who would accept them.

которые бы согласились на покупку.

Only humans can define those boundaries --

Только люди могут очертить эти границы.

there is no way AI can find them in past data.

ИИ никоим образом не сможет найти их в исторических данных.

Some situations are in the gray zone.

Некоторые ситуации весьма неоднозначны.

We worked with a health insurer.

Мы работали на агентство медицинского страхования.

He developed an AI engine to identify, among his clients,

Оно разработало механизм ИИ, чтобы выделить среди клиентов

people who are just about to go to hospital

тех, кто мог вскоре попасть в больницу,

to sell them premium services.

чтобы продать им премиальную страховку.

And the problem is,

Проблема в том,

some prospects were called by the commercial team

что некоторых потенциальных клиентов обзванивали в тот момент,

while they did not know yet

когда они сами не подозревали,

they would have to go to hospital very soon.

что скоро им придётся обратиться за медицинской помощью.

You are the CEO of this company.

Представьте себя директором этой компании.

Do you stop that program?

Вы бы закрыли эту программу?

Not an easy question.

Вопрос непростой.

And to tackle this question, some companies are building teams,

И, чтобы разобраться с этим вопросом, некоторые компании собирают команды,

defining ethical rules and standards to help business and tech teams set limits

задающие этические правила и стандарты, помогая бизнесу и ИТ установить границы

between personalization and manipulation,

между персонализацией и манипуляцией,

customization of offers and discrimination,

подбором предложений и дискриминацией,

targeting and intrusion.

целевым маркетингом и вторжением в личную жизнь.

I am convinced that in every company,

Я убеждён, что в каждой компании

applying AI where it really matters has massive payback.

применение ИИ там, где это имеет смысл, приносит огромный успех.

Business leaders need to be bold

Бизнес-лидеры должны проявить смелость

and select a few topics,

и выбрать несколько тем,

and for each of them, mobilize 10, 20, 30 people from their best teams --

и для каждой из них выделить 10, 20, 30 человек из лучших команд

tech, AI, data science, ethics --

ИТ, ИИ, аналитиков данных, этиков

and go through the full 10-, 20-, 70-percent cycle

и пройти полный 10-, 20-, 70-процентный цикл

of "Human plus AI,"

«Человек плюс ИИ»,

if they want to land AI effectively in their teams and processes.

если они хотят эффективно внедрить ИИ в свои команды и процессы.

There is no other way.

Другого способа нет.

Citizens in developed economies already fear algocracy.

Граждане экономически развитых стран уже боятся алгократии.

Seven thousand were interviewed in a recent survey.

Недавно 7 тысяч респондентов прошли опрос.

More than 75 percent expressed real concerns

Более 75% опрошенных беспокоит

on the impact of AI on the workforce, on privacy,

влияние ИИ на рынок труда, частную жизнь

on the risk of a dehumanized society.

и риск сделать общество бесчеловечным.

Pushing algocracy creates a real risk of severe backlash against AI

Поощряя алгократию, мы рискуем получить негативную реакцию на ИИ

within companies or in society at large.

внутри компаний и в обществе в целом.

"Human plus AI" is our only option

«Человек плюс ИИ» — наш единственный способ

to bring the benefits of AI to the real world.

принести пользу ИИ в реальный мир.

And in the end,

И в итоге

winning organizations will invest in human knowledge,

победившие организации будут инвестировать в человеческие знания,

not just AI and data.

а не только в ИИ и данные.

Recruiting, training, rewarding human experts.

В найм, обучение и поощрение людей-экспертов.

Data is said to be the new oil,

Говорят, что данные — это новая нефть,

but believe me, human knowledge will make the difference,

но поверьте мне, человеческие знания играют решающую роль,

because it is the only derrick available

потому что это единственная буровая вышка,

to pump the oil hidden in the data.

которая позволит выкачать нефть, сокрытую в данных.

Thank you.

Спасибо.

(Applause)

(Аплодисменты)