How humans and AI can work together to create better businesses | Sylvain Duranton

Translator: Ivana Korom Reviewer: Krystian Aparta

번역: Keun Jeong Mo 검토: Theo Kim

Let me share a paradox.

역설을 하나 공유해 볼게요.

For the last 10 years,

지난 10년 간

many companies have been trying to become less bureaucratic,

많은 회사들은 관료주의,

to have fewer central rules and procedures,

중심적인 규칙, 절차에서 벗어나고

more autonomy for their local teams to be more agile.

각 부서가 더욱 민첩하게끔 자율적으로 만들고 있습니다.

And now they are pushing artificial intelligence, AI,

그리고 회사들이 강조하는 대단한 기술인 AI가

unaware that cool technology

그 어느 때 보다도 사람들을 더욱 관료적으로

might make them more bureaucratic than ever.

만드는지 인지하지 못하고 있습니다.

Why?

왜죠?

Because AI operates just like bureaucracies.

바로 AI가 관료주의처럼 작동하기 때문입니다.

The essence of bureaucracy

관료주의의 본질은

is to favor rules and procedures over human judgment.

인간의 판단보다 규칙과 절차를 선호합니다.

And AI decides solely based on rules.

그리고 AI는 오직 규칙들에 기반해 결정합니다.

Many rules inferred from past data

많은 규칙들을 과거 데이터에서 추론해왔습니다.

but only rules.

하지만 규칙만 추론했습니다.

And if human judgment is not kept in the loop,

만약 인간의 판단이 의사결정 과정에 없다면

AI will bring a terrifying form of new bureaucracy --

AI는 무시무시한 형태의 새로운 관료주의를 가져올 것입니다.

I call it "algocracy" --

저는 이걸 '알고크라시 (알고리즘에 의한 지배)'라고 부릅니다.

where AI will take more and more critical decisions by the rules

AI가 인간의 통제를 벗어나 규칙을 이용해

점점 더 많은 비판적인 결정을 내릴 것입니다.

outside of any human control.

Is there a real risk?

이게 진짜 위험할까요?

Yes.

네

I'm leading a team of 800 AI specialists.

저는 AI 전문가 800명을 이끌고 있습니다.

We have deployed over 100 customized AI solutions

저희는 맞춤화된 AI 솔루션을 100개 이상

for large companies around the world.

전세계 대형 회사들에 배치했습니다.

And I see too many corporate executives behaving like bureaucrats from the past.

그리고 저는 너무나 많은 경영진이 옛날 관료처럼 행동하는 것을 봤습니다.

They want to take costly, old-fashioned humans out of the loop

그들은 돈 많이 드는, 유행 지난 사람들을 의사결정 과정에서 내보내고

and rely only upon AI to take decisions.

오로지 AI에 의지해 결정을 내리고 싶어합니다.

I call this the "human-zero mindset."

저는 이걸 '인간제로 사고방식'이라 부릅니다.

And why is it so tempting?

이게 왜 그렇게 솔깃하게 들릴까요?

Because the other route, "Human plus AI," is long,

왜냐하면 다른 방식인 "인간 플러스 AI"는 소요 시간이 길고

costly and difficult.

비싸고 실행하기 어렵기 때문입니다.

Business teams, tech teams, data-science teams

비즈니스 팀, 기술 팀, 데이터 과학자 팀들은

have to iterate for months

몇 개월 동안 반복 작업을 통해

to craft exactly how humans and AI can best work together.

인간과 AI가 어떻게 최고의 협업을 할 수 있는지 정확히 만들어야 합니다.

Long, costly and difficult.

오래 걸리고, 비싸고, 어렵죠.

But the reward is huge.

하지만 성과는 거대합니다.

A recent survey from BCG and MIT

최근 BCG와 MIT의 조사에 따르면

shows that 18 percent of companies in the world

전세계 18퍼센트의 회사는

are pioneering AI,

AI를 일찍이 도입하고

making money with it.

이를 통해 수익을 얻습니다.

Those companies focus 80 percent of their AI initiatives

이 회사들은 AI 계획 중 80퍼센트를

on effectiveness and growth,

효율성과 발전,

taking better decisions --

더 나은 결정을 위해 집중하지만

not replacing humans with AI to save costs.

비용 절약을 위해 AI로 인간을 대체하지 않습니다.

Why is it important to keep humans in the loop?

인간을 의사결정 과정에 두는 것이 왜 중요할까요?

Simply because, left alone, AI can do very dumb things.

쉽게 말해, AI를 혼자 두면 아주 멍청한 행동을 할 수 있습니다.

Sometimes with no consequences, like in this tweet.

가끔 이 트윗처럼 답이 없습니다.

"Dear Amazon,

"아마존에게

I bought a toilet seat.

전 변기를 하나 샀어요.

Necessity, not desire.

변기가 필요 했을 뿐, 욕구 충족이 아니죠.

I do not collect them,

저는 변기를 수집하지 않아요.

I'm not a toilet-seat addict.

저는 변기 중독자가 아니라고요.

No matter how temptingly you email me,

여러분이 어떤 솔깃한 이메일을 보내더라도

I am not going to think, 'Oh, go on, then,

저는 절대로 '오, 좋아, 그럼

one more toilet seat, I'll treat myself.' "

변기 하나를 더 구매해서 나에게 선물해야지' 생각하지 않을 것입니다.

(Laughter)

(웃음)

Sometimes, with more consequence, like in this other tweet.

어떤 때에는 또 이 트윗처럼 더 심각한 결과를 가져옵니다.

"Had the same situation

"저의 어머니의 유골함 때와

with my mother's burial urn."

비슷한 상황에 처한 적이 있어요."

(Laughter)

(웃음)

"For months after her death,

"어머니가 돌아가신 후

I got messages from Amazon, saying, 'If you liked that ...' "

아마존에서

'만약 귀하의 마음에 들었다면...' 이라는 문자를 받았어요.

(Laughter)

(웃음)

Sometimes with worse consequences.

어떤 때에는 더 심각한 결과를 가져옵니다.

Take an AI engine rejecting a student application for university.

AI가 어떤 학생의 대학교 지원을 거부할 수 있습니다.

Why?

왜죠?

Because it has "learned," on past data,

왜냐하면 과거 데이터를 통해

characteristics of students that will pass and fail.

합격, 불합격 학생들의 특징을 배우기 때문입니다

Some are obvious, like GPAs.

GPA 같은 건 명확할 겁니다.

But if, in the past, all students from a given postal code have failed,

그러나 만약에 특정 우편번호를 사용한 학생들이 모두 탈락했다면

it is very likely that AI will make this a rule

AI는 이를 규칙으로 만들 가능성이 매우 높고

and will reject every student with this postal code,

이 우편번호를 사용한 모든 학생들을 탈락시킬 것이며

not giving anyone the opportunity to prove the rule wrong.

누구에게도 이 잘못된 규칙을 증명할 기회를 주지 않을 것입니다.

And no one can check all the rules,

그리고 아무도 이 모든 규칙을 검사할 수 없죠.

because advanced AI is constantly learning.

뛰어난 AI는 끊임없이 배우니까요.

And if humans are kept out of the room,

만약 인간이 이 틀을 벗어나고자 한다면

there comes the algocratic nightmare.

이는 알고크라시 악몽이 될 것입니다.

Who is accountable for rejecting the student?

입학 거부에 대해 누가 책임을 지나요?

No one, AI did.

아무도 없습니다. AI가 한 것입니다.

Is it fair? Yes.

공평한가요? 네.

The same set of objective rules has been applied to everyone.

왜냐하면 객관적인 평가가 모든 사람에게 똑같이 적용되었기 때문입니다.

Could we reconsider for this bright kid with the wrong postal code?

잘못된 우편번호를 사용한 똑똑한 아이에게 다른 기회를 줄 수 있을까요?

No, algos don't change their mind.

안됩니다. 알고리즘은 결정을 번복하지 않습니다.

We have a choice here.

그러나 우리는 지금 한 가지 선택권이 있습니다.

Carry on with algocracy

알고크라시로 계속 가시든지

or decide to go to "Human plus AI."

아니면 '인간 플러스 AI'로 결정할 수가 있습니다.

And to do this,

이를 위해서

we need to stop thinking tech first,

우리는 기술에 대한 생각을 먼저 멈추고

and we need to start applying the secret formula.

은밀한 공식을 적용시켜야 합니다.

To deploy "Human plus AI,"

"인간 플러스 AI"를 적용하기 위해

10 percent of the effort is to code algos;

알고리즘 코드 제작에 10% 노력을 쏟고

20 percent to build tech around the algos,

20퍼센트는 알고리즘 관련 기술을 만들고

collecting data, building UI, integrating into legacy systems;

데이터 수집, UI 제작, 기존 시스템과의 통합이 이루어집니다.

But 70 percent, the bulk of the effort,

그러나 70%에 달하는 많은 노력은

is about weaving together AI with people and processes

AI에 인간과 프로세스를 함께 엮음으로서

to maximize real outcome.

최대의 성과를 얻게끔 하는 것입니다.

AI fails when cutting short on the 70 percent.

AI는 이 70%에 미치지 못하면 실패합니다.

The price tag for that can be small,

이를 위한 비용은 줄어들 수도 있겠지만

wasting many, many millions of dollars on useless technology.

수백만 달러를 쓸모없는 기술에 낭비하게 되겠죠.

Anyone cares?

누가 신경이나 쓸까요?

Or real tragedies:

혹은 이러한 비극이 있죠.

346 casualties in the recent crashes of two B-737 aircrafts

346명의 사상자를 낸 최근 2번의 B-737기 사고 이유는

when pilots could not interact properly

파일럿이 컴퓨터화된 명령 시스템과

with a computerized command system.

적절히 상호작용을 하지 못했기 때문입니다

For a successful 70 percent,

성공적인 70%를 위해서

the first step is to make sure that algos are coded by data scientists

첫 번째 단계는 알고리즘이 데이터 과학자와 특정 분야 전문가에 의해

and domain experts together.

코드로 짜여져야 합니다.

Take health care for example.

건강 관리를 예로 들어봅시다.

One of our teams worked on a new drug with a slight problem.

저희 팀 하나가 작은 문제가 있는 신약에 관해 작업했습니다.

When taking their first dose,

신약 첫 복용시

some patients, very few, have heart attacks.

아주 소수의 환자들에게 심장마비가 옵니다.

So, all patients, when taking their first dose,

그리하여 첫 복용을 하는 모든 환자들은

have to spend one day in hospital,

반드시 병원에서 하루를 지내며

for monitoring, just in case.

만약을 대비해 경과를 지켜봅니다.

Our objective was to identify patients who were at zero risk of heart attacks,

저희의 목적은 심장마비의 위험이 전혀 없는 환자를 가려내서

who could skip the day in hospital.

병원에서 경과를 지켜보는 일을 없애는 것이었죠.

We used AI to analyze data from clinical trials,

저희는 AI를 통해 임상 실험 환자 데이터를 분석해

to correlate ECG signal, blood composition, biomarkers,

ECG신호, 혈액 성분, 생체지표와

with the risk of heart attack.

심장마비 가능성을 연관지었습니다.

In one month,

한 달 후,

our model could flag 62 percent of patients at zero risk.

저희 모델에서 62%의 환자는 위험성이 전혀 없을 수도 있었습니다.

They could skip the day in hospital.

이들은 병원에서 경과를 지켜볼 필요가 없죠.

Would you be comfortable staying at home for your first dose

그런데 여러분은 알고리즘이 말한대로 신약 첫 복용 후

if the algo said so?

집에서 편히 계실 수 있나요?

(Laughter)

(웃음)

Doctors were not.

의사들은 아니었습니다.

What if we had false negatives,

만약 우리가 거짓 부정 판단을 했다면,

meaning people who are told by AI they can stay at home, and die?

AI가 첫 복용 후 바로 귀가해도 된다던 사람들이 죽으면 어떻게 되나요?

(Laughter)

(웃음)

There started our 70 percent.

여기서 저희의 70%가 시작됐습니다.

We worked with a team of doctors

저희는 의사들과 협력해

to check the medical logic of each variable in our model.

현재 모델에서 각 변수의 의학 논리를 체크하기로 했습니다.

For instance, we were using the concentration of a liver enzyme

예를 들면, 저희는 간 효소를

예측 변수로 사용했는데

as a predictor,

for which the medical logic was not obvious.

의학 논리가 명확하지 않았습니다.

The statistical signal was quite strong.

통계 신호는 상당히 강했습니다.

But what if it was a bias in our sample?

그러나 만약 이것이 저희 샘플의 편향이면요?

That predictor was taken out of the model.

그래서 이 예측 변수는 저희 모델에서 제외되었습니다.

We also took out predictors for which experts told us

또한 전문가들이 언급한,

실생활에서 의사들이 정밀하게 측정할 수 없는 예측 변수를 제외시켰습니다.

they cannot be rigorously measured by doctors in real life.

After four months,

4개월 후,

we had a model and a medical protocol.

저희는 새로운 모델과 의학 지침을 만들었습니다.

They both got approved

모두 작년 봄, 미국의 권위있는 의학 전문가들에게

my medical authorities in the US last spring,

resulting in far less stress for half of the patients

새로운 모델이 절반 이상의 환자들에게

훨씬 적은 스트레스와 더 나은 생활을 가져다 준다는

and better quality of life.

결과를 인정받게 되었습니다.

And an expected upside on sales over 100 million for that drug.

그리고 신약 매출이 1억이 넘을 것이라고 예상했습니다.

Seventy percent weaving AI with team and processes

70퍼센트나 팀과 프로세스를 통해 AI와 결합한다는 것은

also means building powerful interfaces

인간과 AI가 가장 어려운 문제를 함께 풀 수 있도록

for humans and AI to solve the most difficult problems together.

강력한 접점을 만들었다는 것도 의미하죠.

Once, we got challenged by a fashion retailer.

언젠가 저희는 의류 업체의 도전장을 받았습니다.

"We have the best buyers in the world.

"저희에게는 세계 최고의 구매자가 있습니다.

Could you build an AI engine that would beat them at forecasting sales?

혹시 구매자들의 예상 판매량을 이길 AI 엔진을 제작할 수 있나요?

At telling how many high-end, light-green, men XL shirts

저희가 얼마나 많은 하이엔드,

밝은 초록색 남자 XL사이즈 셔츠를 내년을 위해 구입해야 할까요?

we need to buy for next year?

At predicting better what will sell or not

어떤 제품이 더 팔릴지 저희 디자이너들보다

than our designers."

좀 더 정확히 예측해 주세요."

Our team trained a model in a few weeks, on past sales data,

저희 팀은 과거 판매 데이터를 기반으로 AI 모델을 몇 주간 훈련시켰고

and the competition was organized with human buyers.

대결은 인간 구매자들과 이루어졌습니다.

Result?

결과는?

AI wins, reducing forecasting errors by 25 percent.

AI가 이겼습니다. 예측 오류를 25%나 줄였죠.

Human-zero champions could have tried to implement this initial model

인간제로 챔피언이 이 최초의 모델을 도입하고

and create a fight with all human buyers.

모든 인간 구매자와 싸움을 일으킬 수도 있었을 겁니다.

Have fun.

재밌겠죠.

But we knew that human buyers had insights on fashion trends

하지만 우리는 인간 구매자가 갖는 패션 트렌드에 대한 안목을

that could not be found in past data.

과거 데이터에서 찾을 수 없을지도 모른다는걸 압니다.

There started our 70 percent.

바로 거기에서 저희 70%가 시작했습니다.

We went for a second test,

그리하여 저는 두 번째 실험을 진행했습니다.

where human buyers were reviewing quantities

인간 구매자들은 AI가 추천하는 수량을

suggested by AI

검토할 수 있고

and could correct them if needed.

필요하다면 이를 수정할 수도 있게끔 말이죠.

Result?

결과는?

Humans using AI ...

인간이 AI를 이용한 결과

lose.

졌습니다.

Seventy-five percent of the corrections made by a human

인간이 수정한 75%는

were reducing accuracy.

정확도를 떨어트렸기 때문입니다.

Was it time to get rid of human buyers?

인간 구매자를 없애야 했나요?

No.

아니요.

It was time to recreate a model

이는 인간이 언제 AI가 틀렸다는 것을 맞추는 것이 아닌

where humans would not try to guess when AI is wrong,

AI가 인간 구매자에게서 현실적인 입력 값을 받도록

but where AI would take real input from human buyers.

모델을 다시 만들어야 할 때였습니다.

We fully rebuilt the model

저희는 모델을 완전히 다시 만들었고

and went away from our initial interface, which was, more or less,

저희 최초의 접점과 멀어져 버려서 거의 이랬습니다.

"Hey, human! This is what I forecast,

"인간아! 이건 내가 예측한건데

correct whatever you want,"

수정하고 싶은 건 다 수정해."

and moved to a much richer one, more like,

그러나 더 정교한 모델은, 좀 더 이랬죠.

"Hey, humans!

"인간아!

I don't know the trends for next year.

나는 내년의 트랜드를 모르겠어.

Could you share with me your top creative bets?"

그러니 너의 창의적인 안목을 함께 공유 하겠니?"

"Hey, humans!

"인간아!

Could you help me quantify those few big items?

이 큰 제품들 수량화 좀 도와주겠니?

I cannot find any good comparables in the past for them."

예전 데이터에서 좋은 비교치를 찾지 못했어."

Result?

결과는?

"Human plus AI" wins,

"인간 플러스 AI"의 승리이고

reducing forecast errors by 50 percent.

예측 오류를 50%나 줄였답니다.

It took one year to finalize the tool.

이 도구를 완성하는데 1년이나 걸렸죠.

Long, costly and difficult.

오래 걸리고, 돈이 많이 들고, 어려웠습니다.

But profits and benefits

그러나 이익과 혜택을 통해

were in excess of 100 million of savings per year for that retailer.

해당 의류 업체는 매년 1억 달러를 이상 절약했습니다.

Seventy percent on very sensitive topics

70%를 민감한 주제에 대해 다룬다는 건

also means human have to decide what is right or wrong

인간이 옳고 그름을 결정하고

and define rules for what AI can do or not,

AI가 할 수 있는 일과 없는 일을 규정하는 겁니다.

like setting caps on prices to prevent pricing engines

말하자면 가격 상한선을 정해서, 가격 설정 엔진이 터무니없이 높은 가격을

[from charging] outrageously high prices to uneducated customers

아무것도 모르는 고객에게 제시해 그걸 수용하는 일을

who would accept them.

예방하는 것처럼 말이죠.

Only humans can define those boundaries --

그리고 오직 인간만이 이 경계값을 설정할 수 있습니다.

there is no way AI can find them in past data.

AI가 과거 데이터에서 이 경계값을 찾지 못합니다.

Some situations are in the gray zone.

회색 지대에 있는 상황들도 있죠.

We worked with a health insurer.

저희는 건강보험사와 일한 적이 있습니다.

He developed an AI engine to identify, among his clients,

보험사는 AI 엔진 개발을 통해 고객들 중

people who are just about to go to hospital

곧 병원에 가야하는 고객을 식별해

to sell them premium services.

프리미엄 서비스를 판매하고자 했습니다.

And the problem is,

그러나 문제는 바로,

some prospects were called by the commercial team

광고팀 전화를 받은 목표 고객 중 일부는

while they did not know yet

아직 자신들이 그렇게나 일찍

they would have to go to hospital very soon.

병원에 가야 한다는 것을 모르는 상태였습니다.

You are the CEO of this company.

만약 당신이 이 회사의 CEO라면,

Do you stop that program?

그 프로그램을 그만 사용할 것인가요?

Not an easy question.

이는 쉬운 문제는 아닙니다.

And to tackle this question, some companies are building teams,

이 문제를 처리하기 위해 어떤 회사들은 팀을 조직하고,

defining ethical rules and standards to help business and tech teams set limits

윤리적 규칙과 표준을 설정해, 비즈니스와 기술팀이

between personalization and manipulation,

개인화와 조작,

customization of offers and discrimination,

요청의 맞춤화와 차별화,

targeting and intrusion.

목표 설정, 침범 사이에 한계를 정하도록 돕습니다.

I am convinced that in every company,

저는 모든 회사들이 정말로 중요한 곳에

applying AI where it really matters has massive payback.

AI를 적용한다면 어마무시한 이익을 얻을 수 있다고 확신합니다.

Business leaders need to be bold

비즈니스 리더는 과감하게

and select a few topics,

몇 가지 사업 주제를 선정해

and for each of them, mobilize 10, 20, 30 people from their best teams --

매 주제마다 10, 20, 30명씩 최고의 팀에서 온 사람들로

tech, AI, data science, ethics --

기술, AI, 데이터 과학, 윤리 등에서 동원하여

and go through the full 10-, 20-, 70-percent cycle

10%, 20%, 70% 주기의

"인간 플러스 AI"의 그 모든 과정을 거쳐야 합니다.

of "Human plus AI,"

if they want to land AI effectively in their teams and processes.

만약 AI를 효과적으로 팀과 프로세스에 정착시키려 한다면 말이죠.

There is no other way.

다른 방법은 없습니다.

Citizens in developed economies already fear algocracy.

선진국 시민들은 이미 알고크라시를 두려워하고 있습니다.

Seven thousand were interviewed in a recent survey.

최근 조사에서 7천 명을 인터뷰 했는데

More than 75 percent expressed real concerns

그 중 75퍼센트가 넘는 사람들은 심각하게 걱정합니다.

on the impact of AI on the workforce, on privacy,

AI가 일자리, 사생활

on the risk of a dehumanized society.

비인간적인 사회로의 위험성에 미치는 영향에 대해서요.

Pushing algocracy creates a real risk of severe backlash against AI

알고크라시를 밀어붙이면, AI에 엄청나게 반발하는 실질적인 위험이

within companies or in society at large.

기업이나 사회 안에서 엄청나게 생겨날 것입니다.

"Human plus AI" is our only option

"인간 플러스 AI" 야말로 우리의 유일한 옵션으로

to bring the benefits of AI to the real world.

AI의 혜택을 현실 세계로 가져오게 할 것입니다.

And in the end,

그리고 결국엔

winning organizations will invest in human knowledge,

성공한 기업들은 인류의 지식에 투자할 것입니다.

not just AI and data.

AI와 데이터에만 투자하는 것이 아니라요.

Recruiting, training, rewarding human experts.

전문가를 모집하고, 훈련하고, 보상하세요.

Data is said to be the new oil,

모두들 데이터를 새로운 기름이 될 거라고 하지만

but believe me, human knowledge will make the difference,

절 믿으세요. 인류가 갖고 있는 지식은 차이를 만들어낼 것입니다.

because it is the only derrick available

왜냐하면, 인간이야말로 유일하게

to pump the oil hidden in the data.

그 데이터에 숨겨진 기름을 뽑아낼 기중기니까요.

Thank you.

감사합니다.

(Applause)

(박수)