How humans and AI can work together to create better businesses | Sylvain Duranton

Translator: Ivana Korom Reviewer: Krystian Aparta

Traducteur: Juliette Bruneel Relecteur: Claire Ghyselen

Let me share a paradox.

Permettez-moi de vous présenter un paradoxe.

For the last 10 years,

Ces 10 dernières années,

many companies have been trying to become less bureaucratic,

de nombreuses entreprises ont essayé d'être moins bureaucratiques,

to have fewer central rules and procedures,

d'avoir moins de règles et de procédures centralisées

more autonomy for their local teams to be more agile.

de rendre les équipes locales plus autonomes et plus agiles.

And now they are pushing artificial intelligence, AI,

Elles veulent maintenant utiliser l'intelligence artificielle, IA,

unaware that cool technology

sans se rendre compte que cette super technologie

might make them more bureaucratic than ever.

peut les rendre plus bureaucratiques que jamais.

Why?

Pourquoi dis-je cela ?

Because AI operates just like bureaucracies.

Parce qu'il y a une forte similarité entre l' IA et la bureaucratie.

The essence of bureaucracy

Oui, la bureaucratie ne se base que

is to favor rules and procedures over human judgment.

sur des règles et procédures pré-établies et fait fi du jugement humain.

And AI decides solely based on rules.

L' IA se réfère uniquement aux règles,

Many rules inferred from past data

dont beaucoup sont déduites de données antérieures,

but only rules.

et rien d'autre.

And if human judgment is not kept in the loop,

Et si l'esprit humain n'intervient pas,

AI will bring a terrifying form of new bureaucracy --

l'IA apportera une nouvelle forme de bureaucratie terrifiante

I call it "algocracy" --

que j'appelle « Algocratie ».

where AI will take more and more critical decisions by the rules

L'AI y prendra toutes les décisions essentielles

outside of any human control.

en dehors de tout contrôle humain.

Is there a real risk?

Ce risque est-il réel ?

Yes.

Oui.

I'm leading a team of 800 AI specialists.

Je supervise une équipe de 800 spécialistes en IA.

We have deployed over 100 customized AI solutions

Nous avons déployé plus de 100 solutions d'IA personnalisées

for large companies around the world.

dans de grandes entreprises partout dans le monde.

And I see too many corporate executives behaving like bureaucrats from the past.

Et je vois trop de dirigeants qui se comportent

comme les bureaucrates du passé.

They want to take costly, old-fashioned humans out of the loop

Ils veulent se passer des hommes trop chers et démodés

and rely only upon AI to take decisions.

et ne s'appuyer que sur l'IA dans la prise de décision.

I call this the "human-zero mindset."

C'est ce que j'appelle « système sans conscience ».

And why is it so tempting?

Et pourquoi est-ce si tentant ?

Because the other route, "Human plus AI," is long,

Parce que l'approche qui combine homme+IA prend plus de temps,

costly and difficult.

elle est plus chère et plus difficile.

Business teams, tech teams, data-science teams

Les équipes commerciales, techniques, et les analystes

have to iterate for months

doivent travailler pendant des mois

to craft exactly how humans and AI can best work together.

pour avoir un système collaboratif performant entre humain et l'IA.

Long, costly and difficult.

C'est plus long, plus coûteux et plus difficile.

But the reward is huge.

Mais ça vaut vraiment le coup.

A recent survey from BCG and MIT

Selon une enquête récente du BCG et du MIT,

shows that 18 percent of companies in the world

18 % des entreprises dans le monde,

are pioneering AI,

développent l'IA

making money with it.

et gagnent de l'argent grâce à ça.

Those companies focus 80 percent of their AI initiatives

Leurs initiatives en IA se focalisent à 80%

on effectiveness and growth,

sur l'efficacité et la croissance,

taking better decisions --

pour prendre de meilleures décisions

not replacing humans with AI to save costs.

au lieu de remplacer l'humain par l'IA pour réduire les coûts.

Why is it important to keep humans in the loop?

Pourquoi l'intervention humaine est-elle si importante ?

Simply because, left alone, AI can do very dumb things.

Tout simplement car laissée à elle-même, l'IA peut faire des choses stupides.

Sometimes with no consequences, like in this tweet.

Parfois sans conséquence, comme ce Tweet :

"Dear Amazon,

« Cher Amazon ,

I bought a toilet seat.

j'ai acheté une lunette de toilette.

Necessity, not desire.

Par besoin, pas par envie.

I do not collect them,

Je ne les collectionne pas,

I'm not a toilet-seat addict.

Je ne suis pas accro aux toilettes.

No matter how temptingly you email me,

Vous aurez beau m'envoyer des courriels tentants,

I am not going to think, 'Oh, go on, then,

Vous ne me ferez pas dire : 'Oh, tiens,

one more toilet seat, I'll treat myself.' "

Je vais en acheter une de plus pour me faire plaisir' »

(Laughter)

(Rires)

Sometimes, with more consequence, like in this other tweet.

Parfois c'est plus gênant, comme ce Tweet :

"Had the same situation

« J'étais dans la même situation

with my mother's burial urn."

avec l'urne funéraire de ma mère.

(Laughter)

(Rires)

"For months after her death,

Plusieurs mois après son décès,

I got messages from Amazon, saying, 'If you liked that ...' "

j'ai reçu des messages d'Amazon me disant :

« Si vous l'avez apprécié... »

(Laughter)

(Rires)

Sometimes with worse consequences.

Dans d'autres cas, les conséquences sont graves.

Take an AI engine rejecting a student application for university.

Prenez le cas d'un calcul IA d'université qui rejette la candidature d'un étudiant.

Why?

Pourquoi ?

Because it has "learned," on past data,

Parce qu'il ne se base que sur des données passées,

characteristics of students that will pass and fail.

les caractéristiques des étudiants qui ont réussi ou échoué.

Some are obvious, like GPAs.

Certaines sont évidentes, comme les notes.

But if, in the past, all students from a given postal code have failed,

Mais si, dans le passé, tous les étudiants venant d'une même ville ont échoué,

it is very likely that AI will make this a rule

Il est très probable que l'IA en fasse une règle

and will reject every student with this postal code,

et qu'elle rejette tous les étudiants venant de cette ville.

not giving anyone the opportunity to prove the rule wrong.

Ne laissant à personne la chance de démontrer que la règle est fausse.

And no one can check all the rules,

Et personne n'est en mesure de vérifier toutes les règles,

because advanced AI is constantly learning.

car l'IA avancée est en apprentissage constant.

And if humans are kept out of the room,

Et si l'humain est gardé à l'écart,

there comes the algocratic nightmare.

on plonge dans le cauchemar algocratique.

Who is accountable for rejecting the student?

Qui est responsable d'avoir évincé l'étudiant ?

No one, AI did.

Personne, c'est l'IA qui a décidé.

Is it fair? Yes.

Est-ce que c'est juste ? Oui.

The same set of objective rules has been applied to everyone.

Le même ensemble de règles objectives a été appliqué à tout le monde.

Could we reconsider for this bright kid with the wrong postal code?

Pouvons-nous revoir le cas de ce gars brillant

qui vient du mauvais endroit ?

No, algos don't change their mind.

Non, les calculs ne changent pas d'avis.

We have a choice here.

C'est maintenant qu'il nous faut choisir.

Carry on with algocracy

Continuer dans cette algocratie ou choisir un système « humain + IA ».

or decide to go to "Human plus AI."

And to do this,

Et pour y arriver,

we need to stop thinking tech first,

nous devons arrêter de penser à « la technologie d'abord »

and we need to start applying the secret formula.

et commencer à appliquer la formule secrète

To deploy "Human plus AI,"

pour déployer « homme + IA »,

10 percent of the effort is to code algos;

10% de l'effort porte sur le codage des algorithmes.

20 percent to build tech around the algos,

20% sur la technologie autour de ceux-ci :

collecting data, building UI, integrating into legacy systems;

récupérer les données, créer l'interface, les intégrer aux systèmes d'information.

But 70 percent, the bulk of the effort,

Mais 70%, le plus gros de l'effort,

is about weaving together AI with people and processes

consiste à articuler l'IA avec les personnes et les processus

to maximize real outcome.

pour en retirer le maximum.

AI fails when cutting short on the 70 percent.

L'IA échoue quand on rogne sur ces 70%.

The price tag for that can be small,

Le coût peut être réduit,

wasting many, many millions of dollars on useless technology.

mais des millions de dollars sont gaspillés en technologie inutile.

Anyone cares?

Qui s'en soucie ?

Or real tragedies:

De réelles tragédies peuvent survenir :

346 casualties in the recent crashes of two B-737 aircrafts

346 morts dans les crashes récents de deux avions B-737

when pilots could not interact properly

dont les pilotes ne pouvaient pas interagir correctement

with a computerized command system.

à cause du système de commande informatisé.

For a successful 70 percent,

Pour que les 70% soient couronnés de succès,

the first step is to make sure that algos are coded by data scientists

il faut d'abord s'assurer que les algorithmes sont codés par des analystes

and domain experts together.

en équipe avec des experts du secteur.

Take health care for example.

Prenez par exemple le secteur de la santé.

One of our teams worked on a new drug with a slight problem.

Une de nos équipes a travaillé sur un nouveau médicament

avec un léger problème.

When taking their first dose,

Lorsqu'ils le prenaient pour la première fois,

some patients, very few, have heart attacks.

certains patients, très peu, avaient une crise cardiaque.

So, all patients, when taking their first dose,

Et donc, tous les patients, pour leur première dose,

have to spend one day in hospital,

devaient passer une journée à l'hôpital,

for monitoring, just in case.

sous surveillance, au cas où.

Our objective was to identify patients who were at zero risk of heart attacks,

Notre objectif a été d'identifier les patients

à risque zéro de crise cardiaque,

who could skip the day in hospital.

qui pouvaient éviter la journée à l'hôpital.

We used AI to analyze data from clinical trials,

Nous avons utilisé l'IA pour analyser les données d'essais cliniques,

to correlate ECG signal, blood composition, biomarkers,

pour corréler les ECG, la composition sanguine, et les marqueurs biologiques

with the risk of heart attack.

avec le risque de crise cardiaque.

In one month,

En un mois,

our model could flag 62 percent of patients at zero risk.

notre modèle pouvait détecter 62% de patients à risque zéro.

They could skip the day in hospital.

Ils pouvaient éviter la journée à l'hôpital.

Would you be comfortable staying at home for your first dose

Vous seriez à l'aise pour prendre votre première dose à la maison

if the algo said so?

avec ces résultats de calcul ?

(Laughter)

(Rires)

Doctors were not.

Les médecins ne l'étaient pas.

What if we had false negatives,

Et dans le cas de faux négatifs,

meaning people who are told by AI they can stay at home, and die?

les gens autorisés par l'IA à rester à la maison peuvent mourir ?

(Laughter)

(Rires)

There started our 70 percent.

C'est là qu'ont commencé nos 70%.

We worked with a team of doctors

Nous avons travaillé avec une équipe de médecins

to check the medical logic of each variable in our model.

à vérifier la logique médicale de chaque variable dans notre modèle.

For instance, we were using the concentration of a liver enzyme

Par exemple, nous utilisions le taux d'une certaine enzyme du foie

as a predictor,

comme indice,

for which the medical logic was not obvious.

ce qui n'était pas une logique médicale évidente.

The statistical signal was quite strong.

Le signal statistique était plutôt fort.

But what if it was a bias in our sample?

Et s'il y avait un biais dans notre échantillon ?

That predictor was taken out of the model.

On a enlevé l'indice concerné du modèle.

We also took out predictors for which experts told us

Nous avons aussi retiré les indices pour lesquels les experts affirmaient

they cannot be rigorously measured by doctors in real life.

qu'ils ne pouvaient pas être mesurés avec précision dans la vie réelle.

After four months,

Après quatre mois, nous avions un modèle et un protocole médical.

we had a model and a medical protocol.

They both got approved

Tous deux ont été approuvés

my medical authorities in the US last spring,

par les autorités médicales américaines au printemps

resulting in far less stress for half of the patients

et cela a réduit le stress de la moitié des patients

and better quality of life.

et a amélioré leur qualité de vie.

And an expected upside on sales over 100 million for that drug.

Les ventes de ce médicament ont augmenté

de plus de 100 millions de façon inattendue.

Seventy percent weaving AI with team and processes

70% pour créer le lien entre l'IA, les équipes et les processus,

also means building powerful interfaces

c'est aussi construire des interfaces puissantes

for humans and AI to solve the most difficult problems together.

pour résoudre des problèmes complexes, IA et humains ensemble.

Once, we got challenged by a fashion retailer.

Un jour, un distributeur de mode nous a lancé un défi :

"We have the best buyers in the world.

« Nous avons les meilleurs acheteurs au monde.

Could you build an AI engine that would beat them at forecasting sales?

Pouvez-vous créer un moteur IA qui donne de meilleures prévisions de ventes qu'eux,

At telling how many high-end, light-green, men XL shirts

qui dirait combien de chemises homme, haut de gamme, vert clair, taille XL

we need to buy for next year?

nous devons acheter pour l'année prochaine ?

At predicting better what will sell or not

Qui saura mieux prédire que nos stylistes sur ce qui se vendra ou pas. »

than our designers."

Our team trained a model in a few weeks, on past sales data,

En quelques semaines, notre équipe a créé un modèle sur des données passées,

and the competition was organized with human buyers.

et la compétition s'est engagée face aux acheteurs humains.

Result?

Résultat ?

AI wins, reducing forecasting errors by 25 percent.

L'IA a gagné, en réduisant l'erreur de prévision de 25%.

Human-zero champions could have tried to implement this initial model

Ils auraient pu essayer de lancer ce modèle des « champions non humain »

and create a fight with all human buyers.

et le mettre en compétition avec tous les acheteurs humains.

Have fun.

Amusez-vous bien !

But we knew that human buyers had insights on fashion trends

Mais nous savions que les acheteurs connaissaient les tendances

that could not be found in past data.

qu'on ne pouvait pas déceler dans les données du passé.

There started our 70 percent.

Ici ont commencé nos 70%.

We went for a second test,

Nous avons commencé un second test,

where human buyers were reviewing quantities

en faisant vérifier par les acheteurs les quantités suggérées par l'IA

suggested by AI

and could correct them if needed.

et en les faisant corriger si nécessaire.

Result?

Résultat ?

Humans using AI ...

Les hommes qui utilisent l'IA...

lose.

perdent.

Seventy-five percent of the corrections made by a human

75% des corrections faites par un humain

were reducing accuracy.

réduisaient la fiabilité.

Fallait-il alors se débarrasser des acheteurs humains ?

Was it time to get rid of human buyers?

No.

Non.

It was time to recreate a model

Il était temps de recréer un modèle

where humans would not try to guess when AI is wrong,

dans lequel les hommes n'essaient pas de deviner quand l'IA se trompe

but where AI would take real input from human buyers.

mais où les acheteurs humains contribueraient réellement à l'IA.

We fully rebuilt the model

Nous avons entièrement reconstruit le modèle

and went away from our initial interface, which was, more or less,

en nous éloignant de notre interface initiale qui disait, plus ou moins :

"Hey, human! This is what I forecast,

« Hé, humain ! Voici ce que je prévois,

correct whatever you want,"

corrige ce que tu veux, »

and moved to a much richer one, more like,

et nous l'avons orientée vers un modèle beaucoup plus riche, du genre :

"Hey, humans!

« Hé, humains !

I don't know the trends for next year.

Je ne connais pas les tendances de l'année prochaine.

Could you share with me your top creative bets?"

Voulez-vous partager avec moi vos meilleurs paris créatifs ?

"Hey, humans!

Hé, humains !

Could you help me quantify those few big items?

Voulez-vous m'aider à quantifier ces quelques articles importants ?

I cannot find any good comparables in the past for them."

Je ne trouve pas d'articles comparables pertinents dans le passé. »

Result?

Résultat ?

"Human plus AI" wins,

« Homme + IA » est gagnant,

reducing forecast errors by 50 percent.

en réduisant l'erreur de prévision de 50%.

It took one year to finalize the tool.

Il a fallu un an pour finaliser l'outil.

Long, costly and difficult.

Long, coûteux et difficile.

But profits and benefits

Mais les marges et les bénéfices

were in excess of 100 million of savings per year for that retailer.

ont dépassé les 100 millions d'économies par an pour ce distributeur.

Seventy percent on very sensitive topics

70% sur des sujets très sensibles

also means human have to decide what is right or wrong

veut aussi dire que les humains décident de ce qui est juste ou faux

and define rules for what AI can do or not,

et définissent les règles de ce que l'IA peut faire ou pas,

like setting caps on prices to prevent pricing engines

comme fixer des plafonds de prix pour empêcher les moteurs de calcul

[from charging] outrageously high prices to uneducated customers

[de fixer] des prix exorbitants pour des consommateurs non avertis

who would accept them.

qui les accepteraient.

Only humans can define those boundaries --

Seuls les humains peuvent fixer ces limites -

there is no way AI can find them in past data.

en aucune façon, l'IA ne les trouve dans des données passées.

Some situations are in the gray zone.

Certaines situations sont floues.

We worked with a health insurer.

Nous avons collaboré avec une société d'assurance maladie.

He developed an AI engine to identify, among his clients,

Ils ont développé un moteur IA pour détecter parmi leurs clients

people who are just about to go to hospital

ceux qui étaient sur le point de rentrer à l'hôpital

to sell them premium services.

pour leur vendre des services premium.

And the problem is,

Et le problème,

some prospects were called by the commercial team

c'est que l'équipe commerciale a appelé des prospects

while they did not know yet

qui ne savaient même pas encore

they would have to go to hospital very soon.

qu'ils devraient entrer à l'hôpital bientôt.

You are the CEO of this company.

Vous dirigez cette société.

Do you stop that program?

Arrêtez-vous ce programme ?

Not an easy question.

Ce n'est pas une question facile.

And to tackle this question, some companies are building teams,

Et pour y répondre, certaines sociétés forment des équipes

defining ethical rules and standards to help business and tech teams set limits

qui définissent des règles et des standards éthiques

pour aider les équipes commerciales et techniques à poser des limites

between personalization and manipulation,

entre la personnalisation et la manipulation,

customization of offers and discrimination,

la customisation des offres et la discrimination,

targeting and intrusion.

le ciblage commercial et l'intrusion.

I am convinced that in every company,

Je suis convaincu que dans chaque entreprise,

applying AI where it really matters has massive payback.

utiliser l'IA pour des sujets importants engendre des bénéfices considérables.

Business leaders need to be bold

Les dirigeants d'entreprise doivent oser

and select a few topics,

et sélectionner un petit nombre de sujets,

and for each of them, mobilize 10, 20, 30 people from their best teams --

et pour chacun d'eux, mobiliser 10, 20, 30 personnes de leurs meilleures équipes -

tech, AI, data science, ethics --

techniques, IA, analystes, éthique --

and go through the full 10-, 20-, 70-percent cycle

et passer par le cycle complet 10-, 20-, 70% de « Homme + IA »

of "Human plus AI,"

if they want to land AI effectively in their teams and processes.

s'ils veulent faire adopter l'IA

efficacement dans leurs équipes et processus.

There is no other way.

Il n'y a pas d'autre moyen.

Citizens in developed economies already fear algocracy.

Les citoyens des pays développés ont déjà peur de l'algocratie.

Seven thousand were interviewed in a recent survey.

7 000 ont été interrogées dans un sondage récent.

More than 75 percent expressed real concerns

Plus de 75% ont exprimé une réelle inquiétude

on the impact of AI on the workforce, on privacy,

quant à l'impact de l'IA sur leur travail, leur vie privée,

on the risk of a dehumanized society.

quant au risque d'une société déshumanisée.

Pushing algocracy creates a real risk of severe backlash against AI

Imposer l'algocratie crée un risque réel d'un retour de bâton contre l'IA

within companies or in society at large.

dans les entreprises ou dans la société dans son ensemble.

"Human plus AI" is our only option

« Homme + IA » est notre seule option

to bring the benefits of AI to the real world.

pour apporter les bénéfices de l'IA au monde réel.

And in the end,

Et au final,

winning organizations will invest in human knowledge,

les organisations fructueuses investiront dans la connaissance humaine

not just AI and data.

pas seulement dans l'IA et les données.

Recruiting, training, rewarding human experts.

Recruter, former, récompenser les experts humains.

Data is said to be the new oil,

On dit que les données sont le nouveau pétrole,

but believe me, human knowledge will make the difference,

mais croyez-moi, l'esprit humain fera la différence,

because it is the only derrick available

car c'est la seule plateforme disponible

to pump the oil hidden in the data.

pour extraire le pétrole des données.

Thank you.

Merci.

(Applause)

(Applaudissements)